「Flink」Flink 1.9 WebUI運行作業界面分析


運行作業界面

在以下界面中,可以查看到作業的名稱、作業的啟動時間、作業總計運行時長、作業一共有多少個任務、當前正在運行多少個任務、以及作業的當前狀態。

這里的程序:一共有17個任務,當前正在運行的是17個任務。

image

作業概覽界面

image

在這個界面中,我們可以看到數據流圖。這個程序中,一共有3個算子。

image

Custom Source任務並行度為1

Flat Map任務並行度為8,

Flink Map –> Sink任務並行度為8

一共是17個任務。

在明細界面中,可以查看到具體每個算子接收的字節數、記錄數,發送的字節數、記錄數,並行度,開始時間,持續運行時間。

image

具體Operator運行情況

點擊某一個Operator,可以查看到該Operator的具體運行信息。

image

上圖,我們可以看到Task處理的數據是均勻的,每一個Task都拉取到了差不多的記錄數。

而下面這張圖,我們可以很直觀地看到,3個分區中是有數據處理的。因為此處我們只有三個單詞:hadoop flink spark。每個單詞都分配到了不同的任務中處理。

image


Checkpoint界面

image

Overview

Overview中可以看到Checkpoint的總體概覽情況。

image

Triggered表示一共觸發了14個checkpoint,完成了14個。

image

Lastest Completed Checkpoint為最近一次checkpoint的情況,可以看到這個checkpoint在state中存儲的大小是5.9KB。

再看一下這個checkpoint的明細信息:

image

可以看到這個checkpoint並沒有配置外部的存儲,是保存在Task Manager的內存走過來的。而且這個Checkpoint已經被discard掉了。

再看下具體Operators的checkpoint情況,在Flink中每個Operator都是有狀態的。

第一個Source、第二個Flat Map,這兩個Operator都沒有實現Operator State(也就是CheckpointFunction),所以,他們並沒有真正的占用狀態存儲。

而在第三個FlatMap –> Slink Operator走過來,因為使用到了Keyed Manage State中的ValueState,所以,這里狀態存儲中是有值的。

image

History

在History選項卡中,我們可以看到所有的checkpoint的歷史記錄

image

Summary

image

Summary中,可以看到checkpoint的運行時間。


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM