flink學習中遇到的問題

1、org.apache.hadoop.ipc.RemoteException(java.io.IOException)

Caused by: java.util.concurrent.ExecutionException: org.apache.hadoop.ipc.RemoteException(java.io.IOException): File /flink-checkpoints/8c274785f1ab027e6146a59364be645f/chk-1488/2c612f30-c57d-4ede-9025-9554ca11fd12 could only be replicated to 0 nodes instead of minReplication (=1). There are 3 datanode(s) running and no node(s) are excluded in this operation.

解決辦法：

查看配置文件flink-config.yaml、masters、slaves的hostname,發現masters寫的都是localhost:8081 改為hadoop102:8081

2、Deployment took more than 60 seconds. Please check if the requested resources are available in the YARN cluster

原因：yarn沒有足夠的資源進行分配，如內存，vcores等。

查看UI有兩個節點處於不健康狀態：

檢查對應的nodeManager日志：

可以看到是創建文件失敗，查看core-site配置文件，發現存儲目錄指定有問題

修改如下：

再格式化NN

hadoop namenode -format

結果：

（持續更新。。。）