flink源码阅读(概览)

clone官方1.6.2版本flink,成功编译。(一般PC还真跑不动,我是用服务器编译的)

编译完后,略微修改了一下启动脚本后,成功跑起来。

sh bin/start-cluster.sh 

红色部分是我改过的地方:

vim start-cluster.sh

bin=`dirname "$0"`
bin=`cd "$bin"; pwd`
FLINK_BIN_DIR=$bin
cd $bin

. config.sh

启动成功后就可以看界面,也可以运行job了。

flink的源码大部分是java写的,少部分是scala写的(运行时模块)

入口类(启动后两个进程,两个入口类):
org.apache.flink.runtime.entrypoint.StandaloneSessionClusterEntrypoint
org.apache.flink.runtime.taskexecutor.TaskManagerRunner

再介绍一下基本概念Stream和DataSet,前者用于流处理,后者用于批处理。

-------------------------
技术不在于多么高超先进巧妙,而在于要有现实价值!!!
原文地址:https://www.cnblogs.com/geektcp/p/9878656.html