关于用Apache Beam跑WordCount

应老师要求,我要开始下载安装Apache Beam了

Apache Beam下载官网https://beam.apache.org/

 

 

昨天捣鼓到这里(下载解压后····)以后就整个大脑浆糊一样了,虽然粗略扫过了一些经验贴,仍然迷糊。

 

今天硬着头皮无论如何还是得往下努理解,可能并没有我想象中难呢,毕竟新接触一个从来不知道的东西。

 1.查看自己的jdk看版本,百度一下https://zhidao.baidu.com/question/552591786277937532.html

 本人的jdk达到了1.8

 2.安装Maven官网http://maven.apache.org/download.cgi

怎么安我参照的这个经验https://blog.csdn.net/qq_42868789/article/details/82977181

 下载完成后解压到自己指定文件夹

然后开始配置环境变量,鼠标右击我的计算机

 新建系统变量名,将安装路径添加到变量值,确定

 

编辑Path,在变量值后面添加如下红框内容,保存退出

 

命令窗口输入下图红框全中内容测试是否安装成功,得到下面内容就已经成功安装了

我的有个地方是叫runtime,网图不知道为什么叫Java home,应该一样的没差吧

 以下网图(来自经验贴https://www.cnblogs.com/kiko2014551511/p/12019329.html

 3.尝试用Eclipse创建一个maven项目看看,同样跟网上教程吧

继续继续,愈挫愈勇

利用Eclipse新建了一个maven项目

 

 难道是更新一下maven工程就行了吗?太慢了,好想知道到底是不是这里的问题。

 

 放弃了。

才意识到我好像没有在Eclipse里面配置好Maven,之前只是下载配置好Maven了而已,并没有将两者关联起来,怎么关联看这里https://blog.csdn.net/qq_36582604/article/details/80637603

序号2那里遇到了问题,解决了https://www.cnblogs.com/darkclouds/p/11017403.html

 缺少的jar回来啦,但又有问题,解决办法这里,直接下个吧https://blog.csdn.net/ITBigGod/article/details/82862008

 解决这个后,maven项目中Java Resource前面莫名红叉原因https://blog.csdn.net/qq277798882/article/details/53790135

应该就是这里的问题,只是怎么这么慢啊

 还以为这个步骤没用,原来重新删除项目重新导入,红叉就会消失(先按这个步骤检查一遍再删https://blog.csdn.net/big_bigwolf/article/details/52882603)唉找问题答案要费点精力。

 。。。。。。。

尝试在终端下运行WordCount

 

 失败!再来一次

 

 

 

 

 

 创建成功了,在上面指定的路径生成了一个文件夹C:UsersAdministratorword-count-beam,里面包含有如下图的pom.xml文件

 

 根据这个经验贴,我查看一下文件夹树结构吧https://www.pianshen.com/article/837631349/

树很长随便借一张吧

现在运行WordCount,就用DirectRunner好了

出问题了

切换了一下当前路径看行不行吧,有变化了

 又有错误了

这个柑橘和我的问题类似,有人回答了

 

 然后我的终端开始跑了

过了会儿,仍在下载中,这回希望成功

怎么还没好,再放一张截图

 看到彩色的,还以为又出岔子了,没有没有

这里停下来了,以为结束了。。不过又开始往下了

又有错了,唉

 


 这是linux(CentOS6.5)上跑的过程

 

 

 

 

 

 

 

 

 

 

 

 

 


Windows 7上利用IntelliJ Ideal跑

创建了一个Maven项目,自己建的总是有问题

 直接导入别人的项目就能行,到底是哪里没弄好,那个pom.xml里面的依赖到底是怎么写的呀?

 

 原来这里版本不同,把我原来的0.4.0改成0.5.0,然后项目右键maven  reimport一下就ok了

 添加依赖解决警告了https://blog.csdn.net/qq_33996921/article/details/106053625

 

 



原文地址:https://www.cnblogs.com/y-c-m520/p/12844673.html