MapReduce方法的理解和遇到的问题总结

  昨天联系了一个用map和reduce来编写wordcount当时写出来感觉自己有点懂了,但是今天做到天气站求天气平均数的时候遇到了问题。自己摸索出来了一点歪门邪道。所谓map只管数据中一行,确定要传的key和value。而reduce则是对所有的value值进行计算,而不是只有一行的。在问题中出现类型的错误。通过将Doule换成Int类型解决。

       在对数据进行可视化的时候,tomcat突然就炸了,就连普通的网页就不能跑,后来就开始打不开tomcat。后来发现是maven中导入的tomcat包,和本地引入的tomcat是冲突的,所以发生矛盾,从中除去一个就可以解决,最好修改 tomcat的配置文件。

       在ercharts显示的时候,从后台获取数据之后不能显示出来,检查许久,数据确实是从后台传回来了已经,确保无误。这个问题在于有些echarts可以直接用mychart.setOption执行,而有的要用先写一个option方法,在下面用mychart.setOption(option)来进行实现。     

       还有在将项目部署在虚拟机的tomcat的时候,一定要慎重,用maven部署之后,虚拟机的tomcat原有的root文件内容被覆盖,本机就会出现不能访问虚拟机tomcat的问题。删除虚拟机的root文件,将对应版本号的root文件复制进去即可。

       还有就是MapReduce在计算过程中可能会提示winutils不存在,如果不能跑则配置环境变量,将hadoop.dll winutils libwinutils 拷入system32中,并且把winutils拷入在hadoop的bin目录下即可

原文地址:https://www.cnblogs.com/xieshiyu/p/9306751.html