当前京东数据平台用到spark 的五种方式

当前京东数据平台用到spark 的五种方式

1.spark sql 数据从Hive 同步到ES
  用python包装命令， 使用spark-submit 提交 ，run_shell_cmd(spark-submit) 具体案例可以参考另外的博文

2.机器学习会用到pyspark 自带的类似kmeans 的方法做数据加载 ，用pypsark 写 应用程序，通过shell 调

spark-submit 执行命令 包装成zip 进行发布

3.再有就是机器学习用Scalaspark  打成jar   结合shell spark-submit 打包成zip 发布

4.另外一种情况把现在python sql 脚本 发布到spark sql 的队列中 ，直接执行 ，相对改变较小，经过测试发现

需要对内存和core 和executor 要有较好的认知把握才能提高程序执行效率

5.最后一种情况是 用Java 或是 Scala python  写 spark程序 rdd ，打成jar 发布 shell zip 包 执行 ，这些个

变化相对较大，不太容易呈现  ，改写要求高，但是对提高对spark 的认识和技能掌握更有提高的空间

comment ： 目前公司前四种都有用到 ，第一和第四条我有尝试测试 ，对于 第2 第3 ，第5 暂时未有深度了解，

不过迫在眉睫。