自己的简单数据分析流程

1.八爪鱼，抓取数据

2.八爪鱼数据导入mysql（navicat连的虚拟机上的），表为an

3.给定mysql的表an自增id

4.开启hadoop，yarn，

5.利用sqoop导入mysql的表an
sqoop import --connect jdbc:mysql://192.168.218.134:3306/spark
--username root --password 111 --query "select *from an where id>'0'
and $CONDITIONS" --target-dir /user/root-sqoop2 --direct --m 1

6.查询是否导入成功
hdfs dfs -cat /user/root-sqoop2/part-m-00000

7.