本周主要观看学习了德拓大数据采集技术与应用相关课程.并完成相关实验.
实验一：大数据同步技术datax的使用
目的:利用datax将.csv文件中的数据同步导入mysql中(乱码问题可通过输入命令 CHCP 65001解决)
1.Navicat里面建立数据表(数据表隐藏)
2.仿照dataxjob中的job.json进行修改，新建立job_yq.json文件(json文件隐藏)
3.修改输出源 用户名及密码
4.输出源中添加数据表对应字段
5.连接数据表修改表名
实验二：大数据清洗技术kettle的使用
待更新
实验三：大数据日志采集技术Logstash
待更新
实验四：大数据实时采集技术Kafka
待更新
实验五：动态感知舆情热点大数据采集技术
待更新