StreamSets是一个大数据采集工具，数据源支持包括结构化和半/非结构化，目标源支持HDFS，HBase，Hive，Kudu，Cloudera Search, ElasticSearch等。它包括一个拖拽式的可视化数据流程设计界面，定时任务调度等功能。举例，它可以将数据源从Kafka+Spark Streaming连接到你的Hadoop集群，而不需要写一行代码。
StreamSets并没有集成在cdh中，因此需要我们自己去官方下载软件包
下载地址： https://archives.streamsets.com/index.html
下载下来的文件如下，软件包有4.6G左右，需要点耐心
配置本地yum源
新建一个目录，把STREAMSETS_DATACOLLECTOR-3.10.0-el7.parcel， manifest.json放目录里
mkdir /var/www/html/streamsets mv STREAMSETS_DATACOLLECTOR-3.10.0-el7.parcel /var/www/html/streamsets mv manifest.json /var/www/html/streamsets cd /var/www/html/streamsets createrepo .
配置yum
[root@cm ~]# cat /etc/yum.repos.d/ss.repo [ssrepo] name = ss_repo baseurl = http://10.1.1.120/streamsets enable = true gpgcheck = false
把ss.repo拷贝到集群其他节点，然后执行 yum. repolist，可以看到配置的yum 源
下载分发激活Parcel包
主机---Parcel---配置
点击下载--分配--激活，因为包比较大，时间可能会稍微有点长
#######小坑##########
就是分配过程中cloudera server那台机一直卡在那里，其他节点没问题，进行了回滚操作
#curl -u user:password -X POST http://cm.bigdata-heboan.com:7180/api/v18/clusters/cdh-heboan/parcels/products/{product}/versions/{version}/commands/deactivate curl -u admin:admin -X POST http://cm.bigdata-heboan.com:7180/api/v18/clusters/cdh-heboan/parcels/products/STREAMSETS_DATACOLLECTOR/versions/3.10.0/commands/deactivate
后面发现，是clouder server这台机器的/etc/cloudera-scm-agent/config.ini 中的server_host是localhost，后面改为如下问题解决
...
# Hostname of the CM server.
server_host=cm.bigdata-heboan.com
中途遇到一次提示STREAMSETS_DATACOLLECTOR-3.10.0-el7.parcel哈希验证失败，解决办法是去到cm机器上的/opt/cloudera/parcel-repo目录
执行 sha1sum /opt/cloudera/parcel-repo, 把得出的哈希值替换STREAMSETS_DATACOLLECTOR-3.10.0-el7.parcel.sha里面的内容
添加服务
选择StreamSets
分配角色
数据目录
启动成功后
点击Data Collector Web UI
默认账号： admin/admin
