streamsets excel 数据处理

streamsets 有一个directory的origin 可以方便的进行文件的处理,支持的格式也比较多,使用简单

pipeline flow

配置

  • excel 数据copy

    因为使用的是容器,会有数据copy 容器的一步

容器id 结合实际查询:
docker cp data/ containerid:/data/excel
  • 配置directory

  • local fs 配置

运行

  • excel 数据格式
  • 运行效果

参考资料

https://github.com/rongfengliang/streamsets-demos
https://streamsets.com/documentation/datacollector/latest/help/datacollector/UserGuide/Origins/Directory.html#concept_qcq_54n_jq

原文地址:https://www.cnblogs.com/rongfengliang/p/9509467.html