大数据项目架构

 具体流程(实时):

  1.   应用程序集成SDK,通过API接口实现日志的上传
  2. 通过kafka将上传的日志文件收集,
  3. 使用合适的实时流处理组件对数据进行实时处理(storm,SparkStreaming,flink)
  4. 将处理的数据保存在数据库中(mongdb等)
  5. 接下来前端使用dubbo将所需的数据查询
  6. 使用easyUI、highcharts将数据可视化
原文地址:https://www.cnblogs.com/zhipeng-wang/p/13998925.html