日志易——中国版的splunk

https://www.rizhiyi.com/ 日志易——中国版的splunk 官方号称 10万EPS (Event Per Second)

其他链接:

http://doc.mbalib.com/view/7759ffbe943248dc0b84e75455ee897f.html

http://tech.it168.com/a2015/1022/1770/000001770925.shtml

https://36kr.com/p/5036279.html

http://www.afenxi.com/post/4140

http://dbaplus.cn/news-21-159-1.html

 技术:分布式消息总线+spark streaming+未知搜索引擎(应该是定制的ES)

Q1:您说的可编程是ES的表达式?能讲一下实现了那些表达式,我们能做些什么功能?

A1:transaction (事务关联)、eval(算术表达式)、stats(统计)、sort(排序)等等。https://www.rizhiyi.com/docs/howtouse/transaction.html 发布了部分命令的使用指南。

Q7:每天6TB的数据,需要多少个elk的节点?然后是否需要增加一些ssd来做处理?

A7:取决于服务器的性能,近百台服务器吧,有SSD当然更好。

Q10:你们对es做的改造能实现不同的业务数据按任意的字段进行关联分析吗?

A10:只要不同业务的日志包含了相同的字段,就可以关联分析。

Q13:看你们的介绍有使用spark-streaming,那它在系统中是用来做什么功能呢?

A13:抽取字段,把日志从非结构化数据转换成结构化数据。

原文地址:https://www.cnblogs.com/bonelee/p/6148370.html