东师理想大数据中心技术路线规划

Centos下使用YugaByte DB

https://www.liangzl.com/get-article-detail-140539.html

 https://www.yugabyte.com/

业务系统或上报的数据--->openresty-->golang web gin-->kafka--->golang kafka client+ pg client ---> CockroachDB 集群

    ---->    分支1:    ----> golang  +pg client 准实时 --->ClickHouse集群
        分支2:    ---->golang  +pg client 准实时 --->SnappyData

解释:
1、第一步实现主干内容,数据要求完整保存到基于Postgresql的CockroachDB集群中,以多副本,无需分库分表等优势创建数据库,支持事务,用于生产。
2、第二步研究将数据同步到ClickHouse集群,实现高速度的大部分数据OLAP。
3、第三步研究基于Spark生太的SnappyData,弥补步骤2可能存在的问题。

4、之所以选择golang做为开发语言,是想一栈式语言,不想一会java ,一会运维用python,而且golang的好处在于强制,写一个代码没有第二种方法,防止因项目组内人员水平不一造成代码互相看不懂,是一种工程化思想的体现,而且Golang的运行速度很快,体积小,不依赖于环境等特点也非常棒。
===========================================================================
Clickhouse 资料
https://www.cnblogs.com/uestc2007/category/1465231.html
https://cloud.tencent.com/developer/article/1488512

《大数据实时分析领域的黑马ClickHouse》二次解读
https://blog.csdn.net/haitianxueyuan521/article/details/80983001


基于SnappyData构建实时数据仓库
https://www.jianshu.com/p/ccad1333c48d


SnappyData--一个统一OLTP+OLAP+流式写入的内存分布式数据库
https://blog.csdn.net/lmalds/article/details/79107024



https://www.cockroachlabs.com/docs/stable/install-cockroachdb-linux.html

 黄海在华为云上的备份包:

https://dsideal.obs.cn-north-1.myhuaweicloud.com/HuangHai/cockroach-v19.2.2.linux-amd64.tgz

cockroachDB学习总结

https://blog.csdn.net/niuchangp/article/details/59613410

 
Clickhouse OLAP的技术实现

https://www.cnblogs.com/gomysql/category/976463.html

Golang的客户端

https://github.com/ClickHouse/clickhouse-go

https://github.com/roistat/go-clickhouse

olap的长远解决之道,机器学习,智能算法类的研究方向:

【若泽大数据】玩转大数据之Spark零基础到实战

https://www.bilibili.com/video/av29407581?p=1

若泽大数据官网

http://www.ruozedata.com/

原文地址:https://www.cnblogs.com/littlehb/p/12148102.html