基于磁盘存储

基于内存存储性能好,但是成本较高。内存存储目前用的多的是redis,以及hash数据结构。最好根据业务需求,

以及业务特性将一部分存储存储到磁盘。基于磁盘存储支持高并发写以及较高并发读的数据结构是LSM。

基于磁盘存储相关文章,对于调研以及线上使用可以作为参考:

kv存储Aerospike https://juejin.im/post/5b4eacb06fb9a04fde5ac05a

有赞kv存储 https://tech.youzan.com/shi-yong-kai-yuan-ji-zhu-gou-jian-you-zan-fen-bu-shi-kvcun-chu-fu-wu/

                https://juejin.im/post/5b7a5d4f6fb9a019fe6843a3

基于Rocksdb分布式存储设计 http://www.doc88.com/p-3592525709078.html

TiDB集群安装 https://blog.yeeef.com/post/deploy-tidb-cluster/

TiDB部署https://segmentfault.com/a/1190000009716533

Rocksdb存储原理 https://www.jianshu.com/p/73fa1d4e4273

百度Tera https://www.infoq.cn/article/2017%2F05%2Fdatabase-baidu-Tera

             https://www.cnblogs.com/bonelee/p/6211789.html

             https://developer.baidu.com/announcement/566

     https://my.oschina.net/u/2982571/blog/775452  

             http://www.yeolar.com/media/note/2016/12/04/bj2016-archsummit/%E5%A4%A7%E6%95%B0%E6%8D%AE%E5%A4%84%E7%90%86%E5%8F%8A%E7%B3%BB%E7%BB%9F%E6%9E%B6%E6%9E%84/%E7%99%BE%E5%BA%A6%E7%AC%AC%E4%B8%89%E4%BB%A3%20Spider%20%E8%83%8C%E5%90%8E%E7%9A%84%E4%B8%87%E4%BA%BF%E9%87%8F%E7%BA%A7%E5%AE%9E%E6%97%B6%E6%95%B0%E6%8D%AE%E5%A4%84%E7%90%86%E7%B3%BB%E7%BB%9F.pdf

分布式存储原理 http://wuchong.me/blog/2014/08/07/distributed-storage-system-knowledge/

                      https://yq.aliyun.com/articles/86633

分布式系统事务处理 https://coolshell.cn/articles/10910.html

rocksdb使用 https://tech.meili-inc.com/196-196

                  https://www.jianshu.com/p/f233528c8303

存储调研     http://www.importnew.com/29110.html

分布式事务  https://coolshell.cn/articles/10910.html 

微信后台存储架构 http://www.docin.com/p-1167499844.html

从无到有:微信后台系统的演进之路 涉及存储

                      https://www.infoq.cn/article/the-road-of-the-growth-weixin-background

微信存储 http://www.dataguru.cn/article-11666-1.html

今日头条涉及存储 https://www.toutiao.com/i6304145761982480897/

                         https://doc.huodongjia.com/detail-1950.html

        https://v.qq.com/x/page/e05142o902n.html

                        https://myslide.cn/slides/632

          https://blog.csdn.net/zkq_1986/article/details/79153376

存储读取方式 https://www.cnblogs.com/bonelee/p/6900243.html

pika存储团队成员博客 http://kernelmaker.github.io/

pingcap团队博客  https://pingcap.com/blog-cn/

pingcap好文档 https://www.liangzl.com/get-article-detail-3879.html

          

Lucene索引存储 https://www.cnblogs.com/forfuture1978/archive/2009/12/14/1623597.html

protocol buf压缩或者说序列化 https://blog.csdn.net/xiao__gui/article/details/36643949

etcd原理 https://draveness.me/etcd-introduction 

raft协议 https://www.jianshu.com/p/096ae57d1fe0

gfs论文 http://blog.bizcloudsoft.com/wp-content/uploads/Google-File-System%E4%B8%AD%E6%96%87%E7%89%88_1.0.pdf

mapreduce论文 http://blog.bizcloudsoft.com/wp-content/uploads/Google-MapReduce%E4%B8%AD%E6%96%87%E7%89%88_1.0.pdf

bigtable 论文 http://blog.bizcloudsoft.com/wp-content/uploads/Google-Bigtable%E4%B8%AD%E6%96%87%E7%89%88_1.0.pdf 

spanner论文 http://dblab.xmu.edu.cn/post/google-spanner/ 

nosql数据库 http://dblab.xmu.edu.cn/topic/research/documentation/cloud-database/

google spanner论文 https://static.googleusercontent.com/media/research.google.com/zh-CN//archive/spanner-osdi2012.pdf 

megastore解读 https://www.csdn.net/article/2011-02-16/291968

一致性与共识不是一码事 http://blog.kongfy.com/2016/08/%E8%A2%AB%E8%AF%AF%E7%94%A8%E7%9A%84%E4%B8%80%E8%87%B4%E6%80%A7/ 

何登成 http://hedengcheng.com/?p=892

lmdb http://wiki.dreamrunner.org/public_html/C-C++/Library-Notes/LMDB.html

rocksdb lmdb等 https://www.kancloud.cn/digest/jd-detail-page/61541

树形存储 https://blog.csdn.net/hbhhww/article/details/8206846 

蘑菇街内有推荐存储  https://www.jianshu.com/p/49ddf2f5c165   

mmap 蘑菇街、今日头条、链家推荐系统 需要深入研究一下

mmap优缺点 https://www.cnblogs.com/huxiao-tee/p/4660352.html#4008787

存储核心引擎链接 https://yq.aliyun.com/articles/85619

spanner https://www.jianshu.com/p/22a4dda19e86?from=timeline&isappinstalled=0

本实验使用dd顺序写操作简单测试,严格测试需要用FIO等工具

开源基于磁盘存储 aerospike ssdb pika ZanKV tikv tidb Bicast存储

好书链接 https://github.com/lancetw/ebook-1/tree/master/01_programming 基础技术相关

存储优秀博客 http://blog.sina.com.cn/s/articlelist_1070095910_0_2.html

消息队列 https://juejin.im/post/5d9944e9f265da5b6a169271  数据从磁盘内核空间到socket内核空间,减少内核态到用户态的拷贝,这很牛逼

浅谈0拷贝 https://juejin.im/post/5d69d4075188255d3d29abfd

何登成 http://hedengcheng.com/?p=892

其他  各大互联网后台架构

微信公众号: 探索互联网

原文地址:https://www.cnblogs.com/freedommovie/p/10113864.html