区块链 与 数据分析、数据挖掘

区块链:

区块链本质上是一个去中心化的分布式账本数据库

记载方式不只是将账本数据存储在每个节点,而且每个节点会同步共享复制整个账本的数据

每个区块就像一个硬盘,将信息全部保存下来,在通过密码学进行加密,保证无法被篡改

特点:集体维护,无法篡改,公开

区块链测试简介

 如何做区块链项目测试?https://www.jianshu.com/p/5ccc1198dcfe

分布式存储:将数据分散存储在多台独立的设备上   (可以类比下 jenkins的分布式构建)

master-slave

基于区块链的分布式存储  https://www.jianshu.com/p/63a89df24931

传统集中式存储:一个服务器上有n个硬盘,一个硬盘有n个完整的文件

分布式存储:将一个完整的文件分成n片(即切片),然后将n个切片加密存储到不同的各个不同的硬盘上,每个硬盘只保存这个文件的一部分,同时有关切片的信息会被存储到区块链上,防止被篡改

 区块链分布式存储原理:https://www.jianshu.com/p/63a89df24931

 区块链分类账作为一个分散的数据库,用于维护每个交易的详细信息。这些交易按时间顺序加到分类账上,并以一组数据块的形式存储。每个块引用前面的块以形成一个相互连接的链

 区块链的原理:https://baijiahao.baidu.com/s?id=1648411203417032598&wfr=spider&for=pc

 分布式的意思:

一是数据由系统的所有节点共同记录,所有节点既不需要属于同一组织,也不需要彼此相互信任;  

二是数据由所有节点共同存储,每个参与的节点均可复制获得一份完整记录的拷贝

 大数据

应用场景:能熊海量的数据中发现数据的内在联系,进而对事物的发展做出预测。

举例:尿布和啤酒之间  http://security.asmag.com.cn/news/201409/72700.html  

淘宝每天推送的个人喜好

 云计算

 概念:分布式计算,通过网络解决任务分发,并进行计算结果的合并。

云计算提供了三大类服务,分别是基础设施即服务(IaaS)、平台即服务(PaaS)和软件即服务(SaaS)。IaaS主要针对具备开发能力的企业,比如互联网企业和软件开发企业;PaaS主要针对具备一定开发能力的企业,比如传统企业的软件开发团队;SaaS主要针对没有开发能力的广大传统企业和机构用户,只管使用软件就可以了

以上三者的区别通俗介绍:http://www.ruanyifeng.com/blog/2017/07/iaas-paas-saas.html

数据分析与数据挖掘

参考:https://blog.csdn.net/RedPintings/article/details/84881978

数据分析的模块有哪些:

  1. numpy 高效处理数据,提供数组支持,很多模块都依赖它,比如pandas,scipy,matplotlib都依赖他,所以这个模块都是基础。所以必须先安装numpy。
  2. pandas 主要用于进行数据的采集与分析
  3. scipy 主要进行数值计算。同时支持矩阵运算,并提供了很多高等数据处理功能,比如积分,微分方程求样等。
  4. matplotlib 作图模块,结合其他数据分析模块,解决可视化问题
  5. statsmodels 这个模块主要用于统计分析
  6. Gensim 这个模块主要用于文本挖掘
  7. sklearn,keras 前者机器学习,后者深度学习。
原文地址:https://www.cnblogs.com/wang-mengmeng/p/11809423.html