dmp中技术点的定义

ETL(数据仓库技术)

  ETL,数据仓库技术,是英文Extract-Transform-Load的缩写,用来描述将数据从来源端经过抽取(extract)、转换(transform)、加载(load)至目的端的过程。ETL一词较常用在数据仓库,但其对象并不限于数据仓库

  ETL是将业务系统的数据经过抽取、清洗转换之后加载到数据仓库的过程,目的是将企业中的分散、零乱、标准不统一的数据整合到一起,为企业的决策提供分析依据, ETL是BI(商业智能)项目重要的一个环节。

BI(商业智能)

  BI,工具商业智能(Business Intelligence)分析工具的英文缩写。
BI(BusinessIntelligence)即商业智能,它是一套完整的解决方案,用来将企业中现有的数据进行有效的整合,快速准确的提供报表并提出决策依据,帮助企业做出明智的业务经营决策。商业智能的概念最早在1996年提出。当时将商业智能定义为一类由数据仓库(或数据集市)、查询报表、数据分析、数据挖掘、数据备份和恢复等部分组成的、以帮助企业决策为目的技术及其应用。

伴生对象

若class和object同名,则object是class类的伴生对象,object对象可以访问class类中的私有属性。

DAG(有向无环图)

在Spark里每一个操作生成一个RDD,RDD之间连一条边,最后这些RDD和他们之间的边组成一个有向无环图,这个就是DAG。

hdfs:分布式文件系统

master:9000

hdfs dfs -mkdir -p /csair/data/rule-black-list/

[hadoop@master ~]$  hdfs dfs -mkdir -p /csair/data/rule-computed/         递归创建文件

[hadoop@master ~]$ hdfs dfs -put a.txt /dmpfiles/

hdfs dfs -ls /      查看hdfs中的文件目录

[hadoop@master conf]$ hdfs dfs -chown -R hadoop /

[hadoop@master ~]$ hdfs dfs -chmod -R 777  /

SparkSession

SparkSessionZipsExample可以从JSON文件中读取邮政编码,通过DataFrame API进行分析,同时还能够使用Spark SQL语句实施查询。

Schema

DataFrame中提供了详细的数据结构信息,从而使得SparkSQL可以清楚地知道该数据集中包含哪些列,每列的名称和类型各是什么,

DataFrame中的数据结构信息,即为schema。

transform和action

transform是RDD的转换算子,可以将获取的数据转换成RDD,或者RDD转换成新的RDD

action是RDD的行动算子,得到的是一个值或者结果,将RDD cache到内存中。

redis

  是一个开源、高效的Key-value非关系型数据库

  单机版:启动服务  ./redis-server redis.conf

  启动服务器:./start-all.sh

  创建集群服务器./redis-trib.rb create --replicas 1 192.168.139.200:7001 192.168.139.200:7002 192.168.139.200:7003 192.168.139.200:7004 192.168.139.200:7005  192.168.139.200:7006

  启动客户端:../bin/redis-cli -h 192.168.139.200 -p 7001 -c

  在集群中:cluster nodes查看所有节点的情况,   set key,get key ,例如:set s1 111 ,get s1

原文地址:https://www.cnblogs.com/zqfdgzrc/p/13019069.html