视频1的全了，视频3的还不全 日志数据分析： 1.背景 1.1 黑马论坛日志，数据分为两部分组成，原来是一个大文件(05_30之前)，是56GB；以后每天生成一个文件，大约是150-200MB之间； 1.2 日志格式是apache common日志格式； 1.3 分析一些核心指标，供运营决策者使用； 1.4 开发该系统的目的是分了获取一些业务相关的指标，这些指标在第三方工具中无法获得的； 2.开发步骤 2.1 把日志数据上传到HDFS中进行处理 如果是日志服务器数据较小、压力较小，可以直接使用shell命令把数据上传到HDFS中； 如果是日志服务器数据较大、压力较大，使用NFS在另一台服务器上上传数据； 如果日志服务器非常多、数据量大，使用flume进行数据处理； 技术：flume： source: 是从spool directory中拿的 sink: hdfs和Hbase（我们同样要把数据送到Hbase中） channel：文件 2.2 使用MapReduce对HDFS中的原始数据进行清洗（清洗的意思是，数据中不要的就扔掉，需要补充的就补充进来） 技术：Map/Reduce 2.3 使用Hbase存储明细日志，能够利用IP，时间查询（使用Hbase，这部分没讲） 技术：设计表、预分区 （因为我们的数据在Hbase存储的时候，他都是存储在RegionServer中的Region上， 我们发挥Hbase的优势是分布式查询的优势，我们应该尽量多的分一些Region， 让我们的数据尽量均匀的分摊到我们的Region中，这样查询的时候才可以发挥出并行的优势） 具体表结构设计，看ppt 2.4 使用Hive对清洗后的数据进行统计分析，得到PV，独立IP数，跳出数，注册用户数等；（使用hive或者pig） 技术：hive（主要用到Hive的建表操作，比如内部表，分区表，外部表，以及动态修改分区，以及视图，自定义函数操作） 2.5 使用Sqoop把Hive产生的统计结果导出到mysql中； 技术： sqoop 由于数据导入到mysql中，所以我们还需要对mysql表进行设计（这里的表指的是汇总表），具体表结构看PPT 2.6 如果用户需要查看详细数据的话，可以使用HBase进行展现； 注意： 我们这里使用Hive进行统计分析，然后把结果导出到mysql中，被导出到mysql中的数据都是汇总值。 如果我们发现某个IP，他访问的很频繁，我们可能感觉到他有一些异常，我们想看一下这个IP在某一段时间内 干了什么事，访问了什么。看某个IP在指定时间内的活动情况，就需要看详细信息，这些详细信息在我们mysql是拿不到的 因为导出到mysql中的是汇总信息，没有详细信息，如果Mysql要是能存详细信息要hadoop就没什么用了。这些详细信息是Hbase 来做。就说这些明细信息，我们可以用Habase来存储。进行存储的时候关键的是要判断一下你用什么进行查询，也就是说 设置Hbase，关键是设置行健，我们刚才说是用IP和时间来查询，那么我们需要把IP和时间放到行健中。 另外，我们还会用到linux的crontab来做调度，crontab就是一个linux中的定时器，我们的机制是，服务器日志每天都会生成，所以 需要我们的程序每天定时的运行处理，所以需要用crontab做定时器。所以还需要会写linux脚本 3.详细代码 3.1 使用shell命令把数据从linux磁盘上传到HDFS中 3.1.1 在hdfs中创建目录，命令如下 $HADOOP_HOME/bin/hadoop fs -mkdir /hmbbs_logs 3.1.2 写一个shell脚本，叫做upload_to_hdfs.sh，内容大体如下 yesterday=`date --date='1 days ago' +%Y_%m_%d` hadoop fs -put /apache_logs/access_${yesterday}.log /hmbbs_logs 3.1.3 把脚本upload_to_hdfs.sh配置到crontab中，执行命令crontab -e, 写法如下 * 1 * * * upload_to_hdfs.sh