昨天下班前，老板给了一批LOG数据库IP地址，需要统计LOG表里Message字段top 10的结果，并输出到一个excel文件里。
抽查看了下，有两种格式的以当天日期结尾的表名。由于数量太多，时间紧迫，只好写批量脚本解决问题。
并以此扩展，解析其中的几个常用shell程序，主体脚本写在文章后半部分。
学习shell重在灵活运用命令，形成自己的思维方式，和书写习惯，脚本参考即可。
解题过程步骤：
1.梳理IP地址及对应表名
2.确定查询SQL
3.批量查询数据
完整脚本附在文章最后
解析下常用到的知识点:
1.日期：关于日期结尾的表，表中涉及日期时间的表字段
注意：shell中养成给日期定义变量的习惯。
<1>.当前日期时间及格式
DATE_MARK=`date +'%Y%m%d'` 结果：20161214
DATE_MARK=`date + '%Y-%m-%d %H:%M:%S'` 结果：2016-12-14 18:20:11
过去日期时间及格式
DATE_MARK=`date -d'1 day ago' +'%Y%m%d'` 结果：一天之前：20161213
DATE_MARK=`date -d'1 hour ago' +'%Y-%m-%d %H:%M:%S'` 结果：2016-12-14 17:20:11
修改-d' ' ：7天之前：7 days ago 7小时之前：7 hours ago
表名：TB_NAME="LOG_${DATE_MARK}"
2.遍历思想和循环及行的处理
<1>.批量远程执行命令，批量Telnet端口，批量ping主机
<2>.遍历文件中每一行，进行添加，截取，输出操作。
主体思想：先读取ip或行，再处理ip或行，再利用ip或行
实例：
1.依次输出文件中的每一行
命令行while循环遍历: cat ip.txt | while read line; do echo $line;done
命令行for 循环遍历：for line in `cat ip.txt`;do echo $line;done
脚本中调用：ip.txt，然后循环遍历. ip文件作为脚本的执行参数
#!/bin/sh
ipfile=$1
cat ${ipfile}|while read line
do
echo ${line}
done
脚本执行：./xx.sh ip.txt
2.对行的处理，一行有多个分割字段时需要处理
格式：172.21.1.1,3306
截取一行的第一列IP：
IP=`echo ${line}|awk -F',' '{print $1}'`
PORT=`echo ${line}|awk -F',' '{print $2}'`
awk -F',' '{print $1}' 等同于 cut -f1 -d','
添加内容：
echo "${IP}_${PORT}:OK" 结果：172.21.1.1_3306：OK
3.关于自定义函数
<1>.不传参函数：
fun_name()
{
name='Kata'
echo "My name is ${name}."
}
fun_name #调用方式，直接将：My name is Kata.输出到屏幕
<2>.传参函数
fun_name()
{
name=$1
echo "My name is ${name}."
}
fun_name "Alias" #调用方式，直接将：My name is Alias.输出到屏幕
<3>.多参函数
fun_name()
{
name=$1
age=$2
echo "My name is ${name} and My age is ${age}."
}
fun_name "Sunny" "18" #调用方式，直接将：My name is Sunny and My age is 18.输出到屏幕
<4>.将函数结果赋值给变量
status=`fun_name "Alias"` #变量status的内容就是：My name is Alias. 此时再将status变量应用到其它程序调用
<5>.自定义函数事例：统计IP数据库里对应的表格式是哪种？
思路：选一种格式表作为判断，存在做标记，不存在就是另一种。前提条件：每个ip上只存在一种表,避免意外两种表都试试
FUN_CHECK()
{
ip=$1 #自定义函数传参
tb_like=$2
MYSQL_CMD="/usr/local/mysql/bin/mysql -uadmin -padmin -h${ip} -P3306" #变量只有IP，端口也可定义变量
SQL="SELECT COUNT(*) FROM information_schema.TABLES WHERE TABLE_SCHEMA='LogDB' AND TABLE_NAME
= '${tb_like}_${DATE_MARK}';"
STATUS=`${MYSQL_CMD} -NBe"${SQL}"` #查询数据库表结果赋值给变量
if [ ${STATUS} == '1' ];then
echo ${ip}
else
echo #此处输出空行或者去掉else，可方便将屏幕ip列表复制。甚至不要if判断，直接：echo "${ip}:${STATUS}" 再筛选。
fi
}
在while循环中调用函数：
#!/bin/sh
.
.
.
cat $IP_FILE1|while read line
do
IP=`echo $line|cur -f1 -d' '`
FUN_CHECK "${IP}" "HA_Logging" #手动修改下第二个参数,另一个表也测试下，别遗漏ip。
done
4.关于输出文件
将n个ip上表的查询数据追加到一个excel里。SQL的查询结果不要带表头。否则文件里会出现多个表头行。
通过mysql命令指定NBe参数，只输出数据结果，不显示字段名。
mysql -u -p -h -P -NBe"${sql}"
5.脚本传参和函数传参
脚本的开头定义：xxx=$1 xxx=$2
函数的开头定义：xxx=$1 xxx=$2
脚本执行：./x.sh 参数1 参数2
函数调用：fun_name "参数1" "参数2"
附件见下面：
附件脚本1：梳理ip列表，及对应哪种表格式
说明：
脚本执行：执行两次
./check_ip.sh ip.txt 'HA_Logging'
./check_ip.sh ip.txt 'LOG'
脚本第二个参数：作为表格式模糊查询的变量传参
cat check_ip.sh
#!/bin/sh
IPFILE=$1
TB_LIKE=$2
DATE_MARK=`date -d'1 day ago' +'%Y%m%d'`
FUN_CHECK()
{
ip=$1 #自定义函数传参:ip
tb_like=$2 #自定义函数传参：HA_Logging或者LOG
MYSQL_CMD="/usr/local/mysql/bin/mysql -uadmin -padmin -h${ip} -P3306" #变量只有IP，端口也可定义变量
SQL="SELECT COUNT(*) FROM information_schema.TABLES WHERE TABLE_SCHEMA='LogDB' AND TABLE_NAME
= '${tb_like}_${DATE_MARK}';"
STATUS=`${MYSQL_CMD} -NBe"${SQL}"` #查询数据库表结果赋值给变量
if [ ${STATUS} == '1' ];then
echo ${ip}
fi #此处定义 如果存在直接输出ip,不存在，就不管。
}
cat ${IPFILE}|while read line
do
IP=`echo ${line}|cut -f1 -d' '`
FUN_CHECK "${IP}" "${TB_LIKE}"
done
附件脚本3：查询表数据导入Excel
说明：为了一次性执行，将两个ip列表文件作为脚本参数
脚本执行：./check_loginfo.sh ha_ip.txt log_ip.txt
cat check_loginfo.sh
#!/bin/sh
IP_FILE1=$1
IP_fILE2=$2
# 定义日期标志 : 20161214 （此处是昨天日期）
TIME_MARK=`date -d'1 day ago' +'%Y%m%d'`
# 定义表的名字：以日期结尾的表名 <DB_NAME.TB_NAME_20161214>
HA_TB="LogDB.HA_Logging_${TIME_MARK}"
LO_TB="LogDB.LOG_${TIME_MARK}"
# 对表查询结果输出到Excel文件：OUT FILE
OUT_FILE="/data/${TIME_MARK}_log.xls"
# 定义通用函数，从表里查询数据结果
GET_INFO()
{
ipfile=$1
tbname=$2
cat $ipfile|while read line
do
IP=`echo $line|awk -F' ' '{print $1}'`
MYSQL_CMD="/usr/local/mysql/bin/mysql -uadmin -padmin -h${IP} -P9306"
SQL="SELECT ServiceName,LoggerName,COUNT(LoggerName) AS count_num FROM ${tbname} GROUP BY LoggerName ORDER BY count_num DESC LIMIT 10;"
$MYSQL_CMD -NBe"${SQL}" >>${OUT_FILE}
echo "$IP:ok"
done
}
# 执行调用
#
GET_INFO "${IP_FILE1}" "${HA_TB}"
GET_INFO "${IP_fILE2}" "${LO_TB}"
完结！