Shell编程基础

前言

Shell 既是一种脚本编程语言，也是一个连接内核和用户的软件。Shell 将内核、程序和用户连接了起来。
任何代码最终都要被“翻译”成二进制的形式才能在计算机中执行。

有的编程语言，如 C/C++、Pascal、Go语言、汇编等，必须在程序运行之前将所有代码都翻译成二进制形式，也就是生成可执行文件，用户拿到的是最终生成的可执行文件，看不到源码。

这个过程叫做编译（Compile），这样的编程语言叫做编译型语言，完成编译过程的软件叫做编译器（Compiler）。

而有的编程语言，如 Shell、JavaScript、Python、PHP等，需要一边执行一边翻译，不会生成任何可执行文件，用户必须拿到源码才能运行程序。程序运行后会即时翻译，翻译完一部分执行一部分，不用等到所有代码都翻译完。

这个过程叫做解释，这样的编程语言叫做解释型语言或者脚本语言（Script），完成解释过程的软件叫做解释器。

编译型语言的优点是执行速度快、对硬件要求低、保密性好，适合开发操作系统、大型应用程序、数据库等。

脚本语言的优点是使用灵活、部署容易、跨平台性好，非常适合Web开发以及小工具的制作。

Shell 就是一种脚本语言，我们编写完源码后不用编译，直接运行源码即可。

如今的 IT 服务器领域是 Linux、UNIX、Windows 三分天下。Linux 在服务器上的应用非常广泛，可以用来搭建Web服务器、数据库服务器、负载均衡服务器（CDN）、邮件服务器、DNS服务器、反向代理服务器、VPN服务器、路由器等。

常见的 Shell 有 sh、bash、csh、tcsh、ash 等，常用bash。

基础知识

• 查看shell： cat /etc/shells

• 输出shell环境变量： echo $SHELL

• Shell 通过PS1和PS2两个环境变量来控制提示符格式：
  PS1 控制最外层命令行的提示符格式。
  PS2 控制第二层命令行的提示符格式。
  echo $PS1
echo $PS2

• 多行输出：

echo "  
>one  
>two  
>three
>"

• 外部赋值read

#!/bin/bash
# Author : mozhiyan
# Copyright (c) http://see.xidian.edu.cn/cpp/linux/
# Script follows here:
echo "What is your name?"
read PERSON #read 命令从 stdin 获取输入并赋值给 PERSON 变量
echo "Hello, $PERSON"

• 变量定义
  脚本语言在定义变量时通常不需要指明类型，直接赋值就可以。Bash shell 在默认情况下不会区分变量类型，即使你将整数和小数赋值给变量，它们也会被视为字符串。
  注意，赋值时变量不加$，且赋值号的周围不能有空格

variable=value  #value不含空白符
variable='value' #不能解析变量和命令
variable="value" #可解析变量和命令

url="http://c.biancheng.net"
website1='test1：${url}' 
website2="test2：${url}"
echo $website1 #test1：${url}
echo $website2 #test2：http://c.biancheng.net

#定义变量时加双引号是最常见的使用场景。

• 使用变量
  使用一个定义过的变量，只要在变量名前面加美元符号$即可。

author="严长生"
echo $author
echo ${author} #为了帮助解释器识别变量的边界

skill="Java"
echo "I am good at ${skill}Script"

#推荐给所有变量加上花括号{ }，这是个良好的编程习惯。

• 命令结果赋值给变量

variable=`cd ~;ls;pwd`
variable=$(cd ~;ls;pwd)
log=$(cat log.txt)

• 修改变量

url="test1"
url="test2"
readonly url #设为只读变量
url="test3" #error

• 删除变量

unset variable
unset url #不能删除只读变量

• 特殊变量

$0	当前脚本的文件名
$n	传递给脚本或函数的参数。n 是一个数字，表示第几个参数。例如，第一个参数是$1，第二个参数是$2。
$#	传递给脚本或函数的参数个数。
$*	传递给脚本或函数的所有参数。
$@	传递给脚本或函数的所有参数。被双引号(" ")包含时，与 $* 稍有不同，下面将会讲到。
$?	上个命令的退出状态(一般成功返回0，失败返回1)，或函数的返回值。
$$	当前Shell进程ID。对于 Shell 脚本，就是这些脚本所在的进程ID。

#$* 和 $@ 的区别
不被双引号(" ")包含时，都以"$1" "$2" … "$n" 的形式输出所有参数。
被双引号(" ")包含时，"$*" 会将所有的参数作为一个整体，以"$1 $2 … $n"的形式输出所有参数；"$@" 会将各个参数分开，以"$1" "$2" … "$n" 的形式输出所有参数。

其他特殊变量和字符：
https://cloud.tencent.com/developer/article/1176708

• shell替换

# 转义字符  
\\ \a \b \f \n \r \t \v......
#!/bin/bash
a=10
echo -e "Value of a is $a \n"
# -e 表示对转义字符进行替换。如果不使用 -e 选项，将会原样输出：Value of a is 10\n。 
可以使用 echo 命令的 -E 选项禁止转义，默认也是不转义的；使用 -n 选项可以禁止插入换行符。

# 命令替换  
#!/bin/bash
DATE=`date`
echo "Date is $DATE"
USERS=`who | wc -l`
echo "Logged in user are $USERS"
UP=`date ; uptime`
echo "Uptime is $UP"

# 变量替换 
根据变量的状态（是否为空、是否定义等）来改变它的值。
${var:-word}	如果变量 var 为空或已被删除(unset)，那么返回 word，但不改变 var 的值。
${var:=word}	如果变量 var 为空或已被删除(unset)，那么返回 word，并将 var 的值设置为 word。
${var:+word}	如果变量 var 被定义，那么返回 word，但不改变 var 的值。
${var:?message} 如果变量 var 为空或已被删除(unset)，那么将消息 message 送到标准错误输出，可以用来检测变量 var 是否可以被正常赋值。

• shell运算符
  原生bash不支持简单的数学运算，但是可以通过awk 和 expr等其他命令来实现，expr 最常用。

#!/bin/bash
val=`expr 2 + 2`
echo "Total value : $val"

#1.算术运算符  
+ - * / % == !=

#!/bin/sh
a=10
b=20
val=`expr $a + $b`
echo "a + b : $val"

val=`expr $a \* $b` #需加转义符
echo "a * b : $val"

val=`expr $b / $a`
echo "b / a : $val"

val=`expr $b % $a`
echo "b % a : $val"

if [ $a == $b ]
then
   echo "a is equal to b"
fi

if [ $a != $b ]
then
   echo "a is not equal to b"
fi

#2.关系运算符  
-eq -ne -gt -lt -ge -le
关系运算符只支持数字，不支持字符串，除非字符串的值是数字。

#!/bin/sh

a=10
b=20
if [ $a -eq $b ]
then
   echo "$a -eq $b : a is equal to b"
else
   echo "$a -eq $b: a is not equal to b"
fi

#3.布尔运算符  
！(非) -o(或) -a(与)

#!/bin/sh
a=10
b=20
if [ $a -lt 100 -o $b -gt 100 ]
then
   echo "$a -lt 100 -o $b -gt 100 : returns true"
else
   echo "$a -lt 100 -o $b -gt 100 : returns false"
fi

#4.字符串运算符  
= 
!= 
-z(长度是否为0,0为TRUE) 
-n(长度是否为0,0为FALSE) 
str(字符串是否为空，不为空TRUE)

#!/bin/sh
a="abc"
b="efg"

if [ $a != $b ]
then
   echo "$a != $b : a is not equal to b"
else
   echo "$a != $b: a is equal to b"
fi

if [ -z $a ]
then
   echo "-z $a : string length is zero"
else
   echo "-z $a : string length is not zero"
fi

if [ $a ]
then
   echo "$a : string is not empty"
else
   echo "$a : string is empty"
fi

#5.文件测试运算符  
用于检测 Unix 文件的各种属性：
-e 文件/目录是否存在
-d 是否为目录
-f 是否为普通文件（不是目录和设备文件）
-s 文件是否为空
-r 是否可读
-w 可写
-x 可执行
-b 块特殊文件
-c 字符型特殊文件
-g -k -p -u ......

#!/bin/sh
file="/var/www/tutorialspoint/unix/test.sh"
if [ -e $file ]
then
   echo "File exists"
else
   echo "File does not exist"
fi

• shell注释
  批量注释：
  0.每行加#（麻烦，但是最保险）；
  1.将{}括起来定义为一个函数，不进行调用；
  2.<<EOF ...EOF；
  3.'...' （最简单，但会有风险，如不会注释脚本中本身带有单引号的语句部分，一般临时用用）。

• shell字符串

#单引号
str='this is a string' #不能内插变量和转义

#双引号
your_name='qinjx'
str="Hello, I know your are \"$your_name\"! \n"

#字符串拼接
your_name="qinjx"
greeting="hello, "$your_name" !"
greeting_1="hello, ${your_name} !"
echo $greeting $greeting_1

#获取字符串长度
string="abcd"
echo ${#string} # 输出4

#提取子字符串
string="alibaba is a great company"
echo ${string:1:4} #输出liba

#查找子字符串
string="alibaba is a great company"
echo `expr index "$string" is` #输出3。查找string中is的索引，实际上以第一个字符i为主，因此为3

• shell数组
  bash仅支持一维数组。

#定义数组
array=(0 1 2 3 4) #下标从0开始，元素注意是空格
或
array=(
0
1
2
3
4
)
或
array[0]=0  #单独定义各分量
array[1]=1
array[2]=2

#读取数组
${array[index]}
value=${array[2]}

读取数组中所有元素：
${array[*]}
或
${array[@]}

#获取数组长度
与获取字符串长度的方法相同：
length=${#array[@]}
或
length=${#array[*]}

length1=${#array[0]} #获取数组元素长度

命令与结构控制

• echo命令
  echo后隐式自带换行符\n

echo "\"It is a test\""  #"It is a test"

name="OK"
echo "$name It is a test" #OK It is a test

#如果变量与其它字符相连的话，需要使用大括号{ }
mouth=8
echo "${mouth}-1-2009"  #8-1-2009

echo "OK!\n" #原样输出OK!\n
echo "It is a test" 

echo -e "OK!\n" 
echo "It is a test"  #加入了一个空行

echo -e "OK!\nthis a test"

echo "It is a test" > myfile

echo `date`

• sprintf命令
  由 POSIX 标准所定义，移植性要比 echo 好。

printf "Hello, Shell\n"  #Hello,Shell 不同于echo，必须显式添加换行符\n

#格式化输出：
printf "%d %s\n" 1 "abc"  # 1 abc 加双引号
printf '%d %s\n' 1 "abc"  #加单引号
printf %s abcdef  #不加引号
printf "%s and %d \n" # and 0 若无参数，%s 用NULL代替，%d 用 0 代替

printf "%-10s %-8s %-4.2f\n" GuoFu female 47.9876
#GuoFu      female   47.99
#%s %c %d %f都是格式替代符，%-10s 指一个宽度为10个字符（-表示左对齐，没有则表示右对齐），任何字符都会被显示在10个字符宽的字符内，如果不足则自动以空格填充，超过也会将内容全部显示出来。
%-4.2f 指格式化为小数，其中.2指保留2位小数。

• if ... else 语句
  最后必须以 fi 来结尾闭合 if，fi 就是 if 倒过来拼写。
  注意：表达式和方括号[ ]之间必须有空格，否则会有语法错误。

#!/bin/sh
a=10
b=20
if [ $a == $b ]
then
   echo "a is equal to b"
fi

#if ... elif ... fi 语句对多个条件进行判断:

#!/bin/sh
a=10
b=20
if [ $a == $b ]
then
   echo "a is equal to b"
elif [ $a -gt $b ]
then
   echo "a is greater than b"
elif [ $a -lt $b ]
then
   echo "a is less than b"
else
   echo "None of the condition met"
fi

#if ... else 语句也经常与 test 命令结合使用，test 命令用于检查某个条件是否成立，与方括号[ ]类似。
#简写成一行，以命令的方式来运行
if test $[2*3] -eq $[1+5]; then echo 'The two numbers are equal!'; fi;

• test命令
  用于检查某个条件是否成立，它可以进行数值、字符和文件三个方面的测试。

#数值测试
-eq -ne -gt -ge -lt -le

num1=100
num2=100
if test $[num1] -eq $[num2]
then
    echo 'The two numbers are equal!'
else
    echo 'The two numbers are not equal!'
fi

#字符串测试
= != -z -n

num1=jesse
num2=jessi
if test num1=num2
then
    echo 'The two strings are equal!'
else
    echo 'The two strings are not equal!'
fi

#文件测试  
-e -r -w -x -s -d -f -c -b 

cd /bin
if test -e ./bash
then
    echo 'The file already exists!'
else
    echo 'The file does not exists!'
fi

#与逻辑操作符连用  
！ -o(或) -a

cd /bin
if test -e ./notFile -o ./bash
then
    echo 'One file exists at least!'
else
    echo 'Both dose not exists!'
fi

• case...esac语句
  多分支选择结构，与其他语言中的 switch...case 语句类似。格式如下：

case 值 in
模式1)
    command1
    command2
    command3
    ;;
模式2）
    command1
    command2
    command3
    ;;
*)
    command1
    command2
    command3
    ;;
esac

取值后面必须为关键字in，每一模式必须以右括号结束。取值可以为变量或常数。匹配发现取值符合某一模式后，其间所有命令开始执行直至 ;;。;; 与其他语言中的 break 类似，意思是跳到整个 case 语句的最后。
取值将检测匹配的每一个模式。一旦模式匹配，则执行完匹配模式相应命令后不再继续其他模式。如果无一匹配模式，使用星号 * 捕获该值，再执行后面的命令。

echo 'Input a number between 1 to 4'
echo 'Your number is:\c'
read aNum
case $aNum in
    1)  echo 'You select 1'
    ;;
    2)  echo 'You select 2'
    ;;
    3)  echo 'You select 3'
    ;;
    4)  echo 'You select 4'
    ;;
    *)  echo 'You do not select a number between 1 to 4'
    ;;
esac

实际应用中，常用于传参：运行sh，不加参数，或加-f/-d参数的结果

#!/bin/bash

option="${1}"
case ${option} in
   -f) FILE="${2}"
      echo "File name is $FILE"
      ;;
   -d) DIR="${2}"
      echo "Dir name is $DIR"
      ;;
   *) 
      echo "`basename ${0}`:usage: [-f file] | [-d directory]"
      exit 1 # Command to come out of the program with status 1
      ;;
esac

如shell脚本在流程中传参：

• for循环
  一般格式：

for 变量 in 列表
do
    command1
    command2
    ...
    commandN
done

列表是一组值（数字、字符串等）组成的序列，每个值通过空格分隔。每循环一次，就将列表中的下一个值赋给变量。
in 列表是可选的，如果不用它，for 循环使用命令行的位置参数。

for loop in 1 2 3 4 5
do
    echo "The value is: $loop"
done

for str in 'This is a string'
do
    echo $str
done

#!/bin/bash
for FILE in $HOME/.bash* #显示主目录下以 .bash开头的文件
do
   echo $FILE
done

• while循环
  while循环用于不断执行一系列命令，也用于从输入文件中读取数据；命令通常为测试条件,命令执行完毕，控制返回循环顶部，从头开始直至测试条件为假。其格式为：

while command
do
   Statement(s) to be executed if command is true
done

示例：

COUNTER=0
while [ $COUNTER -lt 5 ]
do
    COUNTER='expr $COUNTER+1'
    echo $COUNTER
done

while循环可用于读取键盘信息。在生信中，经常用于批量处理同路径下文件：

echo 'type <CTRL-D> to terminate'
echo -n 'enter your most liked film: '
while read FILM
do
    echo "Yeah! great film the $FILM"
done

while read ID
do
    command $ID
done

• until循环
  与 while 循环在处理方式上刚好相反。一般while循环优于until循环，但在某些时候，也只是极少数情况下，until 循环更加有用。

#!/bin/bash
a=0
until [ ! $a -lt 10 ]
do
   echo $a
   a=`expr $a + 1`
done

• 跳出循环
  Shell也使用 break 和 continue 来强制跳出循环。
  break立即跳出所有循环

#!/bin/bash
while :
do
    echo -n "Input a number between 1 to 5: "
    read aNum
    case $aNum in
        1|2|3|4|5) echo "Your number is $aNum!"
        ;;
        *) echo "You do not select a number between 1 to 5, game is over!"
            break
        ;;
    esac
done

break n可以指定跳出第几层循环

#!/bin/bash
for var1 in 1 2 3
do
   for var2 in 0 5
   do
      if [ $var1 -eq 2 -a $var2 -eq 0 ]
      then
         break 2 #当var1等于2，且var2等于0时，直接跳出外层循环
      else
         echo "$var1 $var2"
      fi
   done
done

continue跳出当前循环

#!/bin/bash
while :
do
    echo -n "Input a number between 1 to 5: "
    read aNum
    case $aNum in
        1|2|3|4|5) echo "Your number is $aNum!"
        ;;
        *) echo "You do not select a number between 1 to 5!"
            continue
            echo "Game is over!" #永远不会执行
        ;;
    esac
done


#!/bin/bash
NUMS="1 2 3 4 5 6 7"
for NUM in $NUMS
do
   Q=`expr $NUM % 2`
   if [ $Q -eq 0 ]
   then
      echo "Number is an even number!!" #偶数
      continue
   fi
   echo "Found odd number"
done

continue 后面也可以跟一个数字，表示跳出第几层循环。一般不会这么用。

• shell函数
  Shell 函数必须先定义后使用。定义格式：

function_name () {
    list of commands
    [ return value ]
}

Shell 函数返回值只能是整数，一般用来表示函数执行成功与否，0表示成功，其他值表示失败。默认最后一条命令运行结果作为返回值。
如果一定要让函数返回字符串，那么可以先定义一个变量，用来接收函数的计算结果，脚本在需要的时候访问这个变量来获得函数返回值。
调用函数只需要给出函数名，不需要加括号。

#!/bin/bash
funWithReturn(){
    echo "The function is to get the sum of two numbers..."
    echo -n "Input first number: "
    read aNum
    echo -n "Input another number: "
    read anotherNum
    echo "The two numbers are $aNum and $anotherNum !"
    return $(($aNum+$anotherNum)) #需要两个括号
}
funWithReturn
# Capture value returnd by last command
ret=$?
echo "The sum of two numbers is $ret !"

函数嵌套

#!/bin/bash
# Calling one function from another
number_one () {
   echo "Url_1 is http://see.xidian.edu.cn/cpp/shell/"
   number_two
}
number_two () {
   echo "Url_2 is http://see.xidian.edu.cn/cpp/u/xitong/"
}
number_one

删除函数：
unset .f function_name

• shell函数参数
  在函数体内部，通过$n的形式来获取参数的值，例如，$1表示第一个参数，$2表示第二个参数...

#!/bin/bash
funWithParam(){
    echo "The value of the first parameter is $1 !"
    echo "The value of the second parameter is $2 !"
    echo "The value of the tenth parameter is $10 !"
    #注意，$10 不能获取第十个参数，获取第十个参数需要${10}。当n>=10时，需要使用${n}来获取参数。
    echo "The value of the tenth parameter is ${10} !"
    echo "The value of the eleventh parameter is ${11} !"
    echo "The amount of the parameters is $# !"  # 参数个数
    echo "The string of the parameters is $* !"  # 传递给函数的所有参数
}
funWithParam 1 2 3 4 5 6 7 8 9 34 73

• shell输入输出重定向
  默认从标准输入设备(stdin)获取输入，将结果输出到标准输出设备(stdout)显示。一般情况下，标准输入设备就是键盘，标准输出设备就是终端，即显示器。
  输出重定向：

command >file

who > users
echo line 1 >users #输出重定向会覆盖文件内容
echo line 2 >> users #不希望文件内容被覆盖，可以使用>>追加到文件末尾

输入重定向：
从文件读取内容。

wc -l users  #2 users。会输出文件名
wc -l < users  #2。不会输出文件名，因为它仅仅从标准输入读取内容

重定向符号:
标准输入文件(stdin)：stdin的文件描述符为0，Unix程序默认从stdin读取数据。
标准输出文件(stdout)：stdout 的文件描述符为1，Unix程序默认向stdout输出数据。
标准错误文件(stderr)：stderr的文件描述符为2，Unix程序会向stderr流中写入错误信息。

command 2 > file  #stderr重定向到file
command 2 >> file
command > file 2>&1 #将stdout和stderr合并后重定向到file
command >> file 2>&1
command < file1 >file2 #对stdin和stdout都重定向,将stdin重定向到file1，将stdout重定向到file2。 

Here document(嵌入文档)
Shell 中的一种特殊的重定向方式。形式如下：

command << delimiter
    document
delimiter

它的作用是将两个delimiter(后一个顶格写)之间的内容(document) 作为输入传递给 command。

wc -l << EOF
    This is a simple lookup program
    for good (and bad) restaurants
    in Cape Town.
EOF

/dev/null文件
如果希望执行某个命令，但又不希望在屏幕上显示输出结果，那么可以将输出重定向到 /dev/null。 /dev/null 是一个特殊的文件，写入到它的内容都会被丢弃；如果尝试从该文件读取内容，那么什么也读不到。但是 /dev/null 文件非常有用，将命令的输出重定向到它，会起到”禁止输出“的效果。

command > /dev/null

command > /dev/null 2>&1  #屏蔽 stdout 和 stderr

• shell调用
  像其他语言一样，Shell 也可以包含外部脚本，将外部脚本的内容合并到当前脚本。

. filename （点号后有空格），更常用。  
或 source filename

示例：

#被调用脚本 subscript.sh内容:
url="http://see.xidian.edu.cn/cpp/view/2738.html"

#主文件 main.sh内容：
#!/bin/bash
. ./subscript.sh
echo $url

#执行：
chomd +x main.sh
./main.sh

注意：被包含脚本不需要有执行权限。

Ref: http://c.biancheng.net/cpp/shell/