1、利用xargs进行行列转换
[root@linuxprobe test2]# seq 5
1
2
3
4
5
[root@linuxprobe test2]# seq 5 | xargs ## xargs 默认转化为1行
1 2 3 4 5
[root@linuxprobe test2]# seq 5000 | xargs | wc -l
1
[root@linuxprobe test2]# seq 50000 | xargs | wc -l ## 当行数过多时，xargs不适用
3
2、数据有多列数据时xargs仍然适用
[root@linuxprobe test2]# paste <(seq 6) <(seq 6) <(seq 6) > a.txt ## 创建测试数据
[root@linuxprobe test2]# cat a.txt
1 1 1
2 2 2
3 3 3
4 4 4
5 5 5
6 6 6
[root@linuxprobe test2]# cat a.txt | xargs ## xargs将数据自左至右排成一行
1 1 1 2 2 2 3 3 3 4 4 4 5 5 5 6 6 6
[root@linuxprobe test2]# paste <(seq 60000) <(seq 60000) <(seq 60000) > b.txt ## 创建较大的测试数据
[root@linuxprobe test2]# ls
b.txt
[root@linuxprobe test2]# wc -l b.txt
60000 b.txt
[root@linuxprobe test2]# head b.txt
1 1 1
2 2 2
3 3 3
4 4 4
5 5 5
6 6 6
7 7 7
8 8 8
9 9 9
10 10 10
[root@linuxprobe test2]# cat b.txt | xargs | wc -l ## 数据较大时不能转化为一行
8
3、xargs可以指定输出的列数
[root@linuxprobe test2]# seq 10 | xargs
1 2 3 4 5 6 7 8 9 10
[root@linuxprobe test2]# seq 10 | xargs -n 2 ##利用 -n 参数指定输出的列数
1 2
3 4
5 6
7 8
9 10
[root@linuxprobe test2]# seq 10 | xargs -n 3
1 2 3
4 5 6
7 8 9
10
[root@linuxprobe test2]# seq 10 | xargs -n 4
1 2 3 4
5 6 7 8
9 10
[root@linuxprobe test2]# seq 1000000 | xargs -n 2000 | awk '{print NF}' | head -n 3 ## 指定列数，并查看列数
2000
2000
2000
[root@linuxprobe test2]# seq 1000000 | xargs -n 20000 | awk '{print NF}' | head -n 3
20000
20000
20000
[root@linuxprobe test2]# seq 1000000 | xargs -n 200000 | awk '{print NF}' | head -n 3 ## 当指定的列数较多时不适用
23695
21844
21844
4、利用sed命令将多行转化为一行
[root@linuxprobe test2]# seq 10 > a.txt
[root@linuxprobe test2]# cat a.txt
1
2
3
4
5
6
7
8
9
10
[root@linuxprobe test2]# sed 'N;s/\n/ /' a.txt ##N可以实现将两行按照一行处理，将换行符\n替换为空格
1 2
3 4
5 6
7 8
9 10
[root@linuxprobe test2]# sed ':a; N;s/\n/ /; ta' a.txt ## 利用sed的跳转功能
1 2 3 4 5 6 7 8 9 10
[root@linuxprobe test2]# seq 100000 > a.txt
[root@linuxprobe test2]# wc -l a.txt
100000 a.txt
[root@linuxprobe test2]# time sed ':a; N;s/\n/ /; ta;' a.txt | wc -l ## 不受数据行数限制；但是随行数增加，耗时，行数多慎用
1
real 0m28.725s
user 0m28.642s
sys 0m0.005s
[root@linuxprobe test2]# paste <(seq 100) <(seq 100) <(seq 100) > a.txt
[root@linuxprobe test2]# wc -l a.txt
100 a.txt
[root@linuxprobe test2]# head -n 2 a.txt
1 1 1
2 2 2
[root@linuxprobe test2]# time sed ':a; N;s/\n/ /; ta;' a.txt | wc -l ## 数据有多列的情况同样适用
1
real 0m0.002s
user 0m0.000s
sys 0m0.003s
5、利用tr命令将多行数据转化为一行
[root@linuxprobe test2]# seq 10 > a.txt
[root@linuxprobe test2]# cat a.txt
1
2
3
4
5
6
7
8
9
10
[root@linuxprobe test2]# cat a.txt | tr "\n" " " ## 利用tr将换行符替换为空格，但是末尾没有换行符
1 2 3 4 5 6 7 8 9 10 [root@linuxprobe test2]#
[root@linuxprobe test2]# cat a.txt | tr "\n" " " | sed 's/$/\n/' ## 利用sed命令在末尾添加换行符
1 2 3 4 5 6 7 8 9 10
[root@linuxprobe test2]# time seq 100000 | tr "\n" " " | sed 's/$/\n/' | wc -l ## 测试多行，测试耗时
1
real 0m0.003s
user 0m0.002s
sys 0m0.005s
[root@linuxprobe test2]# time seq 1000000 | tr "\n" " " | sed 's/$/\n/' | wc -l
1
real 0m0.018s
user 0m0.012s
sys 0m0.019s
[root@linuxprobe test2]# time seq 10000000 | tr "\n" " " | sed 's/$/\n/' | wc -l ##不受行数限制，速度快
1
real 0m0.210s
user 0m0.012s
sys 0m0.298s
[root@linuxprobe test2]# paste <(seq 1000000) <(seq 1000000) <(seq 1000000) > a.txt
[root@linuxprobe test2]# wc -l a.txt
1000000 a.txt
[root@linuxprobe test2]# awk '{print NF}' a.txt | head -n 3
3
3
3
[root@linuxprobe test2]# time cat a.txt | tr "\n" " " | sed 's/$/\n/' | wc -l ## 数据有多列时仍然适用
1
real 0m0.046s
user 0m0.011s
sys 0m0.075s
6、利用awk命令将多行数据转化为一行
[root@linuxprobe test2]# seq 10 > a.txt
[root@linuxprobe test2]# cat a.txt
1
2
3
4
5
6
7
8
9
10
[root@linuxprobe test2]# awk BEGIN{RS=EOF}'{gsub("\n"," ");print}' a.txt ##利用awk将多行转化为一行
1 2 3 4 5 6 7 8 9 10
[root@linuxprobe test2]# time seq 100000 | awk BEGIN{RS=EOF}'{gsub("\n"," ");print}' | wc -l ##测试多行，测试耗时
1
real 0m0.014s
user 0m0.014s
sys 0m0.003s
[root@linuxprobe test2]# time seq 1000000 | awk BEGIN{RS=EOF}'{gsub("\n"," ");print}' | wc -l
1
real 0m0.124s
user 0m0.123s
sys 0m0.013s
[root@linuxprobe test2]# time seq 10000000 | awk BEGIN{RS=EOF}'{gsub("\n"," ");print}' | wc -l ##不受行数限制，时间快
1
real 0m1.243s
user 0m1.194s
sys 0m0.153s
[root@linuxprobe test2]# paste <(seq 10000000) <(seq 10000000) <(seq 10000000) <(seq 10000000) > a.txt
[root@linuxprobe test2]# wc -l a.txt
10000000 a.txt
[root@linuxprobe test2]# awk '{print NF}' a.txt | head -n 3
4
4
4
[root@linuxprobe test2]# time awk BEGIN{RS=EOF}'{gsub("\n"," ");print}' a.txt | wc -l ##数据多列的情况适用
1
real 0m9.015s
user 0m3.824s
sys 0m5.285s