perl脚本去除文件中重复数据

今天第一天写博客,写的不好请大家多多指教,废话不多说了,干货送上:

#############################################################

#!/usr/bin/perl
use warnings;
use strict;
my %hash;
my $source_file=$ARGV[0]; #输入文件
my $dest_file = $ARGV[1];#输出文件
open (FILE,"<$source_file") or die "Cannot open file $!\n"; #打开文件
open (SORTED,">$dest_file") or die "Cannot open file $!\n";
while(defined (my $line = <FILE>))
{#从文件中取出要去重的数据
        chomp($line);#去除空格
     #$line=~ s/[\r\n]+//mg;#取出换行符 $hash{$line} += 1; } foreach my $k (keys %hash) { print SORTED "$k\n";#改行打印出列和该列出现的次数到目标文件 } close (FILE); close (SORTED);

#############################################################

将这个#号中的内容添加好以后使用chmod +x 文件名加上权限,使用“./data.pl 源文件 目标文件”命令运行即可

原文地址:https://www.cnblogs.com/dtj007/p/5113577.html