shell处理文件中的重复记录

awk '! a[$0]++' 4.txt >5.txt
这个是删除文件中所有列都重复的记录
awk '! a[$1]++' 5.txt >6.txt
删除文件中第一列重复的记录
awk '! a[$1,$2]++' 5.txt >6.txt
删除文件中第一，二列都重复的记录