shell编程之awk命令详解
awk从入门到放弃

awk 去重 重复的数据只保留一条

##去重，重复的数据只保留一条
##1. 内容输出到终端 (以下两个效果一样)
cat test.sql | awk '!a[$0]++{print}'
cat test.sql | awk '!a[$1]++{print}'
##2. 内容输出到文件
awk '!a[$0]++' test.sql >> test-1.sql

awk 去重 只显示重复行

##去重，只显示重复行
##1. 内容输出到终端
cat test.sql| awk 'a[$0]++{print}'
##2. 内容输出到文件
awk 'a[$0]++' test.sql >> test-2.sql