cat file1.txt  file2.txt fileN.txt > allfile.txt
sort allfile.txt | uniq >newfile.txt
效果不错,测试了一下2500w数据,2分钟不到就去重并排序完毕。

点击收藏 | 0 关注 | 0
登录 后跟帖