我想在
Linux中使用数以百万行的字符串洗牌一个大文件.我尝试’sort -R’但是它非常慢(对于16M大文件,需要50分钟).有更快的实用程序,我可以在它的地方使用吗?
解决方法
使用shuf而不是排序-R(
man page).
排序-R的缓慢是probably due to it hashing every line.Shuf只是一个随机排列,所以它没有这个问题.
(这是在评论中提出的,但由于某些原因没有被写为任何人的答案)
我想在
Linux中使用数以百万行的字符串洗牌一个大文件.我尝试’sort -R’但是它非常慢(对于16M大文件,需要50分钟).有更快的实用程序,我可以在它的地方使用吗?
使用shuf而不是排序-R(
man page).
排序-R的缓慢是probably due to it hashing every line.Shuf只是一个随机排列,所以它没有这个问题.
(这是在评论中提出的,但由于某些原因没有被写为任何人的答案)
【声明】:丽水站长网内容转载自互联网,其相关言论仅代表作者个人观点绝非权威,不代表本站立场。如您发现内容存在版权问题,请提交相关链接至邮箱:bqsm@foxmail.com,我们将及时予以处理。