awk 处理大文件问题
时间:2007-08-29 来源:scode
去年这个时候的一个测试:
apache日志文件1.6G,一共1600多万行。我用awk '{print $1}' access_log 发现出现错误
awk: input record `61.132.138.150 - - [...' too long
input record number 710342, file access_log
source line 1 of program << {print $1} >> 我删除了第710342行,还是一样出错。原因不明,可能是文件行数太多了。看来用awk确实不行。
后来我用了sed 's/\(.*\) - - .*/\1/' access_log处理的。 PS:大文件的处理最好用sed做。准确些。
awk: input record `61.132.138.150 - - [...' too long
input record number 710342, file access_log
source line 1 of program << {print $1} >> 我删除了第710342行,还是一样出错。原因不明,可能是文件行数太多了。看来用awk确实不行。
后来我用了sed 's/\(.*\) - - .*/\1/' access_log处理的。 PS:大文件的处理最好用sed做。准确些。
相关阅读 更多 +