[转]处理文件CRLF line terminators的问题

[转]处理文件CRLF line terminators的问题

2012-08-09 17:01:43| 分类： linux|字号 订阅

今天在处理一个文件的时候发现无法实现
我的操作如下
grep -E "*beta$" fileA
大概就是抽取每行以beta为结尾。 但是在抽取的时候发现如何都得不到结果
尝试以awk来操作 awk '{if($0~/beta$/) print $0}' file A
也得不到结果
最后我将文本的内容拷贝到另外一个文件里。 用同样的方法来操作。 可以得到完整的结果。
于是考虑是否是文件的问题。
因为这个文件是我从windows下编辑然后拷贝到服务器上的。于是file文件的时候发现
fileA: ASCII text, with CRLF line terminators

然后查看自己复制文本生成的文件
fileB: ASCII text

其中with CRLF line terminators 应该是windows生成文件时的不同。
估计是windows传过来的时候因为格式的问题在文本中有隐藏的字符。所以在查询结尾的时候无法得到结果。
dos2unix fileA

grep -E "*beta$" fileA

OK 解决

----------------------以下是转的 我的参考------------------------------------

今天协助研发去处理一份文件对比的事情，就是对比file1.log和file2.log中相同重复的行。

发现很容易实现，直接：

$ for i in `cat file1.log`; do grep $i ./file2.log; done > sameline.log

结果就发现只有一条，研发的同学说至少有上万条记录，我开始找原因：

先输出测试看看格式什么的对不对：

$ for i in `cat file1.log`; do echo "AAA"$i"BBB"; done

BBBxxxxxxxxxxx05_ok

BBBxxxxxxxxxxx06_ok

BBBxxxxxxxxxxx07_ok

BBBxxxxxxxxxxx08_ok

调试一下，发现输出的两端的字符，会选择长度较大的放在最左侧（可以自己试试哈），我一直觉得和换行符有关系，实际上是文件格式的问题。

我最终file了一下源文件和自己再终端随便写的test.log

$ file file1.log

file1.log: ASCII text, with CRLF line terminators

$ file test.log

test.log: ASCII text

终于发现端倪，原来是之前的研发给的结果是win下处理的，是windows的某种格式，没有细究，有兴趣的同学自己去研究文件的格式吧。

总之解决问题最重要：

$ dos2unix file1.log file2.log

file1.logdos2unix: converting file tile1.log to UNIX format ...

file2.logdos2unix: converting file tile2.log to UNIX format ...

测试一下：

$ for i in `cat file1.log`; do echo "AAA"$i"BBB"; done

AAAxxxxxxxxxxx05_okBBB

AAAxxxxxxxxxxx06_okBBB

AAAxxxxxxxxxxx07_okBBB

AAAxxxxxxxxxxx08_okBBB

OK，问题解决。