UTF-8文本文件头部出现乱码“锘*”的问题及解决方法
2015-01-27 17:18
471 查看
昨天发现一个ini配置文件,在某些机器上修改后程序无法识别的问题。DBinfo_old是修改后,DBinfo.ini是修改前。
同一份程序,可以正确识别DBinfo.ini中的DBAddress等内容,但是不能识别DBinfo_old中的内容。使用UltraEdit打开内容也一样。
但是使用UltraEdit的16进制查看功能,却发现DBinfo_old的头部多出了3个字节:EF BB BF,而EF BB和BF 5B恰好表示锘字和縖字,其中5B是左方括号。
并且在Linux上也能看出两者的不同:
最后想到应该是DOM作祟,用UltraEdit的另存为功能验证了一下,果然如此:
当把文件编码选为UTF-8时,系统会自动在文件头部添加上EF BB BF这三个字节,而选为UTF-8 NO BOM时会自动去掉这三个字节。
附:
关于BOM是什么,引用zhangwei@lenovots.com一段话来解释一下,以下是引文:
对比发现文本装换程序导致转换后的文本出现多于站位符,二进制表示为EF BB EF:
所谓的EF BB EF问题,其实是UTF-8文件的Unicode签名BOM(Byte Order Mark)问题,在JSP和PHP开发中都经常碰到。
BOM(Byte Order Mark),是UTF编码方案里用于标识编码的标准标记,在UTF-16里本来是FF FE,变成UTF-8就成了EF BB BF。这个标记是可选的,因为UTF8字节没有顺序,所以它可以被用来检测一个字节流是否是UTF-8编码的。微软做这种检测,但有些软件不做这种检测,而把它当作正常字符处理。
微软在自己的UTF-8格式的文本文件之前加上了EF BB BF三个字节, windows上面的notepad等程序就是根据这三个字节来确定一个文本文件是ASCII的还是UTF-8的, 然而这个只是微软暗自作的标记, 其它平台上并没有对UTF-8文本文件做个这样的标记。
(以上引自http://kms.lenovots.com/kb/article.php?id=3354)
最后要注意一点,不同版本的UltraEdit,在点保存时的默认选项不同,版本15会默认选择UTF-8(With BOM)而版本18则会默认选择UTF-8 NO BOM。
同一份程序,可以正确识别DBinfo.ini中的DBAddress等内容,但是不能识别DBinfo_old中的内容。使用UltraEdit打开内容也一样。
但是使用UltraEdit的16进制查看功能,却发现DBinfo_old的头部多出了3个字节:EF BB BF,而EF BB和BF 5B恰好表示锘字和縖字,其中5B是左方括号。
并且在Linux上也能看出两者的不同:
最后想到应该是DOM作祟,用UltraEdit的另存为功能验证了一下,果然如此:
当把文件编码选为UTF-8时,系统会自动在文件头部添加上EF BB BF这三个字节,而选为UTF-8 NO BOM时会自动去掉这三个字节。
附:
关于BOM是什么,引用zhangwei@lenovots.com一段话来解释一下,以下是引文:
对比发现文本装换程序导致转换后的文本出现多于站位符,二进制表示为EF BB EF:
所谓的EF BB EF问题,其实是UTF-8文件的Unicode签名BOM(Byte Order Mark)问题,在JSP和PHP开发中都经常碰到。
BOM(Byte Order Mark),是UTF编码方案里用于标识编码的标准标记,在UTF-16里本来是FF FE,变成UTF-8就成了EF BB BF。这个标记是可选的,因为UTF8字节没有顺序,所以它可以被用来检测一个字节流是否是UTF-8编码的。微软做这种检测,但有些软件不做这种检测,而把它当作正常字符处理。
微软在自己的UTF-8格式的文本文件之前加上了EF BB BF三个字节, windows上面的notepad等程序就是根据这三个字节来确定一个文本文件是ASCII的还是UTF-8的, 然而这个只是微软暗自作的标记, 其它平台上并没有对UTF-8文本文件做个这样的标记。
(以上引自http://kms.lenovots.com/kb/article.php?id=3354)
最后要注意一点,不同版本的UltraEdit,在点保存时的默认选项不同,版本15会默认选择UTF-8(With BOM)而版本18则会默认选择UTF-8 NO BOM。
相关文章推荐
- Java:InputStream读取文本文件内容出现乱码问题的解决方法
- 读取文本出现 锘 * 系列乱码错误(UTF-8 BOM问题)的原因及解决方法
- IO 流读取文件时候出现乱码 文件编码格式问题 怎么转换解决方法
- Python遍历zip文件输出名称时出现乱码问题的解决方法
- Java读取UTF-8格式txt文件第一行出现乱码——问号“?”及解决;Java读带有BOM的UTF-8文件乱码原因及解决方法
- [经验总结]Windows Vim打开utf-8文件乱码问题的解决方法
- eclipse打开文本文件出现乱码解决方法
- CCS6中文件出现中文乱码问题解决方法
- Java读取UTF-8格式txt文件第一行出现乱码——问号“?”及解决;Java读带有BOM的UTF-8文件乱码原因及解决方法
- Ubuntu系统下Gedit 打开windows下的文本文件出现乱码解决方法
- Java读取UTF-8格式txt文件第一行出现乱码——问号“?”及解决;Java读带有BOM的UTF-8文件乱码原因及解决方法
- Java读取UTF-8格式文件第一行出现乱码——问号“?”及解决 And Java读带有BOM的UTF-8文件乱码原因及解决方法
- Java读取UTF-8格式txt文件第一行出现乱码——问号“?”及解决;Java读带有BOM的UTF-8文件乱码原因及解决方法
- IO 流读取文件时候出现乱码 文件编码格式问题 怎么转换解决方法
- Java读取UTF-8格式文件第一行出现乱码——问号“?”及解决 And Java读带有BOM的UTF-8文件乱码原因及解决方法
- 安卓(JAVA)读取Mp3文件中的歌曲信息(及readLine()出现乱码问题的解决方法)
- Java读取UTF-8格式txt文件第一行出现乱码——问号“?”及解决;Java读带有BOM的UTF-8文件乱码原因及解决方法
- Java读取UTF-8格式txt文件第一行出现乱码——问号“?”及解决;Java读带有BOM的UTF-8文件乱码原因及解决方法
- android GBK转UTF-8出现乱码问题解决方法
- Java读取UTF-8格式txt文件第一行出现乱码——问号“?”及解决;Java读带有BOM的UTF-8文件乱码原因及解决方法