您的位置:首页 > 编程语言 > Delphi

Delphi判断文本文件的编码格式

2010-03-22 23:17 323 查看
今天在网上看到一位老兄写的判断记事本保存的文本的四种格式的判断,觉得非常不错。

Notepad
(记事本)只支持四种格式:
ANSI/Unicode/Unicode big endian/UFT-8
,在
Delphi
中如何判断与读取这些不同格式的文本呢?
首先,不同编码的文本,是根据文本的前两个字节来定义其编码格式的。

定义如下:

ANSI
:  
     
 
无格式定义;

Unicode

      

两个字节为
FFFE


Unicode big endian
: 
前两字节为
FEFF
; 

UTF-8
: 
    
    前两字节为
EFBB
; 

所以读写代码如下:

type
TTextFormat=(tfAnsi, tfUnicode, tfUnicodeBigEndian, tfUtf8);
const
TextFormatFlag: array[tfAnsi..tfUtf8] of word=($0000,$FFFE,$FEFF,$EFBB);
function WordLoHiExchange(w:Word):Word; register;
asm XCHG AL, AH end; { TextFormat返回文本编码类型,sText未经处理的文本 }
procedure ReadTextFile(const FileName: string; var TextFormat: TTextFormat; var sText:string);
var
w:Word;
b:Byte;
begin
with TFileStream.Create(FileName,fmOpenRead or fmShareDenyNone) do
try
Read(w,2);
w:=WordLoHiExchange(w);//因为是以Word数据类型读取,故高低字节互换
if w = TextFormatFlag[tfUnicode] then
TextFormat:= tfUnicode
else if w = TextFormatFlag[tfUnicodeBigEndian] then
TextFormat:= tfUnicodeBigEndian
else if w = TextFormatFlag[tfUtf8] then
begin
Read(b,1);//这里要注意一下,UFT-8必须要跳过三个字节。
TextFormat:=tfUtf8;
end
else
begin
TextFormat:=tfANSI;
Position:=0;
end;
SetLength(sText,Size - Position);
ReadBuffer(sText[1],Size - Position);
finally
Free;
end;
end;


经过验证ANSI和UTF-8,这个函数完全正确判定文本的格式,但是在读UTF-8文件的时候,会出现汉字乱码。事实上,我们可以利用前两个字节
来判断文本类型,而通过Utf8Decode来转换。

把上面的函数简化成一个判定格式的函数,如下,为了简单,返回值使用了String:

function GetTextType(const FileName: string): String;
var
w: Word;
b: Byte;
begin
with TFileStream.Create(FileName, fmOpenRead or fmShareDenyNone) do
try
Read(w,2);
w:=WordLoHiExchange(w);//因为是以Word数据类型读取,故高低字节互换
if w = TextFormatFlag[tfUnicode] then
Result := 'tfUnicode'
else if w = TextFormatFlag[tfUnicodeBigEndian] then
Result:= 'tfUnicodeBigEndian'
else if w = TextFormatFlag[tfUtf8] then
Result := 'tfUtf8'
else
Result := 'tfANSI';
finally
Free;
end;
end;
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签:  delphi string function