DOS/Windows和Linux/Unix间文件格式和字符集转换

http://linux.chinaunix.net/techdoc/install/2009/05/31/1115342.shtml

DOS/

Windows

和Linux/Unix的文件换行回车格式不同，基于 DOS/

Windows

的文本文件在每一行末尾有一个 CR （回车）和 LF （换行），而 UNIX 文本只有一个换行。

1 ）、把Dos/Windows 下的文件移至Linux/Unix系统

虽然很多程序不在乎 DOS/Windows格式的 CR/LF文本文件，但是有几个程序却在乎——最著名的是 bash ，只要一遇到回车，它就会出问题。以下 sed调用将把 DOS/Windows格式的文本转换成可信赖的 UNIX 格式：

$ sed -e 's/.$//' mydos.txt > myunix.txt

该脚本的工作原理很简单：替代规则表达式与一行的最末字符匹配，而该字符恰好就是回车。我们用空字符替换它，从而将其从输出中彻底删除。如果使用该脚本并注意到已经删除了输出中每行的最末字符，那么，您就指定了已经是 UNIX格式的文本文件。也就没必要那样做了！

2 ）、把Linux/UNIX文本移至 Windows系统，使用以下脚本执行必需的格式转换：

$ sed -e 's/$/\r/' myunix.txt > mydos.txt

在该脚本中，'$' 规则表达式将与行的末尾匹配，而 '\r' 告诉 sed在其之前插入一个回车。在换行之前插入回车，立即，每一行就以 CR/LF结束。请注意，仅当使用 GNU sed 3.02.80或以后的版本时，才会用 CR 替换 '\r'.

iconv 的使用方法

iconv---编码转换

用法： iconv [选项...] [文件...]

有如下选项可用:

输入/输出格式规范：

-f, --from-code=名称 原始文本编码

-t, --to-code=名称 输出编码

信息：

-l, --list 列举所有已知的字符集

输出控制：

-c 从输出中忽略无效的字符

-o, --output=FILE 输出文件

-s, --silent 关闭警告

--verbose 打印进度信息

-?, --help 给出该系统求助列表

--usage 给出简要的用法信息

-V, --version 打印程序版本号

例子:

iconv -c -f utf-8 -t gb2312 aaa.txt >bbb.txt

这个命令读取aaa.txt文件，从utf-8编码转换为gb2312编码,忽略无效的字符，其输出定向到bbb.txt文件。

utf-8 和 gb2312 在 windows 上看是一样的。在linux下是有区别的。粘贴、复制utf-8编码的字都会改变其编码，变为gb2312（windows下）。只有通过ftp 才能保证它的编码不变化。