nginx的web目录下处理中文文件和文件夹以及编码格式问题

有时候网站的根目录下有中文文件名或者文件夹时，在客户端进行访问这些相关文件时就会 出现显示的问题。

下面尝试了一些方法解决，可用。

[root@testandqa0101 ~]# echo $LANG
en_US.UTF-8
[root@testandqa0101 ~]# cat /etc/sysconfig/i18n
LANG="en_US.UTF-8"
SYSFONT="latarcyrheb-sun16"
#LANG="zh_CN.GB18030"
#LANGUAGE="zh_CN.GB18030:zh_CN.GB2312:zh_CN"
#SUPPORTED="zh_CN.UTF-8:zh_CN:zh:en_US.UTF-8:en_US:en"
#SYSFONT="lat0-sun16"
[root@testandqa0101 ~]# cat /etc/nginx/nginx.conf

user nginx;
worker_processes 2;

error_log /var/log/nginx/error.log warn;
pid /var/run/nginx.pid;

events {
worker_connections 1024;
}

http {

include /etc/nginx/mime.types;
default_type application/octet-stream;

log_format main '$remote_addr - $remote_user [$time_local] "$request" '
'$status $body_bytes_sent "$http_referer" '
'"$http_user_agent" "$http_x_forwarded_for"';

access_log /var/log/nginx/access.log main;

sendfile on;
#tcp_nopush on;

keepalive_timeout 65;

#gzip on;
charset utf-8;
include /etc/nginx/conf.d/*.conf;

这个时候我们需要把网站目录下的文件夹 和文件的名字字符集格式转化为UTF-8。此时就会用到工具convmv。

convmv 可以从http://j3e.de/linux/convmv 下载，

tar -zxvf convmv-1.14.tar.gz

cd convmv-1.14

make clean;

make install;

如：

./convmv -f GB2312 -t UTF-8 -r --nosmart --notest userfiles/*.*

以上表示 userfiles下的所有文件的文件名由GB2312转换为UTF-8

有时候需要确定文件内容编码格式也是UTF-8，可以vim查看文件编码格式。

######################################################################

convmv能帮助我们很容易地对一个文件，一个目录下所有文件进行编码转换，比如gbk转为utf8等。
安装yum install convmv

语法：
convmv [options] FILE(S) ... DIRECTORY(S)
主要选项：
1、-f ENCODING
指定目前文件名的编码，如-f gbk
2、-t ENCODING
指定将要转换成的编码，如-f utf-8
3、-r
递归转换目录下所有文件名
4、--list
列出所有支持的编码
5、--notest
默认是只打印转换后的效果，加这个选项才真正执行转换操作。
常 用参数：-r 递归处理子文件夹–notest 真正进行操作，默认情况下是不对文件进行真实操作–list 显示所有支持的编码–unescap 可以做一下转义，比如把%20变成空格-i 交互模式（询问每一个转换，防止误操作）convmv 的使用方法：convmv -f 源编码 -t 新编码 [选项] 文件名例子：这样转换以后“GBK编码的文件名”会被转换成UTF-8编码（只是文件名编码的转换，文件内容不会发生变化）。注意：不要在NTFS和 FAT文件系统中使用此命令，否则可能产生意外结果，如果要在Linux中正确的显示NTFS和 FAT的中文件名，可以通过mount参数来解决，具体方法参考man手册。

例子：
递归转换centos目录下的目前文件名编码gbk为utf-8:

1.convmv -f gbk -t utf-8 --notest -r centos

2.代码示例:convmv -f GBK -t UTF-8 --notest -r 303i.com/*（303i.com/*为要转编码的文件的当前目录）

最后可以搜索convmv的相关用法。

####################################################

如果你需要在Linux 中操作windows下的文件 ，那么你可能会经常遇到文件 编码 转换的问题。Windows中默认的文件 格式是GBK(gb2312)，而Linux 一般都是UTF-8。下面介绍一下，在Linux 中如何查看 文件 的编码 及如何进行对文件 进行编码 转换。

查看文件编码
在Linux 中查看 文件 编码 可以通过以下几种方式：
1.在Vim 中可以直接查看文件编码
:set fileencoding
即可显示文件编码格式。
如果你只是想查看 其它编码 格式的文件 或者想解决用Vim查看 文件 乱码的问题，那么你可以在
~/.vimrc 文件 中添加以下内容：

set encoding=utf-8 fileencodings=ucs-bom,utf-8,cp936

这样，就可以让vim自动识别文件 编码 （可以自动识别UTF-8或者GBK编码 的文件 ），其实就是依照 fileencodings提供的编码 列表尝试，如果没有找到合适的编码 ，就用latin-1(ASCII)编码 打开。
2. enca (如果你的系统中没有安装这个命令，可以用sudo yum install -y enca 安装 )查看 文件 编码
$ enca filename
filename: Universal transformation format 8 bits; UTF-8
CRLF line terminators
需要说明一点的是，enca对某些GBK编码 的文件 识别的不是很好，识别时会出现：
Unrecognized encoding

文件编码转换
1.在Vim中直接进行转换文件 编码 ,比如将一个文件 转换成utf-8格式
:set fileencoding=utf-8

2. enconv 转换文件 编码 ，比如要将一个GBK编码 的文件 转换成UTF-8编码 ，操作如下
enconv -L zh_CN -x UTF-8 filename

3. iconv 转换，iconv的命令格式如下：
iconv -f encoding -t encoding inputfile
比如将一个UTF-8 编码 的文件 转换成GBK编码
iconv -f GBK -t UTF-8 file1 -o file2


Linux 文件名编码转换
从Linux 往windows拷贝文件 或者从windows往Linux 拷贝文件 ，有时会出现中文文件 名 乱码的情况，出现这种问题的原因是因为，windows的文件 名 中文编码 默认为GBK,而Linux 中默认文件 名 编码 为UTF8,由于编码 不一致，所以导致了文件 名 乱码的问题，解决这个问题需要对文件 名 进行转码。

在Linux 中专门提供了一种工具convmv进行文件 名 编码 的转换 ，可以将文件 名 从GBK转换 成UTF-8编码 ,或者从UTF-8转换 到GBK。

首先看一下你的系统上是否安装了convmv,如果没安装的话用:
yum -y install convmv
安装。
下面看一下convmv的具体用法：

convmv -f 源编码 -t 新编码 [选项] 文件 名

常用参数：
-r 递归处理子文件 夹
--notest 真正进行操作，请注意在默认情况下是不对文件 进行真实操作的，而只是试验。
--list 显示所有支持的编码
--unescap 可以做一下转义，比如把%20变成空格
比如我们有一个utf8编码 的文件 名 ，转换 成GBK编码 ，命令如下：

convmv -f UTF-8 -t GBK --notest utf8编码 的文件 名

这样转换 以后"utf8编码 的文件 名 "会被转换 成GBK编码 （只是文件 名 编码 的转换 ，文件 内容不会发生变化）。

dos 和unix 文本文件格式

dos 和unix 文本文件格式主要是回车的编码方式不同。原来unix下的回车是用0x0A表示的，而dos下的回车则是0x0D0A。可以是使用ultraedit 中的hex编辑查看。在实际工作中遇到的问题。openldap 的启动文件需要从配置文件slapd.conf 获取数据文件的目 录。 ·LANG=C grep '^directory[[:space:]]+[[:print:]]' /etc/openldap/slapd_pri.conf | sed s,^directory,,·在dos格式下始终不能正确获取到directroy的值。

转换方法：1.在windows中可以ultraedit 保存为unix格式。在linux中可以使用dos2unix工具进行转换。

2.用 vim 转换,用vim打开文本文件，用 set fileformat=unix 转换
vim test.txt
:set fileformat=unix
:wq