您的位置:首页 > 数据库 > MySQL

mysql字符集乱码问题

2017-04-12 20:21 190 查看
MySQL处理连接时,外部连接发送过来的SQL请求会根据以下顺序进行转换:

character_set_client           //客户连接所采用的字符集
|
character_set_connection  //MySQL连接字符集
|
character_set_database    //数据库所采用的字符集(表,列)
|
character_set_results        //客户机显示所采用的字符集

一. 产生乱码的根本原因在于:

1.客户机没有正确地设置client字符集,导致原先的SQL语句被转换成connection所指字符集,而这种转换,是会丢失信息的,如果client是utf8格式,那么如果转换成gb2312格式,这其中必定会丢失信息,反之则不会丢失。一定要保证connection的字符集大于client字符集才能保证转换不丢失信息。

2. 数据库字体没有设置正确,如果数据库字体设置不正确,那么connection字符集转换成database字符集照样丢失编码,原因跟上面一样。

二.为什么set names 'gb2312'就可以了呢

set names 'gb2312'相当于这三条语句:

set character_set_client = gb2312;

set character_set_connection = gb2312;

set character_set_results = gb2312;

这样做的话,上述产生乱码的原因1就不存在了,因为编码格式都统一了,但是这样做并不是万金油。原因有:

1.你的client不一定是用gb2312编码发送SQL的,如果编码不是gb2312那么转换成gb2312就会产生问题。

2.你的数据库中的表不一定是gb2312格式,如果不是gb2312格式而是其他的比如说latin1,那么在存储字符集的时候就会产生信息丢失。

综上,终极解决方案如下:

1.首先要明确你的客户端时候何种编码格式,这是最重要的(IE6一般用utf8,命令行一般是gbk,一般程序是gb2312)

2.确保你的数据库使用utf8格式,很简单,所有编码通吃。

3.一定要保证connection字符集大于等于client字符集,不然就会信息丢失,比如latin1<gb2312<gbk<utf8

若设置set character_set_client = gb2312,那么至少connection的字符集要大于等于gb2312,否则就会丢失信息

4.以上三步做正确的话,那么所有中文都被正确地转换成utf8格式存储进了数据库,为了适应不同的浏览器,不同的客户端,你可以修改character_set_results来以不同的编码显示中文字体,由于utf8是大方向,因此web应用是我还是倾向于使用utf8格式显示中文的。

我现在在mysql上遇到一个问题,我们的字符集是gb2312.在中文模糊查找时,会有不相关的结果集.

从问题的根本原因分析,还有下面的问题。
例: 
汉字“不”的第1、2字节ascii值分别为:178与187 
汉字“安”的第1、2字节ascii值分别为:176与178 
汉字“花”的第1、2字节ascii值分别为:187与168 

聪明的人已经看出来了:在字符串“安花”中模糊查找字符“不”字时,mysql系统也会认为两者匹配!

出现这个问题的原因是:MySQL在查询字符串时是大小写不敏感的,在编绎MySQL时一般以ISO-8859字符集作为默认的字符集,因此在比较过程中中文编码字符大小写转换造成了这种现象。

方法一:
解决方法是对于包含中文的字段加上"binary"属性,使之作为二进制比较,例如将"name
char(10)"改成"name char(10)binary"。 

方法二:
如果你使用源码编译MySQL,可以编译MySQL时使用--with--charset=gbk
参数,这样MySQL就会直接支持中文查找和排序了。

方法三:
可以使用 Mysql 的 locate
函数来判断。以上述问题为例,使用方法为:

SELECT * FROM table WHERE locate(field,'李') > 0;
本站使用的就是这种方法,感觉还不错。:P

方法四:
把您的Select语句改成这样,SELECT
* FROM TABLE WHERE FIELDS LIKE BINARY '%FIND%'即可!

升级的根本,如果想使用“正确”的字符集,还是先用mysqldump导出成文件,然后导入。 

数据库编码格式为utf8,表和字段也都是utf8,存进去的格式是utf-8

但是用命令行工具查询命令select * from 表名; 查询出来的中文是乱码

原因:MySQL客户端根本就不能以utf8的形式返回数据

解决如下: SET NAMES
GB2312;   在命令行执行即可解决。

关于GBK、GB2312、UTF8

UTF- 8:Unicode Transformation Format-8bit,允许含BOM,但通常不含BOM。是用以解决国际上字符的一种多字节编码,它对英文使用8位(即一个字节),中文使用24为(三个字节)来编码。UTF-8包含全世界所有国家需要用到的字符,是国际编码,通用性强。UTF-8编码的文字可以在各国支持UTF8字符集的浏览器上显示。如,如果是UTF8编码,则在外国人的英文IE上也能显示中文,他们无需下载IE的中文语言支持包。

GBK是国家标准GB2312基础上扩容后兼容GB2312的标准。GBK的文字编码是用双字节来表示的,即不论中、英文字符均使用双字节来表示,为了区分中文,将其最高位都设定成1。GBK包含全部中文字符,是国家编码,通用性比UTF8差,不过UTF8占用的数据库比GBK大。

GBK、GB2312等与UTF8之间都必须通过Unicode编码才能相互转换:

GBK、GB2312--Unicode--UTF8

UTF8--Unicode--GBK、GB2312

对于一个网站、论坛来说,如果英文字符较多,则建议使用UTF-8节省空间。不过现在很多论坛的插件一般只支持GBK。

GB2312是GBK的子集,GBK是GB18030的子集

GBK是包括中日韩字符的大字符集合

如果是中文的网站 推荐GB2312 GBK有时还是有点问题

为了避免所有乱码问题,应该采用UTF-8,将来要支持国际化也非常方便

UTF-8可以看作是大字符集,它包含了大部分文字的编码。

使用UTF-8的一个好处是其他地区的用户(如香港台湾)无需安装简体中文支持就能正常观看你的文字而不会出现乱码。

gb2312是简体中文的码

gbk支持简体中文及繁体中文

big5支持繁体中文

utf-8支持几乎所有字符

MySQL中涉及的几个字符集

character-set-server/default-character-set:服务器字符集,默认情况下所采用的。

character-set-database:数据库字符集。

character-set-table:数据库表字符集。

优先级依次增加。所以一般情况下只需要设置character-set-server,而在创建数据库和表时不特别指定字符集,这样统一采用character-set-server字符集。

character-set-client:客户端的字符集。客户端默认字符集。当客户端向服务器发送请求时,请求以该字符集进行编码。

character-set-results:结果字符集。服务器向客户端返回结果或者信息时,结果以该字符集进行编码。

在客户端,如果没有定义character-set-results,则采用character-set-client字符集作为默认的字符集。所以只需要设置character-set-client字符集。

要处理中文,则可以将character-set-server和character-set-client均设置为GB2312,如果要同时处理多国语言,则设置为UTF8。

关于MySQL的中文问题

解决乱码的方法是,在执行SQL语句之前,将MySQL以下三个系统参数设置为与服务器字符集character-set-server相同的字符集。

character_set_client:客户端的字符集。
character_set_results:结果字符集。
character_set_connection:连接字符集。

设置这三个系统参数通过向MySQL发送语句:set names gb2312 

mysql> show
variables like '%character%';

+--------------------------+--------------------------------+
| Variable_name            | Value                          |
+--------------------------+--------------------------------+
| character_set_client     | utf8                           |
| character_set_connection | utf8                           |
| character_set_database   | utf8                           |
| character_set_filesystem | binary                         |
| character_set_results    | utf8                           |
| character_set_server     | utf8                           |
| character_set_system     | utf8
 
说明服务器端设置正常
然后我又用linux远程连接mysql,查询结果中文乱码
再次查看编码方式:

mysql> show
variables like '%character%';

+--------------------------+--------------------------------+
| Variable_name            | Value                          |
+--------------------------+--------------------------------+
| character_set_client     | latin1                         |
| character_set_connection | latin1                         |
| character_set_database   | utf8                           |
| character_set_filesystem | binary                         |
| character_set_results    | latin1                         |
| character_set_server     | utf8                           |
| character_set_system     | utf8

每次查询前设置查询结果集编码为utf8 即set
character_set_results=utf8  

解决Mysql导入乱码问题

方法一: 通过增加参数
–default-character-set = utf8 解决乱码问题 

C:\Users\Administrator>mysql -uroot -p yktgl < F:\YIKATONG\application\gl.sql --default-character-set=utf8

方法二: 在命令行导入乱码解决

1.mysql>use gl; 
2.mysql> set
names utf8; 
3.mysql>source example.sql 
mysql -u root -p --default-character-set=utf8 
use dbname 
source /root/newsdata.sql

方法三: 直接粘贴sql文件里的代码 
1. 打开SQLyog客户端软件; 
2. 定位到SQL编辑器,然后用记事本打开刚刚导出的SQL文件; 
3. 复制文件中所有SQL语句到SQL编辑器当中,执行这些SQL代码;

二、导出数据
mysqldump -u root -p --default-character-set=utf8 gl> gl.sql
  
定义编码导入
mysql -u root -p --default-character-set=utf8 -f discuss_chi 如还是乱码使用二进导入

mysql -u root -p --default-character-set=binary -f
discuss_chi<dis.sql <="" p="" style="word-wrap: break-word;">
 
还是不行,导出和导入都使用二进方式

导出
mysqldump -u root -p --default-character-set=binary discuss_chi>
dis.sql 

导入
mysql -u root -p --default-character-set=binary -f
discuss_chi

统一字符集保证不乱码:建议中英文环境选择utf8

1.linux系统语言
/etc/sysconfig/i18n
LANG="zh_CN.utf8"
 
2.mysql客户端
临时:
set names utf8;
永久:
配置文件my.cnf
[client]
default-charater-set=utf8

3.mysql服务端
[mysqld]
character-set-server=utf8
 
4.mysql建库建表语句
指定字符集建库
create database oldboy_utf8 default character set uft8 collate utf8_general_ci;
指定字符集建表
create table student (
id int(4) not null auto_increment,
name char(20) not null,
primary key(id)
)engine=inonodb auto_increment=10 default charset=utf8
 
5.开发程序的字符集

模拟将latin1字符集的数据库修改成GBK字符集的实际过程

1.导出表结构

mysqldump -uroot -p --default-character-set=latin1 -d dbname >alltatale.sql
--default-character-set=latin1 以latin1连接 -d只导表结构

2.编辑alltable.sql将latin1改成gbk
sed替换

3.确保数据库不在更新,导出所有数据
mysqldump -uroot -p --quick --no-create-info --extended-insert --default-character-set=latin1 dbname
>alldata.sql 

4.打开alldata.sql将set names latin1修改成set names gbk;(或者修改系统的服务端和客户端)

5.建库

create database dbname default
charset bgk;

6.创建表,执行alltable.sql

mysql -uroot -p dbname<alltable.sql

7.导入数据
mysql -uroot -dbname < alldata.sql 

一,临时修改字符集
查看库表的字符集

show  create  database  库名\G;
根据结尾的字符集,进行临时修改

set  names 库表的字符集

二,永久更改字符集
这里说下不乱码的思想:把linux,Mysql客户端,Mysql服务端,库,表,程序的字符集全部统一(建议utf8)

1,改my.cnf

[client]
default-character-set=utf8
[mysqld]
default-character-set=utf8   #适合5.1及以前版本
character-set-server=utf8    #适合5.5版本
2,linux字符集修改

vim /etc/sysconfig/i18n   
LANG="zh_CN.UTF-8"
3,库,表

create  database  test_utf8   DEFAULT CHARACTER  SET  utf8   COLLATE  utf8_general_ci;

4,应用程序

选择utf8版本下载

5,查看当前字符集,字符集全部一样修改成功

show   variables   like  'character_set%'; 

MySQL的字符集支持(Character Set Support)有两个方面: 
1、字符集(Character set)
2、排序方式(Collation)。 
对于字符集的支持细化到四个层次: 
1、服务器(server)
2、数据库(database)
3、数据表(table)
4、连接(connection)
注意:MySQL对于字符集的指定可以细化到一个数据库,一张表,一列,应该用什么字符集。
###################################################################

第一问:mysql默认字符集能否进行修改呢?
1、修改配置文件:
[mysqld]
default-character-set = utf8 
default-collation=utf8_general_ci
#character_set_server = utf8
#[client]
#default-character-set=utf8
修改完后,重启mysql的服务,service mysql restart
2、命令修改(不推荐,除非有特殊情况)
mysql> SET character_set_client = utf8 ;  
mysql> SET character_set_connection = utf8 ;   
mysql> SET character_set_database = utf8 ;   
mysql> SET character_set_results = utf8 ;    
mysql> SET character_set_server = utf8 ;   
mysql> SET collation_connection = utf8 ;  
mysql> SET collation_database = utf8 ;   
mysql> SET collation_server = utf8 ; 
有时候设置了表的默认字符集为utf8并且通过UTF-8编码发送查询,存入数据库的仍然是乱码。那connection连接层上可能出了问题。

​解决方法是在发送查询前执行一下下面这句:
SET NAMES 'utf8';它相当于下面的三句指令:

SET character_set_client = utf8;
SET character_set_results = utf8;
SET character_set_connection = utf8;

注意:具体的参数和MySQL的安装方式以及版本有密切关系,比较成熟的版本默认字符集是utf-8,当然具体怎么定义,可参考官方文档。
###################################################################

第二问:查看MySQL默认字符集(默认情况下,mysql的字符集是latin1) 
通常,查看系统的字符集和排序方式的设定可以通过下面的两条命令:
SHOW VARIABLES LIKE 'character%'; 
SHOW VARIABLES LIKE 'collation_%'; 

###################################################################

第三问:传统的程序在创建数据库和数据表时并没有使用那么复杂的配置,它们用的是默认的配置,那么,默认的配置从何而来呢? 
(1)编译MySQL
时,指定了一个MySQL默认的字符集,这个字符集是 latin1; 
(2)安装MySQL 时,可以在配置文件 (my.cnf,或者my.ini) 中指定一个默认的的字符集,如果没指定,这个值继承自编译时指定的; 
(3)启动mysqld 时,可以在命令行参数中指定一个默认的的字符集,如果没指定,这个值继承自配置文件中的配置,此时 character_set_server 被设定为这个默认的字符集;
(4)当创建一个新的数据库时,除非明确指定,这个数据库的字符集被缺省设定为character_set_server; 
(5)当选定了一个数据库时,character_set_database 被设定为这个数据库默认的字符集;  
(6)在这个数据库里创建一张表时,表默认的字符集被设定为 character_set_database,也就是这个数据库默认的字符集;
(7)当在表内设置一栏时,除非明确指定,否则此栏缺省的字符集就是表默认的字符集; 
简单的总结一下,如果什么地方都不修改,那么所有的数据库的所有表的所有栏位的都用 latin1 存储,不过我们如果安装 MySQL,一般都会选择多语言支持,也就是说,安装程序会自动在配置文件中把 default_character_set 设置为 UTF-8,这保证了缺省情况下,所有的数据库的所有表的所有栏位的都用 UTF-8 存储。
###################################################################

第四问:还有什么情况下会由于MySQL的原因导致乱码?
这种情况可能和使用高可用软件或者插件导致的,比如mysql-proxy等
例子:mysql proxy 乱码问题 
有时候通过proxy连上数据库之后,查到的字符串始终是乱码,即便手工执行了set names ‘utf8′也没有效果。
解决办法,mysql server必须设置
修改my.cnf文件
[mysqld]

skip-character-set-client-handshake
init-connect='SET NAMES utf8'
default-character-set=utf8
###################################################################

第五问:什么原因还会导致乱码问题?
1、浏览器问题
2、代理问题
3、代码字符集问题
4、数据库代理字符集问题

一、查看 MySQL 数据库服务器和数据库字符集

mysql> show variables like '%char%';

+--------------------------+-------------------------------------+------

| Variable_name            | Value                               |......

+--------------------------+-------------------------------------+------

| character_set_client     | utf8                                |......   -- 客户端字符集

| character_set_connection | utf8                                |......

| character_set_database   | utf8                                |......   -- 数据库字符集

| character_set_filesystem | binary                              |......

| character_set_results    | utf8                                |......

| character_set_server     | utf8                                |......   -- 服务器字符集

| character_set_system     | utf8                                |......

| character_sets_dir       | D:\MySQL Server 5.0\share\charsets\ |......

+--------------------------+-------------------------------------+------

二、查看 MySQL 数据表(table) 的字符集

mysql> show table status from sqlstudy_db like '%countries%';

+-----------+--------+---------+------------+------+-----------------+------

| Name      | Engine | Version | Row_format | Rows | Collation       |......

+-----------+--------+---------+------------+------+-----------------+------

| countries | InnoDB |      10 | Compact    |   11 | utf8_general_ci |......

+-----------+--------+---------+------------+------+-----------------+------

三、查看 MySQL 数据列(column)的字符集

mysql> show full columns from countries;

+----------------------+-------------+-----------------+--------

| Field                | Type        | Collation       | .......

+----------------------+-------------+-----------------+--------

| countries_id         | int(11)     | NULL            | .......

| countries_name       | varchar(64) | utf8_general_ci | .......

| countries_iso_code_2 | char(2)     | utf8_general_ci | .......

| countries_iso_code_3 | char(3)     | utf8_general_ci | .......

| address_format_id    | int(11)     | NULL            | .......

+----------------------+-------------+-----------------+--------

四、查看当前安装的 MySQL 所支持的字符集

mysql> show charset;

+----------+-----------------------------+---------------------+--------+

| Charset | Description                 | Default collation   | Maxlen |

+----------+-----------------------------+---------------------+--------+

| big5     | Big5 Traditional Chinese    | big5_chinese_ci     |      2 |

| dec8     | DEC West European           | dec8_swedish_ci     |      1 |

| cp850    | DOS West European           | cp850_general_ci    |      1 |

| hp8      | HP West European            | hp8_english_ci      |      1 |

| koi8r    | KOI8-R Relcom Russian       | koi8r_general_ci    |      1 |

| latin1   | cp1252 West European        | latin1_swedish_ci   |      1 |

| latin2   | ISO 8859-2 Central European | latin2_general_ci   |      1 |

| swe7     | 7bit Swedish                | swe7_swedish_ci     |      1 |

| ascii    | US ASCII                    | ascii_general_ci    |      1 |

| ujis     | EUC-JP Japanese             | ujis_japanese_ci    |      3 |

| sjis     | Shift-JIS Japanese          | sjis_japanese_ci    |      2 |

| hebrew   | ISO 8859-8 Hebrew           | hebrew_general_ci   |      1 |

| tis620   | TIS620 Thai                 | tis620_thai_ci      |      1 |

| euckr    | EUC-KR Korean               | euckr_korean_ci     |      2 |

| koi8u    | KOI8-U Ukrainian            | koi8u_general_ci    |      1 |

| gb2312   | GB2312 Simplified Chinese   | gb2312_chinese_ci   |      2 |

| greek    | ISO 8859-7 Greek            | greek_general_ci    |      1 |

| cp1250   | Windows Central European    | cp1250_general_ci   |      1 |

| gbk      | GBK Simplified Chinese      | gbk_chinese_ci      |      2 |

| latin5   | ISO 8859-9 Turkish          | latin5_turkish_ci   |      1 |

| armscii8 | ARMSCII-8 Armenian          | armscii8_general_ci |      1 |

| utf8     | UTF-8 Unicode               | utf8_general_ci     |      3 |

| ucs2     | UCS-2 Unicode               | ucs2_general_ci     |      2 |

| cp866    | DOS Russian                 | cp866_general_ci    |      1 |

| keybcs2 | DOS Kamenicky Czech-Slovak | keybcs2_general_ci |      1 |

| macce    | Mac Central European        | macce_general_ci    |      1 |

| macroman | Mac West European           | macroman_general_ci |      1 |

| cp852    | DOS Central European        | cp852_general_ci    |      1 |

| latin7   | ISO 8859-13 Baltic          | latin7_general_ci   |      1 |

| cp1251   | Windows Cyrillic            | cp1251_general_ci   |      1 |

| cp1256   | Windows Arabic              | cp1256_general_ci   |      1 |

| cp1257   | Windows Baltic              | cp1257_general_ci   |      1 |

| binary   | Binary pseudo charset       | binary              |      1 |

| geostd8 | GEOSTD8 Georgian            | geostd8_general_ci |      1 |

| cp932    | SJIS for Windows Japanese   | cp932_japanese_ci   |      2 |

| eucjpms | UJIS for Windows Japanese   | eucjpms_japanese_ci |      3 |

+----------+-----------------------------+---------------------+--------+

以上查看 MySQL 字符集命令,适用于 Windows & Linux

 

Liunx下修改MySQL字符集:

1.查找MySQL的cnf文件的位置

find / -iname '*.cnf' -print



/usr/share/mysql/my-innodb-heavy-4G.cnf

/usr/share/mysql/my-large.cnf

/usr/share/mysql/my-small.cnf

/usr/share/mysql/my-medium.cnf

/usr/share/mysql/my-huge.cnf

/usr/share/texmf/web2c/texmf.cnf

/usr/share/texmf/web2c/mktex.cnf

/usr/share/texmf/web2c/fmtutil.cnf

/usr/share/texmf/tex/xmltex/xmltexfmtutil.cnf

/usr/share/texmf/tex/jadetex/jadefmtutil.cnf

/usr/share/doc/MySQL-server-community-5.1.22/my-innodb-heavy-4G.cnf

/usr/share/doc/MySQL-server-community-5.1.22/my-large.cnf

/usr/share/doc/MySQL-server-community-5.1.22/my-small.cnf

/usr/share/doc/MySQL-server-community-5.1.22/my-medium.cnf

/usr/share/doc/MySQL-server-community-5.1.22/my-huge.cnf

2. 拷贝 small.cnf、my-medium.cnf、my-huge.cnf



    my-innodb-heavy-4G.cnf,其中的一个到/etc下命名为my.cnf

    cp /usr/share/mysql/my-medium.cnf /etc/my.cnf

3. 修改my.cnf

vi /etc/my.cnf


在[client]下添加



default-character-set=utf8


在[mysqld]下添加

default-character-set=utf8

4.重新启动MySQL

[root@bogon ~]# /etc/rc.d/init.d/mysql restart

Shutting down MySQL                                         [ 确定 ]

Starting MySQL.                                                  [ 确定 ]

[root@bogon ~]# mysql -u root -p

Enter password:

Welcome to the MySQL monitor. Commands end with ; or \g.

Your MySQL connection id is 1

Server version: 5.1.22-rc-community-log MySQL Community Edition (GPL)

Type 'help;' or '\h' for help. Type '\c' to clear the buffer.

其他的一些设置方法:

修改数据库的字符集

mysql>use mydb

mysql>alter database mydb character set utf-8;

创建数据库指定数据库的字符集

mysql>create database mydb character set utf-8;

通过配置文件修改:

修改/var/lib/mysql/mydb/db.opt



default-character-set=latin1

default-collation=latin1_swedish_ci






default-character-set=utf8

default-collation=utf8_general_ci

重起MySQL:

[root@bogon ~]# /etc/rc.d/init.d/mysql restart




通过MySQL命令行修改:

mysql> set character_set_client=utf8;

Query OK, 0 rows affected (0.00 sec)

mysql> set character_set_connection=utf8;

Query OK, 0 rows affected (0.00 sec)

mysql> set character_set_database=utf8;

Query OK, 0 rows affected (0.00 sec)

mysql> set character_set_results=utf8;

Query OK, 0 rows affected (0.00 sec)

mysql> set character_set_server=utf8;

Query OK, 0 rows affected (0.00 sec)

mysql> set character_set_system=utf8;

Query OK, 0 rows affected (0.01 sec)

mysql> set collation_connection=utf8;

Query OK, 0 rows affected (0.01 sec)

mysql> set collation_database=utf8;

Query OK, 0 rows affected (0.01 sec)

mysql> set collation_server=utf8;

Query OK, 0 rows affected (0.01 sec)





清空缓存的方法主要用flush命令 为了执行FLUSH,你必须有reload权限

flush hosts主要是用来清空主机缓存表

flush logs主要是关闭当前的二进制日志文件并创建一个新文件

flush privileges主要是每当重新赋权后,为了以防万一,让新权限立即生效

flush tables主要是关闭所有打开的表,同时该操作将会清空查询缓存中的内容

flush tables with read lock主要是关闭所有打开的表同时对于所有数据库中的表都加一个读锁

flush status重置大多数状态变量到0

flush master删除所有的二进制日志索引文件中的二进制日志文件

flush query cache重整查询缓存,消除其中的碎片,提高性能

flush slave类似于重置复制,让从数据库忘记主数据库的复制位置
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签: