http://www.th7.cn/Program/Python/201303/128631.shtml 2013-03-11 07:49:40--点击数:40 更多0 首先这些问题只有在python2.X版本出现，因为3.X版本中python环境就只有unicode类型的字符串了，即所有程序中处理的都会自动转换 成unicode字符串。那么2.X的python程序开发中如何避免和理清编码问题呢？首先要保持一个良好的统一规则，不然一切都是白扯了，统一都用 utf-8是最好的。 1.处理非ASCII编码 Python的默认编码是ascii编码，当python中间处理非ASCII编码时，经常会出现如下错误： UnicodeDecodeError: 'ascii' codec can't decode byte 0x?? in position 1: ordinal not in range(128) 0x??是超出128的数字 我们常在文件开头加上编码属性：# -*- coding=utf8 -*- 所以无法处理其他编码时需要设置python的默认编码为所需要的编码，主要有以下2个方法： 01. 首选方法 import sys reload(sys)#重新加载sys sys.setdefaultencoding('utf-8')#看你的编码需要utf-8还是gb2312 为什么要在调用setdefaultencoding时必须要先reload一次sys模块呢？因为这里的import语句其实并不是sys的第一次导入 语句，也就是说这里其实可能是第二、三次进行sys模块的import，这里只是一个对sys的引用，只能reload才能进行重新加载；那么为什么要重 新加载，而直接引用过来则不能调用该函数呢？因为setdefaultencoding函数在被系统调用后被删除了，所以通过import引用进来时其实 已经没有了，所以必须reload一次sys模块，这样setdefaultencoding才会为可用，才能在代码里修改解释器当前的字符编码。 02.方法2- 全局设置 在Python的Lib/site-packages文件夹下新建一个sitecustomize.py文件（sitecustomize.py是一个特殊文件， Python 在启动时将尝试加载该文件，因此所有代码都将运行该文件)，即可自动设置代码。 import sys sys.setdefaultencoding('gb2312') 3. 检查当前编码 import sys sys.getdefaultencoding() 浅析Python编码问题 - InSun - Minghacker is Insun 2.字符编码判断 通过chardet可以实现对字符串/文件的编码检测。 01. chardet的安装 通过easy_install工具可以实现chardet的快速安装，命令如下：easy_install.exe chardet 02. chardet的使用 chardet可以直接用detect函数来检测所给字符的编码。函数返回值为字典，有2个元数，一个是检测的可信度，另外一个就是检测到的编码。 import urllib import chardet rawdata = urllib.urlopen('http://www.sina.com.cn/').read() print chardet.detect(rawdata) #result: {'confidence': 0.99, 'encoding': 'GB2312'} 3.文件处理的解码 response = urllib.urlopen(url) text = response.read().decode("utf-8")#add by insun 按照第一步设置了utf8编码 然后写了个抓取豆瓣mp3的程序 存储下来的mp3名字都是乱码 打印出来缺全是正确的中文 娴锛璇.mp3 这时候显然就需要解码 decode("utf-8") 我们不走远 姑且不谈BOM头问题。 4.Python操作Mysql中文乱码问题 Python操作MySQL需要安装Python-MySQL 可以从网上搜索一下，和一般的Python包一样安装 安装好之后，模块名字叫做MySQLdb ，在Window和Linux环境下都可以使用 用下面几个措施，保证MySQL的输出没有乱麻： 1 Python文件设置编码 utf-8 （文件前面加上 #encoding=utf-8) 2 MySQL数据库charset=utf-8 3 Python连接MySQL是加上参数 charset=utf8 4 设置Python的默认编码为 utf-8 (sys.setdefaultencoding(utf-8) #encoding=utf-8 import sys import MySQLdb reload(sys) sys.setdefaultencoding('utf-8') db=MySQLdb.connect(user='root',charset='utf8') cur=db.cursor() cur.execute('use mydb') cur.execute('select * from mytb limit 100') f=file("/home/user/work/tem.txt",'w') for i in cur.fetchall(): f.write(str(i)) f.write(" ") f.close() cur.close()