在处理一段文本的时候,首先了解文本的汉字编码。在windows下默认的文件编码是GBK,而
linux的一般是utf-8.
想要查看文件的编码方式,使用vim打开文本,然后在命令行模式下输入:set fileencoding,回车
即可。
Python中有两种默认的字符串:str和unicode。在Python中一定要注意区分“Unicode字符串”
和“unicode对象”的区别。后面所有的“unicode字符串”指的都是python里的“unicode对象”
。
事实上在Python中并没有“Unicode字符串”这样的东西,只有“unicode”对象。一个传统意义上
的unicode字符串完全可以用str对象表示。只是这时候它仅仅是一个字节流,除非解码为unicode
对象,没有任何实际的意义。
函数 decode( char_set )可以实现 其它编码到 Unicode 的转换,函数 encode( char_set )实
现 Unicode 到其它编码方式的转换。
比如 ("你好").decode( "GB2312") 将得到 u'\u4f60\u597d',即 "你"和“好"的 Unicode 码
分别是 0x4f60 和 0x597d
再用 (u'\u4f60\u597d').encode("UTF-8") 将得到 '\xe4\xbd\xa0\xe5\xa5\xbd',它是 “你好
”的UTF-8编码结果。
python中使用 unicode的关键:unicode是一个类,函数unicode(str,"utf8")从utf8编码(当然也
可以是别的编码)的字符串str生成 unicode类的对象,而函数unc.encode("utf8")将unicode类的
对象unc转换为(编码为)utf8编码(当然也可以是别的编码)的字符串。于是,编写unicode相关
程序,需要做的事情是
* 获取数据(字符串)时,用unicode(str, "utf8")生成unicode对象
* 在程序中仅使用unicode对象,对程序中出现的字符串常量都以u"字符串"的形式书写
* 输出时,可将unicode对象转换为任意编码输出,使用str.encode("some_encoding")
>>> unicode("你好", "utf8")
u'\u4f60\u597d'
>>> x = _
>>> type(x)
>>> type("你好")
>>> x.encode("utf8")
'\xe4\xbd\xa0\xe5\xa5\xbd'
>>> x.encode("gbk")
'\xc4\xe3\xba\xc3'
>>> x.encode("gb2312")
'\xc4\xe3\xba\xc3'
>>> print x
你好
>>> print x.encode("utf8")
你好
>>> print x.encode("gbk")
???
还有一种就是对于特殊字符的处理:
try:
print i.decode('unicode_escape').encode('utf8')
except:
print i