9.4. Unicode

Python

9.4. Unicode

Unicode 是一个系统,用来表示世界上所有不同语言的字符。当 Python 解析一个 XML 文档时,所有的数据都是以unicode的形式保存在内存中的。

一会儿你就会了解,但首先,先看一些背景知识。

历史注解. 在unicode之前,对于每一种语言都存在独立的字符编码系统,每个系统都使用相同的数字(0-255)来表示这种语言的字符。一些语言(象俄语)对于如何表示相同的字符还有几种有冲突的标准;另一些语言(象日语)拥有太多的字符,需要多个字符集。在系统之间进行文档交流是困难的,因为对于一台计算机来说,没有方法可以识别出文档的作者使用了哪种编码模式;计算机看到的只是数字,并且这些数字可以表示不同的东西。接着考虑到试图将这些文档存放到同一个地方(比如在同一个数据库表中);你需要在每段文本的旁边保存字符的编码,并且确保在传递文本的同时将编码也进行传递。接着考虑多语言文档,即在同一文档中使用了不同语言的字符。(比较有代表性的是使用转义符来进行模式切换;扑,我们处于俄语 koi8-r 模式,所以字符 241 表示这个;扑,现在我们处于 Mac 希腊语模式,所以字符 241 表示其它什么。等等。)这些就是unicode被设计出来要解决的问题。

为了解决这些问题,unicode用一个 2 字节数字表示每个字符,从 0 到 65535。[5] 每个 2 字节数字表示至少在一种世界语言中使用的一个唯一字符。(在多种语言中都使用的字符具有相同的数字码。)这样就确保每个字符一个数字,并且每个数字一个字符。Unicode数据永远不会模棱两可。

当然,仍然还存在着所有那些遗留的编码系统的情况。例如,7位 ASCII,它可以将英文字符存诸为从0到127的数值。(65是大写字母“A”,97是小写字母“a”,等等。)英语有着非常简单的字母表,所以它可以完全用7位 ASCII 来表示。象法语、西班牙语和德语之类的西欧语言都使用叫做ISO-8859-1的编码系统(也叫做“latin-1”),它使用7位 ASCII 字符表示从0到127的数字,但接着扩展到了128-255的范围来表示象n上带有一个波浪线(241),和u上带有两个点(252)的字符。Unicode使用同7位 ASCII 码一样的字符表示0到127,同ISO-8859-1一样的字符表示128到255,接着使用剩余的数字,256到65535,扩展到表示其它语言的字符。

在处理unicode数据时,在某些地方你可能需要将数据转换回这些遗留编码系统之一。例如,为了同其它一些计算机系统集成,这些系统期望它的数据使用一种特定的单字节编码模式,或将数据打印输出到一个非unicode识别终端或打印机。或将数据保存到一个明确指定编码模式的 XML 文档中。

在了解这个注解之后,让我们回到 Python上来。

从2.0版本开始,Python 在整个语言的基础上已经支持unicode。XML 包使用unicode来保存所有解析了的 XML 数据,而且你可以在任何地方使用unicode。

例 9.13. unicode介绍

>>> s = u'Dive in'            1
>>> s
u'Dive in'
>>> print s                   2
Dive in
1 为了创建一个unicode字符串而不是通常的 ASCII 字符串,要在字符串前面加上字母“u”。注意这个特殊的字符串没有任何非 ASCII 的字符。这样很好;unicode是 ASCII 的一个超集(一个非常大的超集),所以任何正常的 ASCII 都可以以unicode形式保存起来。
2 在打印字符串时,Python 试图将字符串转换为你的默认编码,通常是 ASCII 。(过会儿有更详细的说明。)因为组成这个unicode字符串的字符都是 ASCII 字符,打印结果与打印正常的 ASCII 字符串是一样的;转换是无缝的,而且如果你没有注意到s是一个unicode字符串的话,你永远也不会注意到两者之间的差别。

例 9.14. 存储非 ASCII 字符

>>> s = u'La Pe\xf1a'         1
>>> print s                   2
Traceback (innermost last):
  File "<interactive input>", line 1, in ?
UnicodeError: ASCII encoding error: ordinal not in range(128)
>>> print s.encode('latin-1') 3
La Peña
1 unicode真正的优势,理所当然的是它保存非 ASCII 字符的能力,例如西班牙语的“ñ”(n上带有一个波浪线)。用来表示波浪线n的unicode字符编码是十六进制的0xf1 (十进制的241),你可以象这样输入:\xf1
2 还记得我说过 print 函数会尝试将unicode字符串转换为 ASCII,这样就可以打印它了吗?嗯,在这里将不会起作用,因为你的unicode字符串包含非 ASCII 字符,所以 Python 会引发UnicodeError异常。
3 这儿就是将unicode转换为其它编码模式起作用的地方。s是一个unicode字符串,但 print 只能打印正常的字符串。为了解决这个问题,我们调用 encode 方法(它可以用于每个unicode字符串)将unicode字符串转换为指定编码模式的正常字符串。我们向此函数传入一个参数。在本例中,我们使用 latin-1 (也就是大家知道的 iso-8859-1),它包括带波浪线的n(然而缺省的 ASCII 编码模式不包括,因为它只包含数值从 0 到 127 的字符)。

还记得我说过:一旦需要从一个unicode得到一个正常字符串,Python通常默认将unicode转换成 ASCII 吗?嗯,这个默认编码模式是一个可以定制的选项。

例 9.15. sitecustomize.py

# sitecustomize.py                   1
# this file can be anywhere in your Python path,
# but it usually goes in ${pythondir}/lib/site-packages/
import sys
sys.setdefaultencoding('iso-8859-1') 2
1 sitecustomize.py是一个特殊的脚本;Python 会在启动的时候导入它,所以在其中的任何代码都将自动运行。就像注解中提到的那样,它可以放在任何地方(只要 import 能够找到它),但是通常它位于 Pythonlib目录的site-packages目录中。
2 恩,setdefaultencoding 函数设置默认编码。Python 会在任何需要自动将unicode字符串强制转换为正规字符串的地方,使用这个编码模式。

例 9.16. 设置默认编码的效果

>>> import sys
>>> sys.getdefaultencoding() 1
'iso-8859-1'
>>> s = u'La Pe\xf1a'
>>> print s                  2
La Peña
1 这个例子假设你已经按前一个例子中的改动对sitecustomize.py文件做了修改,并且已经重启了 Python。如果你的默认编码还是'ascii',可能你就没有正确设置sitecustomize.py 文件,或者是没有重新启动 Python。默认的编码只会在 Python 启动的时候改变;之后就不能改变了。(由于一些古怪的编程技巧,我没有马上深入,你甚至不能在 Python 启动之后调用sys.setdefaultencoding函数。仔细研究site.py,并搜索“setdefaultencoding”去发现为什么吧。)
2 现在默认的编码模式已经包含了你在字符串中使用的所有字符,Python 对字符串的自动强制转换和打印就不存在问题了。

例 9.17. 指定.py文件的编码

如果你打算在你的 Python 代码中保存非 ASCII 字符串,你需要在每个文件的顶端加入编码声明来指定每个.py文件的编码。这个声明定义了.py文件的编码为UTF-8:

#!/usr/bin/env python
# -*- coding: UTF-8 -*-

现在,想想 XML 中的编码应该是怎样的呢?不错的是,每一个 XML 文档都有指定的编码。重复一下,ISO-8859-1是西欧语言存放数据的流行编码方式。KOI8-R是俄语流行的编码方式。编码,如果指定了的话,都在 XML 文档的首部。

例 9.18. russiansample.xml


<?xml version="1.0" encoding="koi8-r"?>       1
<preface>
<title>Предисловие</title>                    2
</preface>
1 这是从一个真实的俄语 XML 文档中提取出来的示例;它就是这本书俄语翻译版的一部分。注意,编码koi8-r是在首部指定的。
2 这些是古代斯拉夫语的字符,就我所知,它们用来拼写俄语单词“Preface”。如果你在一个正常文本编辑器中打开这个文件,这些字符非常象乱码,因为它们使用了koi8-r编码模式进行编码,但是却以iso-8859-1编码模式进行显示。

例 9.19. 解析russiansample.xml

>>> from xml.dom import minidom
>>> xmldoc = minidom.parse('russiansample.xml') 1
>>> title = xmldoc.getElementsByTagName('title')[0].firstChild.data
>>> title                                       2
u'\u041f\u0440\u0435\u0434\u0438\u0441\u043b\u043e\u0432\u0438\u0435'
>>> print title                                 3
Traceback (innermost last):
  File "<interactive input>", line 1, in ?
UnicodeError: ASCII encoding error: ordinal not in range(128)
>>> convertedtitle = title.encode('koi8-r')     4
>>> convertedtitle
'\xf0\xd2\xc5\xc4\xc9\xd3\xcc\xcf\xd7\xc9\xc5'
>>> print convertedtitle                        5
Предисловие
1 我假设在这里你将前一个例子以russiansample.xml为名保存在当前目录中。也出于完整性的考虑,我假设你已经删除了sitecustomize.py文件,将缺省编码改回到'ascii',或至少将setdefaultencoding一行注释起来了。
2 注意title标记的文本数据(现在在title变量中,幸亏有 Python 函数的常串联,我快速地将它跳过去,并且在下一节之前不会进行解释)--在 XML 文档的title元素中的文本数据是以unicode保存的。
3 打印title是不可能的,因为这个unicode字符串包哈了非 ASCII 字符,所以 Python 不能把它转换为 ASCII 因为它无法理解。
4 你能够,但是,显式的将它转换为koi8-r,在本例中,我们得到一个(正常,非unicode)单字节字符的字符串(f0, d2, c5,等等),它是初始unicode字符串中字符koi8-r-编码的版本。
5 打印koi8-r编码的字符串有可能会在你的屏幕上显示为乱码,因为你的 Python IDE 将这些字符作为 iso-8859-1的编码进行解析,而不是koi8-r编码。但是,至少它们能打印。(并且,如果你仔细看,当在一个不支持unicode的文本编辑器中打开最初的 XML 文档时,会看到相同的乱码。 Python 在解析 XML 文档时,将它从koi8-r转换到了unicode,你只不过是将它转换回来。)

总结一下,如果你以前从没有看到过unicode,倒是有些唬人,但是在 Python 处理unicode数据真是非常容易。如果你的 XML 文档都是7位的 ASCII(像本章中的例子),你差不多永远都不用考虑unicode。Python 在进行解析时会将 XML 文档中的 ASCII 数据转换为unicode,在任何需要的时候强制转换回为 ASCII,你甚至永远都不用注意。但是如果你要处理其它语言的数据,Python 已经准备好了。

进一步阅读

  • Unicode.org是unicode标准的主页,包含了一个简要的技术简介
  • Unicode教程有更多关于如何使用 Python unicode函数的例子,包括甚至在并不真的需要时如何将unicode强制转换为 ASCII
  • PEP 263涉及了何时、如何在你的.py文件中定义字符的更多细节。

Footnotes

[5] 这一点,很不幸仍然 过分简单了。现在unicode已经扩展用来处理古老的汉字、韩文和日文文本,它们有太多不同的字符,以至于2字节的unicode系统不能全部表示。但当前 Python 不支持超出范围的编码,并且我不知道是否有正在计划进行解决的项目。对不起,你已经到了我经验的极限了。

<< XML 解析
 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 

搜索元素 >>