Day01-一文透彻掌握_Python_编码问题.pdfVIP

⼀⽂透彻掌握 Python 编码问题 一、当我说字符时 ，我在说什么 ？ 当我们提起字符串时，每个程序员都能理解到，我们说的是一个字符序列。但是，当我 们说字符时，很多人就困惑了。 写在纸上的字符很容易辨识，但是为了将不同的字符在计算机中标识出来，人类发明了 unicode字符。简单讲，unicode可以看成是一个标准的函数，它将一个具体的字符映 射成0-1114111之间的一个数字，这个数字叫做码位。通常，码位用十六进制表示，并 且前面会加上“U +”的字样。例如，字母A的码位是U+0041。 按道理说，我们在计算机中，用unicode的码位来代表字符就很完美了。实际上， python3中的str对象和python2中的unicode对象在内存中就是用码位来表示字符的。 但是，由于全世界的字符比较多，导致表示码位的数字也要用long或者int这样的数据类 型表示，每个字符都要占固定的几个字节。在存储到磁盘或者通过网络进行传输时，比 较浪费空间。于是，聪明的人类又搞了一个函数，这个函数将一个码位映射成字节序 列。映射的目的是减少占用的空间。这个函数就是编码。也就是说，编码是在码位和字 节序列之间转换时使用的算法。 比如大写字母A （U+0041) ，使用UTF-8编码后是\x41 ，这里\x表示一个字节，字节的 值是41。我们看到，如果用U+0041 这个整数代表大写字母A ，需要4个字节，因为一个 整数就是用4个字节表示的，经过编码后，只占用了一个字节，达到了减少减少空间的 目的。 这里提示一下，下文中，当我们再说到码位时，可以将其简单想象成一个int。 二、python3中码位和编码是如何表示的 在python3的代码中，str类型的对象就是用码位表示的字符串， 编码后的字节序列可以 用bytes类型的对象表示。如下所示： 可以将bytes类型的对象看成一个数组，切片啥的都不在话下，里面的元素是介于0- 255 （含）之间的整数。从python2.6起，新增一个类似的类型，bytearray。它和bytes 很像，不同之处有以下两点： 1、没有字面量句法，看图： 上图是bytes对象的字面量创建方法。bytearray没有类似的构造方法，它只能这样获 得： 2、bytes不可变，bytearray可变 当我们print一个bytes对象时，常常会看到这种情况：bcaf\xc3\t看起来有点乱，让我 们来观察一下： b表示你print的是bytes对象 caf表示三个字节 ，这几个字节中的值就是caf三个字符的ascii码值 ，这里直接用caf 三个字符表示了。 \xc3表示这个字节中的值是十六进制的c3 ，无法用ascii码值表示 ，所以这里用了两 个字节的十六进制数表示。 \t表示，这个字节的值是tab字符，这里就用转义字符来表示了。 三、python中的编解码器 python有100多种编解码器！第一次知道这个消息，我很震惊，人类真是喜欢折腾啊。 下面，让我们一起来欣赏一下几个常用的编解码器对一些字符的编码： 注：这些编解码器通常用在open(),str.encode(),bytes.decode()等函数中。最常见的编解码器肯定是utf-8。它还有几 个别名，即 utf_8, utf8, U8。最好还是熟悉下这几个别名。 四、处理常见的编解码错误 在用python进行编解码时，经常发生各种错误。很多人的办法就是各种google各种 试，搞定之后就不再管了。我自己之前就是这样。但更系统的办法就是理解常见的错误 类型，在遇到时可以按步骤地去解决问题。下面我们就来看看常见的三类错误。  UnicodeEncoderError 当你用了某个编码器将unicode字符进行编码输出时，如果这个编码器中没有包含某些 要编码的unicode字符，就会发生UnicodeEncoderError。这种情况下，通常需要去改 变所用的编码器。简单讲就是在将unicode进行encode时发生了error  UnicodeDecodeError 在将一个字节序列用指定的解码器解码成unicode时，如果这个字节序列不符合解码器 的要求，就会发生UnicodeDecoderError。这里的不符合要求有两种情况，一种是字节 序列错误的，一种就是用的解码器不合适。  SyntaxError python3默认使用UTF-8编码源码，python2则默认使用ASCII。如果加载的.py文件中 包含UTF-8之外的数据，而且没有声明编码，就会发生SyntaxError。 处理编解码的最佳实践是