十年测试老兵的原创干货,关注公众号「sylan215」,一起涨姿势。

彻底搞懂 Python 编码

上一篇 / 下一篇  2018-07-17 22:22:50 / 个人分类:Python

因为中文的特殊编码,导致 Python2 和 Python3 使用过程中的各种编码问题,如果不清楚其中的关联关系,那么这就一直是个大坑,不是懵逼就还是懵逼,所以就目前碰到的情况彻底梳理下 Python2 和 Python3 中编码的关系和区别,以作备忘。

先说下涉及编码格式的几个地方:

  1. 脚本字符编码:就是经常在脚本文件开头看到的# -*- coding: utf-8 -*-,如果使用 Python2,没有显式声明的话默认使用 ASCII 格式,Python3 默认使用 utf-8 格式;
  2. 解释器字符编码:可以通过函数sys.getdefaultencoding()查看,Python2 默认是 ASCII,Python3 默认使用 utf-8;
  3. 脚本文件存储编码:就是 py 脚本文件本身在物理介质上面的存储格式,通常有 ASCII、GBK、utf-8 等格式。

下面我们把上述编码分别在脚本中进行组合使用后,再使用 Python2.6 和 Python3.4 运行,看看实际都什么效果。

1.默认脚本文件编码 + 文件存储使用 gbk

脚本内容:

importsys

print(sys.getdefaultencoding())
print('中文')

使用 Python2.6 运行的结果如下,提示gbk 编码字符\xd6非 ASCII 字符:

> python26 test_gbk.py
  File"test_gbk.py", line4SyntaxError: Non-ASCII character'\xd6'infile test_gbk.py on line4, but no encoding declared; see http://www.python.org/peps/pep-0263.htmlfordetails

使用 Python3.4 运行的结果如下,提示gbk 编码字符\xd6非 utf-8 字符:

> python26 test_gbk.py
  File"test_gbk.py", line4SyntaxError: Non-UTF-8code startingwith'\xd6'infile test_gbk.py on line4, but no encoding declared; see http://python.org/dev/peps/pep-0263/fordetails

结论:默认的 gbk 编码中文,Python2的解释器字符编码(ASCII)和 Python3的解释器字符编码(utf-8)格式都没法识别,因为 ASCII 编码不包含中文,而 utf-8 是 3 字节编码,gbk 是 2 字节编码,所以都识别不了了。

2.脚本文件编码 gbk + 文件存储使用 gbk

在刚才的脚本头部显式声明脚本文件编码格式为 gbk:

#coding:gbkimportsys

print(sys.getdefaultencoding())
print('中文')

使用 Python2.6 运行的结果:

> python26 test_gbk.py
ascii
中文

使用 Python3.4 运行的结果:

> python34 test_gbk.py
utf-8中文

结论:文件使用的 gbk 格式存储,同时显式声明了脚本文件编码为 gbk,Python2 和 Python3 都可以正常处理。

3.脚本文件编码 utf-8 + 文件存储使用 gbk

在刚才的脚本头部显式声明脚本文件编码格式为 utf-8:

# -*- coding: utf-8 -*-importsys

print(sys.getdefaultencoding())
print('中文')

使用 Python2.6 运行的结果正常:

> python26 test_gbk.py
ascii
中文

使用 Python3.4 运行的结果如下,提示尝试使用 utf-8 解码字符0xd6时异常:

> python34 test_gbk.py
File"test_gbk.py", line6SyntaxError: (unicode error)'utf-8'codec can't decode byte 0xd6 in position 0: invalid continuation byte

结论:文件使用的 gbk 格式存储,同时显式声明了脚本文件编码为 utf-8时,但是 Python2 在 Windows 平台还是使用 gbk 进行输出,所以解析正常,而 Python3 使用 utf-8 所以解析异常。

4.默认脚本文件编码 + 文件存储使用 utf-8

去掉之前脚本头部的声明,然后使用 utf-8 格式存储文件(注意,不能在刚才的文件基础上强制修改存储编码,强制转换会出现中文乱码的问题,建议先新建一个 utf-8 格式的文件,然后再输入中文):

importsys

print(sys.getdefaultencoding())
print('中文')

使用 Python2.6 运行的结果如下,ASCII 也识别不了 utf-8 格式的字符\xe4

> python26 test.py
  File"test.py", line4SyntaxError: Non-ASCII character'\xe4'infile test.py on line4, but no encoding declared; see http://www.python.org/peps/pep-0263.htmlfordetails

使用 Python3.4 运行的结果,可以正常识别,因为 Python3 默认使用 utf-8 编码:

> python34 test.py
utf-8中文

结论:默认的 utf-8 编码中文,Python2 会默认使用 ASCII 读取,所以没法识别,Python3 可以正常识别。

5.脚本文件编码 gbk + 文件存储使用 utf-8

脚本头部显式声明脚本文件编码格式为 gbk,同时使用 utf-8 格式存储文件:

#coding:gbkimportsys

print(sys.getdefaultencoding())
print('中文')

使用 Python2.6 运行的结果如下,使用 gbk 根本读取不了 utf-8 格式任何内容:

> python26 test.py
File"test.py", line6SyntaxError:'gbk'codec can't decode bytes in position 9-10: illegal multibyte sequence

使用 Python3.4 运行的结果如下,其实和上面错误一样,但是提示更直接了:

> python34 test.py
File"test.py", line1SyntaxError: encoding problem: gbk

结论:默认的 utf-8 编码中文,如果显式指定使用 gbk 读取,Python2 和 Python3 都没法做到。

6.脚本文件编码 utf-8 + 文件存储使用 utf-8

脚本头部显式声明脚本文件编码格式为 utf-8,同时使用 utf-8 格式存储文件:

# -*- coding: utf-8 -*-importsys

print(sys.getdefaultencoding())
print('中文')

使用 Python2.6 运行的结果如下,虽然读取正确了,但是 Python2 在 Windows 系统会默认使用 gbk 对中文进行解码,所以输出乱码:

> python26 test.py
ascii
涓枃

使用 Python3.4 运行的结果正常:

> python34 test.py
utf-8中文

结论:虽然文件存储编码和脚本文件编码都是 utf-8,但是 Windows 平台上,Python2 会按 gbk 解析中文,所以会输出乱码,可以在中文前面加 u 来解决u'中文',或者显式使用 utf-8 进行一次 decode。

汇总下验证结果,可以得到如下的表格:

不同组合下 Python3 和 Python2 处理结果Python3Python2
默认脚本文件编码 + 文件存储使用 gbkSyntaxError,解析错误SyntaxError,解析错误
脚本文件编码 gbk + 文件存储使用 gbk正常输出中文正常输出中文
脚本文件编码 utf-8 + 文件存储使用 gbkSyntaxError,解析错误正常输出中文
默认脚本文件编码 + 文件存储 utf-8正常输出中文SyntaxError,解析错误
脚本文件编码 gbk + 文件存储使用 utf-8SyntaxError,解析错误SyntaxError,编码错误
脚本文件编码 utf-8 + 文件存储使用 utf-8正常输出中文中文输出乱码

总结下结论:

  1. 如果使用 Python2 请一定要使用 gbk 格式存储文件;
  2. 如果使用 Python2 尽可能使用 gbk 存储文件且显式声明脚本文件编码为 gbk,方便后续兼容 Python3;
  3. 如果使用 Python3 不管使用什么格式存储文件,但请一定保证显式声明脚本文件编码和存储格式一致;
  4. 不管是使用 Python2 还是 Python3,保持显式声明脚本文件编码的好习惯;
  5. 如果脚本有跨平台需求,推荐使用 Python3 + 脚本文件编码 utf-8 + utf-8 格式存储文件的组合;

TAG: gbk Python utf8 编码

cq520131517的个人空间 引用 删除 cq520131517   /   2018-07-19 09:54:28
3
 

评分:0

我来说两句

显示全部

:loveliness: :handshake :victory: :funk: :time: :kiss: :call: :hug: :lol :'( :Q :L ;P :$ :P :o :@ :D :( :)

sylan215

sylan215

请关注公众号[sylan215]

日历

« 2018-10-17  
 123456
78910111213
14151617181920
21222324252627
28293031   

数据统计

  • 访问量: 4000
  • 日志数: 27
  • 图片数: 1
  • 建立时间: 2018-07-03
  • 更新时间: 2018-09-27

RSS订阅

Open Toolbar