眾所周知，Python 3.11 版本帶來了較大的性能提升，但是，它具體在哪些方面上得到了優(yōu)化呢？除了著名的“香農(nóng)計(jì)劃”外，它還包含哪些與性能相關(guān)的優(yōu)化呢？本文將帶你一探究竟！
公司專注于為企業(yè)提供成都網(wǎng)站設(shè)計(jì)、成都網(wǎng)站建設(shè)、微信公眾號(hào)開發(fā)、商城開發(fā)，微信小程序定制開發(fā)，軟件按需搭建網(wǎng)站等一站式互聯(lián)網(wǎng)企業(yè)服務(wù)。憑借多年豐富的經(jīng)驗(yàn)，我們會(huì)仔細(xì)了解各客戶的需求而做出多方面的分析、設(shè)計(jì)、整合，為客戶設(shè)計(jì)出具風(fēng)格及創(chuàng)意性的商業(yè)解決方案，成都創(chuàng)新互聯(lián)更提供一系列網(wǎng)站制作和網(wǎng)站推廣的服務(wù)。
作者：Beshr Kayali
譯者：豌豆花下貓@Python貓
英文：https://log.beshr.com/python-311-speedup-part-1
轉(zhuǎn)載請(qǐng)保留作者及譯者信息！
Python 3.11 在幾天前發(fā)布了，它照例帶來了很多新特性，例如異常組、細(xì)粒度的錯(cuò)誤位置與堆棧回溯、標(biāo)準(zhǔn)庫對(duì) TOML 的解析支持，當(dāng)然，還有備受大家期待的由 faster CPython 項(xiàng)目帶來的速度提升。
根據(jù) pyperformance 的基準(zhǔn)測試，CPython 3.11 比 CPython 3.10 平均快 25%。這項(xiàng)改進(jìn)的原因之一是 Guido 命名的“香農(nóng)計(jì)劃”（即 faster CPython）。對(duì)于 3.11 版本，這個(gè)計(jì)劃在兩個(gè)主要方向進(jìn)行了大量優(yōu)化：啟動(dòng)時(shí)和運(yùn)行時(shí)。
除此之外，Python 3.11 還包含有其它的優(yōu)化，這些優(yōu)化不屬于香農(nóng)計(jì)劃。
在本文中，我將詳細(xì)介紹 3.11.0 穩(wěn)定版中常規(guī)優(yōu)化的細(xì)節(jié)（即非 faster CPython 項(xiàng)目的改進(jìn)）。
（譯注：作者表示將另寫一篇文章介紹 faster CPython 的改進(jìn)細(xì)節(jié)，屆時(shí)，我也將繼續(xù)翻譯，敬請(qǐng)期待?。?/p>
使用格式化的字符串字面量（formatted string literals）是最快的格式化字符串的方法。
Python 3.10 中的一個(gè)簡單基準(zhǔn)測試：
重慶分公司
重慶分公司
$ python -m pyperf timeit -s \
'k = "foo"; v = "bar"' -- '"%s = %r" % (k, v)'
.....................
Mean +- std dev: 187 ns +- 8 ns
但是使用 f-string 似乎要快 42%：
$ python -m pyperf timeit -s \
'k = "foo"; v = "bar"' -- 'f"{k!s} = {v!r}"'
.....................
Mean +- std dev: 131 ns +- 9 ns
優(yōu)化性能的手段是將簡單的 C 風(fēng)格的格式化方法轉(zhuǎn)換為 f-string 方法。在 3.11.0 中，只轉(zhuǎn)換了 %s、%r 和 %a 三種，但是目前有一個(gè)待合入的 pull request，將會(huì)支持：%d、%i、%u、%o、%x、%X、%f、 %e、%g、%F、%E、%G。
例如，下面是 Python 3.11 中相同基準(zhǔn)測試的結(jié)果：
$ python -m pyperf timeit -s \
'k = "foo"; v = "bar"' -- '"%s = %r" % (k, v)'
.....................
Mean +- std dev: 100 ns +- 5 ns
大約快了 87%！當(dāng)然，3.11 中其它的優(yōu)化對(duì)此也有影響，比如更快的解釋器啟動(dòng)時(shí)間。
在 Python 3.10 中：
python -m pyperf timeit -s 'x=10**1000' -- 'x//10'
.....................
Mean +- std dev: 1.18 us +- 0.02 us
在 Python 3.11 中：
python -m pyperf timeit -s 'x=10**1000' -- 'x//10'
.....................
Mean +- std dev: 995 ns +- 15 ns
大約快了18%。
這項(xiàng)優(yōu)化源自 Mark Dickinson 的一個(gè)發(fā)現(xiàn)，即編譯器總會(huì)生成 128:64 的除法指令，盡管處理的是 30 位的數(shù)值。
即使在 x64 上，Python 的除法也有些殘缺。假設(shè)是 30 位數(shù)字，則多精度除法所需的基本結(jié)構(gòu)是 64 位除以 32 位的無符號(hào)整數(shù)除法，產(chǎn)生一個(gè) 32 位的商（理想情況下還會(huì)產(chǎn)生一個(gè) 32 位余數(shù)）。有一個(gè) x86/x64 指令可以做到這一點(diǎn)，也就是 DIVL。但是如果不使用內(nèi)聯(lián)匯編，當(dāng)前版本的 GCC 和 Clang 顯然做不到從 longobject.c 中發(fā)出該指令——它們只會(huì)在 x64 上使用 DIVQ（128 位除以 64 位的除法，盡管被除數(shù)的前 64 位被設(shè)為零），而在 x86 上則使用固有的 __udivti3 或 __udivti4。
——Mark Dickinson（全文）
這里有一個(gè) issue，它發(fā)現(xiàn) Python 2.7 中 sum 的速度比 Python 3 快得多。不幸的是，在某些條件下，3.11.0 似乎仍然如此。
Python 2.7：
$ python -m pyperf timeit -s 'd = [0] * ' -- 'sum(d)'
.....................
Mean +- std dev: 37.4 us +- 1.1 us
Python 3.10：
$ python -m pyperf timeit -s 'd = [0] * ' -- 'sum(d)'
.....................
Mean +- std dev: 52.7 us +- 1.3 us
Python 3.11：
$ python -m pyperf timeit -s 'd = [0] * ' -- 'sum(d)'
.....................
Mean +- std dev: 39.0 us +- 1.0 us
Python3.10 和 3.11 之間的區(qū)別在于，通過在 sum 函數(shù)的快速加法分支中內(nèi)聯(lián)對(duì)單個(gè)數(shù)字 PyLongs 的解包，可以提升在單個(gè)數(shù)字 PyLongs 上調(diào)用 sum 的性能。這樣做可以避免在解包時(shí)調(diào)用 PyLong_AsLongAndOverflow。
值得注意的是，在某些情況下，Python 3.11 在整數(shù)求和時(shí)仍然明顯慢于 Python 2.7。我們希望在 Python 中通過實(shí)現(xiàn)更高效的整數(shù)，獲得更多的改進(jìn)。
在 Python 3.11 中，list.append 有了顯著的性能提升（大約快 54%）。
Python 3.10 的列表 append：
$ python -m pyperf timeit -s \
'x = list(map(float, range(10_000)))' -- '[x.append(i) for i in range(10_000)]'
.....................
Mean +- std dev: 605 us +- 20 us
Python 3.11 的列表 append：
$ python -m pyperf timeit -s \
'x = list(map(float, range(10_000)))' -- '[x.append(i) for i in range(10_000)]'
.....................
Mean +- std dev: 392 us +- 14 us
對(duì)于簡單的列表推導(dǎo)式，也有一些小的改進(jìn)：
Python 3.10：
$ python -m pyperf timeit -s \
'' -- '[x for x in list(map(float, range(10_000)))]'
.....................
Mean +- std dev: 553 us +- 19 us
Python 3.11：
$ python -m pyperf timeit -s \
'' -- '[x for x in list(map(float, range(10_000)))]'
.....................
Mean +- std dev: 516 us +- 16 us
譯注：記得在 3.9 版本的時(shí)候，Python 優(yōu)化了調(diào)用 list()、dict() 和 range() 等內(nèi)置類型的速度，在不起眼處，竟還能持續(xù)優(yōu)化！
這項(xiàng)優(yōu)化令 Python 在使用全為 Unicode 鍵的字典時(shí)，緩存的效率更高。這是因?yàn)槭褂玫膬?nèi)存減少了，那些 Unicode 鍵的哈希會(huì)被丟棄，因?yàn)槟切?Unicode 對(duì)象已經(jīng)有哈希了。
例如，在 64 位平臺(tái)上，Python 3.10 運(yùn)行結(jié)果：
>>> sys.getsizeof(dict(foo="bar", bar="foo"))
232
在 Python 3.11 中：
>>> sys.getsizeof(dict(foo="bar", bar="foo"))
184
（譯注：插個(gè)題外話，Python 的 getsizeof 是一種“淺計(jì)算”，這篇《Python在計(jì)算內(nèi)存時(shí)應(yīng)該注意的問題？》區(qū)分了“深淺計(jì)算”，可以讓你對(duì) Python 計(jì)算內(nèi)存有更深的理解。）
asyncio.DatagramProtocol 提供了一個(gè)用于實(shí)現(xiàn)數(shù)據(jù)報(bào)（UDP）協(xié)議的基類。有了這個(gè)優(yōu)化，使用asyncio UDP 傳輸大文件（比如 60 MiB）將比 Python 3.10 快 100 多倍。
這是通過計(jì)算一次緩沖區(qū)的大小并將其存儲(chǔ)在一個(gè)屬性中來實(shí)現(xiàn)的。這使得通過 UDP 傳輸大文件時(shí)，asyncio.DatagramProtocol 有著數(shù)量級(jí)的提速。
PR msoxzw 的作者提供了以下的 測試腳本。
Python 3.8 在math 標(biāo)準(zhǔn)庫中增加了 comb(n, k) 和 perm(n, k=None) 函數(shù)。兩者都用于計(jì)算從 n 個(gè)無重復(fù)的元素中選擇 k 個(gè)元素的方法數(shù)，comb 返回?zé)o序計(jì)算的結(jié)果，而perm 返回有序計(jì)算的結(jié)果。（譯注：即一個(gè)求組合數(shù)，一個(gè)求排列數(shù)）
3.11 的優(yōu)化由多個(gè)較小的改進(jìn)組成，比如使用分治算法來實(shí)現(xiàn) Karatsuba 大數(shù)乘法，以及盡可能用 C 語言unsigned long long 類型而不是 Python 整數(shù)進(jìn)行comb計(jì)算(*)。
另外一項(xiàng)改進(jìn)是針對(duì)較小的 k 值（0 <= k <= n <= 67）：
（譯注：以下兩段費(fèi)解，暫跳過）
對(duì)于
0 <= k <= n <= 67,comb(n, k)always fits into auint64_t. We compute it ascomb_odd_part << shiftwhere2 ** shiftis the largest power of two dividingcomb(n, k)andcomb_odd_partiscomb(n, k) >> shift.comb_odd_partcan be calculated efficiently via arithmetic modulo2 ** 64, using three lookups and twouint64_tmultiplications, while the necessary shift can be computed via Kummer's theorem: it's the number of carries when addingkton - kin binary, which in turn is the number of set bits ofn ^ k ^ (n - k). *
One more improvement is that the previous popcount-based code for computing the largest power of two dividing math.comb(n, k) (for small n) got replaced with a more direct method based on counting trailing zeros of the factorials involved. (*).
Python 3.10：
$ python -m pyperf timeit -s \
'import math' -- 'math.comb(100, 55)'
.....................
Mean +- std dev: 3.72 us +- 0.07 us
# ---
$ python -m pyperf timeit -s \
'import math' -- 'math.comb(, 5500)'
.....................
Mean +- std dev: 11.9 ms +- 0.1 ms
Python 3.11：
$ python -m pyperf timeit -s \
'import math' -- 'math.comb(100, 55)'
.....................
Mean +- std dev: 476 ns +- 20 ns
# ---
$ python -m pyperf timeit -s \
'import math' -- 'math.comb(, 5500)'
.....................
Mean +- std dev: 2.28 ms +- 0.10 ms
3.11 優(yōu)化了statistics模塊中的 mean、variance與stdev 函數(shù)。如果入?yún)⑹且粋€(gè)迭代器，則會(huì)直接用于計(jì)算，而不是先將其轉(zhuǎn)換為列表。這種計(jì)算方法 的速度比之前的快了一倍。*
Python 3.10：
# Mean
$ python -m pyperf timeit -s \
'import statistics' -- 'statistics.mean(range(1_000))'
.....................
Mean +- std dev: 255 us +- 11 us
# Variance
$ python -m pyperf timeit -s \
'import statistics' -- 'statistics.variance((x * 0.1 for x in range(0, 10)))'
.....................
Mean +- std dev: 77.0 us +- 2.9 us
# Sample standard deviation (stdev)
$ python -m pyperf timeit -s \
'import statistics' -- 'statistics.stdev((x * 0.1 for x in range(0, 10)))'
.....................
Mean +- std dev: 78.0 us +- 2.2 us
Python 3.11：
# Mean
$ python -m pyperf timeit -s \
'import statistics' -- 'statistics.mean(range(1_000))'
.....................
Mean +- std dev: 193 us +- 7 us
# Variance
$ python -m pyperf timeit -s \
'import statistics' -- 'statistics.variance((x * 0.1 for x in range(0, 10)))'
.....................
Mean +- std dev: 56.1 us +- 2.3 us
# Sample standard deviation (stdev)
$ python -m pyperf timeit -s \
'import statistics' -- 'statistics.stdev((x * 0.1 for x in range(0, 10)))'
.....................
Mean +- std dev: 59.4 us +- 2.6 us
對(duì)于 unicodedata.normalize() 方法，如果提供的入?yún)⑹羌?ASCII 字符串，則通過 unicode 快速檢查算法 迅速返回結(jié)果。這項(xiàng)檢查使用的是PyUnicode_IS_ASCII 實(shí)現(xiàn)。
Python 3.10：
$ python -m pyperf timeit -s \
'import unicodedata' -- 'unicodedata.normalize("NFC", "python")'
.....................
Mean +- std dev: 83.3 ns +- 4.3 ns
Python 3.11：
$ python -m pyperf timeit -s \
'import unicodedata' -- 'unicodedata.normalize("NFC", "python")'
.....................
Mean +- std dev: 34.2 ns +- 1.2 ns
最后的話：
