這篇文章主要介紹“如何理解Python解釋器源碼”，在日常操作中，相信很多人在如何理解Python解釋器源碼問題上存在疑惑，小編查閱了各式資料，整理出簡(jiǎn)單好用的操作方法，希望對(duì)大家解答”如何理解Python解釋器源碼”的疑惑有所幫助！接下來，請(qǐng)跟著小編一起來學(xué)習(xí)吧！

成都創(chuàng)新互聯(lián)公司-專業(yè)網(wǎng)站定制、快速模板網(wǎng)站建設(shè)、高性價(jià)比黃石網(wǎng)站開發(fā)、企業(yè)建站全套包干低至880元,成熟完善的模板庫,直接使用。一站式黃石網(wǎng)站制作公司更省心,省錢,快速模板網(wǎng)站建設(shè)找我們，業(yè)務(wù)覆蓋黃石地區(qū)。費(fèi)用合理售后完善，十余年實(shí)體公司更值得信賴。

全文提綱如下：

1、什么是“字符串駐留”?

字符串駐留是一種編譯器/解釋器的優(yōu)化方法，它通過緩存一般性的字符串，從而節(jié)省字符串處理任務(wù)的空間和時(shí)間。

這種優(yōu)化方法不會(huì)每次都創(chuàng)建一個(gè)新的字符串副本，而是僅為每個(gè)適當(dāng)?shù)牟豢勺冎当Ａ粢粋€(gè)字符串副本，并使用指針引用之。

每個(gè)字符串的唯一拷貝被稱為它的intern，并因此而得名 String Interning。

Python貓注：String Interning 一般被譯為“字符串駐留”或“字符串留用”，在某些語言中可能習(xí)慣用 String  Pool(字符串常量池)的概念，其實(shí)是對(duì)同一種機(jī)制的不同表述。intern 作為名詞時(shí)，是“實(shí)習(xí)生、實(shí)習(xí)醫(yī)生”的意思，在此可以理解成“駐留物、駐留值”。

查找字符串 intern 的方法可能作為公開接口公開，也可能不公開?，F(xiàn)代編程語言如 Java、Python、PHP、Ruby、Julia  等等，都支持字符串駐留，以使其編譯器和解釋器做到高性能。

2、為什么要駐留字符串?

字符串駐留提升了字符串比較的速度。 如果沒有駐留，當(dāng)我們要比較兩個(gè)字符串是否相等時(shí)，它的時(shí)間復(fù)雜度將上升到  O(n)，即需要檢查兩個(gè)字符串中的每個(gè)字符，才能判斷出它們是否相等。

但是，如果字符串是固定的，由于相同的字符串將使用同一個(gè)對(duì)象引用，因此只需檢查指針是否相同，就足以判斷出兩個(gè)字符串是否相等，不必再逐一檢查每個(gè)字符。由于這是一個(gè)非常普遍的操作，因此，它被典型地實(shí)現(xiàn)為指針相等性校驗(yàn)，僅使用一條完全沒有內(nèi)存引用的機(jī)器指令。

字符串駐留減少了內(nèi)存占用。 Python 避免內(nèi)存中充斥多余的字符串對(duì)象，通過享元設(shè)計(jì)模式共享和重用已經(jīng)定義的對(duì)象，從而優(yōu)化內(nèi)存占用。

3、Python的字符串駐留

像大多數(shù)其它現(xiàn)代編程語言一樣，Python 也使用字符串駐留來提高性能。在 Python  中，我們可以使用is運(yùn)算符，檢查兩個(gè)對(duì)象是否引用了同一個(gè)內(nèi)存對(duì)象。

因此，如果兩個(gè)字符串對(duì)象引用了相同的內(nèi)存對(duì)象，則is運(yùn)算符將得出True，否則為False。

>>> 'python' is 'python' True

我們可以使用這個(gè)特定的運(yùn)算符，來判斷哪些字符串是被駐留的。在 CPython 的，字符串駐留是通過以下函數(shù)實(shí)現(xiàn)的，聲明在 unicodeobject.h  中，定義在 unicodeobject.c 中。

PyAPI_FUNC(void) PyUnicode_InternInPlace(PyObject **);

為了檢查一個(gè)字符串是否被駐留，CPython 實(shí)現(xiàn)了一個(gè)名為PyUnicode_CHECK_INTERNED的宏，同樣是定義在  unicodeobject.h 中。

這個(gè)宏表明了 Python 在PyASCIIObject結(jié)構(gòu)中維護(hù)著一個(gè)名為interned的成員變量，它的值表示相應(yīng)的字符串是否被駐留。

#define PyUnicode_CHECK_INTERNED(op) \     (((PyASCIIObject *)(op))->state.interned)

4、字符串駐留的原理

在 CPython 中，字符串的引用被一個(gè)名為interned的 Python 字典所存儲(chǔ)、訪問和管理。  該字典在第一次調(diào)用字符串駐留時(shí)，被延遲地初始化，并持有全部已駐留字符串對(duì)象的引用。

4.1 如何駐留字符串?

負(fù)責(zé)駐留字符串的核心函數(shù)是PyUnicode_InternInPlace，它定義在 unicodeobject.c  中，當(dāng)調(diào)用時(shí)，它會(huì)創(chuàng)建一個(gè)準(zhǔn)備容納所有駐留的字符串的字典interned，然后登記入?yún)⒅械膶?duì)象，令其鍵和值都使用相同的對(duì)象引用。

以下函數(shù)片段顯示了 Python 實(shí)現(xiàn)字符串駐留的過程。

void PyUnicode_InternInPlace(PyObject **p) {     PyObject *s = *p;      .........      // Lazily build the dictionary to hold interned Strings     if (interned == NULL) {         interned = PyDict_New();         if (interned == NULL) {             PyErr_Clear();             return;         }     }      PyObject *t;      // Make an entry to the interned dictionary for the     // given object     t = PyDict_SetDefault(interned, s, s);      .........          // The two references in interned dict (key and value) are     // not counted by refcnt.     // unicode_dealloc() and _PyUnicode_ClearInterned() take     // care of this.     Py_SET_REFCNT(s, Py_REFCNT(s) - 2);      // Set the state of the string to be INTERNED     _PyUnicode_STATE(s).interned = SSTATE_INTERNED_MORTAL; }

4.2 如何清理駐留的字符串?

清理函數(shù)從interned字典中遍歷所有的字符串，調(diào)整這些對(duì)象的引用計(jì)數(shù)，并把它們標(biāo)記為NOT_INTERNED，使其被垃圾回收。一旦所有的字符串都被標(biāo)記為NOT_INTERNED，則interned字典會(huì)被清空并刪除。

這個(gè)清理函數(shù)就是_PyUnicode_ClearInterned，在 unicodeobject.c 中定義。

void _PyUnicode_ClearInterned(PyThreadState *tstate) {     .........      // Get all the keys to the interned dictionary     PyObject *keys = PyDict_Keys(interned);      .........      // Interned Unicode strings are not forcibly deallocated;     // rather, we give them their stolen references back     // and then clear and DECREF the interned dict.      for (Py_ssize_t i = 0; i < n; i++) {         PyObject *s = PyList_GET_ITEM(keys, i);          .........          switch (PyUnicode_CHECK_INTERNED(s)) {         case SSTATE_INTERNED_IMMORTAL:             Py_SET_REFCNT(s, Py_REFCNT(s) + 1);             break;         case SSTATE_INTERNED_MORTAL:             // Restore the two references (key and value) ignored             // by PyUnicode_InternInPlace().             Py_SET_REFCNT(s, Py_REFCNT(s) + 2);             break;         case SSTATE_NOT_INTERNED:             /* fall through */         default:             Py_UNREACHABLE();         }          // marking the string to be NOT_INTERNED         _PyUnicode_STATE(s).interned = SSTATE_NOT_INTERNED;     }      // decreasing the reference to the initialized and     // access keys object.     Py_DECREF(keys);      // clearing the dictionary     PyDict_Clear(interned);      // clearing the object interned     Py_CLEAR(interned); }

5、字符串駐留的實(shí)現(xiàn)

既然了解了字符串駐留及清理的內(nèi)部原理，我們就可以找出 Python 中所有會(huì)被駐留的字符串。

為了做到這點(diǎn)，我們要做的就是在 CPython 源代碼中查找PyUnicode_InternInPlace 函數(shù)的調(diào)用，并查看其附近的代碼。下面是在  Python 中關(guān)于字符串駐留的一些有趣的發(fā)現(xiàn)。

5.1 變量、常量與函數(shù)名

CPython 對(duì)常量(例如函數(shù)名、變量名、字符串字面量等)執(zhí)行字符串駐留。

以下代碼出自codeobject.c，它表明在創(chuàng)建新的PyCode對(duì)象時(shí)，解釋器將對(duì)所有編譯期的常量、名稱和字面量進(jìn)行駐留。

PyCodeObject * PyCode_NewWithPosOnlyArgs(int argcount, int posonlyargcount, int kwonlyargcount,                           int nlocals, int stacksize, int flags,                           PyObject *code, PyObject *consts, PyObject *names,                           PyObject *varnames, PyObject *freevars, PyObject *cellvars,                           PyObject *filename, PyObject *name, int firstlineno,                           PyObject *linetable) {      ........      if (intern_strings(names) < 0) {         return NULL;     }      if (intern_strings(varnames) < 0) {         return NULL;     }      if (intern_strings(freevars) < 0) {         return NULL;     }      if (intern_strings(cellvars) < 0) {         return NULL;     }      if (intern_string_constants(consts, NULL) < 0) {         return NULL;     }      ........  }

5.2 字典的鍵

CPython 還會(huì)駐留任何字典對(duì)象的字符串鍵。

當(dāng)在字典中插入元素時(shí)，解釋器會(huì)對(duì)該元素的鍵作字符串駐留。以下代碼出自 dictobject.c，展示了實(shí)際的行為。

有趣的地方：在PyUnicode_InternInPlace函數(shù)被調(diào)用處有一條注釋，它問道，我們是否真的需要對(duì)所有字典中的全部鍵進(jìn)行駐留?

int PyDict_SetItemString(PyObject *v, const char *key, PyObject *item) {     PyObject *kv;     int err;     kv = PyUnicode_FromString(key);     if (kv == NULL)         return -1;      // Invoking String Interning on the key     PyUnicode_InternInPlace(&kv); /* XXX Should we really? */      err = PyDict_SetItem(v, kv, item);     Py_DECREF(kv);     return err; }

5.3 任何對(duì)象的屬性

Python 中對(duì)象的屬性可以通過setattr函數(shù)顯式地設(shè)置，也可以作為類成員的一部分而隱式地設(shè)置，或者在其數(shù)據(jù)類型中預(yù)定義。

CPython 會(huì)駐留所有這些屬性名，以便實(shí)現(xiàn)快速查找。 以下是函數(shù)PyObject_SetAttr的代碼片段，該函數(shù)定義在文件object.c中，負(fù)責(zé)為  Python 對(duì)象設(shè)置新屬性。

int PyObject_SetAttr(PyObject *v, PyObject *name, PyObject *value) {      ........      PyUnicode_InternInPlace(&name);      ........ }

5.4 顯式地駐留

Python 還支持通過sys模塊中的intern函數(shù)進(jìn)行顯式地字符串駐留。

當(dāng)使用任何字符串對(duì)象調(diào)用此函數(shù)時(shí)，該字符串對(duì)象將被駐留。以下是 sysmodule.c  文件的代碼片段，它展示了在sys_intern_impl函數(shù)中的字符串駐留過程。

static PyObject * sys_intern_impl(PyObject *module, PyObject *s) {      ........      if (PyUnicode_CheckExact(s)) {         Py_INCREF(s);         PyUnicode_InternInPlace(&s);         return s;     }      ........ }

6、字符串駐留的其它發(fā)現(xiàn)

只有編譯期的字符串會(huì)被駐留。 在解釋時(shí)或編譯時(shí)指定的字符串會(huì)被駐留，而動(dòng)態(tài)創(chuàng)建的字符串則不會(huì)。

Python貓注：這一條規(guī)則值得展開思考，我曾經(jīng)在上面踩過坑……有兩個(gè)知識(shí)點(diǎn)，我相信 99% 的人都不知道：字符串的 join()  方法是動(dòng)態(tài)創(chuàng)建字符串，因此其創(chuàng)建的字符串不會(huì)被駐留;常量折疊機(jī)制也發(fā)生在編譯期，因此有時(shí)候容易把它跟字符串駐留搞混淆。

包含 ASCII 字符和下劃線的字符串會(huì)被駐留。 在編譯期間，當(dāng)對(duì)字符串字面量進(jìn)行駐留時(shí)，CPython  確保僅對(duì)匹配正則表達(dá)式[a-zA-Z0-9_]*的常量進(jìn)行駐留，因?yàn)樗鼈兎浅ＹN近于 Python 的標(biāo)識(shí)符。

Python貓注：關(guān)于 Python 中標(biāo)識(shí)符的命名規(guī)則，在 Python2 版本只有“字母、數(shù)字和下劃線”，但在 Python 3.x 版本中，已經(jīng)支持  Unicode 編碼。

到此，關(guān)于“如何理解Python解釋器源碼”的學(xué)習(xí)就結(jié)束了，希望能夠解決大家的疑惑。理論與實(shí)踐的搭配能更好的幫助大家學(xué)習(xí)，快去試試吧！若想繼續(xù)學(xué)習(xí)更多相關(guān)知識(shí)，請(qǐng)繼續(xù)關(guān)注創(chuàng)新互聯(lián)網(wǎng)站，小編會(huì)繼續(xù)努力為大家?guī)砀鄬?shí)用的文章！