在各種python的項目中，我們時常要持久化的在系統(tǒng)中存儲各式各樣的python的數(shù)據(jù)結(jié)構(gòu)，常用的比如字典等。尤其是在云服務(wù)類型中的python項目中，要持久化或者臨時的在緩存中儲存一些用戶認(rèn)證信息和日志信息等，最典型的比如在數(shù)據(jù)庫中存儲用戶的token信息。在本文中我們將針對三種類型的python持久化存儲方案進行介紹，分別是json、pickle和python自帶的數(shù)據(jù)庫sqlite3。
成都創(chuàng)新互聯(lián)公司公司2013年成立，先為柯城等服務(wù)建站，柯城等地企業(yè)，進行企業(yè)商務(wù)咨詢服務(wù)。為柯城企業(yè)網(wǎng)站制作PC+手機+微官網(wǎng)三網(wǎng)同步一站式服務(wù)解決您的所有建站問題。
json格式的數(shù)據(jù)存儲也是云服務(wù)項目中常用的類型，具備十分輕量級和易使用的特性，這里我們展示一個案例：如何使用json格式存儲一個用python產(chǎn)生的斐波那契數(shù)列。斐波那契數(shù)列中的每一個元素，都等于前一個數(shù)和前前一個數(shù)的和，即：
，而最常見的斐波那契數(shù)列的前兩位數(shù)都是1。如下是一個產(chǎn)生斐波那契數(shù)列的python代碼：
重慶分公司
重慶分公司
import json
number = {1:1, 2:1}
for i in range(3, 11):
number[i] = number[i - 1] + number[i - 2]
print (number)
代碼的執(zhí)行結(jié)果如下：
[dechin@dechin-manjaro store_class]$ python3 json_dic.py
{1: 1, 2: 1, 3: 2, 4: 3, 5: 5, 6: 8, 7: 13, 8: 21, 9: 34, 10: 55}
我們可以從結(jié)果中看到，第10個斐波那契數(shù)是55。接下來我們來看看這樣的一個字典，如何持久化的存儲到j(luò)son格式的文件中，以下是一個使用的示例：
import json
number = {1:1, 2:1}
for i in range(3, 11):
number[i] = number[i - 1] + number[i - 2]
with open('number.json', 'w') as file:
json.dump(number, file)
with open('number.json', 'r') as file:
data = json.load(file)
print (data)
執(zhí)行這個python文件，我們可以獲得如下所示的輸出：
[dechin@dechin-manjaro store_class]$ python3 json_dic.py
{'1': 1, '2': 1, '3': 2, '4': 3, '5': 5, '6': 8, '7': 13, '8': 21, '9': 34, '10': 55}
這里我們發(fā)現(xiàn)在當(dāng)前目錄下產(chǎn)生了一個json的文件：
[dechin@dechin-manjaro store_class]$ ll
總用量 8
-rw-r--r-- 1 dechin dechin 265 3月 20 12:32 json_dic.py
-rw-r--r-- 1 dechin dechin 85 3月 20 12:32 number.json
我們可以看一下這個json文件中存儲了什么樣的數(shù)據(jù)：
[dechin@dechin-manjaro store_class]$ cat number.json
{"1": 1, "2": 1, "3": 2, "4": 3, "5": 5, "6": 8, "7": 13, "8": 21, "9": 34, "10": 55}
在驗證了相關(guān)的數(shù)據(jù)已經(jīng)被持久化存儲了之后，同時我們也注意到一個問題，我們產(chǎn)生斐波那契數(shù)列的時候，索引1,2,3...
使用的是整型變量，但是存儲到j(luò)son格式之后，變成了字符串格式。我們可以使用如下的案例來說明這其中的區(qū)別：
import json
number = {1:1, 2:1}
for i in range(3, 11):
number[i] = number[i - 1] + number[i - 2]
with open('number.json', 'w') as file:
json.dump(number, file)
with open('number.json', 'r') as file:
data = json.load(file)
print (data)
print (number[10])
print (data['10'])
print (data[10])
執(zhí)行的輸出如下：
[dechin@dechin-manjaro store_class]$ python3 json_dic.py
{'1': 1, '2': 1, '3': 2, '4': 3, '5': 5, '6': 8, '7': 13, '8': 21, '9': 34, '10': 55}
55
55
Traceback (most recent call last):
File "json_dic.py", line 16, in
print (data[10])
KeyError: 10
這里的輸出就有一個報錯信息，這是因為我們使用了整型索引變量來尋找json存儲的字典對象中對應(yīng)的值，但是因為前面存儲的時候這些整型的索引已經(jīng)被轉(zhuǎn)換成了字符串的索引，因此實際上在存儲的對象中已經(jīng)不存在整型的鍵值，所以執(zhí)行結(jié)果會報錯，而如果輸入的是字符串類型的鍵值，則成功的找到了第10個斐波那契數(shù)。
關(guān)于斐波那契數(shù)列的信息，在上一章節(jié)中已經(jīng)介紹，這里我們直接進入pickle的使用案例：
import pickle
number = {1:1, 2:1}
for i in range(3, 11):
number[i] = number[i - 1] + number[i - 2]
with open('number.pickle', 'wb') as file:
pickle.dump(number, file)
with open('number.pickle', 'rb') as file:
data = pickle.load(file)
print (data)
這里注意一個細(xì)節(jié)，在json格式的存儲中我們使用的文件打開格式是w，而在pickle這里我們使用的存儲文件打開格式是wb，pickle的讀取也是用的rb的二進制的讀取格式。上述代碼的執(zhí)行輸出結(jié)果如下：
[dechin@dechin-manjaro store_class]$ python3 pickle_dic.py
{1: 1, 2: 1, 3: 2, 4: 3, 5: 5, 6: 8, 7: 13, 8: 21, 9: 34, 10: 55}
這里我們可以發(fā)現(xiàn)，由pickle所存儲的字典格式中的整型的索引也被成功的存儲起來，在當(dāng)前目錄下產(chǎn)生了一個名為number.pickle的文件就是持久化存儲的對象。
[dechin@dechin-manjaro store_class]$ ll
總用量 12
-rw-r--r-- 1 dechin dechin 320 3月 20 12:45 json_dic.py
-rw-r--r-- 1 dechin dechin 85 3月 20 12:46 number.json
-rw-r--r-- 1 dechin dechin 56 3月 20 12:44 number.pickle
-rw-r--r-- 1 dechin dechin 279 3月 20 12:44 pickle_dic.py
類似于json格式中的持久化讀取驗證，我們也可以簡單修改一個類似的pickle的案例：
import pickle
number = {1:1, 2:1}
for i in range(3, 11):
number[i] = number[i - 1] + number[i - 2]
with open('number.pickle', 'wb') as file:
pickle.dump(number, file)
with open('number.pickle', 'rb') as file:
data = pickle.load(file)
print (data)
print (number[10])
print (data[10])
執(zhí)行結(jié)果如下所示：
{1: 1, 2: 1, 3: 2, 4: 3, 5: 5, 6: 8, 7: 13, 8: 21, 9: 34, 10: 55}
55
55
從結(jié)果中我們發(fā)現(xiàn)存儲后的對象用一樣的讀取格式被成功讀取。
在常用的Linux操作系統(tǒng)中都會自帶sqlite3數(shù)據(jù)庫，如果是windows和Mac的操作系統(tǒng)，可以按照這個教程中給的方案進行安裝。
SQLite是一個進程內(nèi)的庫，實現(xiàn)了自給自足的、無服務(wù)器的、零配置的、事務(wù)性的 SQL 數(shù)據(jù)庫引擎。它是一個零配置的數(shù)據(jù)庫，這意味著與其他數(shù)據(jù)庫不一樣，您不需要在系統(tǒng)中配置。
就像其他數(shù)據(jù)庫，SQLite引擎不是一個獨立的進程，可以按應(yīng)用程序需求進行靜態(tài)或動態(tài)連接。SQLite直接訪問其存儲文件。
同時在python3的庫中一般也自帶了sqlite3，不需要自己安裝，下面我們用ipython演示一下如何在python中使用sqlite3數(shù)據(jù)庫：
[dechin@dechin-manjaro store_class]$ ipython
Python 3.8.5 (default, Sep 4 2020, 07:30:14)
Type 'copyright', 'credits' or 'license' for more information
IPython 7.19.0 -- An enhanced Interactive Python. Type '?' for help.
In [1]: import sqlite3
In [2]: conn = sqlite3.connect('test_sqlite3.db') # 如果有db文件就讀取，沒有就創(chuàng)建
In [3]: cur = conn.cursor()
In [8]: sql_test_1 = '''CREATE TABLE number
...: (i NUMBER,
...: n NUMBER);''' # 創(chuàng)建一個名為number的表，有兩列數(shù)據(jù)i和n作為鍵值對
In [9]: cur.execute(sql_test_1) # 執(zhí)行字符串指令
Out[9]:
In [10]: sql_test_2 = "INSERT INTO number VALUES(1,1)" # 插入新的數(shù)據(jù)
In [11]: cur.execute(sql_test_2)
Out[11]:
In [12]: sql_test_2 = "INSERT INTO number VALUES(2,1)"
In [13]: sql_test_3 = "INSERT INTO number VALUES(2,1)"
In [14]: cur.execute(sql_test_3)
Out[14]:
In [15]: sql_test_4 = "SELECT * FROM number WHERE i=1" # 檢索數(shù)據(jù)
In [16]: cur.execute(sql_test_4)
Out[16]:
In [17]: cur.fetchall()
Out[17]: [(1, 1)]
In [18]: sql_test_5 = "SELECT * FROM number WHERE i>=1"
In [19]: cur.execute(sql_test_5)
Out[19]:
In [20]: cur.fetchall() # 讀取檢索返回值
Out[20]: [(1, 1), (2, 1)]
In [21]: for i in range(3, 11):
...: sql_test_6 = "SELECT * FROM number WHERE i={}".format(i-1)
...: cur.execute(sql_test_6)
...: select_result1 = cur.fetchall()[0][1]
...: sql_test_7 = "SELECT * FROM number WHERE i={}".format(i-2)
...: cur.execute(sql_test_7)
...: select_result2 = cur.fetchall()[0][1]
...: cur.execute("INSERT INTO number VALUES({},{})".format(i, select_result1+select_res
...: ult2))
...:
In [22]: sql_test_8 = "SELECT * FROM number WHERE i>=1"
In [23]: cur.execute(sql_test_8)
Out[23]:
In [24]: cur.fetchall()
Out[24]:
[(1, 1),
(2, 1),
(3, 2),
(4, 3),
(5, 5),
(6, 8),
(7, 13),
(8, 21),
(9, 34),
(10, 55)]
In [25]: exit() # 退出ipython
在上述示例中我們演示了如何使用sqlite3創(chuàng)建數(shù)據(jù)庫和表，以及對表的內(nèi)容的一些常用操作。在執(zhí)行完上述示例后，會在當(dāng)前目錄下產(chǎn)生一個新的db文件：
[dechin@dechin-manjaro store_class]$ ll
總用量 24
-rw-r--r-- 1 dechin dechin 320 3月 20 12:45 json_dic.py
-rw-r--r-- 1 dechin dechin 85 3月 20 12:46 number.json
-rw-r--r-- 1 dechin dechin 56 3月 20 12:47 number.pickle
-rw-r--r-- 1 dechin dechin 315 3月 20 12:47 pickle_dic.py
-rw-r--r-- 1 dechin dechin 8192 3月 20 13:05 test_sqlite3.db
如果在運行過程中出現(xiàn)如下所示的報錯，就代表有其他的進程正在占用這個db文件，因此會有進程將這個數(shù)據(jù)庫進行鎖定：
Traceback (most recent call last):
File "sqlite3_dic.py", line 15, in
cur.execute("INSERT INTO number VALUES(1,1)")
sqlite3.OperationalError: database is locked
解決的辦法是，首先用fuser查看這個db文件被哪個用戶所占用：
[dechin@dechin-manjaro store_class]$ fuser test_sqlite3.db
/home/dechin/projects/2021-python/store_class/test_sqlite3.db: 5120
我們查看到是5120這個進程占用了數(shù)據(jù)庫文件，也是這個進程將數(shù)據(jù)庫鎖定了。通常這種情況出現(xiàn)的原因是，在python中執(zhí)行的數(shù)據(jù)庫操作指令未成功完成，導(dǎo)致數(shù)據(jù)庫的進程沒有結(jié)束，而我們也無法再通過這個進程向數(shù)據(jù)庫中輸入新的指令。因此我們只能通過將該進程殺死的方案來解決這個問題：
[dechin@dechin-manjaro store_class]$ kill -9 5120
還有一個需要注意的點是，上面所用到的數(shù)據(jù)庫操作實際上并未真正的被保存到數(shù)據(jù)庫文件中，需要經(jīng)過commit之后才會被保存到數(shù)據(jù)庫文件中。接下來我們還是用斐波那契數(shù)列的例子來演示數(shù)據(jù)庫操作的使用：
import sqlite3
from tqdm import trange
conn = sqlite3.connect('test_sqlite3.db')
cur = conn.cursor()
try:
sql_test_1 = '''CREATE TABLE number
(i NUMBER,
n NUMBER);'''
cur.execute(sql_test_1)
except:
pass
cur.execute("INSERT INTO number VALUES(1,1)")
cur.execute("INSERT INTO number VALUES(2,1)")
for i in trange(3, 11):
sql_test_6 = "SELECT * FROM number WHERE i={}".format(i - 1)
cur.execute(sql_test_6)
select_result1 = cur.fetchall()[0][1]
sql_test_7 = "SELECT * FROM number WHERE i={}".format(i - 2)
cur.execute(sql_test_7)
select_result2 = cur.fetchall()[0][1]
cur.execute("INSERT INTO number VALUES({},{})".format(i, select_result1 + select_result2))
cur.execute("SELECT * FROM number WHERE i=10")
print (cur.fetchall())
conn.commit()
cur.close()
conn.close()
在上述用例中我們補充了commit操作和close操作，一方面持久化的保存了數(shù)據(jù)，另一方面也避免因為程序中其他地方的問題而導(dǎo)致了前面所提到的數(shù)據(jù)庫被鎖定的問題。我們看一下這個用例的執(zhí)行輸出情況：
[dechin@dechin-manjaro store_class]$ python3 sqlite3_dic.py
100%|█████████████████████████████████████████████████████████| 8/8 [00:00<00:00, .03it/s]
[(10, 55)]
第10個斐波那契數(shù)被成功輸出，在數(shù)據(jù)庫的輸出中，使用的格式是一個列表包含多個元組的形式。其中每一個元組代表一個滿足檢索條件的鍵值對，每一個元組中的元素代表每一列的值。
前面提到了持久化保存的問題，我們也用一個簡單示例來驗證剛才經(jīng)過commit之后是否被成功的保存起來了：
'''
學(xué)習(xí)中遇到問題沒人解答？小編創(chuàng)建了一個Python學(xué)習(xí)交流群：
尋找有志同道合的小伙伴，互幫互助,群里還有不錯的視頻學(xué)習(xí)教程和PDF電子書！
'''
import sqlite3
from tqdm import trange
conn = sqlite3.connect('test_sqlite3.db')
cur = conn.cursor()
cur.execute("SELECT * FROM number WHERE i=10")
print (cur.fetchall())
conn.commit()
cur.close()
conn.close()
執(zhí)行輸出如下：
[dechin@dechin-manjaro store_class]$ python3 test_recall_sqlite3.py
[(10, 55)]
這個結(jié)果表明前面存儲下來的斐波那契數(shù)列已經(jīng)被持久化的保存到了數(shù)據(jù)庫文件中，我們只要鏈接上該數(shù)據(jù)庫就可以隨時的讀取該數(shù)據(jù)。
本文介紹了三種python的字典對象持久化存儲方案，包含json、pickle和數(shù)據(jù)庫sqlite，并且配合一個實際案例斐波那契數(shù)列來演示了不同解決方案的使用方法。這里三種方案實際上各有優(yōu)劣，推薦的使用場景為：在輕量級、日常使用中可以重點使用json格式進行對象的存儲，我們也可以很方便的在系統(tǒng)上直接查看json格式的文件內(nèi)容;在多用戶或多進程使用的案例中，推薦使用pickle的方案，可以更高性能、更低開銷的持久化存儲python對象;如果是需要對外提供服務(wù)的，我們推薦可以直接使用sqlite，對外可以提供一個數(shù)據(jù)庫查詢的解決方案，便不需要在本地存儲大量的數(shù)據(jù)或者可以更方便的對大規(guī)模數(shù)據(jù)進行處理。
