Python爬蟲的json模塊與jsonpath模塊？很多新手對此不是很清楚，為了幫助大家解決這個難題，下面小編將為大家詳細(xì)講解，有這方面需求的人可以來學(xué)習(xí)下，希望你能有所收獲。

創(chuàng)新互聯(lián)自2013年起，先為鄂城等服務(wù)建站，鄂城等地企業(yè)，進(jìn)行企業(yè)商務(wù)咨詢服務(wù)。為鄂城企業(yè)網(wǎng)站制作PC+手機+微官網(wǎng)三網(wǎng)同步一站式服務(wù)解決您的所有建站問題。

JSON（JavaScript Object Notation）是一種輕量級的數(shù)據(jù)交換格式，它使得人們很容易的進(jìn)行閱讀和編寫。同時也方便了機器進(jìn)行解析和生成。適用于進(jìn)行數(shù)據(jù)交互的場景，比如網(wǎng)站前臺與后臺之間的數(shù)據(jù)交互。JSON和XML相比較可謂不相上下。

Python 3.X中自帶了JSON模塊，直接import json就可以使用了。

官方文檔：http://docs.python.org/library/json.html

Json在線解析網(wǎng)站：http://www.json.cn/#

JSON

json簡單來說就是JavaScript中的對象和數(shù)組，所以這兩種結(jié)構(gòu)就是對象和數(shù)組兩種結(jié)構(gòu)，通過這兩種結(jié)構(gòu)可以表示各種復(fù)雜的結(jié)構(gòu)。

對象：對象在js中表示為{ }括起來的內(nèi)容，數(shù)據(jù)結(jié)構(gòu)為{key1: value1, key2:value2, ...}的鍵值對的結(jié)構(gòu)，在面向?qū)ο蟮恼Z言中，key為對象的屬性，value為對應(yīng)的屬性值，所以很容易理解，取值方法為 對象.key 獲取屬性值，這個屬性值的類型可以是數(shù)字、字符串、數(shù)組、對象。

數(shù)組：數(shù)組在js中是[ ]括起來的內(nèi)容，數(shù)據(jù)結(jié)構(gòu)為['Python', ‘JavaScript', 'C++', ...]，取值方式和所有語言一樣，使用索引獲取，字段值的類型可以是數(shù)字、字符串、數(shù)組、對象。

json模塊

json模塊提供了四個功能：dumps、dump、loads、load，用于字符串和Python數(shù)據(jù)類型間進(jìn)行轉(zhuǎn)換。

1.json.dumps()

實現(xiàn)Python類型轉(zhuǎn)化為Json字符串，返回一個str對象，從Python到Json的類型轉(zhuǎn)換對照如下：

#!/usr/bin/python3
# -*- coding:utf-8 -*-
 
import json
 
listStr = [1, 2, 3, 4]
tupleStr = (1, 2, 3, 4)
dictStr = {"city": "北京", "name": "螞蟻"}
 
print(json.dumps(listStr))
# [1, 2, 3, 4]
 
print(type(json.dumps(listStr)))
# 
 
print(json.dumps(tupleStr))
# [1, 2, 3, 4]
 
print(type(json.dumps(tupleStr)))
# 
 
# 注意：json.dumps() 序列化時默認(rèn)使用的ascii編碼
# 添加參數(shù) ensure_ascii=False 禁用ascii編碼，按utf-8編碼
print(json.dumps(dictStr, ensure_ascii = False))
# {"city": "北京", "name": "螞蟻"}
 
print(type(json.dumps(dictStr, ensure_ascii = False)))
# 

2.json.dump()

 將Python內(nèi)置類型序列化為Json對象后寫入文件

#!/usr/bin/python3
# -*- coding:utf-8 -*-
 
import json
 
listStr = [{"city": "北京"}, {"name": "螞蟻"}]
json.dump(listStr, open("listStr.json", "w", encoding = "utf-8"), ensure_ascii = False)
 
dictStr = {"city": "北京", "name": "螞蟻"}
json.dump(dictStr, open("dictStr.json", "w", encoding = "utf-8"), ensure_ascii = False)

3.json.loads()

把Json格式字符串解碼轉(zhuǎn)換成Python對象，從Json到Python的類型轉(zhuǎn)換對照如下：

#!/usr/bin/python3
# -*- coding:utf-8 -*-
__author__ = 'mayi'
 
import json
 
strList = '[1, 2, 3, 4]'
 
strDict = '{"city": "北京", "name": "螞蟻"}'
 
print(json.loads(strList))
# [1, 2, 3, 4]
 
# json數(shù)據(jù)自動按utf-8存儲
print(json.loads(strDict))
# {'city': '北京', 'name': '螞蟻'}

4.json.load()

讀取文件中Json形式的字符串，轉(zhuǎn)換成Python類型

#!/usr/bin/python3
# -*- coding:utf-8 -*- 
import json
 
strList = json.load(open("listStr.json", "r", encoding = "utf-8"))
print(strList)
# [{'city': '北京'}, {'name': '螞蟻'}]
 
strDict = json.load(open("dictStr.json", "r", encoding = "utf-8"))
print(strDict)
# {'city': '北京', 'name': '螞蟻'}

JsonPath

JsonPath是一種信息抽取類庫，是從JSON文檔中抽取指定信息的工具，提供多種語言實現(xiàn)版本，包括：JavaScript、Python、PHP和Java。

JsonPath對于JSON來說，相當(dāng)于XPATH對于XML。

下載地址：https://pypi.python.org/pypi/jsonpath

安裝方法：下載后解壓之后執(zhí)行 python setup.py install

官方文檔：http://goessner.net/articles/JsonPath

JsonPath與XPath語法對比：

JsonPath結(jié)構(gòu)清晰，可讀性高，復(fù)雜度低，非常容易匹配，下表中對應(yīng)了XPath的用法。

示例：

以拉勾網(wǎng)城市JSON文件：http://www.lagou.com/lbs/getAllCitySearchLabels.json 為例，獲取所有的城市名稱。

#!/usr/bin/python3
# -*- coding:utf-8 -*-
 
import urllib.request
import json
import jsonpath
 
# 拉勾網(wǎng)城市JSON文件
url = 'http://www.lagou.com/lbs/getAllCitySearchLabels.json'
# User-Agent頭
header = {'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.71 Safari/537.36'}
 
# url 連同 headers，一起構(gòu)造Request請求，這個請求將附帶 chrome 瀏覽器的User-Agent
request = urllib.request.Request(url, headers = header)
 
# 向服務(wù)器發(fā)送這個請求
response = urllib.request.urlopen(request)
 
# 獲取頁面內(nèi)容：bytes
html = response.read()
 
# 轉(zhuǎn)碼：bytes轉(zhuǎn)str
html = html.decode("utf-8")
 
# 把json格式字符串轉(zhuǎn)換成python對象
obj = json.loads(html)
 
# 從根節(jié)點開始，匹配name節(jié)點
city_list = jsonpath.jsonpath(obj, '$..name')
 
# 打印獲取的name節(jié)點
print(city_list)
# 打印其類型
print(type(city_list))
 
# 寫入本地磁盤文件
with open("city.json", "w", encoding = "utf-8") as f:
    content = json.dumps(city_list, ensure_ascii = False)
    f.write(content)

看完上述內(nèi)容是否對您有幫助呢？如果還想對相關(guān)知識有進(jìn)一步的了解或閱讀更多相關(guān)文章，請關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道，感謝您對創(chuàng)新互聯(lián)的支持。