小編給大家分享一下爬蟲數(shù)據(jù)保存到MongoDB的方法,希望大家閱讀完這篇文章后大所收獲,下面讓我們一起去探討方法吧!
創(chuàng)新互聯(lián)公司是一家專注于成都做網(wǎng)站、成都網(wǎng)站制作與策劃設(shè)計,鷹手營子網(wǎng)站建設(shè)哪家好?創(chuàng)新互聯(lián)公司做網(wǎng)站,專注于網(wǎng)站建設(shè)十多年,網(wǎng)設(shè)計領(lǐng)域的專業(yè)建站公司;建站業(yè)務(wù)涵蓋:鷹手營子等地區(qū)。鷹手營子做網(wǎng)站價格咨詢:18980820575
爬蟲數(shù)據(jù)保存到mongoDB的方法:
import pymongo # 首先需要注意,mongodb數(shù)據(jù)庫存儲的類型是以鍵值對類型進(jìn)行存儲,所以在存儲以前一定要進(jìn)行數(shù)據(jù)篩選 def save_mongo(傳入的數(shù)據(jù)): # 創(chuàng)建連接 因為使用的為本機(jī)數(shù)據(jù)庫,所以IP寫localhost即可,端口號為27017 client = pymongo.MongoClient('localhost',27017) # 連接數(shù)據(jù)庫(這里注意一點(diǎn),mongo數(shù)據(jù)庫有一個優(yōu)點(diǎn),就是當(dāng)自己連接的數(shù)據(jù)庫和表都沒有的時候,會自動創(chuàng)建,所以不用擔(dān)心寫錯或者沒有表) db = client['自己創(chuàng)建數(shù)據(jù)庫名'] # 連接表 collection = db['自己的表名(mongo中叫做集合)'] # 插入到數(shù)據(jù)庫中(這里使用dict進(jìn)行強(qiáng)制轉(zhuǎn)換,是為了保證數(shù)據(jù)為字典格式) collection.insert(dict(傳入的數(shù)據(jù)))
mongoDB介紹:
它的特點(diǎn)是高性能、易部署、易使用,存儲數(shù)據(jù)非常方便。主要功能特性有:
*面向集合存儲,易存儲對象類型的數(shù)據(jù)。
*模式自由。
*支持動態(tài)查詢。
*支持完全索引,包含內(nèi)部對象。
*支持查詢。
*支持復(fù)制和故障恢復(fù)。
*使用高效的二進(jìn)制數(shù)據(jù)存儲,包括大型對象(如視頻等)。
*自動處理碎片,以支持云計算層次的擴(kuò)展性。
*支持 Golang,RUBY,PYTHON,JAVA,C++,PHP,C#等多種語言。
*文件存儲格式為BSON(一種JSON的擴(kuò)展)。
*可通過網(wǎng)絡(luò)訪問。
看完了這篇文章,相信你對爬蟲數(shù)據(jù)保存到mongoDB的方法有了一定的了解,想了解更多相關(guān)知識,歡迎關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道,感謝各位的閱讀!