小編給大家分享一下Python爬蟲之利用Github搜索資源的方法，相信大部分人都還不怎么了解，因此分享這篇文章給大家參考一下，希望大家閱讀完這篇文章后大有收獲，下面讓我們一起去了解一下吧！

成都創(chuàng)新互聯(lián)成都網(wǎng)站建設按需求定制開發(fā)，是成都網(wǎng)站開發(fā)公司,為效果圖設計提供網(wǎng)站建設服務,有成熟的網(wǎng)站定制合作流程，提供網(wǎng)站定制設計服務：原型圖制作、網(wǎng)站創(chuàng)意設計、前端HTML5制作、后臺程序開發(fā)等。成都網(wǎng)站推廣熱線：028-86922220

這段時間以來，我發(fā)現(xiàn)大家都把Github掛在嘴上，但是不少人其實并不會用Github。具體怎么說呢，比方說實現(xiàn)某些簡單的功能的時候，自己可能需要花2-3小時去實現(xiàn)，那么大家愿意自己去實現(xiàn)。

具體一些，比方說我以前寫一個簡單的爬蟲采集大眾點評的一些數(shù)據(jù)的時候，我可能需要花時間去了解網(wǎng)站結構然后寫爬蟲，寫下來沒個半天不行。但是這種網(wǎng)站你上Github搜索「大眾點評爬蟲」或者「dazhongdianping」等等關鍵詞。你會發(fā)發(fā)現(xiàn)有一堆的爬蟲項目，你直接拿來稍微改一下就能用了。

這個直接能節(jié)省你半天甚至一天的時間，你可以節(jié)省這一天的時間用在更有意義的事情上面，比如說做深入的挖掘分析。

我們很多搞技術的人經(jīng)常會陷入所有事情都要親自干的這種誤區(qū)。但記住并不是所有事情都要親力親為的，有時候只是浪費時間。比你成功的人通常不會重復造輪子，而是會利用資源。

在利用Github搜索資源的時候其實也是有一些小技巧的。也不能稱之為技巧，但你往下看肯定是讓你非常受益的。

1、awesome + xx

awesome這個單詞表示的棒極了一類意思，如果你在Github中搜索awesome + xxxg關鍵詞，你就能搜索這個關鍵詞的資源大全，比方說：

awesome python

awesome go

awesome linux

你就會發(fā)現(xiàn)關于這些東西的學習資料真的是一大堆一大堆的。無論是書籍資源，庫資源，還是學習視頻、學習筆記，應有盡有。會了這個技能你再也不用到處求學習資源了。

2、功能 + 網(wǎng)站

我在上面舉了個例子。比方說當你想采集某個網(wǎng)站的時候，你可以在Github里面搜「網(wǎng)站名稱 +Scrapy」，如果搜不到可以搜「網(wǎng)站名稱+采集」，還可以搜「網(wǎng)站名稱+Python」等等。

如果你想做一個仿大眾點評的App，那么你在Github上搜「仿大眾點評」，你就能快速找到別人做的一個大眾點評項目，拿來幾乎可以直接用了，想一想這節(jié)省了你多少時間？

有時候你找不到，可能僅僅是你關鍵詞弄得不對，記得換一換關鍵詞，比如說英文搜索，拼音搜索，大多時候就能搜到了。

3、接口

大家在開發(fā)調用一些數(shù)據(jù)接口查詢的時候，個人開發(fā)者一般來說都有一些調用的限制，必須要成為企業(yè)或者付費才能調高這些限制。

比如說百度的地圖的路線規(guī)劃API，普通開發(fā)者的Key一天只能調用2000次，而且并發(fā)只有20次，這個數(shù)量肯定不夠，但是我們個人開發(fā)者又不愿意花錢去搞這件事情，怎么辦呢？

我們看到這個接口調用是這樣調用的，只要在最后寫上開發(fā)者的AK就行了，所以我們把這個網(wǎng)址中不是自定義的內容直接拿到Github里面搜就可以了。全是你想要的東西。

其實類似的操作很多的，比方說搜數(shù)據(jù)庫的密碼。你想想在開發(fā)的過程中哪些東西是約定俗成不會變的，你在GitHub中就能搜索到了。當然并沒有讓你去干壞事撒。

類似的小技巧其實挺多的，Github其實真是一個藏寶的地方，關鍵是你會不會用。要會發(fā)揮想象力，多想多動手，千萬不要不想只動手。

以上是Python爬蟲之利用Github搜索資源的方法的所有內容，感謝各位的閱讀！相信大家都有了一定的了解，希望分享的內容對大家有所幫助，如果還想學習更多知識，歡迎關注創(chuàng)新互聯(lián)行業(yè)資訊頻道！