本篇文章為大家展示了如何用Fiddler爬取APP的評(píng)論，內(nèi)容簡(jiǎn)明扼要并且容易理解，絕對(duì)能使你眼前一亮，通過(guò)這篇文章的詳細(xì)介紹希望你能有所收獲。

站在用戶的角度思考問題，與客戶深入溝通，找到孝感網(wǎng)站設(shè)計(jì)與孝感網(wǎng)站推廣的解決方案，憑借多年的經(jīng)驗(yàn)，讓設(shè)計(jì)與互聯(lián)網(wǎng)技術(shù)結(jié)合，創(chuàng)造個(gè)性化、用戶體驗(yàn)好的作品，建站類型包括：成都網(wǎng)站設(shè)計(jì)、成都網(wǎng)站建設(shè)、企業(yè)官網(wǎng)、英文網(wǎng)站、手機(jī)端網(wǎng)站、網(wǎng)站推廣、主機(jī)域名、虛擬空間、企業(yè)郵箱。業(yè)務(wù)覆蓋孝感地區(qū)。

如果你不是個(gè)足球迷，但你也可以看看，可以學(xué)習(xí)下如何去抓APP的數(shù)據(jù)。好了，廢話不多說(shuō)，開始抓??！

1.抓包分析請(qǐng)求

手機(jī)抓包我們可以用 Fiddler 軟件來(lái)抓取，如果不懂怎樣抓的話，可以看看這篇文章抓包軟件 Fiddler 了解一下？

配置好之后，開始抓包。

首先找到需要爬取的文章

懂球帝app截圖

文章鏈接為：https://m.dongqiudi.com/article_share/896482.html

在配置好抓包之后，點(diǎn)擊下方的評(píng)論，可以看到

評(píng)論截圖

抓包截圖

很容易就找到文章評(píng)論的請(qǐng)求，就是下面這個(gè)

可以看到請(qǐng)求的鏈接為：https://api.dongqiudi.com/v2/article/896482/comment?sort=down&version=177，

請(qǐng)求方法為GET，接下來(lái)就好辦了，我們?cè)倏纯椿氯ゲ榭锤嗟脑u(píng)論的請(qǐng)求。

可以看到，向下翻頁(yè)多了兩個(gè)參數(shù)，不過(guò)容易知道，next參數(shù)就是一個(gè)時(shí)間戳，而 pn參數(shù)就是頁(yè)數(shù)吧，從 0開始的。

但是怎樣判斷所有評(píng)論已經(jīng)爬完了呢？我們可以看看數(shù)據(jù)的詳情，下面將 json 數(shù)據(jù)格式化，在下圖可以看到在 data 里面有下一頁(yè)的數(shù)據(jù)，那這就容易了，哈哈

分析了，接下來(lái)就是代碼部分了。

2.代碼部分

這是主體部分，先從第一個(gè)評(píng)論鏈接中爬取評(píng)論以及找出下一頁(yè)的評(píng)論地址進(jìn)而繼續(xù)爬取。這里是把數(shù)據(jù)庫(kù)存進(jìn) MongoDB 中。

主要的爬取邏輯，可以看出來(lái)是比較簡(jiǎn)單的，因?yàn)闆]有涉及到什么加密參數(shù)之類的，但是有一個(gè)問題，每一次進(jìn)行請(qǐng)求的時(shí)候，有時(shí)候是會(huì)返回帶有相同的評(píng)論的，所以我們也需要在數(shù)據(jù)庫(kù)簡(jiǎn)單地進(jìn)行去重。

下面是入庫(kù)和去重的代碼部分

剩下的就沒有了。

3.查看所得的數(shù)據(jù)

由于數(shù)據(jù)分析還不熟悉，所以暫時(shí)只制作詞云圖。

需要先將數(shù)據(jù)寫到文本上

詞云圖是：

可以看出，昨晚國(guó)足輸一場(chǎng)，也被很多人噴了，但是還是有很多人是一直支持的，永遠(yuǎn)都為國(guó)足加油，里面也說(shuō)到了，中國(guó)和韓國(guó)是有一定差距的，而且還有點(diǎn)大，輸了也正常不過(guò)了，沒必要噴，再說(shuō)我覺得昨晚的比賽已經(jīng)比第一場(chǎng)的比賽好很多(第二次沒看)，還是有進(jìn)步的，我對(duì)國(guó)足未來(lái)淘汰賽也是充滿期望的，我相信能走得更遠(yuǎn)！

上述內(nèi)容就是如何用Fiddler爬取APP的評(píng)論，你們學(xué)到知識(shí)或技能了嗎？如果還想學(xué)到更多技能或者豐富自己的知識(shí)儲(chǔ)備，歡迎關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道。