php curl 大量數(shù)據(jù)采集

這個(gè)需要配合js，打開一個(gè)html頁面，首先js用ajax請(qǐng)求頁面，返回第一個(gè)頁面信息確定處理完畢（ajax有強(qiáng)制同步功能），ajax再訪問第二個(gè)頁面。（或者根據(jù)服務(wù)器狀況，你可以同時(shí)提交幾個(gè)URL，跑幾個(gè)相同的頁面）

專注于為中小企業(yè)提供做網(wǎng)站、成都網(wǎng)站制作服務(wù),電腦端+手機(jī)端+微信端的三站合一,更高效的管理,為中小企業(yè)興和免費(fèi)做網(wǎng)站提供優(yōu)質(zhì)的服務(wù)。我們立足成都，凝聚了一批互聯(lián)網(wǎng)行業(yè)人才，有力地推動(dòng)了1000+企業(yè)的穩(wěn)健成長，幫助中小企業(yè)通過網(wǎng)站建設(shè)實(shí)現(xiàn)規(guī)模擴(kuò)充和轉(zhuǎn)變。

參數(shù)可以由js產(chǎn)生并傳遞url，php后臺(tái)頁面根據(jù)URL抓頁面。然后ajax通過php，在數(shù)據(jù)庫或者是哪里設(shè)一個(gè)標(biāo)量，標(biāo)明檢測到哪里。由于前臺(tái)的html頁面執(zhí)行多少時(shí)候都沒問題，這樣php的內(nèi)存限制和執(zhí)行時(shí)間限制就解決了。

因?yàn)椴粫?huì)浪費(fèi)大量的資源用一個(gè)頁面來跑一個(gè)瞬間500次的for循環(huán)了。（你的500次for循環(huán)死了原因可能是獲取的數(shù)據(jù)太多，大過了php限制的內(nèi)存）

不過印象中curl好像也有強(qiáng)制同步的選項(xiàng)，就是等待一個(gè)抓取后再執(zhí)行下一步。但是這個(gè)500次都是用一個(gè)頁面線程處理，也就是說肯定會(huì)遠(yuǎn)遠(yuǎn)大于30秒的默認(rèn)執(zhí)行時(shí)間。

如何用php采集新浪財(cái)經(jīng)

給您提供一下思想，希望能夠幫您解決。fopen("tmp.htm","r"); //只讀打開

$str=str_replace("{title}",$title,$str);

$str=str_replace("{content}",$content,$str);//替換內(nèi)容

fclose($fp);簡單的采集常用函數(shù)。，您也可以用強(qiáng)大的snoopy采集類。彩集新浪財(cái)經(jīng)，需要查看/分析源代碼，然后用正則表達(dá)式，匹配要采集的代碼然后重新組織數(shù)據(jù)結(jié)構(gòu)。

php怎么防止抓包工具

我是做數(shù)據(jù)采集的，

在我看來，除了輸入驗(yàn)證碼 ， 沒有什么能對(duì)我起到很好的防采集，

一般大的網(wǎng)站都是采用 網(wǎng)頁加入一次性隨機(jī)值 ，再有前端JS 生成秘鑰 ，最后一并提交加密了的數(shù)據(jù) ，這種沒什么效果 。對(duì)一般的人可以做下防御 。但是，我只要找出它的JS加密函數(shù) 。 使用一個(gè)JS服務(wù)器（node.js）,或php的 php 改寫的js加密實(shí)現(xiàn)過程 ，加密初始值，再模擬發(fā)送 。所以，這個(gè)也沒什么多大作用 。

對(duì)于驗(yàn)證碼 ，一般簡單的都可以程序識(shí)別 ，復(fù)雜的提交到前臺(tái)讓手動(dòng)輸入 。再一并發(fā)送。 這種用戶體驗(yàn)不好。 慎行。

總的來說，建議用JS 加密吧 。

但是，還是防御不了。

我一般用 filefox 的 filebug 或 小提琴工具 。

目前大半年了，沒有破解不了的網(wǎng)站 。

我用我的php程序 ，可以操作你的網(wǎng)站 。實(shí)現(xiàn) 用戶操作 我的php程序 ，我的php程序 再去操作源網(wǎng)站 。

你可以去研究下 58同城網(wǎng) 的登錄 。那里面一堆的加密 。 在我看來都是垃圾代碼 。 我的程序一鍵登錄進(jìn)去。

php 百度 知道數(shù)據(jù)采集

問題其實(shí)不難，自己都能寫。給你幾個(gè)思路吧：

1.在百度知道中，輸入linux，然后會(huì)出現(xiàn)列表。復(fù)制瀏覽器地址欄內(nèi)容。

然后翻頁，在復(fù)制地址欄內(nèi)容，看看有什么不同，不同之處，就是你要循環(huán)分頁的i值。

當(dāng)然這個(gè)是笨方法。

2.使用php的file或者file_get_contents函數(shù)，獲取鏈接URL的內(nèi)容。

3.通過php正則表達(dá)式，獲取你需要的3個(gè)字段內(nèi)容。

4.寫入數(shù)據(jù)庫。

需要注意的是，百度知道有可能做了防抓取的功能，你剛一抓幾個(gè)頁面，可能會(huì)被禁止。

建議也就抓10頁數(shù)據(jù)。

其實(shí)不難，你肯定寫的出來。 還有，網(wǎng)上應(yīng)該有很多抓取工具，你找找看，然后將抓下來的數(shù)據(jù)

在做分析。寫入數(shù)據(jù)庫。

php采集大數(shù)據(jù)的方案

1、建議你讀寫數(shù)據(jù)和下載圖片分開，各用不同的進(jìn)程完成。

比如說，取數(shù)據(jù)用get-data.php，下載圖片用get-image.php。

2、多進(jìn)程的話，php可以簡單的用pcntl_fork()。這樣可以并發(fā)多個(gè)子進(jìn)程。

但是我不建議你用fork，我建議你安裝一個(gè)gearman worker。這樣你要并發(fā)幾個(gè)，就啟幾個(gè)worker，寫代碼簡單，根本不用在代碼里考慮thread啊，process等等。

3、綜上，解決方案這樣：

（1）安裝gearman worker。

（2）寫一個(gè)get-data.php，在crontab里設(shè)置它每5分鐘執(zhí)行一次，只負(fù)責(zé)讀數(shù)據(jù)，然后把讀回來的數(shù)據(jù)一條一條的扔到 gearman worker的隊(duì)列里；

然后再寫一個(gè)處理數(shù)據(jù)的腳本作為worker，例如叫process-data.php，這個(gè)腳本常駐內(nèi)存。它作為worker從geraman 隊(duì)列里讀出一條一條的數(shù)據(jù)，然后跟你的數(shù)據(jù)庫老數(shù)據(jù)比較，進(jìn)行你的業(yè)務(wù)邏輯。如果你要10個(gè)并發(fā)，那就啟動(dòng)10個(gè)process-data.php好了。處理完后，如果圖片地址有變動(dòng)需要下載圖片，就把圖片地址扔到 gearman worker的另一個(gè)隊(duì)列里。

（3）再寫一個(gè)download-data.php，作為下載圖片的worker，同樣，你啟動(dòng)10個(gè)20個(gè)并發(fā)隨便你。這個(gè)進(jìn)程也常駐內(nèi)存運(yùn)行，從gearman worker的圖片數(shù)據(jù)隊(duì)列里取數(shù)據(jù)出來，下載圖片

4、常駐進(jìn)程的話，就是在代碼里寫個(gè)while(true)死循環(huán)，讓它一直運(yùn)行好了。如果怕內(nèi)存泄露啥的，你可以每循環(huán)10萬次退出一下。然后在crontab里設(shè)置，每分鐘檢查一下進(jìn)程有沒有啟動(dòng)，比如說這樣啟動(dòng)3個(gè)process-data worker進(jìn)程：

* * * * * flock -xn /tmp/process-data.1.lock -c '/usr/bin/php /process-data.php /dev/null 21'

* * * * * flock -xn /tmp/process-data.2.lock -c '/usr/bin/php /process-data.php /dev/null 21'

* * * * * flock -xn /tmp/process-data.3.lock -c '/usr/bin/php /process-data.php /dev/null 21'

不知道你明白了沒有

怎樣用php 采集百度地圖的數(shù)據(jù)

一般來說，PHP采集數(shù)據(jù)最簡單的辦法是使用file_get_content函數(shù)，功能更強(qiáng)大的推薦使用cURL函數(shù)庫。