php采集大數(shù)據(jù)的方案

1、建議你讀寫數(shù)據(jù)和下載圖片分開，各用不同的進(jìn)程完成。

在洛浦等地區(qū)，都構(gòu)建了全面的區(qū)域性戰(zhàn)略布局，加強(qiáng)發(fā)展的系統(tǒng)性、市場(chǎng)前瞻性、產(chǎn)品創(chuàng)新能力，以專注、極致的服務(wù)理念，為客戶提供網(wǎng)站制作、成都網(wǎng)站建設(shè) 網(wǎng)站設(shè)計(jì)制作按需定制網(wǎng)站,公司網(wǎng)站建設(shè),企業(yè)網(wǎng)站建設(shè),品牌網(wǎng)站設(shè)計(jì),全網(wǎng)營銷推廣,外貿(mào)營銷網(wǎng)站建設(shè),洛浦網(wǎng)站建設(shè)費(fèi)用合理。

比如說，取數(shù)據(jù)用get-data.php，下載圖片用get-image.php。

2、多進(jìn)程的話，php可以簡單的用pcntl_fork()。這樣可以并發(fā)多個(gè)子進(jìn)程。

但是我不建議你用fork，我建議你安裝一個(gè)gearman worker。這樣你要并發(fā)幾個(gè)，就啟幾個(gè)worker，寫代碼簡單，根本不用在代碼里考慮thread啊，process等等。

3、綜上，解決方案這樣：

（1）安裝gearman worker。

（2）寫一個(gè)get-data.php，在crontab里設(shè)置它每5分鐘執(zhí)行一次，只負(fù)責(zé)讀數(shù)據(jù)，然后把讀回來的數(shù)據(jù)一條一條的扔到 gearman worker的隊(duì)列里；

然后再寫一個(gè)處理數(shù)據(jù)的腳本作為worker，例如叫process-data.php，這個(gè)腳本常駐內(nèi)存。它作為worker從geraman 隊(duì)列里讀出一條一條的數(shù)據(jù)，然后跟你的數(shù)據(jù)庫老數(shù)據(jù)比較，進(jìn)行你的業(yè)務(wù)邏輯。如果你要10個(gè)并發(fā)，那就啟動(dòng)10個(gè)process-data.php好了。處理完后，如果圖片地址有變動(dòng)需要下載圖片，就把圖片地址扔到 gearman worker的另一個(gè)隊(duì)列里。

（3）再寫一個(gè)download-data.php，作為下載圖片的worker，同樣，你啟動(dòng)10個(gè)20個(gè)并發(fā)隨便你。這個(gè)進(jìn)程也常駐內(nèi)存運(yùn)行，從gearman worker的圖片數(shù)據(jù)隊(duì)列里取數(shù)據(jù)出來，下載圖片

4、常駐進(jìn)程的話，就是在代碼里寫個(gè)while(true)死循環(huán)，讓它一直運(yùn)行好了。如果怕內(nèi)存泄露啥的，你可以每循環(huán)10萬次退出一下。然后在crontab里設(shè)置，每分鐘檢查一下進(jìn)程有沒有啟動(dòng)，比如說這樣啟動(dòng)3個(gè)process-data worker進(jìn)程：

* * * * * flock -xn /tmp/process-data.1.lock -c '/usr/bin/php /process-data.php /dev/null 21'

* * * * * flock -xn /tmp/process-data.2.lock -c '/usr/bin/php /process-data.php /dev/null 21'

* * * * * flock -xn /tmp/process-data.3.lock -c '/usr/bin/php /process-data.php /dev/null 21'

不知道你明白了沒有

php 百度 知道數(shù)據(jù)采集

問題其實(shí)不難，自己都能寫。給你幾個(gè)思路吧：

1.在百度知道中，輸入linux，然后會(huì)出現(xiàn)列表。復(fù)制瀏覽器地址欄內(nèi)容。

然后翻頁，在復(fù)制地址欄內(nèi)容，看看有什么不同，不同之處，就是你要循環(huán)分頁的i值。

當(dāng)然這個(gè)是笨方法。

2.使用php的file或者file_get_contents函數(shù)，獲取鏈接URL的內(nèi)容。

3.通過php正則表達(dá)式，獲取你需要的3個(gè)字段內(nèi)容。

4.寫入數(shù)據(jù)庫。

需要注意的是，百度知道有可能做了防抓取的功能，你剛一抓幾個(gè)頁面，可能會(huì)被禁止。

建議也就抓10頁數(shù)據(jù)。

其實(shí)不難，你肯定寫的出來。 還有，網(wǎng)上應(yīng)該有很多抓取工具，你找找看，然后將抓下來的數(shù)據(jù)

在做分析。寫入數(shù)據(jù)庫。

php如何獲取網(wǎng)址中的參數(shù)

比如有一個(gè)網(wǎng)址為

http://域名/goods.php?u=59id=24#pinglun

我想得到這個(gè)id值

可以用正則,也可以用php函數(shù)解析到數(shù)組中

用正則可以這樣

preg_match('/id=(\d+)/',$_SERVER["REQUEST_URI"],$m);//$_SERVER 這個(gè)表示當(dāng)前網(wǎng)址url

print_r($m[1]);exit;

或者用parse_url()及parse_str()函數(shù)

$cur_q=parse_url($_SERVER["REQUEST_URI"],PHP_URL_QUERY);

parse_str($cur_q,$myArray);

print_r($myArray["id"]);exit;

拓展資料

PHP（外文名:PHP: Hypertext Preprocessor，中文名：“超文本預(yù)處理器”）是一種通用開源腳本語言。語法吸收了C語言、Java和Perl的特點(diǎn)，利于學(xué)習(xí)，使用廣泛，主要適用于Web開發(fā)領(lǐng)域。PHP 獨(dú)特的語法混合了C、Java、Perl以及PHP自創(chuàng)的語法。它可以比CGI或者Perl更快速地執(zhí)行動(dòng)態(tài)網(wǎng)頁。用PHP做出的動(dòng)態(tài)頁面與其他的編程語言相比，PHP是將程序嵌入到HTML（標(biāo)準(zhǔn)通用標(biāo)記語言下的一個(gè)應(yīng)用）文檔中去執(zhí)行，執(zhí)行效率比完全生成HTML標(biāo)記的CGI要高許多；PHP還可以執(zhí)行編譯后代碼，編譯可以達(dá)到加密和優(yōu)化代碼運(yùn)行，使代碼運(yùn)行更快。

PHP的特性包括：

1. PHP 獨(dú)特的語法混合了 C、Java、Perl 以及 PHP 自創(chuàng)新的語法。

2. PHP可以比CGI或者Perl更快速的執(zhí)行動(dòng)態(tài)網(wǎng)頁——?jiǎng)討B(tài)頁面方面，與其他的編程語言相比，

PHP是將程序嵌入到HTML文檔中去執(zhí)行，執(zhí)行效率比完全生成htmL標(biāo)記的CGI要高許多；

PHP具有非常強(qiáng)大的功能，所有的CGI的功能PHP都能實(shí)現(xiàn)。

3. PHP支持幾乎所有流行的數(shù)據(jù)庫以及操作系統(tǒng)。

4. 最重要的是PHP可以用C、C++進(jìn)行程序的擴(kuò)展！

參考資料：百度百科 PHP

phpcms網(wǎng)站建設(shè)中采集的方法，怎么樣做采集

工具/原料

PHPCMS

文章采集器

方法/步驟

1、首先我們需要下載并安裝GBK格式的PHPCMS系統(tǒng)。

2、下載PHPCMS和文章采集器的接口文件

3、將jiekou.php文件復(fù)制到網(wǎng)站的根目錄下，并用記事本打開該文件，修改“密碼驗(yàn)證”欄目password處的密碼

4、啟動(dòng)文章采集器，先點(diǎn)擊【第三步發(fā)布內(nèi)容設(shè)置】中的"web發(fā)布管理配置"

5、在彈出的【web發(fā)布配置管理】窗口中單擊右側(cè)的【更多】按鈕，導(dǎo)入“phpcms9.wpm”配置模塊，并選擇該模塊

6、設(shè)置【web發(fā)布配置管理】中的編碼設(shè)置、登錄操作、獲取分類欄目等選項(xiàng)

7、單擊【測(cè)試】按鈕，在彈出的【發(fā)布配置測(cè)試】對(duì)話框中設(shè)置標(biāo)簽和內(nèi)容的值，此項(xiàng)為必須設(shè)置，否則發(fā)布測(cè)試文章會(huì)失敗。至此PHPCMS已經(jīng)與文章采集器連接成功。

怎么用php采集網(wǎng)站數(shù)據(jù)

簡單的分了幾個(gè)步驟：

1、確定采集目標(biāo)

2、獲取目標(biāo)遠(yuǎn)程頁面內(nèi)容（curl、file_get_contents）

3、分析頁面html源碼，正則匹配你需要的內(nèi)容（preg_match、preg_match_all），這一步最為重要，不同頁面正則匹配規(guī)則不一樣

4、入庫

用JS翻頁的網(wǎng)頁如何用PHP實(shí)現(xiàn)采集

最簡單的辦法就是在你的所有中文頁面上，一般在導(dǎo)航位置加一個(gè)英文頁面首頁的超鏈接。這樣用戶點(diǎn)英文那個(gè)鏈接就進(jìn)入英文頁面了。同樣的，在所有的英文頁面導(dǎo)航位置都加一個(gè)中文首頁鏈接。推薦你用圖片做這兩個(gè)鏈接，這樣不會(huì)因?yàn)橛脩魶]有裝對(duì)應(yīng)的語言系統(tǒng)而出現(xiàn)奇怪字符。比如歐美用戶一般是不會(huì)裝中文系統(tǒng)的，頁面上有中文字符的時(shí)候必然顯示為亂碼。

網(wǎng)站目錄當(dāng)然要為中文和英文各建一個(gè)獨(dú)立的目錄，里面放置各自的頁面了。

如果使用數(shù)據(jù)庫的話，則思路是一樣的。