用PHP進行數(shù)據(jù)采集

一般來說，PHP采集數(shù)據(jù)最簡單的辦法是使用file_get_content函數(shù)，功能更強大的推薦使用cURL函數(shù)庫。

10余年建站經(jīng)驗， 成都網(wǎng)站建設(shè)、成都做網(wǎng)站客戶的見證與正確選擇。成都創(chuàng)新互聯(lián)提供完善的營銷型網(wǎng)頁建站明細報價表。后期開發(fā)更加便捷高效，我們致力于追求更美、更快、更規(guī)范。

使用php的file或者file_get_contents函數(shù)，獲取鏈接URL的內(nèi)容。通過php正則表達式，獲取你需要的3個字段內(nèi)容。寫入數(shù)據(jù)庫。需要注意的是，百度知道有可能做了防抓取的功能，你剛一抓幾個頁面，可能會被禁止。

參數(shù)可以由js產(chǎn)生并傳遞url，php后臺頁面根據(jù)URL抓頁面。然后ajax通過php，在數(shù)據(jù)庫或者是哪里設(shè)一個標(biāo)量，標(biāo)明檢測到哪里。由于前臺的html頁面執(zhí)行多少時候都沒問題，這樣php的內(nèi)存限制和執(zhí)行時間限制就解決了。

strPreg = |]+([^]+)\/td\s*]+([^]+)\/td\s*]+([^]+)\/td|U搞定了才發(fā)現(xiàn)你都沒懸賞分。。

php：//input 不能用于 enctype=multipart/form-data。解釋：對于未指定 Content-Type 的POST數(shù)據(jù)，則可以使用file_get_contents(“php：//input”)；來獲取原始數(shù)據(jù)。事實上，用PHP接收POST的任何數(shù)據(jù)都可以使用本方法。

設(shè)置定位中心：直接搜索你要找的位置即可。調(diào)用百度地圖代碼 設(shè)置地圖：設(shè)置地圖樣式，如大小，顯示，功能等。

php怎么導(dǎo)出大量數(shù)據(jù)的Excel

php導(dǎo)出大量數(shù)據(jù)到Excel，可以通過生成多個Excel文件，然后壓縮成壓縮包解決。方案是：假如我們數(shù)據(jù)庫有10w條數(shù)據(jù)，每2000條數(shù)據(jù)生成一個Excel文件，這樣每次只要從數(shù)據(jù)庫里查詢出2000條數(shù)據(jù)即可，一定要分頁去查詢。

php導(dǎo)出數(shù)據(jù)excel有專門的庫，當(dāng)導(dǎo)出少量數(shù)據(jù)的時候速度很快，但是當(dāng)數(shù)據(jù)量大的時候就會存在服務(wù)器內(nèi)存不夠之類的。所以在導(dǎo)出大量數(shù)據(jù)的時候就應(yīng)該分頁查詢數(shù)據(jù)，避免服務(wù)器宕機。

write-save(php：//output)；打開頁面，刷新的時候會彈出對話框，讓你選擇文件保存路徑和文件名稱，我直接放在了桌面上，如圖所示；打開表格后，數(shù)據(jù)和格式跟代碼中的一致，說明PHP導(dǎo)出的Excel是正確的。

下載phpMyAdmin v2軟件后解壓放在網(wǎng)站根目錄 用root用戶和密碼登入phpMyAdmin，在左邊欄點擊要導(dǎo)出的數(shù)據(jù)庫，然后點擊要導(dǎo)出的數(shù)據(jù)表，最后點擊導(dǎo)出如圖所示。

PHP效率問題,上萬條數(shù)據(jù)一次性取出?還是分開取出處理?

1、php使用的數(shù)據(jù)庫一般是mysql，當(dāng)數(shù)據(jù)量大于1000萬時，為了效率最好還會進行分表存儲。

2、個人建議還是拆分的比較好，一次查詢雖然寫法上可能會省代碼，但是效率就很低下，因為即使加了索引，而在你聯(lián)合查詢 的時候語句寫的不當(dāng)就會導(dǎo)致索引不生效，從而效率就會下降。

3、1并不是所有索引對查詢都有效，SQL是根據(jù)表中數(shù)據(jù)來進行查詢優(yōu)化的，當(dāng)索引列有大量數(shù)據(jù)重復(fù)時，SQL查詢可能不會去利用索引，如一表中有字段sex，male、female幾乎各一半，那么即使在sex上建了索引也對查詢效率起不了作用。