php采集大數(shù)據(jù)的方案

1、建議你讀寫數(shù)據(jù)和下載圖片分開，各用不同的進(jìn)程完成。

為企業(yè)提供成都做網(wǎng)站、成都網(wǎng)站建設(shè)、網(wǎng)站優(yōu)化、營銷型網(wǎng)站建設(shè)、競(jìng)價(jià)托管、品牌運(yùn)營等營銷獲客服務(wù)。創(chuàng)新互聯(lián)公司擁有網(wǎng)絡(luò)營銷運(yùn)營團(tuán)隊(duì)，以豐富的互聯(lián)網(wǎng)營銷經(jīng)驗(yàn)助力企業(yè)精準(zhǔn)獲客，真正落地解決中小企業(yè)營銷獲客難題，做到“讓獲客更簡單”。自創(chuàng)立至今，成功用技術(shù)實(shí)力解決了企業(yè)“網(wǎng)站建設(shè)、網(wǎng)絡(luò)品牌塑造、網(wǎng)絡(luò)營銷”三大難題，同時(shí)降低了營銷成本，提高了有效客戶轉(zhuǎn)化率，獲得了眾多企業(yè)客戶的高度認(rèn)可！

比如說，取數(shù)據(jù)用get-data.php，下載圖片用get-image.php。

2、多進(jìn)程的話，php可以簡單的用pcntl_fork()。這樣可以并發(fā)多個(gè)子進(jìn)程。

但是我不建議你用fork，我建議你安裝一個(gè)gearman worker。這樣你要并發(fā)幾個(gè)，就啟幾個(gè)worker，寫代碼簡單，根本不用在代碼里考慮thread啊，process等等。

3、綜上，解決方案這樣：

（1）安裝gearman worker。

（2）寫一個(gè)get-data.php，在crontab里設(shè)置它每5分鐘執(zhí)行一次，只負(fù)責(zé)讀數(shù)據(jù)，然后把讀回來的數(shù)據(jù)一條一條的扔到 gearman worker的隊(duì)列里；

然后再寫一個(gè)處理數(shù)據(jù)的腳本作為worker，例如叫process-data.php，這個(gè)腳本常駐內(nèi)存。它作為worker從geraman 隊(duì)列里讀出一條一條的數(shù)據(jù)，然后跟你的數(shù)據(jù)庫老數(shù)據(jù)比較，進(jìn)行你的業(yè)務(wù)邏輯。如果你要10個(gè)并發(fā)，那就啟動(dòng)10個(gè)process-data.php好了。處理完后，如果圖片地址有變動(dòng)需要下載圖片，就把圖片地址扔到 gearman worker的另一個(gè)隊(duì)列里。

（3）再寫一個(gè)download-data.php，作為下載圖片的worker，同樣，你啟動(dòng)10個(gè)20個(gè)并發(fā)隨便你。這個(gè)進(jìn)程也常駐內(nèi)存運(yùn)行，從gearman worker的圖片數(shù)據(jù)隊(duì)列里取數(shù)據(jù)出來，下載圖片

4、常駐進(jìn)程的話，就是在代碼里寫個(gè)while(true)死循環(huán)，讓它一直運(yùn)行好了。如果怕內(nèi)存泄露啥的，你可以每循環(huán)10萬次退出一下。然后在crontab里設(shè)置，每分鐘檢查一下進(jìn)程有沒有啟動(dòng)，比如說這樣啟動(dòng)3個(gè)process-data worker進(jìn)程：

* * * * * flock -xn /tmp/process-data.1.lock -c '/usr/bin/php /process-data.php /dev/null 21'

* * * * * flock -xn /tmp/process-data.2.lock -c '/usr/bin/php /process-data.php /dev/null 21'

* * * * * flock -xn /tmp/process-data.3.lock -c '/usr/bin/php /process-data.php /dev/null 21'

不知道你明白了沒有

如何解決PHP查詢大量數(shù)據(jù)內(nèi)存耗盡的問題

這個(gè)問題在PHP的官方網(wǎng)站上叫緩沖查詢和非緩沖查詢(Buffered and Unbuffered queries)。PHP的查詢?nèi)笔∧Ｊ绞蔷彌_模式。也就是說，查詢數(shù)據(jù)結(jié)果會(huì)一次全部提取到內(nèi)存里供PHP程序處理。這樣給了PHP程序額外的功能，比如說，計(jì)算行數(shù)，將指針指向某一行等。更重要的是程序可以對(duì)數(shù)據(jù)集反復(fù)進(jìn)行二次查詢和過濾等操作。但這種緩沖查詢模式的缺陷就是消耗內(nèi)存，也就是用空間換速度。

相對(duì)的，另外一種PHP查詢模式是非緩沖查詢，數(shù)據(jù)庫服務(wù)器會(huì)一條一條的返回?cái)?shù)據(jù)，而不是一次全部返回，這樣的結(jié)果就是PHP程序消耗較少的內(nèi)存，但卻增加了數(shù)據(jù)庫服務(wù)器的壓力，因?yàn)閿?shù)據(jù)庫會(huì)一直等待PHP來取數(shù)據(jù)，一直到數(shù)據(jù)全部取完。

很顯然，緩沖查詢模式適用于小數(shù)據(jù)量查詢，而非緩沖查詢適應(yīng)于大數(shù)據(jù)量查詢。

PHP中高級(jí)面試題 – 第三天

一、簡述一下MongoDB的應(yīng)用場(chǎng)景

mongodb 支持副本集、索引、自動(dòng)分片，可以保證較高的性能和可用性。

更高的寫入負(fù)載

默認(rèn)情況下，MongoDB 更側(cè)重高數(shù)據(jù)寫入性能，而非事務(wù)安全，MongoDB 很適合業(yè)務(wù)系統(tǒng)中有大量 “低價(jià)值” 數(shù)據(jù)的場(chǎng)景。但是應(yīng)當(dāng)避免在高事務(wù)安全性的系統(tǒng)中使用 MongoDB，除非能從架構(gòu)設(shè)計(jì)上保證事務(wù)安全。

高可用性

MongoDB 的復(fù)副集 (Master-Slave) 配置非常簡潔方便，此外，MongoDB 可以快速響應(yīng)的處理單節(jié)點(diǎn)故障，自動(dòng)、安全地完成故障轉(zhuǎn)移。這些特性使得 MongoDB 能在一個(gè)相對(duì)不穩(wěn)定（如云主機(jī)）的環(huán)境中，保持高可用性。

數(shù)據(jù)量很大或者未來會(huì)變得很大

依賴數(shù)據(jù)庫 (MySQL) 自身的特性，完成數(shù)據(jù)的擴(kuò)展是較困難的事，在 MySQL 中，當(dāng)一個(gè)單達(dá)表到 5-10GB 時(shí)會(huì)出現(xiàn)明顯的性能降級(jí)，此時(shí)需要通過數(shù)據(jù)的水平和垂直拆分、庫的拆分完成擴(kuò)展，使用 MySQL 通常需要借助驅(qū)動(dòng)層或代理層完成這類需求。而 MongoDB 內(nèi)建了多種數(shù)據(jù)分片的特性，可以很好地適應(yīng)大數(shù)據(jù)量的需求。

基于位置的數(shù)據(jù)查詢

MongoDB 支持二維空間索引，因此可以快速及精確地從指定位置獲取數(shù)據(jù)。

表結(jié)構(gòu)不明確

在一些傳統(tǒng) RDBMS 中，增加一個(gè)字段會(huì)鎖住整個(gè)數(shù)據(jù)庫 / 表，或者在執(zhí)行一個(gè)重負(fù)載的請(qǐng)求時(shí)會(huì)明顯造成其它請(qǐng)求的性能降級(jí)。通常發(fā)生在數(shù)據(jù)表大于 1G 的時(shí)候（當(dāng)大于 1TB 時(shí)更甚）。 因 MongoDB 是文檔型數(shù)據(jù)庫，為非結(jié)構(gòu)貨的文檔增加一個(gè)新字段是很快速的操作，并且不會(huì)影響到已有數(shù)據(jù)。另外一個(gè)好處當(dāng)業(yè)務(wù)數(shù)據(jù)發(fā)生變化時(shí)，是將不再需要由 DBA 修改表結(jié)構(gòu)。

二、數(shù)據(jù)庫設(shè)計(jì)經(jīng)驗(yàn)，為什么進(jìn)行分表？分庫？一般多少數(shù)據(jù)量開始分表？分庫？分庫分表的目的？

1、為什么要分表

當(dāng)一張表的數(shù)據(jù)達(dá)到幾百萬時(shí)，你查詢一次所花的時(shí)間會(huì)變多，如果有聯(lián)合查詢的話，有可能會(huì)死在那兒了。分表的目的就在于此，減小數(shù)據(jù)庫的負(fù)擔(dān)，縮短查詢時(shí)間。日常開發(fā)中我們經(jīng)常會(huì)遇到大表的情況，所謂的大表是指存儲(chǔ)了百萬級(jí)乃至千萬級(jí)條記錄的表。這樣的表過于龐大，導(dǎo)致數(shù)據(jù)庫在查詢和插入的時(shí)候耗時(shí)太長，性能低下，如果涉及聯(lián)合查詢的情況，性能會(huì)更加糟糕。

分表和表分區(qū)的目的就是減少數(shù)據(jù)庫的負(fù)擔(dān)，提高數(shù)據(jù)庫的效率，通常點(diǎn)來講就是提高表的增刪改查效率。數(shù)據(jù)庫中的數(shù)據(jù)量不一定是可控的，在未進(jìn)行分庫分表的情況下，隨著時(shí)間和業(yè)務(wù)的發(fā)展，庫中的表會(huì)越來越多，表中的數(shù)據(jù)量也會(huì)越來越大，相應(yīng)地，數(shù)據(jù)操作，增刪改查的開銷也會(huì)越來越大；另外，由于無法進(jìn)行分布式式部署，而一臺(tái)服務(wù)器的資源（CPU、磁盤、內(nèi)存、IO 等）是有限的，最終數(shù)據(jù)庫所能承載的數(shù)據(jù)量、數(shù)據(jù)處理能力都將遭遇瓶頸。

2、分表的方案

做 mysql 集群，有人會(huì)問 mysql 集群，根分表有什么關(guān)系嗎？雖然它不是實(shí)際意義上的分表，但是它啟到了分表的作用，做集群的意義是什么呢？為一個(gè)數(shù)據(jù)庫減輕負(fù)擔(dān)，說白了就是減少 sql 排隊(duì)隊(duì)列中的 sql 的數(shù)量，舉個(gè)例子：有 10 個(gè) sql 請(qǐng)求，如果放在一個(gè)數(shù)據(jù)庫服務(wù)器的排隊(duì)隊(duì)列中，他要等很長時(shí)間，如果把這 10 個(gè) sql 請(qǐng)求，分配到 5 個(gè)數(shù)據(jù)庫服務(wù)器的排隊(duì)隊(duì)列中，一個(gè)數(shù)據(jù)庫服務(wù)器的隊(duì)列中只有 2 個(gè)，這樣等待時(shí)間是不是大大的縮短了呢？

linux mysql proxy 的安裝，配置，以及讀寫分離

mysql replication 互為主從的安裝及配置，以及數(shù)據(jù)同步

優(yōu)點(diǎn)：擴(kuò)展性好，沒有多個(gè)分表后的復(fù)雜操作（php 代碼）

缺點(diǎn)：單個(gè)表的數(shù)據(jù)量還是沒有變，一次操作所花的時(shí)間還是那么多，硬件開銷大。

三、簡述一下數(shù)據(jù)庫主從復(fù)制，讀寫分離

* 什么是主從復(fù)制

主從復(fù)制，是用來建立一個(gè)和主數(shù)據(jù)庫完全一樣的數(shù)據(jù)庫環(huán)境，稱為從數(shù)據(jù)庫；

* 主從復(fù)制的原理：

1.數(shù)據(jù)庫有個(gè)bin-log二進(jìn)制文件，記錄了所有的sql語句。

2.只需要把主數(shù)據(jù)庫的bin-log文件中的sql語句復(fù)制。

3.讓其從數(shù)據(jù)的relay-log重做日志文件中再執(zhí)行一次這些sql語句即可。

* 主從復(fù)制的作用

1.做數(shù)據(jù)的熱備份，作為后備數(shù)據(jù)庫，主數(shù)據(jù)庫服務(wù)器故障后，可切換到從數(shù)據(jù)庫繼續(xù)工作，避免數(shù)據(jù)丟失。

2.架構(gòu)的擴(kuò)展。業(yè)務(wù)量越來越大，I/O訪問頻率過高，單機(jī)無法滿足，此時(shí)做多庫的存儲(chǔ)，降低磁盤I/O訪問頻率，提高單機(jī)的I/O性能

3.主從復(fù)制是讀寫分離的基礎(chǔ)，使數(shù)據(jù)庫能制成更大 的并發(fā)。例如子報(bào)表中，由于部署報(bào)表的sql語句十分慢，導(dǎo)致鎖表，影響前臺(tái)的服務(wù)。如果前臺(tái)服務(wù)使用master，報(bào)表使用slave，那么報(bào)表sql將不會(huì)造成前臺(tái)所，保證了前臺(tái)的訪問速度。

* 主從復(fù)制的幾種方式：

1.同步復(fù)制：所謂的同步復(fù)制，意思是master的變化，必須等待slave-1,slave-2,…,slave-n完成后才能返回。

2.異步復(fù)制：如同AJAX請(qǐng)求一樣。master只需要完成自己的數(shù)據(jù)庫操作即可。至于slaves是否收到二進(jìn)制日志，是否完成操作，不用關(guān)心。MYSQL的默認(rèn)設(shè)置。

3.半同步復(fù)制：master只保證slaves中的一個(gè)操作成功，就返回，其他slave不管。

這個(gè)功能，是由google為MYSQL引入的。

* 關(guān)于讀寫分離

在完成主從復(fù)制時(shí)，由于slave是需要同步master的。所以對(duì)于insert/delete/update這些更新數(shù)據(jù)庫的操作，應(yīng)該在master中完成。而select的查詢操作，則落下到slave中。

PHP-大數(shù)據(jù)量怎么處理優(yōu)化

大數(shù)據(jù)的話可以進(jìn)行以下操作：

減少對(duì)數(shù)據(jù)庫的讀取，也就是減少調(diào)用數(shù)據(jù)庫，

進(jìn)行數(shù)據(jù)緩存，

利用數(shù)據(jù)庫的自身優(yōu)化技術(shù)，如索引等

精確查詢條件，有利于提高查找速度

用PHP連接MYSQL查詢大數(shù)據(jù)出錯(cuò)問題求助

當(dāng)查詢類容過多時(shí)會(huì)導(dǎo)致php內(nèi)存溢出，建議加limit分段查詢，或著修改php.ini文件的

memory_limit 字段，默認(rèn)是128M,改成你需要的大小

php 調(diào)用 大數(shù)據(jù) 顯示不全問題。。

5萬條？

恐怖，php執(zhí)行是有一個(gè)時(shí)間的，不是無止境的執(zhí)行，超時(shí)后，就會(huì)停止執(zhí)行。所以返回有多有多有少了！

解決方法：

1、有個(gè)函數(shù)是設(shè)定php腳本執(zhí)行超時(shí)時(shí)間的，加在文件的頭部，你設(shè)定多久就多久，具體哪個(gè)函數(shù)，忘記了，自己百度一下

2、修改php,.ini里面的配置，具體也忘記了，自己百度一下

不過不建議你一個(gè)頁面返回這么多數(shù)據(jù)，就算能全部返回，也網(wǎng)頁打開速度也會(huì)很慢啊，搞成分頁顯示，不是很好嗎！@