注：為方便描述，下面的排序全為正序（從小到大排序）
成都創(chuàng)新互聯(lián)公司服務(wù)項(xiàng)目包括阜寧網(wǎng)站建設(shè)、阜寧網(wǎng)站制作、阜寧網(wǎng)頁(yè)制作以及阜寧網(wǎng)絡(luò)營(yíng)銷(xiāo)策劃等。多年來(lái)，我們專(zhuān)注于互聯(lián)網(wǎng)行業(yè)，利用自身積累的技術(shù)優(yōu)勢(shì)、行業(yè)經(jīng)驗(yàn)、深度合作伙伴關(guān)系等，向廣大中小型企業(yè)、政府機(jī)構(gòu)等提供互聯(lián)網(wǎng)行業(yè)的解決方案，阜寧網(wǎng)站推廣取得了明顯的社會(huì)效益與經(jīng)濟(jì)效益。目前，我們服務(wù)的客戶以成都為中心已經(jīng)輻射到阜寧省份的部分城市，未來(lái)相信會(huì)繼續(xù)擴(kuò)大服務(wù)區(qū)域并繼續(xù)獲得客戶的支持與信任！
假設(shè)有一個(gè)數(shù)組[a,b,c,d]
冒泡排序依次比較相鄰的兩個(gè)元素，如果前面的元素大于后面的元素，則兩元素交換位置；否則，位置不變。具體步驟：
1，比較a,b這兩個(gè)元素，如果ab,則交換位置，數(shù)組變?yōu)椋篬b,a,c,d]
2，比較a,c這兩個(gè)元素，如果ac,則位置不變，數(shù)組變?yōu)椋篬b,a,c,d]
3，比較c,d這兩個(gè)元素，如果cd,則交換位置，數(shù)組變?yōu)椋篬b,a,d,c]
完成第一輪比較后，可以發(fā)現(xiàn)最大的數(shù)c已經(jīng)排（冒）在最后面了，接著再進(jìn)行第二輪比較，但第二輪比較不必比較最后一個(gè)元素了，因?yàn)樽詈笠粋€(gè)元素已經(jīng)是最大的了。
第二輪比較結(jié)束后，第二大的數(shù)也會(huì)冒到倒數(shù)第二的位置。
依次類(lèi)推，再進(jìn)行第三輪，，，
就這樣最大的數(shù)一直往后排（冒），最后完成排序。所以我們稱(chēng)這種排序算法為冒泡排序。
選擇排序是一種直觀的算法，每一輪會(huì)選出列中最小的值，把最小值排到前面。具體步驟如下:
插入排序步驟大致如下：
快速排序是由東尼·霍爾所發(fā)展的一種排序算法。在平均狀況下，排序 n 個(gè)項(xiàng)目要Ο(n log n)次比較。在最壞狀況下則需要Ο(n2)次比較，但這種狀況并不常見(jiàn)。事實(shí)上，快速排序通常明顯比其他Ο(n log n) 算法更快，因?yàn)樗膬?nèi)部循環(huán)（inner loop）可以在大部分的架構(gòu)上很有效率地被實(shí)現(xiàn)出來(lái)，且在大部分真實(shí)世界的數(shù)據(jù)，可以決定設(shè)計(jì)的選擇，減少所需時(shí)間的二次方項(xiàng)之可能性。
步驟：
從數(shù)列中挑出一個(gè)元素，稱(chēng)為 “基準(zhǔn)”（pivot），
重新排序數(shù)列，所有元素比基準(zhǔn)值小的擺放在基準(zhǔn)前面，所有元素比基準(zhǔn)值大的擺在基準(zhǔn)的后面（相同的數(shù)可以到任一邊）。在這個(gè)分區(qū)退出之后，該基準(zhǔn)就處于數(shù)列的中間位置。這個(gè)稱(chēng)為分區(qū)（partition）操作。
遞歸地（recursive）把小于基準(zhǔn)值元素的子數(shù)列和大于基準(zhǔn)值元素的子數(shù)列排序。
復(fù)制代碼
代碼如下:
?php
/**
*
快速排序
quick
sort
*
**/
function
sort_quick($arrData)
{
if(empty($arrData)
||
!is_array($arrData))
return
false;
$flag
=
$arrData[0];
$len
=
count($arrData)
-
1;
if($len
==
0)
return
$arrData;
//
如果只有一個(gè)數(shù)據(jù)的數(shù)組直接返回
$arrLeft
=
array();
$arrRight
=
array();
$len_l
=
0;
$len_r
=
0;
for($i
=
1;
$i
=
$len;$i++)
{
if($arrData[$i]
$flag)
{
$arrLeft[$len_l]
=
$arrData[$i];
//
小于的放左邊
$len_l++;
}
else
{
$arrRight[$len_r]
=
$arrData[$i];
//
大于等于的放右邊
$len_r++;
}
}
//
合并數(shù)組
$arrResult
=
array();
if($len_l)
{
$arrLeft
=
sort_quick($arrLeft);
for($i
=
0;$i
=
$len_l
-
1;
$i++
)
{
$arrResult[$i]
=
$arrLeft[$i];
}
}
$arrResult[$len_l]
=
$flag;
$len_l++;
if($len_r)
{
$arrRight
=
sort_quick($arrRight);
for($i
=
0;$i
=
$len_r
-
1;
$i++
)
{
$arrResult[$len_l]
=
$arrRight[$i];
$len_l++;
}
}
echo
"==
",$flag,"
==========================================br/";
echo
"data
:
",print_r($arrData),"br/";
echo
"filter
left:
",print_r($arrLeft),"br/";
echo
"filter
right:
",print_r($arrRight),"br/";
echo
"return
:
",print_r($arrResult),"br/";
return
$arrResult;
}
//$list
=
array(4,3,2,1,5,7,3,7);
$list
=
array(4,51,6,73,2,5,9,33,50,3,4,6,1,4,67);
$list
=
sort_quick($list);
echo
"pre";print_r($list);
您好，這樣的：
1. 冒泡排序法
* 思路分析：法如其名，就是像冒泡一樣，每次從數(shù)組當(dāng)中 冒一個(gè)最大的數(shù)出來(lái)。
* 比如：2,4,1 // 第一次 冒出的泡是4
* 2,1,4 // 第二次 冒出的泡是 2
* 1,2,4 // 最后就變成這樣
view sourceprint?
01.$arr=array(1,43,54,62,21,66,32,78,36,76,39);
02.function getpao($arr)
03.{
04.$len=count($arr);
05.//設(shè)置一個(gè)空數(shù)組 用來(lái)接收冒出來(lái)的泡
06.//該層循環(huán)控制 需要冒泡的輪數(shù)
07.for($i=1;$i$len;$i++)
08.{ //該層循環(huán)用來(lái)控制每輪 冒出一個(gè)數(shù) 需要比較的次數(shù)
09.for($k=0;$k$len-$i;$k++)
10.{
11.if($arr[$k]$arr[$k+1])
12.{
13.$tmp=$arr[$k+1];
14.$arr[$k+1]=$arr[$k];
15.$arr[$k]=$tmp;
16.}
17.}
18.}
19.return $arr;
20.}
2. 選擇排序法：
選擇排序法思路： 每次選擇一個(gè)相應(yīng)的元素，然后將其放到指定的位置
view sourceprint?
01.function select_sort($arr) {
02.//實(shí)現(xiàn)思路 雙重循環(huán)完成，外層控制輪數(shù)，當(dāng)前的最小值。內(nèi)層 控制的比較次數(shù)
03.//$i 當(dāng)前最小值的位置， 需要參與比較的元素
04.for($i=0, $len=count($arr); $i$len-1; $i++) {
05.//先假設(shè)最小的值的位置
06.$p = $i;
07.//$j 當(dāng)前都需要和哪些元素比較，$i 后邊的。
08.for($j=$i+1; $j$len; $j++) {
09.//$arr[$p] 是 當(dāng)前已知的最小值
10.if($arr[$p] $arr[$j]) {
11.//比較，發(fā)現(xiàn)更小的,記錄下最小值的位置；并且在下次比較時(shí)，
12.// 應(yīng)該采用已知的最小值進(jìn)行比較。
13.$p = $j;
14.}
15.}
16.//已經(jīng)確定了當(dāng)前的最小值的位置，保存到$p中。
17.//如果發(fā)現(xiàn) 最小值的位置與當(dāng)前假設(shè)的位置$i不同，則位置互換即可
18.if($p != $i) {
19.$tmp = $arr[$p];
20.$arr[$p] = $arr[$i];
21.$arr[$i] = $tmp;
22.}
23.}
24.//返回最終結(jié)果
25.return $arr;
26.}
3.插入排序法
插入排序法思路：將要排序的元素插入到已經(jīng) 假定排序號(hào)的數(shù)組的指定位置。
view sourceprint?
01.function insert_sort($arr) {
02.//區(qū)分 哪部分是已經(jīng)排序好的
03.//哪部分是沒(méi)有排序的
04.//找到其中一個(gè)需要排序的元素
05.//這個(gè)元素 就是從第二個(gè)元素開(kāi)始，到最后一個(gè)元素都是這個(gè)需要排序的元素
06.//利用循環(huán)就可以標(biāo)志出來(lái)
07.//i循環(huán)控制 每次需要插入的元素，一旦需要插入的元素控制好了，
08.//間接已經(jīng)將數(shù)組分成了2部分，下標(biāo)小于當(dāng)前的（左邊的），是排序好的序列
09.for($i=1, $len=count($arr); $i$len; $i++) {
10.//獲得當(dāng)前需要比較的元素值。
11.$tmp = $arr[$i];
12.//內(nèi)層循環(huán)控制 比較 并 插入
13.for($j=$i-1;$j=0;$j--) {
14.//$arr[$i];//需要插入的元素; $arr[$j];//需要比較的元素
15.if($tmp $arr[$j]) {
16.//發(fā)現(xiàn)插入的元素要小，交換位置
17.//將后邊的元素與前面的元素互換
18.$arr[$j+1] = $arr[$j];
19.//將前面的數(shù)設(shè)置為 當(dāng)前需要交換的數(shù)
20.$arr[$j] = $tmp;
21.} else {
22.//如果碰到不需要移動(dòng)的元素
23.//由于是已經(jīng)排序好是數(shù)組，則前面的就不需要再次比較了。
24.break;
25.}
26.}
27.}
28.//將這個(gè)元素 插入到已經(jīng)排序好的序列內(nèi)。
29.//返回
30.return $arr;
31.}
4.快速排序法
view sourceprint?
01.function quick_sort($arr) {
02.//先判斷是否需要繼續(xù)進(jìn)行
03.$length = count($arr);
04.if($length = 1) {
05.return $arr;
06.}
07.//如果沒(méi)有返回，說(shuō)明數(shù)組內(nèi)的元素個(gè)數(shù) 多余1個(gè)，需要排序
08.//選擇一個(gè)標(biāo)尺
09.//選擇第一個(gè)元素
10.$base_num = $arr[0];
11.//遍歷 除了標(biāo)尺外的所有元素，按照大小關(guān)系放入兩個(gè)數(shù)組內(nèi)
12.//初始化兩個(gè)數(shù)組
13.$left_array = array();//小于標(biāo)尺的
14.$right_array = array();//大于標(biāo)尺的
15.for($i=1; $i$length; $i++) {
16.if($base_num $arr[$i]) {
17.//放入左邊數(shù)組
18.$left_array[] = $arr[$i];
19.} else {
20.//放入右邊
21.$right_array[] = $arr[$i];
22.}
23.}
24.//再分別對(duì) 左邊 和 右邊的數(shù)組進(jìn)行相同的排序處理方式
25.//遞歸調(diào)用這個(gè)函數(shù),并記錄結(jié)果
26.$left_array = quick_sort($left_array);
27.$right_array = quick_sort($right_array);
28.//合并左邊 標(biāo)尺 右邊
29.return array_merge($left_array, array($base_num), $right_array);
30.}
1.Bloom filter
適用范圍：可以用來(lái)實(shí)現(xiàn)數(shù)據(jù)字典，進(jìn)行數(shù)據(jù)的判重，或者集合求交集
基本原理及要點(diǎn)：
對(duì)于原理來(lái)說(shuō)很簡(jiǎn)單，位數(shù)組+k個(gè)獨(dú)立hash函數(shù)。將hash函數(shù)對(duì)應(yīng)的值的位數(shù)組置1，查找時(shí)如果發(fā)現(xiàn)所有hash函數(shù)對(duì)應(yīng)位都是1說(shuō)明存在，很明顯這個(gè)過(guò)程并不保證查找的結(jié)果是100%正確的。同時(shí)也不支持刪除一個(gè)已經(jīng)插入的關(guān)鍵字，因?yàn)樵撽P(guān)鍵字對(duì)應(yīng)的位會(huì)牽動(dòng)到其他的關(guān)鍵字。所以一個(gè)簡(jiǎn)單的改進(jìn)就是 counting Bloom filter，用一個(gè)counter數(shù)組代替位數(shù)組，就可以支持刪除了。
還有一個(gè)比較重要的問(wèn)題，如何根據(jù)輸入元素個(gè)數(shù)n，確定位數(shù)組m的大小及hash函數(shù)個(gè)數(shù)。當(dāng)hash函數(shù)個(gè)數(shù)k=(ln2)*(m/n)時(shí)錯(cuò)誤率最小。在錯(cuò)誤率不大于E的情況下，m至少要等于n*lg(1/E)才能表示任意n個(gè)元素的集合。但m還應(yīng)該更大些，因?yàn)檫€要保證bit數(shù)組里至少一半為 0，則m 應(yīng)該=nlg(1/E)*lge 大概就是nlg(1/E)1.44倍(lg表示以2為底的對(duì)數(shù))。
舉個(gè)例子我們假設(shè)錯(cuò)誤率為0.01，則此時(shí)m應(yīng)大概是n的13倍。這樣k大概是8個(gè)。
注意這里m與n的單位不同，m是bit為單位，而n則是以元素個(gè)數(shù)為單位(準(zhǔn)確的說(shuō)是不同元素的個(gè)數(shù))。通常單個(gè)元素的長(zhǎng)度都是有很多bit的。所以使用bloom filter內(nèi)存上通常都是節(jié)省的。
擴(kuò)展：
Bloom filter將集合中的元素映射到位數(shù)組中，用k（k為哈希函數(shù)個(gè)數(shù)）個(gè)映射位是否全1表示元素在不在這個(gè)集合中。Counting bloom filter（CBF）將位數(shù)組中的每一位擴(kuò)展為一個(gè)counter，從而支持了元素的刪除操作。Spectral Bloom Filter（SBF）將其與集合元素的出現(xiàn)次數(shù)關(guān)聯(lián)。SBF采用counter中的最小值來(lái)近似表示元素的出現(xiàn)頻率。
問(wèn)題實(shí)例：給你A,B兩個(gè)文件，各存放50億條URL，每條URL占用64字節(jié)，內(nèi)存限制是4G，讓你找出A,B文件共同的URL。如果是三個(gè)乃至n個(gè)文件呢？
根據(jù)這個(gè)問(wèn)題我們來(lái)計(jì)算下內(nèi)存的占用，4G=2^32大概是40億*8大概是340億，n=50億，如果按出錯(cuò)率0.01算需要的大概是650億個(gè) bit?，F(xiàn)在可用的是340億，相差并不多，這樣可能會(huì)使出錯(cuò)率上升些。另外如果這些urlip是一一對(duì)應(yīng)的，就可以轉(zhuǎn)換成ip，則大大簡(jiǎn)單了。
2.Hashing
適用范圍：快速查找，刪除的基本數(shù)據(jù)結(jié)構(gòu)，通常需要總數(shù)據(jù)量可以放入內(nèi)存
基本原理及要點(diǎn)：
hash函數(shù)選擇，針對(duì)字符串，整數(shù)，排列，具體相應(yīng)的hash方法。
碰撞處理，一種是open hashing，也稱(chēng)為拉鏈法；另一種就是closed hashing，也稱(chēng)開(kāi)地址法，opened addressing。 ()
擴(kuò)展：
d-left hashing中的d是多個(gè)的意思，我們先簡(jiǎn)化這個(gè)問(wèn)題，看一看2-left hashing。2-left hashing指的是將一個(gè)哈希表分成長(zhǎng)度相等的兩半，分別叫做T1和T2，給T1和T2分別配備一個(gè)哈希函數(shù)，h1和h2。在存儲(chǔ)一個(gè)新的key時(shí)，同時(shí)用兩個(gè)哈希函數(shù)進(jìn)行計(jì)算，得出兩個(gè)地址h1[key]和h2[key]。這時(shí)需要檢查T(mén)1中的h1[key]位置和T2中的h2[key]位置，哪一個(gè)位置已經(jīng)存儲(chǔ)的（有碰撞的）key比較多，然后將新key存儲(chǔ)在負(fù)載少的位置。如果兩邊一樣多，比如兩個(gè)位置都為空或者都存儲(chǔ)了一個(gè)key，就把新key 存儲(chǔ)在左邊的T1子表中，2-left也由此而來(lái)。在查找一個(gè)key時(shí)，必須進(jìn)行兩次hash，同時(shí)查找兩個(gè)位置。
問(wèn)題實(shí)例：
1).海量日志數(shù)據(jù)，提取出某日訪問(wèn)百度次數(shù)最多的那個(gè)IP。
IP的數(shù)目還是有限的，最多2^32個(gè)，所以可以考慮使用hash將ip直接存入內(nèi)存，然后進(jìn)行統(tǒng)計(jì)。
3.bit-map
適用范圍：可進(jìn)行數(shù)據(jù)的快速查找，判重，刪除，一般來(lái)說(shuō)數(shù)據(jù)范圍是int的10倍以下
基本原理及要點(diǎn)：使用bit數(shù)組來(lái)表示某些元素是否存在，比如8位電話號(hào)碼
擴(kuò)展：bloom filter可以看做是對(duì)bit-map的擴(kuò)展
問(wèn)題實(shí)例：
1)已知某個(gè)文件內(nèi)包含一些電話號(hào)碼，每個(gè)號(hào)碼為8位數(shù)字，統(tǒng)計(jì)不同號(hào)碼的個(gè)數(shù)。
8位最多99 999 999，大概需要99m個(gè)bit，大概10幾m字節(jié)的內(nèi)存即可。
2)2.5億個(gè)整數(shù)中找出不重復(fù)的整數(shù)的個(gè)數(shù)，內(nèi)存空間不足以容納這2.5億個(gè)整數(shù)。
將bit-map擴(kuò)展一下，用2bit表示一個(gè)數(shù)即可，0表示未出現(xiàn)，1表示出現(xiàn)一次，2表示出現(xiàn)2次及以上。或者我們不用2bit來(lái)進(jìn)行表示，我們用兩個(gè)bit-map即可模擬實(shí)現(xiàn)這個(gè)2bit-map。
4.堆
適用范圍：海量數(shù)據(jù)前n大，并且n比較小，堆可以放入內(nèi)存
基本原理及要點(diǎn)：最大堆求前n小，最小堆求前n大。方法，比如求前n小，我們比較當(dāng)前元素與最大堆里的最大元素，如果它小于最大元素，則應(yīng)該替換那個(gè)最大元素。這樣最后得到的n個(gè)元素就是最小的n個(gè)。適合大數(shù)據(jù)量，求前n小，n的大小比較小的情況，這樣可以掃描一遍即可得到所有的前n元素，效率很高。
擴(kuò)展：雙堆，一個(gè)最大堆與一個(gè)最小堆結(jié)合，可以用來(lái)維護(hù)中位數(shù)。
問(wèn)題實(shí)例：
1)100w個(gè)數(shù)中找最大的前100個(gè)數(shù)。
用一個(gè)100個(gè)元素大小的最小堆即可。
5.雙層桶劃分 ----其實(shí)本質(zhì)上就是【分而治之】的思想，重在“分”的技巧上！
適用范圍：第k大，中位數(shù)，不重復(fù)或重復(fù)的數(shù)字
基本原理及要點(diǎn)：因?yàn)樵胤秶艽?，不能利用直接尋址表，所以通過(guò)多次劃分，逐步確定范圍，然后最后在一個(gè)可以接受的范圍內(nèi)進(jìn)行?？梢酝ㄟ^(guò)多次縮小，雙層只是一個(gè)例子。
擴(kuò)展：
問(wèn)題實(shí)例：
1).2.5億個(gè)整數(shù)中找出不重復(fù)的整數(shù)的個(gè)數(shù)，內(nèi)存空間不足以容納這2.5億個(gè)整數(shù)。
有點(diǎn)像鴿巢原理，整數(shù)個(gè)數(shù)為2^32,也就是，我們可以將這2^32個(gè)數(shù)，劃分為2^8個(gè)區(qū)域(比如用單個(gè)文件代表一個(gè)區(qū)域)，然后將數(shù)據(jù)分離到不同的區(qū)域，然后不同的區(qū)域在利用bitmap就可以直接解決了。也就是說(shuō)只要有足夠的磁盤(pán)空間，就可以很方便的解決。
2).5億個(gè)int找它們的中位數(shù)。
這個(gè)例子比上面那個(gè)更明顯。首先我們將int劃分為2^16個(gè)區(qū)域，然后讀取數(shù)據(jù)統(tǒng)計(jì)落到各個(gè)區(qū)域里的數(shù)的個(gè)數(shù)，之后我們根據(jù)統(tǒng)計(jì)結(jié)果就可以判斷中位數(shù)落到那個(gè)區(qū)域，同時(shí)知道這個(gè)區(qū)域中的第幾大數(shù)剛好是中位數(shù)。然后第二次掃描我們只統(tǒng)計(jì)落在這個(gè)區(qū)域中的那些數(shù)就可以了。
實(shí)際上，如果不是int是int64，我們可以經(jīng)過(guò)3次這樣的劃分即可降低到可以接受的程度。即可以先將int64分成2^24個(gè)區(qū)域，然后確定區(qū)域的第幾大數(shù)，在將該區(qū)域分成2^20個(gè)子區(qū)域，然后確定是子區(qū)域的第幾大數(shù)，然后子區(qū)域里的數(shù)的個(gè)數(shù)只有2^20，就可以直接利用direct addr table進(jìn)行統(tǒng)計(jì)了。
6.數(shù)據(jù)庫(kù)索引
適用范圍：大數(shù)據(jù)量的增刪改查
基本原理及要點(diǎn)：利用數(shù)據(jù)的設(shè)計(jì)實(shí)現(xiàn)方法，對(duì)海量數(shù)據(jù)的增刪改查進(jìn)行處理。
擴(kuò)展：
問(wèn)題實(shí)例：
7.倒排索引(Inverted index)
適用范圍：搜索引擎，關(guān)鍵字查詢
基本原理及要點(diǎn)：為何叫倒排索引？一種索引方法，被用來(lái)存儲(chǔ)在全文搜索下某個(gè)單詞在一個(gè)文檔或者一組文檔中的存儲(chǔ)位置的映射。
以英文為例，下面是要被索引的文本：
T0 = "it is what it is"
T1 = "what is it"
T2 = "it is a banana"
我們就能得到下面的反向文件索引：
"a": {2}
"banana": {2}
"is": {0, 1, 2}
"it": {0, 1, 2}
"what": {0, 1}
檢索的條件"what", "is" 和 "it" 將對(duì)應(yīng)集合的交集。
正向索引開(kāi)發(fā)出來(lái)用來(lái)存儲(chǔ)每個(gè)文檔的單詞的列表。正向索引的查詢往往滿足每個(gè)文檔有序頻繁的全文查詢和每個(gè)單詞在校驗(yàn)文檔中的驗(yàn)證這樣的查詢。在正向索引中，文檔占據(jù)了中心的位置，每個(gè)文檔指向了一個(gè)它所包含的索引項(xiàng)的序列。也就是說(shuō)文檔指向了它包含的那些單詞，而反向索引則是單詞指向了包含它的文檔，很容易看到這個(gè)反向的關(guān)系。
擴(kuò)展：
問(wèn)題實(shí)例：文檔檢索系統(tǒng)，查詢那些文件包含了某單詞，比如常見(jiàn)的學(xué)術(shù)論文的關(guān)鍵字搜索。
8.外排序
適用范圍：大數(shù)據(jù)的排序，去重
基本原理及要點(diǎn)：外排序的歸并方法，置換選擇 敗者樹(shù)原理，最優(yōu)歸并樹(shù)
擴(kuò)展：
問(wèn)題實(shí)例：
1).有一個(gè)1G大小的一個(gè)文件，里面每一行是一個(gè)詞，詞的大小不超過(guò)16個(gè)字節(jié)，內(nèi)存限制大小是1M。返回頻數(shù)最高的100個(gè)詞。
這個(gè)數(shù)據(jù)具有很明顯的特點(diǎn)，詞的大小為16個(gè)字節(jié)，但是內(nèi)存只有1m做hash有些不夠，所以可以用來(lái)排序。內(nèi)存可以當(dāng)輸入緩沖區(qū)使用。
9.trie樹(shù)
適用范圍：數(shù)據(jù)量大，重復(fù)多，但是數(shù)據(jù)種類(lèi)小可以放入內(nèi)存
基本原理及要點(diǎn)：實(shí)現(xiàn)方式，節(jié)點(diǎn)孩子的表示方式
擴(kuò)展：壓縮實(shí)現(xiàn)。
問(wèn)題實(shí)例：
1).有10個(gè)文件，每個(gè)文件1G， 每個(gè)文件的每一行都存放的是用戶的query，每個(gè)文件的query都可能重復(fù)。要你按照query的頻度排序 。
2).1000萬(wàn)字符串，其中有些是相同的(重復(fù)),需要把重復(fù)的全部去掉，保留沒(méi)有重復(fù)的字符串。請(qǐng)問(wèn)怎么設(shè)計(jì)和實(shí)現(xiàn)？
3).尋找熱門(mén)查詢：查詢串的重復(fù)度比較高，雖然總數(shù)是1千萬(wàn)，但如果除去重復(fù)后，不超過(guò)3百萬(wàn)個(gè)，每個(gè)不超過(guò)255字節(jié)。
10.分布式處理 mapreduce
適用范圍：數(shù)據(jù)量大，但是數(shù)據(jù)種類(lèi)小可以放入內(nèi)存
基本原理及要點(diǎn)：將數(shù)據(jù)交給不同的機(jī)器去處理，數(shù)據(jù)劃分，結(jié)果歸約。
擴(kuò)展：
問(wèn)題實(shí)例：
1).The canonical example application of MapReduce is a process to count the appearances of
each different word in a set of documents:
void map(String name, String document):
// name: document name
// document: document contents
for each word w in document:
EmitIntermediate(w, 1);
void reduce(String word, Iterator partialCounts):
// key: a word
// values: a list of aggregated partial counts
int result = 0;
for each v in partialCounts:
result += ParseInt(v);
Emit(result);
Here, each document is split in words, and each word is counted initially with a "1" value by
the Map function, using the word as the result key. The framework puts together all the pairs
with the same key and feeds them to the same call to Reduce, thus this function just needs to
sum all of its input values to find the total appearances of that word.
2).海量數(shù)據(jù)分布在100臺(tái)電腦中，想個(gè)辦法高效統(tǒng)計(jì)出這批數(shù)據(jù)的TOP10。
3).一共有N個(gè)機(jī)器，每個(gè)機(jī)器上有N個(gè)數(shù)。每個(gè)機(jī)器最多存O(N)個(gè)數(shù)并對(duì)它們操作。如何找到N^2個(gè)數(shù)的中數(shù)(median)？
經(jīng)典問(wèn)題分析
上千萬(wàn)or億數(shù)據(jù)（有重復(fù)），統(tǒng)計(jì)其中出現(xiàn)次數(shù)最多的前N個(gè)數(shù)據(jù),分兩種情況：可一次讀入內(nèi)存，不可一次讀入。
可用思路：trie樹(shù)+堆，數(shù)據(jù)庫(kù)索引，劃分子集分別統(tǒng)計(jì)，hash，分布式計(jì)算，近似統(tǒng)計(jì)，外排序
所謂的是否能一次讀入內(nèi)存，實(shí)際上應(yīng)該指去除重復(fù)后的數(shù)據(jù)量。如果去重后數(shù)據(jù)可以放入內(nèi)存，我們可以為數(shù)據(jù)建立字典，比如通過(guò) map，hashmap，trie，然后直接進(jìn)行統(tǒng)計(jì)即可。當(dāng)然在更新每條數(shù)據(jù)的出現(xiàn)次數(shù)的時(shí)候，我們可以利用一個(gè)堆來(lái)維護(hù)出現(xiàn)次數(shù)最多的前N個(gè)數(shù)據(jù)，當(dāng)然這樣導(dǎo)致維護(hù)次數(shù)增加，不如完全統(tǒng)計(jì)后在求前N大效率高。
如果數(shù)據(jù)無(wú)法放入內(nèi)存。一方面我們可以考慮上面的字典方法能否被改進(jìn)以適應(yīng)這種情形，可以做的改變就是將字典存放到硬盤(pán)上，而不是內(nèi)存，這可以參考數(shù)據(jù)庫(kù)的存儲(chǔ)方法。
當(dāng)然還有更好的方法，就是可以采用分布式計(jì)算，基本上就是map-reduce過(guò)程，首先可以根據(jù)數(shù)據(jù)值或者把數(shù)據(jù)hash(md5)后的值，將數(shù)據(jù)按照范圍劃分到不同的機(jī)子，最好可以讓數(shù)據(jù)劃分后可以一次讀入內(nèi)存，這樣不同的機(jī)子負(fù)責(zé)處理各種的數(shù)值范圍，實(shí)際上就是map。得到結(jié)果后，各個(gè)機(jī)子只需拿出各自的出現(xiàn)次數(shù)最多的前N個(gè)數(shù)據(jù)，然后匯總，選出所有的數(shù)據(jù)中出現(xiàn)次數(shù)最多的前N個(gè)數(shù)據(jù)，這實(shí)際上就是reduce過(guò)程。
實(shí)際上可能想直接將數(shù)據(jù)均分到不同的機(jī)子上進(jìn)行處理，這樣是無(wú)法得到正確的解的。因?yàn)橐粋€(gè)數(shù)據(jù)可能被均分到不同的機(jī)子上，而另一個(gè)則可能完全聚集到一個(gè)機(jī)子上，同時(shí)還可能存在具有相同數(shù)目的數(shù)據(jù)。比如我們要找出現(xiàn)次數(shù)最多的前100個(gè)，我們將1000萬(wàn)的數(shù)據(jù)分布到10臺(tái)機(jī)器上，找到每臺(tái)出現(xiàn)次數(shù)最多的前 100個(gè)，歸并之后這樣不能保證找到真正的第100個(gè)，因?yàn)楸热绯霈F(xiàn)次數(shù)最多的第100個(gè)可能有1萬(wàn)個(gè)，但是它被分到了10臺(tái)機(jī)子，這樣在每臺(tái)上只有1千個(gè)，假設(shè)這些機(jī)子排名在1000個(gè)之前的那些都是單獨(dú)分布在一臺(tái)機(jī)子上的，比如有1001個(gè)，這樣本來(lái)具有1萬(wàn)個(gè)的這個(gè)就會(huì)被淘汰，即使我們讓每臺(tái)機(jī)子選出出現(xiàn)次數(shù)最多的1000個(gè)再歸并，仍然會(huì)出錯(cuò)，因?yàn)榭赡艽嬖诖罅總€(gè)數(shù)為1001個(gè)的發(fā)生聚集。因此不能將數(shù)據(jù)隨便均分到不同機(jī)子上，而是要根據(jù)hash 后的值將它們映射到不同的機(jī)子上處理，讓不同的機(jī)器處理一個(gè)數(shù)值范圍。
而外排序的方法會(huì)消耗大量的IO，效率不會(huì)很高。而上面的分布式方法，也可以用于單機(jī)版本，也就是將總的數(shù)據(jù)根據(jù)值的范圍，劃分成多個(gè)不同的子文件，然后逐個(gè)處理。處理完畢之后再對(duì)這些單詞的及其出現(xiàn)頻率進(jìn)行一個(gè)歸并。實(shí)際上就可以利用一個(gè)外排序的歸并過(guò)程。
另外還可以考慮近似計(jì)算，也就是我們可以通過(guò)結(jié)合自然語(yǔ)言屬性，只將那些真正實(shí)際中出現(xiàn)最多的那些詞作為一個(gè)字典，使得這個(gè)規(guī)?？梢苑湃雰?nèi)存。
重慶分公司
重慶分公司
