但是由于“大數(shù)據(jù)”和“Hadoop”這兩個(gè)熱門詞，即使很多人實(shí)際上不需要Hadoop，他們也愿意穿上“緊身衣”。
創(chuàng)新互聯(lián)公司專業(yè)為企業(yè)提供納溪網(wǎng)站建設(shè)、納溪做網(wǎng)站、納溪網(wǎng)站設(shè)計(jì)、納溪網(wǎng)站制作等企業(yè)網(wǎng)站建設(shè)、網(wǎng)頁設(shè)計(jì)與制作、納溪企業(yè)網(wǎng)站模板建站服務(wù)，十載納溪做網(wǎng)站經(jīng)驗(yàn)，不只是建網(wǎng)站，更提供有價(jià)值的思路和整體網(wǎng)絡(luò)服務(wù)。
一、如果我的數(shù)據(jù)量是幾百兆，Excel可能沒法加載它
對于Excel軟件來說的“很大的數(shù)據(jù)”并非大數(shù)據(jù)，其實(shí)還有其它極好的工具可以使用——我喜歡的Pandas。Pandas構(gòu)建于Numpy庫 之上，可以以矢量格式的方式有效地把數(shù)百兆的數(shù)據(jù)載入到內(nèi)存中。在我購買已3年的筆記本上，它可以用Numpy在一眨眼的功夫把1億的浮點(diǎn)數(shù)乘在一起。 Matlab和R也是極好的工具。
對于幾百兆的數(shù)據(jù)量，典型的做法是寫一個(gè)簡單的Python腳本按行讀取文件行，并處理它，向另一個(gè)文件寫入。
二、如果我的數(shù)據(jù)是10GB呢
我買了個(gè)新筆記本，它有16GB的內(nèi)存和256GB的SSD。如果你要載入一個(gè)10GB的CSV文件到Pandas，它占用的內(nèi)存實(shí)際上是很小的 ——其結(jié)果是以數(shù)字類型的字符串保存的，如“17284832583”作為4字節(jié)貨8字節(jié)的整數(shù)，或存儲“284572452.2435723”字符串作 為8字節(jié)的雙精度浮點(diǎn)數(shù)。
最壞的情況是你或許不能把所有的數(shù)據(jù)都同時(shí)載入到內(nèi)存中。
三、如果我的數(shù)據(jù)是100GB、500GB或1TB呢
買個(gè)2TB或4TB的硬盤，在桌面PC或服務(wù)器上安裝一個(gè)Postgre來解決它。
四、Hadoop遠(yuǎn)遠(yuǎn)比不上SQL或Python腳本
在計(jì)算的表達(dá)方面，Hadoop弱于SQL，也弱于Python腳本。
SQL是一個(gè)很直接的查詢語言，適合做業(yè)務(wù)分析，SQL的查詢相當(dāng)簡單，而且還非?？臁绻愕臄?shù)據(jù)庫使用了正確的索引，二級查詢或多級查詢另當(dāng)別論。
Hadoop沒有索引的概念，Hadoop只有全表掃描，Hadoop有高度泄露抽象——我花了很多時(shí)間來處理Java的內(nèi)存錯(cuò)誤、文件碎片以及集群競爭，這些時(shí)間遠(yuǎn)大于我花在數(shù)據(jù)分析上的時(shí)間。
如果你的數(shù)據(jù)并不是像SQL表那樣的結(jié)構(gòu)化數(shù)據(jù)（比如純文本、JSON對象、二進(jìn)制對象），通常是直接寫一個(gè)小的Python腳本來按行處理你的數(shù)據(jù)。把數(shù)據(jù)存儲于文件，處理每一個(gè)文件，等等。如果換成是Hadoop就很麻煩。
相比于SQL或Python腳本，Hadoop要慢的多。正確的使用索引后，SQL查詢總是非快——PostgreSQL簡單的查找索引，檢索確 切的鍵值。而Hadoop是全表掃描的，它會把整個(gè)表進(jìn)行重新排序。通過把數(shù)據(jù)表分片到多臺計(jì)算機(jī)上后，重排序是很快的。另一方面，處理二進(jìn)制對 象，Hadoop需要重復(fù)往返于命名節(jié)點(diǎn)，目的是查找和處理數(shù)據(jù)。這適合用Python腳本來實(shí)現(xiàn)。
五、我的數(shù)據(jù)超過了5TB
你應(yīng)該考慮使用Hadoop，而無需做過多的選擇。
使用Hadoop唯一的好處是可伸縮性非常好。如果你有一個(gè)包含了數(shù)TB數(shù)據(jù)的表，Hadoop有一個(gè)適合全表掃描的選項(xiàng)。如果你沒有這樣大數(shù)據(jù)量的表，那么你應(yīng)該像躲避瘟疫那樣避免使用Hadoop。這樣使用傳統(tǒng)的方法來解決問題會更輕松。
六、Hadoop是一個(gè)極好的工具
我并不討厭Hadoop，當(dāng)我用其它工具不能很好處理數(shù)據(jù)時(shí)我會選擇Hadoop。另外，我推薦使用Scalding，不要使用Hive或Pig。Scalding支持使用Scala語言來編寫Hadoop任務(wù)鏈，隱藏了其下的MapReduce。
更改擁有者：
usage()
{
cat EOF
usage: $0 options
This script set ownership for all table, sequence and views for a given database
Credit: Based on by Alex Soto
Also merged changes from @sharoonthomas
OPTIONS:
-h Show this message
-d Database name
-o Owner
EOF
}
DB_NAME=
NEW_OWNER=
PGSQL_USER=postgres
while getopts "hd:o:" OPTION
do
case $OPTION in
h)
usage
exit 1
;;
d)
DB_NAME=$OPTARG
;;
o)
NEW_OWNER=$OPTARG
;;
esac
done
if [[ -z $DB_NAME ]] || [[ -z $NEW_OWNER ]]
then
usage
exit 1
fi
for tbl in `psql -U $PGSQL_USER -qAt -c "select tablename from pg_tables where schemaname = 'public';" ${DB_NAME}` \
`psql -U $PGSQL_USER -qAt -c "select sequence_name from information_schema.sequences where sequence_schema = 'public';" ${DB_NAME}` \
`psql -U $PGSQL_USER -qAt -c "select table_name from information_schema.views where table_schema = 'public';" ${DB_NAME}` ;
do
psql -U $PGSQL_USER -c "alter table \"$tbl\" owner to ${NEW_OWNER}" ${DB_NAME} ;
done
真的很好！我們公司在用它！
首先它是面向?qū)ο蟮年P(guān)系數(shù)據(jù)庫，表繼承解決了我們產(chǎn)品分類庫的問題，這個(gè)在主流數(shù)據(jù)庫中很難見得。其次，9.1版開始windows下的Postgresql搭配Server效率提高了不少??！且函數(shù)、觸發(fā)器的plpgsql語言非常好，況且還遠(yuǎn)遠(yuǎn)不是唯一的選擇。再次，它的PostGIS模塊是海量開源GIS數(shù)據(jù)的默認(rèn)引擎，支持許多有用的計(jì)算，以及空間索引，經(jīng)過我親自測試，100GB的 Planet.OSM全球數(shù)據(jù)跑的很穩(wěn)定。
最后，他的安裝、卸載要比Oracle等簡單的多，windows xp home上都跑的飛快（需要對表空間的權(quán)限用額外的工具修改）。
安裝注意：
如果是Linux沒有什么要注意的，直接 apt 或者yum即可。
中文windows下， 安裝時(shí)的Locale 要選擇"C"，而不是默認(rèn)（Zh-cn)，否則可能安裝失敗。
創(chuàng)建表空間時(shí)，要手工在資源管理器里創(chuàng)建文件夾，而后把資源管理器的“工具”--》文件夾選項(xiàng)里的“查看”--使用簡單文件夾共享 勾掉（不選），而后右鍵單擊新建的文件夾，打開屬性，在"安全"頁面添加用戶postgres為全權(quán)限訪問，否則表空間創(chuàng)建失敗。
應(yīng)該比mysql好學(xué),文檔做得比較好.有中文文檔,自己去搜一下.csdn上面就有.自己可視化工具.例子也比較簡單易懂.不用ms sql server的話,這個(gè)應(yīng)該算是最好學(xué)的了.而且功能也很強(qiáng)大的.號稱最強(qiáng)的開源數(shù)據(jù)庫.
重慶分公司
重慶分公司
