如何將Oracle的大寬表（8000w條數(shù)據(jù)，每條記錄280多個字段）導入到hbase？

使用sqoop工具。

創(chuàng)新互聯(lián)公司的客戶來自各行各業(yè)，為了共同目標，我們在工作上密切配合，從創(chuàng)業(yè)型小企業(yè)到企事業(yè)單位，感謝他們對我們的要求，感謝他們從不同領域給我們帶來的挑戰(zhàn)，讓我們激情的團隊有機會用頭腦與智慧不斷的給客戶帶來驚喜。專業(yè)領域包括做網站、網站制作、電商網站開發(fā)、微信營銷、系統(tǒng)平臺開發(fā)。

1、在行鍵選擇那里，通過用“”，將需要做行鍵的多個列寫在一起就可以了。

2、例如要將a和b列同時做行鍵，那么--hbase-row-key "a,b"就可以了。

Sqoop是一款開源的工具，主要用于在Hadoop(Hive)與傳統(tǒng)的數(shù)據(jù)庫(mysql、postgresql...)間進行數(shù)據(jù)的傳遞，可以將一個關系型數(shù)據(jù)庫（例如 ： MySQL ,Oracle ,Postgres等）中的數(shù)據(jù)導進到Hadoop的HDFS中，也可以將HDFS的數(shù)據(jù)導進到關系型數(shù)據(jù)庫中。

關于oracle性能優(yōu)化的提問 急!!!!!

哦，那看起來是因為group by 的原因了，難道這個sql的結果集很大么？

select count(*) c

from table

where column1= ......

and column2 = .......

and column3 in(.., .. , ..,)

and substr(trade_time,1,16) between '2009-01-01 01:01' and '2009-02-06 01:01 ;

你的oracle版本多少？如果是oracle9,在sqlplus中先執(zhí)行這兩個命令，然后執(zhí)行你的sql看看

alter session set workarea_size_policy=manual;

--排序區(qū)設置為10M

alter session set sort_area_size=10240000;

如果能加快，證明確實是排序區(qū)的問題了。

----------------------------

好吧，我談談我的看法

1，你問題中的sql語句所反映的業(yè)務邏輯好像就不合理，很明顯 trade_time 這個列的精度是到秒的，按這個列進行分組然后求各組合計....我不清楚這代表什么情形的業(yè)務，需求是不是不合理？

2. 如果你數(shù)據(jù)量增長那么快，靠這個函數(shù)索引會很吃力，建議你考慮一下分區(qū)表吧。

數(shù)據(jù)倉庫數(shù)據(jù)建模的幾種思路

數(shù)據(jù)倉庫數(shù)據(jù)建模的幾種思路主要分為一下幾種

1. 星型模式

星形模式(Star Schema)是最常用的維度建模方式。星型模式是以事實表為中心，所有的維度表直接連接在事實表上，像星星一樣。星形模式的維度建模由一個事實表和一組維表成，且具有以下特點：a. 維表只和事實表關聯(lián)，維表之間沒有關聯(lián)；b. 每個維表主鍵為單列，且該主鍵放置在事實表中，作為兩邊連接的外鍵；c. 以事實表為核心，維表圍繞核心呈星形分布；

2. 雪花模式

雪花模式(Snowflake Schema)是對星形模式的擴展。雪花模式的維度表可以擁有其他維度表的，雖然這種模型相比星型更規(guī)范一些，但是由于這種模型不太容易理解，維護成本比較高，而且性能方面需要關聯(lián)多層維表，性能也比星型模型要低。所以一般不是很常用

雪花模式

3．星座模式

星座模式是星型模式延伸而來，星型模式是基于一張事實表的，而星座模式是基于多張事實表的，而且共享維度信息。前面介紹的兩種維度建模方法都是多維表對應單事實表，但在很多時候維度空間內的事實表不止一個，而一個維表也可能被多個事實表用到。在業(yè)務發(fā)展后期，絕大部分維度建模都采用的是星座模式。

星座模型