這篇文章主要為大家分析了大數(shù)據(jù)交叉報表性能優(yōu)化實例分析的相關(guān)知識點，內(nèi)容詳細易懂，操作細節(jié)合理，具有一定參考價值。如果感興趣的話，不妨跟著跟隨小編一起來看看，下面跟著小編一起深入學(xué)習(xí)“大數(shù)據(jù)交叉報表性能優(yōu)化實例分析”的知識吧。

漢川網(wǎng)站建設(shè)公司創(chuàng)新互聯(lián),漢川網(wǎng)站設(shè)計制作，有大型網(wǎng)站制作公司豐富經(jīng)驗。已為漢川近1000家提供企業(yè)網(wǎng)站建設(shè)服務(wù)。企業(yè)網(wǎng)站搭建\成都外貿(mào)網(wǎng)站建設(shè)公司要多少錢，請找那個售后服務(wù)好的漢川做網(wǎng)站的公司定做！

軟硬件環(huán)境

OS：win7

Cpu：8 核

集算報表：1120 安裝版

Jvm：1G

數(shù)據(jù)庫：oracle11g

客戶無法解決的問題：

有一個交叉匯總報表，其實格式很簡單，行列各一個統(tǒng)計維度。但后臺業(yè)務(wù)表的數(shù)據(jù)有 175 萬條，且還要與其他表（大概在 7w 條左右）做 join，如果由 sql 來處理，可以想象到會慢到什么程度，關(guān)鍵受各種條件影響，能否查出數(shù)據(jù)都是問題。

注：ACCORECEIVE 表 175w 條數(shù)據(jù)

目前，測試 birt 需 5 分鐘，借助各種中間表與視圖。報表友商無法出表。

要求：能做出該報表在 web 展現(xiàn)，且重要的是速度要快，另外，數(shù)據(jù)（目前大概是 5 年數(shù)據(jù)）是實時增加的。

客戶報表格式及目前所用 sql：

報表格式：

Sql：

select LOCATIONS.loupan loupan,
       LOCATIONS.LPORDERNUM,
       nvl(ACCORECEIVE.RECEIVABLEAMOUNT, 0) yingshou,
       chargeproct.Description CHARPNAME,
       chargeproct.ordernum chordernum
  from ACCORECEIVE,V\_LOCATION\_LP\_LG\_DY LOCATIONS,chargeproct
   where ACCORECEIVE.Org\_Id = LOCATIONS.Org\_Id
   and ACCORECEIVE.Sub\_Org\_Id = LOCATIONS.Sub\_Org\_Id
   and ACCORECEIVE.Fk_Locationid = LOCATIONS.Locationid
   and ACCORECEIVE.Fk_Chargeproctid = chargeproct.chargeproctid(+)
   and ACCORECEIVE.Wf_Status not in('作廢')

問題分析及解決方案

常規(guī)模式下，大數(shù)據(jù)要出交叉報表幾乎很難，這里受 sql 效率慢、jvm 等的影響，一次如果把所有數(shù)據(jù)全部取出則必然極大可能內(nèi)存溢出。另外，大數(shù)據(jù)表再有 join，即便能取，那取數(shù)速度上肯定也無法保證（sql join 的效率低），上面 sql 中能體現(xiàn)出所有問題。

解決方案：

1、為避免一次性取數(shù)內(nèi)存溢出，可采用集算器游標 cursor 取數(shù)；  –cursor

2、去除不需要字段及 join 字段。分析后發(fā)現(xiàn)，客戶實際不需要 org_id、sub_org_id 的關(guān)聯(lián)；

3、取數(shù)后可根據(jù)客戶所出報表對應(yīng)做數(shù)據(jù)處理，這里可 groups 處理一次分組匯總；–替代報表表達式 group

4、為擺脫 sql join 效率低問題，可將 join 放在集算器內(nèi)處理，這里 ACCORECEIVE 與 V_LOCATION_LP_LG_DY 表（query 即可，數(shù)據(jù)不大）分開取數(shù)；  –switch 連接

注：集算器中測試了兩表 sql 中 join，時間大概需 5 分鐘。

5、結(jié)合客戶報表格式及所用的數(shù)據(jù)庫表，可將上面 sql 中 chargeproct 表放到報表 sql 取數(shù)，因其僅體現(xiàn)顯示值作用，且僅幾十條數(shù)據(jù)。

集算腳本：

注：代碼有每一步的作用說明

關(guān)于“大數(shù)據(jù)交叉報表性能優(yōu)化實例分析”就介紹到這了,更多相關(guān)內(nèi)容可以搜索創(chuàng)新互聯(lián)以前的文章，希望能夠幫助大家答疑解惑，請多多支持創(chuàng)新互聯(lián)網(wǎng)站！