【報(bào)表查詢性能】

1. 數(shù)據(jù)量大或并發(fā)多導(dǎo)致的查詢性能低下，BI 界面拖拽響應(yīng)很慢

• 通過(guò)集算器編寫更為簡(jiǎn)單高效的算法加速計(jì)算進(jìn)程，提升查詢性能

  成都創(chuàng)新互聯(lián)是一家專業(yè)提供涉縣企業(yè)網(wǎng)站建設(shè),專注與成都網(wǎng)站設(shè)計(jì)、網(wǎng)站制作、H5高端網(wǎng)站建設(shè)、小程序制作等業(yè)務(wù)。10年已為涉縣眾多企業(yè)、政府機(jī)構(gòu)等服務(wù)。創(chuàng)新互聯(lián)專業(yè)網(wǎng)絡(luò)公司優(yōu)惠進(jìn)行中。

• 采用集算器可控存儲(chǔ)和索引機(jī)制，為 BI（CUBE）提供高速的數(shù)據(jù)存儲(chǔ)

2.T+0 實(shí)時(shí)全量查詢報(bào)表涉及數(shù)據(jù)量大，影響生產(chǎn)系統(tǒng)運(yùn)行，而分庫(kù)后又難以實(shí)施跨庫(kù)混合運(yùn)算

• 將冷熱數(shù)據(jù)分離，僅將當(dāng)期熱數(shù)據(jù)存放在數(shù)據(jù)庫(kù)中，冷數(shù)據(jù)存儲(chǔ)在文件系統(tǒng)或數(shù)據(jù)庫(kù)中，通過(guò)集算器完成跨源（庫(kù)）計(jì)算，完成多源數(shù)據(jù)匯總、復(fù)雜計(jì)算，實(shí)現(xiàn) T+0 全量數(shù)據(jù)實(shí)時(shí)查詢

• 集算器提供不同數(shù)據(jù)庫(kù)的基本 SQL 翻譯功能，數(shù)據(jù)分庫(kù)（同構(gòu)異構(gòu)均可）后，仍然可以使用通用 SQL 進(jìn)行跨庫(kù)查詢

3. 數(shù)據(jù)關(guān)聯(lián)運(yùn)算太多，十幾甚至幾十個(gè)表 JOIN，性能惡劣

• 集算器重新定義關(guān)聯(lián)運(yùn)算，可以根據(jù)計(jì)算特征選用不同且高效的關(guān)聯(lián)算法提升多表關(guān)聯(lián)性能

• 一對(duì)多的主外鍵表可采用指針式連接提高性能

• 一對(duì)一的同維表和多對(duì)一的主子表可采用有序歸并提升性能

4. 數(shù)據(jù)源 SQL 復(fù)雜，嵌套層次多，數(shù)據(jù)庫(kù)優(yōu)化路徑不可控，運(yùn)算性能低

• 集算器采用過(guò)程計(jì)算，分步實(shí)施計(jì)算簡(jiǎn)化實(shí)現(xiàn)代碼，無(wú)需嵌套

• 過(guò)程中可以復(fù)用中間結(jié)果，性能更高

5. 報(bào)表從數(shù)據(jù)庫(kù)中取數(shù)量大，JDBC 傳輸性能低

• 集算器通過(guò)（多線程）并行計(jì)算與數(shù)據(jù)庫(kù)建立多個(gè)連接并行取數(shù)提升取數(shù)性能

• 可將量大的冷數(shù)據(jù)事先存儲(chǔ)在庫(kù)外文件系統(tǒng)中，集算器基于文件直接查詢計(jì)算，避免通過(guò) JDBC 取數(shù)

6. 清單式大報(bào)表難以及時(shí)呈現(xiàn)，采用數(shù)據(jù)庫(kù)分頁(yè)方式翻頁(yè)效率很差

• 集算器將計(jì)算和呈現(xiàn)做成兩個(gè)異步線程，取數(shù)線程發(fā)出 SQL 將數(shù)據(jù)緩存到本地交給呈現(xiàn)線程快速展現(xiàn)報(bào)表，此外取數(shù)線程只涉及一個(gè)事務(wù)不會(huì)出現(xiàn)數(shù)據(jù)不一致，保證數(shù)據(jù)準(zhǔn)確性

【報(bào)表查詢開發(fā)】

7. 報(bào)表開發(fā)沒(méi)完沒(méi)了，占用程序員的過(guò)多工作量，找不到低成本高效率的應(yīng)對(duì)手段

• 集算器幫助報(bào)表開發(fā)徹底工具化，不僅報(bào)表呈現(xiàn)層工具化，報(bào)表數(shù)據(jù)計(jì)算層也工具化，從而降低報(bào)表開發(fā)難度，報(bào)表實(shí)現(xiàn)更快更簡(jiǎn)單

• 對(duì)人員要求更低，無(wú)需專業(yè)程序員

• 報(bào)表業(yè)務(wù)不穩(wěn)定導(dǎo)致報(bào)表沒(méi)完沒(méi)了不可能消滅，集算器提供了最低成本的應(yīng)對(duì)

8. 業(yè)務(wù)人員取數(shù)需求多，敏捷 BI 并不管用，技術(shù)部門應(yīng)對(duì)這些需求費(fèi)時(shí)費(fèi)力

• 集算器作為完備計(jì)算引擎，支持過(guò)程計(jì)算開發(fā)快捷

• 算法實(shí)現(xiàn)簡(jiǎn)單，適合一般技術(shù)人員使用

• 提供可視化編程環(huán)境，即裝即用使用簡(jiǎn)單

• 通過(guò)多源支持，基于 Excel/TxT/DB 直接計(jì)算無(wú)需入庫(kù)

9. 數(shù)據(jù)源 SQL 或存儲(chǔ)過(guò)程過(guò)于復(fù)雜，嵌套或步驟多，調(diào)試開發(fā)都很困難

• 集算器通過(guò)過(guò)程計(jì)算，分步編程簡(jiǎn)化算法開發(fā)難度，算法短小、分步同時(shí)降低了維護(hù)難度，極大改善上千行 SQL 編寫調(diào)試和維護(hù)困難的情況

10.SQL（存儲(chǔ)過(guò)程）語(yǔ)法涉及數(shù)據(jù)庫(kù)方言，難以移植

• 集算器作為庫(kù)外通用計(jì)算引擎，可以編寫不依賴數(shù)據(jù)庫(kù)的通用算法，數(shù)據(jù)庫(kù)發(fā)生變化時(shí)無(wú)需更改核心算法，易于移植

11. 復(fù)雜過(guò)程運(yùn)算用 SQL 很難寫，需要大量外部 Java 計(jì)算，開發(fā)效率低

• 集算器提供了完備的結(jié)構(gòu)化數(shù)據(jù)計(jì)算能力，解決了 JAVA 集合運(yùn)算困難的問(wèn)題，無(wú)需再用 JAVA 編寫

• 集算器還很方便集成到現(xiàn)有應(yīng)用中，與應(yīng)用完美結(jié)合

12.Java 和 SQL 編寫的數(shù)據(jù)源與報(bào)表模板分開存儲(chǔ)，程序耦合性太強(qiáng)，還難以做到熱切換

• 集算器可作為報(bào)表獨(dú)立的計(jì)算層，數(shù)據(jù)準(zhǔn)備算法和報(bào)表模板一起存儲(chǔ)，共同管理，可與應(yīng)用分開部署，降低應(yīng)用的耦合度

• 解釋執(zhí)行的集算器腳本可實(shí)現(xiàn)熱切換

13. 涉及 MySQL 等開源數(shù)據(jù)庫(kù)，窗口函數(shù)等許多高級(jí)語(yǔ)法不支持，開發(fā)困難

• 集算器作為完備計(jì)算引擎，提供了豐富的結(jié)構(gòu)化數(shù)據(jù)運(yùn)算函數(shù)，改善 MySQL 無(wú)法使用窗口函數(shù)導(dǎo)致的編碼困難

14. 某些數(shù)據(jù)庫(kù)（如 Vertica）對(duì)存儲(chǔ)過(guò)程支持不好，難以實(shí)現(xiàn)復(fù)雜過(guò)程

• 集算器作為完備結(jié)構(gòu)化數(shù)據(jù)計(jì)算引擎，可以充當(dāng)通用庫(kù)外存儲(chǔ)過(guò)程，提供不依賴于數(shù)據(jù)庫(kù)的強(qiáng)計(jì)算能力和易移植特性

15. 涉及 NOSQL 數(shù)據(jù)、文本、Excel 等，無(wú)法使用 SQL 運(yùn)算

• 集算器提供直接針對(duì)文件使用 SQL 查詢的功能

• 還可以編寫腳本讀取 NoSQL、文本、Excel 數(shù)據(jù)，實(shí)施計(jì)算，實(shí)現(xiàn)復(fù)雜度與 SQL 相當(dāng)或更低

16. 涉及 Web 或 IOT 等實(shí)時(shí)數(shù)據(jù)，有 json/xml 格式需要處理，事先導(dǎo)入數(shù)據(jù)庫(kù)不僅效率低又影響實(shí)時(shí)性

• 集算器提供了對(duì) JSON/XML 這類分層數(shù)據(jù)的支持，基于這類數(shù)據(jù)計(jì)算不僅編碼簡(jiǎn)單，而且性能高實(shí)時(shí)性好

【ETL 開發(fā)與性能】

17.ETL 工具不能直接解決復(fù)雜業(yè)務(wù)邏輯，還要大量編寫腳本，而 ETL 工具的腳本功能常常弱于 SQL，開發(fā)困難

• 集算器具備強(qiáng)計(jì)算能力，非常擅長(zhǎng)復(fù)雜計(jì)算，可以輔助或替代現(xiàn)有 ETL 工具實(shí)現(xiàn)復(fù)雜業(yè)務(wù)邏輯，實(shí)現(xiàn)復(fù)雜度遠(yuǎn)遠(yuǎn)低于硬編碼 ETL 計(jì)算腳本

18.SQL（存儲(chǔ)過(guò)程）缺乏調(diào)試機(jī)制，開發(fā)效率低

• 集算器支持過(guò)程計(jì)算，提供可視化編程環(huán)境，每步的計(jì)算結(jié)果所見(jiàn)即所得，還提供設(shè)置斷點(diǎn)、單步執(zhí)行、執(zhí)行到光標(biāo)等編輯調(diào)試功能，開發(fā)效率極高

19. 存儲(chǔ)過(guò)程步驟多，代碼長(zhǎng)，幾百甚至上千行，大量使用臨時(shí)表，性能低下而且難以維護(hù)

• 相對(duì)存儲(chǔ)過(guò)程需要反復(fù)讀寫磁盤使用中間結(jié)果，集算器提供豐富的運(yùn)算，大量減少中間結(jié)果落地，性能更高

• 集算器采用過(guò)程計(jì)算，提供豐富函數(shù)類庫(kù)，實(shí)現(xiàn)算法短小精悍易于維護(hù)

• 集算器腳本可以脫離數(shù)據(jù)庫(kù)編寫和運(yùn)行，減少數(shù)據(jù)庫(kù)安全隱患

20. 涉及 NoSQL、文本、Excel 等數(shù)據(jù)庫(kù)外數(shù)據(jù)，無(wú)法使用 SQL，只能硬編碼，開發(fā)效率太低且難以維護(hù)

• 集算器提供通過(guò) SQL 針對(duì)文件的查詢功能

• 還可以針對(duì) NoSQL、文本和 Excel 直接進(jìn)行多源混合計(jì)算，編碼效率遠(yuǎn)高于硬編碼

21. 涉及多數(shù)據(jù)庫(kù)和非數(shù)據(jù)庫(kù)的整合，SQL 無(wú)法跨數(shù)據(jù)源計(jì)算，需要事先匯總到單庫(kù)，ETL 做成 ELT 和 LET，數(shù)據(jù)庫(kù)臃腫且性能差

• 集算器作為完備計(jì)算引擎可以實(shí)現(xiàn)真正的 ETL，基于多源混合計(jì)算能力先將多源數(shù)據(jù)進(jìn)行清洗（E）傳輸（T），將整理好數(shù)據(jù)加載（L）到目標(biāo)數(shù)據(jù)庫(kù)，避免匯總到單庫(kù)帶來(lái)的時(shí)間、空間和管理上的過(guò)多開銷

22. 復(fù)雜運(yùn)算要用庫(kù)外的 Java 開發(fā)或編寫 UDF 才能完成，人工成本高昂

• 集算器采用過(guò)程計(jì)算，分步編寫代碼，提供豐富的類庫(kù)和方法，開發(fā)簡(jiǎn)單易維護(hù)，大大降低編碼難度，提升實(shí)施效率

【數(shù)據(jù)倉(cāng)庫(kù)與部署】

23. 生產(chǎn)庫(kù)和分析庫(kù)在一起，大數(shù)據(jù)運(yùn)算可能影響生產(chǎn)系統(tǒng)運(yùn)行，分庫(kù)又難以做到實(shí)時(shí)全量計(jì)算

• 集算器可基于生產(chǎn)庫(kù)和分析庫(kù)進(jìn)行混合計(jì)算，量小的實(shí)時(shí)熱數(shù)據(jù)從生產(chǎn)庫(kù)查，將對(duì)生產(chǎn)系統(tǒng)的影響降到最低，量大的歷史冷數(shù)據(jù)從分析庫(kù)查，兩部分?jǐn)?shù)據(jù)混合計(jì)算實(shí)現(xiàn)全量數(shù)據(jù)實(shí)時(shí)計(jì)算

24. 數(shù)據(jù)量變大，數(shù)據(jù)倉(cāng)庫(kù)性能變低，總要擴(kuò)容，成本高昂

• 集算器允許將量大且不再變化的歷史數(shù)據(jù)從數(shù)據(jù)庫(kù)導(dǎo)出到文件系統(tǒng)存儲(chǔ)，借助集算器完備的數(shù)據(jù)計(jì)算能力，直接基于文件系統(tǒng)計(jì)算，同時(shí)支持與數(shù)據(jù)庫(kù)混合計(jì)算，從而降低數(shù)據(jù)庫(kù)擴(kuò)容壓力，實(shí)施成本低

25. 中央數(shù)據(jù)倉(cāng)庫(kù)支撐了過(guò)多應(yīng)用，并發(fā)過(guò)多導(dǎo)致性能不可控，前端用戶體驗(yàn)差

• 集算器易于應(yīng)用集成，可將數(shù)據(jù)倉(cāng)庫(kù)中的部分計(jì)算和數(shù)據(jù)移植到應(yīng)用層借助集算器計(jì)算能力實(shí)施數(shù)據(jù)存儲(chǔ)和計(jì)算，分擔(dān)數(shù)據(jù)倉(cāng)庫(kù)壓力

26. 數(shù)據(jù)倉(cāng)庫(kù)中有大量非原始數(shù)據(jù)的中間表，冗余嚴(yán)重，而且年代久遠(yuǎn)非常難管理

• 集算器支持將數(shù)據(jù)庫(kù)的中間表移植到 I/O 性能更高的文件系統(tǒng)，降低數(shù)據(jù)庫(kù)冗余，集算器直接基于文件計(jì)算，性能更高，還方便實(shí)施并行計(jì)算，進(jìn)一步提升效率

• 中間表在庫(kù)外采用文件系統(tǒng)的樹狀結(jié)構(gòu)進(jìn)行分類管理，優(yōu)于數(shù)據(jù)庫(kù)的線性結(jié)構(gòu)，管理方便

27. 很多業(yè)務(wù)應(yīng)用中都要部署單獨(dú)的數(shù)據(jù)集市或前置數(shù)據(jù)庫(kù)，成本高昂

• 集算器的強(qiáng)計(jì)算能力 + 數(shù)據(jù)緩存 + 數(shù)據(jù)網(wǎng)關(guān) + 多源混算可以替代單獨(dú)數(shù)據(jù)集市或前置數(shù)據(jù)庫(kù)，成本低廉

【Hadoop 大數(shù)據(jù)平臺(tái)】

28.Hadoop 集群規(guī)模不大，只有幾個(gè)或十幾個(gè)節(jié)點(diǎn)，管理的數(shù)據(jù)并不多，難以發(fā)揮其優(yōu)勢(shì)，但維護(hù)卻很復(fù)雜

• 集算器作為輕量級(jí)大數(shù)據(jù)解決非常適合幾個(gè)到幾十個(gè)節(jié)點(diǎn)的集群規(guī)模，相對(duì) hadoop 集算器資源利用率更高，節(jié)約資源，同樣的計(jì)算指標(biāo)需要硬件更少，同樣的硬件計(jì)算效率更高

29.Hadoop 難以完成需要的計(jì)算，結(jié)果又在旁邊部署傳統(tǒng)數(shù)據(jù)庫(kù)來(lái)實(shí)施計(jì)算，結(jié)構(gòu)累贅且效率低

• 集算器可將 hadoop 作為數(shù)據(jù)源，實(shí)現(xiàn) hadoop 難以完成的計(jì)算

• 同時(shí)支持實(shí)時(shí)查詢，避免部署 RDB 帶來(lái)的 ETL 時(shí)間成本高，數(shù)據(jù)實(shí)時(shí)性差，商用 RDB 價(jià)格成本高等問(wèn)題

30.Hadoop/Spark 提供的計(jì)算接口不夠用，復(fù)雜運(yùn)算還要寫 UDF，開發(fā)效率低

• 集算器計(jì)算引擎具備復(fù)雜計(jì)算實(shí)現(xiàn)簡(jiǎn)單、效率高的特點(diǎn)，適合使用 hadoop 或 spark 卻還經(jīng)常需要編寫 UDF 的場(chǎng)景，極大提升開發(fā)效率

31.Hadoop/Spark 存儲(chǔ)和調(diào)度過(guò)于自動(dòng)化，難以控制數(shù)據(jù)分布和任務(wù)安排以獲得最優(yōu)性能

• 集算器提供靈活的數(shù)據(jù)分布和計(jì)算分布，可以根據(jù)數(shù)據(jù)特征、計(jì)算特征和硬件特征實(shí)施個(gè)性化大數(shù)據(jù)計(jì)算從而獲得最高性能，解決了 hadoop/spark 過(guò)于透明導(dǎo)致無(wú)法實(shí)施高性能計(jì)算的難題

32.Spark 內(nèi)存耗用太大，硬件成本太高，很多運(yùn)算超過(guò)內(nèi)存范圍還無(wú)法實(shí)施

• 集算器提供內(nèi)存和外存兩種計(jì)算方式，由于采用高效計(jì)算模型，內(nèi)存計(jì)算時(shí)效率更高、內(nèi)存利用率更低，從而降低成本

• 當(dāng)內(nèi)存容量不夠或無(wú)需全內(nèi)存計(jì)算時(shí)，集算器采用外存計(jì)算從而減輕對(duì)內(nèi)存容量的依賴，硬件成本更低

33. 試圖用 HBase 解決大數(shù)據(jù)查詢問(wèn)題，但效果很差

• 集算器借助高性能計(jì)算和高性能數(shù)據(jù)存儲(chǔ)特征，優(yōu)化所以體系，很好解決了 Hbase 等 KV 數(shù)據(jù)庫(kù)批量查詢效率低下的難題

【Python 等桌面數(shù)據(jù)開發(fā)】

34.Python 并非專門為結(jié)構(gòu)化數(shù)據(jù)計(jì)算設(shè)計(jì)，開源包貢獻(xiàn)者不同，風(fēng)格不統(tǒng)一，復(fù)雜過(guò)程編寫并不簡(jiǎn)單

• 集算器專為結(jié)構(gòu)化數(shù)據(jù)計(jì)算設(shè)計(jì)，支持過(guò)程化計(jì)算，提供了豐富的結(jié)構(gòu)化數(shù)據(jù)集算函數(shù)，提供即裝即用的可視化編輯調(diào)試環(huán)境，非常適合進(jìn)行桌面數(shù)據(jù)分析，隨裝隨用，隨用隨走

35. 涉及 Excel/json 等非庫(kù)數(shù)據(jù)，Python 等開源技術(shù)雖然接口豐富，但版本混亂，難以駕馭

• 集算器具備完備的數(shù)據(jù)計(jì)算能力，作為商業(yè)軟件，提供了豐富的接口處理 Excel/JSON 等非庫(kù)數(shù)據(jù)，即裝即用，避免了 Python 等開源技術(shù)版本混亂、使用困難

36.Python 缺乏自有大數(shù)據(jù)，幾乎不能寫并行程序，無(wú)法充分利用多 CPU 能力

• 集算器提供了多線程并行計(jì)算和分布式計(jì)算能力，通過(guò)簡(jiǎn)單的腳本即可實(shí)現(xiàn)并行計(jì)算，可充分利用多 CPU 核能力實(shí)施高性能計(jì)算

37.Python 代碼難以和 Java 集成，算法需要嵌入到生產(chǎn)系統(tǒng)時(shí)常常還要重寫

• 集算器可作為計(jì)算中間件無(wú)縫嵌入應(yīng)用系統(tǒng)，桌面數(shù)據(jù)分析編寫的腳本可直接移植到生產(chǎn)系統(tǒng)中，無(wú)需重寫