互聯(lián)網(wǎng)IDC圈4月27日報道，互聯(lián)網(wǎng)的發(fā)展使得大數(shù)據(jù)引起人們廣泛關(guān)注。現(xiàn)如今大數(shù)據(jù)技術(shù)早已滲透到金融、通訊等行業(yè)以及生物學(xué)、物理學(xué)等領(lǐng)域。大數(shù)據(jù)在容量、多樣性和高增速方面的爆炸式增長全面考驗著現(xiàn)代企業(yè)的數(shù)據(jù)處理和分析能力，與此同時也為各個行業(yè)帶來了準(zhǔn)確洞察市場行為的機會。迄今為止大數(shù)據(jù)技術(shù)與產(chǎn)品有哪些創(chuàng)新，工業(yè)大數(shù)據(jù)應(yīng)用面臨哪些挑戰(zhàn)，金融行業(yè)大數(shù)據(jù)應(yīng)用現(xiàn)狀如何等。圍繞這一系列問題，4月27日至28日，由工業(yè)和信息化部指導(dǎo)、中國信息通信研究院主辦的"2016大數(shù)據(jù)產(chǎn)業(yè)峰會"在北京國際會議中心盛大召開。在27日大數(shù)據(jù)技術(shù)與產(chǎn)品創(chuàng)新分論壇中東方金信聯(lián)合創(chuàng)始人石棋玲以《海盒大數(shù)據(jù)技術(shù)與產(chǎn)品創(chuàng)新》為題做了精彩的分享。
東方金信聯(lián)合創(chuàng)始人石棋玲
以下是石棋玲的演講實錄：
石棋玲：大家好，很高興在這里為大家介紹我們北京東方金信科技有限公司的海盒大數(shù)據(jù)技術(shù)與產(chǎn)品創(chuàng)新。我本次演講主要介紹一下大數(shù)據(jù)的通用技術(shù)與我們海盒大數(shù)據(jù)產(chǎn)品。本次演講首先會介紹大數(shù)據(jù)的技術(shù)發(fā)展近況，其次會介紹我們海盒大數(shù)據(jù)平臺產(chǎn)品創(chuàng)新，然后講解創(chuàng)新點的應(yīng)用實踐，再就是大數(shù)據(jù)行業(yè)的趨勢。
首先我介紹大數(shù)據(jù)產(chǎn)業(yè)發(fā)展的近況。我國的大數(shù)據(jù)產(chǎn)業(yè)市場規(guī)模越來越大，國家也推出了很多很好的政策，比如說工信部很多的政策對我們大數(shù)據(jù)技術(shù)的研發(fā)有很大的推動作用。我們就大數(shù)據(jù)在金融行業(yè)的廣泛應(yīng)用大家可以看到有很多的案例，我本身在美國PNC銀行從事風(fēng)險管理很多年，我們在美國大的銀行也有很多的大數(shù)據(jù)應(yīng)用。大數(shù)據(jù)在通信行業(yè)也有很多的應(yīng)用，逐漸滲透到很多的行業(yè)，我所知道的像醫(yī)療、政府，還有很多其他的行業(yè)可以看到大數(shù)據(jù)的應(yīng)用。
這是一張大數(shù)據(jù)產(chǎn)業(yè)生態(tài)圖，這只是一個簡單的例子，大數(shù)據(jù)有很多的組件，我列舉了一些例子，像分布式文件系統(tǒng)，今天我們用的最多的就是這個。HBase等等大家都比較熟悉，其他的組件，很多都是我們常用的。我們公司根據(jù)客戶的需求，深度定制大數(shù)據(jù)平臺不同的組件，去滿足客戶的需求。
現(xiàn)在在大數(shù)據(jù)發(fā)展的熱潮中，很多技術(shù)點開始成為大家熱切關(guān)心的一個方面，像數(shù)據(jù)存取，現(xiàn)在要求數(shù)據(jù)存取的速度不斷的提升，催生了數(shù)據(jù)實時處理的一些需求。云計算的發(fā)展，現(xiàn)在催生了很多大數(shù)據(jù)本地部署和云端部署的結(jié)合。大數(shù)據(jù)平臺的不斷擴展，催生了數(shù)據(jù)管理安全的必要性。有些像商務(wù)方面的發(fā)展，我們就有很多像移動商務(wù)與大數(shù)據(jù)平臺的結(jié)合。其他方面，有一些像預(yù)測性的分析、規(guī)范文本分析的發(fā)展應(yīng)用。
下面我介紹我們公司海盒大數(shù)據(jù)平臺的一些產(chǎn)品創(chuàng)新。首先我介紹一下我們公司，今年數(shù)據(jù)中心聯(lián)盟第一批大數(shù)據(jù)產(chǎn)品認(rèn)證通過的企業(yè)，這個認(rèn)證是國內(nèi)首家考察商用大數(shù)據(jù)平臺能力的測試。多家業(yè)界領(lǐng)先的企業(yè)都參與了測試，高可用、多租戶我們都通過了測試，而且這個測試非常全面，包括功能、運維、安全、兼容性等各個指標(biāo)，對大數(shù)據(jù)平臺的能力進(jìn)行了全面的考察，有很多的測試專家全程監(jiān)控整個測試的現(xiàn)場，由參測的廠家，還有客戶專家、學(xué)術(shù)專家構(gòu)成的評審委員會，測試非常公正嚴(yán)謹(jǐn)。
我們海盒大數(shù)據(jù)平臺一個主要的技術(shù)創(chuàng)新就是一個高效的實時處理技術(shù)。我們通過實時處理的技術(shù)，能夠?qū)崿F(xiàn)首先是數(shù)據(jù)的連續(xù)性，然后是實時信息的訪問，之后是實時數(shù)據(jù)的展現(xiàn)，能降低IT成本。我們怎么去實現(xiàn)實時的技術(shù)？我們有一個專門的海盒實時同步工具，首先是解析日志的文件，實現(xiàn)數(shù)據(jù)同步的功能。另一方面我們也使用了很多Hadoop的開源組件或者是其他的組件進(jìn)行封裝，能夠?qū)崿F(xiàn)準(zhǔn)實時的同步。另外我們平臺的一個創(chuàng)新點在于，在我們的大數(shù)據(jù)平臺上我們做了很多數(shù)據(jù)倉庫的理論創(chuàng)新，因為我本身自己就是做金融行業(yè)很多年，我們在數(shù)據(jù)行業(yè)積累了很多的經(jīng)驗。所以首先在數(shù)據(jù)倉庫層面形成了四個方面的理論創(chuàng)新，海盒平臺實現(xiàn)了倉庫式的數(shù)據(jù)存儲，我們構(gòu)建了數(shù)據(jù)倉庫的多層數(shù)據(jù)模型，我們有數(shù)據(jù)層等等各種數(shù)據(jù)倉庫的層次。我們實現(xiàn)了基于大數(shù)據(jù)的一個主題模型和數(shù)據(jù)管控，因為金融主題模型和數(shù)據(jù)管控是傳統(tǒng)數(shù)據(jù)倉庫的核心，怎么建立總框架圖，通過這些模型的管控，實現(xiàn)數(shù)據(jù)倉庫的核心價值。在展現(xiàn)方面，我們有多種圖形的展示方式，能夠滿足各種業(yè)務(wù)的需求。我們創(chuàng)新大數(shù)據(jù)與云的結(jié)合，我們SeaBox大數(shù)據(jù)的平臺可以跑到多可用，我們把各種封裝跑在Docker里，Docker可以跑在IaaS服務(wù)器上，通過多種平臺實現(xiàn)大數(shù)據(jù)的結(jié)合。
創(chuàng)新點的應(yīng)用實踐。大家看左邊這幅圖是傳統(tǒng)的數(shù)據(jù)倉庫，可以看到是T+1的數(shù)據(jù)平臺，數(shù)據(jù)基本上來源于前端的業(yè)務(wù)系統(tǒng)，通過定制化的時間，通過ETL跑批的方式進(jìn)入數(shù)據(jù)倉庫，無法做到實時性。右邊這幅圖是中間我們增加了一個大數(shù)據(jù)實時的同步產(chǎn)品。我們通過海盒的同步產(chǎn)品，能夠?qū)崿F(xiàn)數(shù)據(jù)倉庫的計算，將一些關(guān)注的指標(biāo)和數(shù)據(jù)做到實時推送加工。
我們在金融行業(yè)基于SeaBox大數(shù)據(jù)技術(shù)數(shù)據(jù)倉庫的應(yīng)用。大家可以看到，這只是一個事例，我們在原系統(tǒng)，就是我們數(shù)據(jù)倉庫的多種多樣的數(shù)據(jù)源導(dǎo)入，從數(shù)據(jù)源可以進(jìn)入我們的數(shù)據(jù)交換層，數(shù)據(jù)交換層有一部分?jǐn)?shù)據(jù)可以進(jìn)入數(shù)據(jù)緩沖層，在數(shù)據(jù)緩沖層有一部分可以進(jìn)入數(shù)據(jù)整合層，然后再進(jìn)入展現(xiàn)應(yīng)用層。其他有些途徑會進(jìn)入歷史鏡像層，這是我們在數(shù)據(jù)倉庫層面對大數(shù)據(jù)平臺做了很多的改造。
海盒大數(shù)據(jù)平臺的一個數(shù)據(jù)集中管理與虛擬分發(fā)的應(yīng)用。我們針對不同的用戶群建立不同的數(shù)據(jù)池，數(shù)據(jù)池比如說使得總行的數(shù)據(jù)實現(xiàn)管理、分發(fā)以及用戶權(quán)限的管理，使得分行的機構(gòu)使用和數(shù)據(jù)能夠快速啟動，在我們的Docker鏡像里面能夠快速啟動每個應(yīng)用。
這是我們大數(shù)據(jù)平臺資源按需分配機制的一個應(yīng)用，這是我們Docker的一個應(yīng)用。這是傳統(tǒng)的大數(shù)據(jù)平臺會跑在固定的集群上面，當(dāng)然有些業(yè)務(wù)量是一個波動的過程，就是有些時候訪問量會特別大，有些時候訪問量會比較小，那就是你集群的數(shù)量設(shè)置是固定的，但是你如何去適應(yīng)這種波動性的訪問情況？比如這就是一個例子，當(dāng)你的訪問量上漲的時候，你的反應(yīng)時間會變長。這樣的話，我們的Docker會自動擴展，甚至可以擴展到其他的服務(wù)器群上面，這樣你的訪問時間就會馬上下降。當(dāng)你的訪問時間下降之后，你不需要這么多臺服務(wù)器的時候，可以自動實現(xiàn)收縮。
大數(shù)據(jù)行業(yè)趨勢。大數(shù)據(jù)系統(tǒng)整個平臺分為兩塊，主要是兩個趨勢，一塊是做存儲，一塊是做分析應(yīng)用。其實做存儲這一塊目前還是一個主要的趨勢，隨著我們的數(shù)據(jù)存儲量越來越大以及數(shù)據(jù)倉儲越來越完備，數(shù)據(jù)分析就會顯得越來越重要。在數(shù)據(jù)存儲這個層面來說，現(xiàn)在我們主要像銀行業(yè)務(wù)是支持?jǐn)?shù)據(jù)支持業(yè)務(wù)，比如ATM機取款是業(yè)務(wù)操作，會有一些實時數(shù)據(jù)或者是其他數(shù)據(jù)對接到我們大數(shù)據(jù)存儲。像柜面、電話銀行都是多種多樣的數(shù)據(jù)源，會做一個很重要的存儲平臺。
在另外一個層次來說就是大數(shù)據(jù)分析，因為我們的數(shù)據(jù)量越來越大的時候，我們就需要做很多很復(fù)雜的分析，這個就會影響到?jīng)Q策層。其實決策層需要的不僅僅是數(shù)據(jù)，更需要的是很多算法的加工。我這里是舉了一些銀行的案例，就是我們怎么做大數(shù)據(jù)分析的。
我可以重點談一下反洗錢這個案例，為什么要說這個案例？反洗錢的算法是非常復(fù)雜的，之前在美國銀行做反洗錢的時候我們是和美國的貨幣管理委員會有一些針對各個銀行數(shù)據(jù)搜集進(jìn)行算法的分析。其實在這種情況下，隨著我們反洗錢規(guī)則的制定，有很多的犯罪分子會不斷的修改自己的犯罪手段適應(yīng)你的規(guī)則，你的規(guī)則越來越復(fù)雜的情況下，怎么做到從不同的數(shù)據(jù)源，從海量的數(shù)據(jù)當(dāng)中把這些犯罪的行為抓出來。其實我們做了很多的修正，做到最后包括整個外匯交易一旦進(jìn)來之后，我們能做到最終像中國成語說的天網(wǎng)恢恢，疏而不漏，這就是大數(shù)據(jù)將來的一個趨勢。
我的分享就到這里，謝謝大家！
重慶分公司
重慶分公司
