文 | 鄭林峰 財(cái)通證券大數(shù)據(jù)經(jīng)理
交流微信 | datapipeline2018
財(cái)通證券股份有限公司是一家經(jīng)中國(guó)證券監(jiān)督管理委員會(huì)批準(zhǔn)設(shè)立的綜合性證券公司，成立于1993年的浙江財(cái)政證券公司，現(xiàn)為浙江省政府直屬企業(yè)，主要經(jīng)營(yíng)證券經(jīng)紀(jì)、證券投資咨詢、證券自營(yíng)、證券承銷與保薦、融資融券、證券投資基金代銷、代銷金融產(chǎn)品等業(yè)務(wù)。
作為公司中不可或缺的一部分，財(cái)通證券的數(shù)據(jù)團(tuán)隊(duì)管理著日增約為6000多萬(wàn) – 1億條的數(shù)據(jù)，為公司的不同層次、不同類型的服務(wù)提供著穩(wěn)定可靠的數(shù)據(jù)信息。
在人工智能的新時(shí)代下，為實(shí)現(xiàn)批量化數(shù)據(jù)集成，財(cái)通團(tuán)隊(duì)放棄老式集成工具，選擇DataPipeline的產(chǎn)品，用5分鐘就完成了以前需要50個(gè)小時(shí)的任務(wù)配置工作。除此之外，DataPipeline獨(dú)有的跳板機(jī)設(shè)置，減輕了數(shù)據(jù)團(tuán)隊(duì)潛在的管理負(fù)擔(dān)。
中小型券商數(shù)據(jù)團(tuán)隊(duì)的痛點(diǎn)
全國(guó)120家券商，約40家的中大型券商企業(yè)已經(jīng)建立獨(dú)立的基礎(chǔ)數(shù)據(jù)部門(mén)，而對(duì)近80家中小型券商企業(yè)來(lái)說(shuō)，數(shù)據(jù)團(tuán)隊(duì)都是在成立中，或者是在二級(jí)部門(mén)的狀態(tài)。
對(duì)于中小型券商，一個(gè)很大的痛點(diǎn)就是數(shù)據(jù)集成的問(wèn)題。這是由于數(shù)據(jù)組人力資源非常有限，而數(shù)據(jù)集成因?yàn)閷?duì)性能和穩(wěn)定性要求高，開(kāi)發(fā)繁瑣，變化頻繁又無(wú)法外包。對(duì)于數(shù)據(jù)集成，大多數(shù)券商平臺(tái)使用的老版的ETL數(shù)據(jù)集成工具，由于采取單表級(jí)粒度，導(dǎo)致抽取任務(wù)的開(kāi)發(fā)，調(diào)度管理及測(cè)試效率較低。而券商數(shù)據(jù)流的特點(diǎn)是任務(wù)基于清算狀態(tài)，當(dāng)上游的生產(chǎn)系統(tǒng)完成清算后，數(shù)據(jù)任務(wù)啟動(dòng)取數(shù)至中間庫(kù)，當(dāng)取數(shù)任務(wù)完成后，再觸發(fā)下游系統(tǒng)消費(fèi)數(shù)據(jù)。
對(duì)于企業(yè)級(jí)的券商平臺(tái)來(lái)說(shuō)，初步的數(shù)據(jù)采集不需要做繁復(fù)清洗轉(zhuǎn)換工作，只需提供貼源數(shù)據(jù)給到下游合作商來(lái)加工和處理。
其次，目前的常用抽取工具不能對(duì)資源進(jìn)行相對(duì)精細(xì)的控制。由于上游系統(tǒng)具有強(qiáng)勢(shì)的生產(chǎn)性質(zhì)，券商系統(tǒng)對(duì)于數(shù)據(jù)采集的資源消耗要求很高。券商的預(yù)警機(jī)制基本在系統(tǒng)流量到30%以上開(kāi)始預(yù)警。
數(shù)據(jù)使用端沒(méi)有驗(yàn)證規(guī)則，沒(méi)有自己的冗余性機(jī)制，所有的壓力都在源端數(shù)據(jù)層。隨著管控的數(shù)據(jù)規(guī)模不斷增加，源端數(shù)據(jù)出現(xiàn)問(wèn)題的風(fēng)險(xiǎn)也在提升，導(dǎo)致數(shù)據(jù)團(tuán)隊(duì)填寫(xiě)事件單已經(jīng)成為家常便飯。
另外，對(duì)于金融企業(yè)來(lái)說(shuō)，數(shù)據(jù)安全是重中之重，所以核心系統(tǒng)的數(shù)據(jù)都是通過(guò)網(wǎng)閘進(jìn)行網(wǎng)絡(luò)隔離。使用老版數(shù)據(jù)集成工具的時(shí)候，由于老版數(shù)據(jù)集成工具的特性，導(dǎo)致數(shù)據(jù)團(tuán)隊(duì)的整體服務(wù)都必須放在內(nèi)部網(wǎng)絡(luò)，一旦任務(wù)失敗，團(tuán)隊(duì)必須去到現(xiàn)場(chǎng)的內(nèi)網(wǎng)機(jī)器進(jìn)行操作，運(yùn)維十分困難。
解決方案
我們（財(cái)通證券）選擇與實(shí)時(shí)數(shù)據(jù)管道技術(shù)上領(lǐng)先的DataPipeline進(jìn)行合作，打破了傳統(tǒng)工具在ETL上的束縛。財(cái)通證券基于DataPipeline開(kāi)放的底層平臺(tái)，開(kāi)發(fā)了監(jiān)控預(yù)警、數(shù)據(jù)校驗(yàn)、個(gè)性化調(diào)度等功能，以產(chǎn)品化加開(kāi)放API的組合拳，實(shí)現(xiàn)了符合證券行業(yè)應(yīng)用場(chǎng)景的數(shù)據(jù)集成方案。
批量化的加速提取
在目前大數(shù)據(jù)時(shí)代，數(shù)據(jù)的加工流程已經(jīng)發(fā)生了變化，從以前的單表采集、清洗轉(zhuǎn)化、落庫(kù)(ETL)轉(zhuǎn)向數(shù)據(jù)單純采集不進(jìn)行轉(zhuǎn)化直接落庫(kù)。所有的轉(zhuǎn)化在數(shù)據(jù)落庫(kù)后通過(guò)大數(shù)據(jù)技術(shù)進(jìn)行清洗轉(zhuǎn)化(EL)。
而目前市場(chǎng)上，更多得數(shù)據(jù)采集的粒度還是在單表級(jí)，并且需要進(jìn)行可視化轉(zhuǎn)化清洗等操作，浪費(fèi)了不必要的時(shí)間。
DataPipeline適應(yīng)了時(shí)代的需求，采取批量化的采集方式，同時(shí)對(duì)同個(gè)系統(tǒng)的幾十幾百個(gè)表一并采集，大大提高了我們（財(cái)通證券）的數(shù)據(jù)采集效率。
對(duì)資源的監(jiān)控
老版數(shù)據(jù)集成工具等抽取工具，在執(zhí)行的時(shí)候會(huì)完全放開(kāi)抽取進(jìn)程的能力，會(huì)有很好的抽取速度，但是由于沒(méi)有辦法進(jìn)行統(tǒng)一的任務(wù)管控，這會(huì)對(duì)上游系統(tǒng)的數(shù)據(jù)庫(kù)造成很大的壓力。
使用傳統(tǒng)的集成工具，我們最高能消費(fèi)掉到系統(tǒng)生產(chǎn)備庫(kù)50%的性能，單庫(kù)每秒鐘的流量條數(shù)接近10萬(wàn)，但這樣做就觸發(fā)了上游系統(tǒng)的預(yù)警，為保證生產(chǎn)系統(tǒng)的安全穩(wěn)定，采集系統(tǒng)必須進(jìn)行波峰限流。
DataPipeline的工具定義了采集條數(shù)和采集流量的雙重閾值，而且由于其任務(wù)是對(duì)于整個(gè)任務(wù)下的所有表的總值進(jìn)行限定，粒度更加適合企業(yè)級(jí)統(tǒng)一采集工具的使用，保證了企業(yè)應(yīng)用的安全性。
跳板機(jī)的實(shí)施
作為金融企業(yè)，數(shù)據(jù)安全是重中之重，所以核心系統(tǒng)的數(shù)據(jù)都是通過(guò)網(wǎng)閘進(jìn)行網(wǎng)絡(luò)隔離，如何快速將數(shù)據(jù)從不同的網(wǎng)絡(luò)環(huán)境抽取數(shù)據(jù)，那么就需要通過(guò)跳板機(jī)模式進(jìn)行處理。
DataPipeline通過(guò)跳板機(jī)的方式，讓跳板機(jī)承擔(dān)數(shù)據(jù)中轉(zhuǎn)服務(wù)，整體采集的控制端存放在非內(nèi)網(wǎng)環(huán)境，確保出現(xiàn)問(wèn)題可以在外部環(huán)境中進(jìn)行直接管理和問(wèn)題排查。
值得一提的是，DataPipeline是市場(chǎng)上唯一可以做到這一點(diǎn)的公司。
人工智能時(shí)代的考慮
券商以前追求的是高質(zhì)量的可用數(shù)據(jù)（結(jié)構(gòu)化數(shù)據(jù)），如可視化的股價(jià)、經(jīng)濟(jì)數(shù)據(jù)等。在人工智能時(shí)代下，更多維度，數(shù)量更大的基礎(chǔ)數(shù)據(jù)（結(jié)構(gòu)化或非結(jié)構(gòu)化數(shù)據(jù)）顯得更加重要，所以需要采集的表的數(shù)量更多，數(shù)據(jù)也分布在更多的業(yè)務(wù)系統(tǒng)。各系統(tǒng)的數(shù)據(jù)庫(kù)類型也不一樣，所以也出現(xiàn)了對(duì)于異構(gòu)數(shù)據(jù)庫(kù)抽取到某一個(gè)特定的數(shù)據(jù)庫(kù)這樣的需求。
業(yè)內(nèi)更多使用的是消息中間件的方式去進(jìn)行，而DataPipeline在上游數(shù)據(jù)源和下游數(shù)據(jù)庫(kù)之間建立中間件，使用通用的中間件架構(gòu)完成非結(jié)構(gòu)化和結(jié)構(gòu)化數(shù)據(jù)的架構(gòu)統(tǒng)一。
高效的服務(wù)，肉眼可見(jiàn)的成果
DataPipeline的研發(fā)團(tuán)隊(duì)的工作期并不止于產(chǎn)品完成。交付產(chǎn)品后，DataPipeline團(tuán)隊(duì)在短時(shí)間內(nèi)對(duì)客戶的各種行業(yè)特性需求快速響應(yīng)，本著客戶至上的原則，為財(cái)通提供了優(yōu)質(zhì)及時(shí)的服務(wù)。
三月份與貴公司（DataPipeline）談一次需求的優(yōu)化，很快改版就出來(lái)了?；旧先绦袠I(yè)的一些特定需求都可以很好地滿足了。
這樣的效率帶來(lái)的高效結(jié)果也不會(huì)驚奇：僅僅是提取結(jié)構(gòu)性數(shù)據(jù)一項(xiàng)，DataPipeline就“完爆”了前輩的老版數(shù)據(jù)集成工具。使用老版工具，幾百?gòu)埍淼某槿∨渲眯枰ㄙM(fèi)50個(gè)小時(shí)，而使用了批量化采集的DataPipeline基本可以在5分鐘內(nèi)完成。
結(jié)語(yǔ)
由于金融行業(yè)具備的數(shù)據(jù)同步與集中性，ETL對(duì)性能和穩(wěn)定性要求非常高。而ETL開(kāi)發(fā)繁瑣，變化頻繁又無(wú)法外包，這就成為了所有券商的痛點(diǎn)。財(cái)通證券作為一家典型的券商公司，通過(guò)DataPipeline的幫助，更敏捷、更高效、更簡(jiǎn)單地實(shí)現(xiàn)了復(fù)雜異構(gòu)數(shù)據(jù)源到目的地的實(shí)時(shí)數(shù)據(jù)融合和數(shù)據(jù)管理等綜合服務(wù)，使中小型券商的痛點(diǎn)得到有效的解決，并且為新時(shí)代的到來(lái)做好了充分的準(zhǔn)備。
—end—
另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)scvps.cn，海內(nèi)外云服務(wù)器15元起步，三天無(wú)理由+7*72小時(shí)售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國(guó)服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡(jiǎn)單易用、服務(wù)可用性高、性價(jià)比高”等特點(diǎn)與優(yōu)勢(shì)，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應(yīng)用場(chǎng)景需求。
重慶分公司
重慶分公司
