系列回顧：
趨勢(shì)：大數(shù)據(jù)代表未來(lái)，投資力度增強(qiáng)
獨(dú)家：最新大數(shù)據(jù)產(chǎn)業(yè)現(xiàn)狀和主要子行業(yè)介紹
36大數(shù)據(jù)專(zhuān)稿，拒絕轉(zhuǎn)載!
一、數(shù)據(jù)的歸屬權(quán)不清晰，數(shù)據(jù)資產(chǎn)型企業(yè)私密占有平臺(tái)數(shù)據(jù)，制約著大數(shù)據(jù)的融合及發(fā)展。
阿里巴巴，這家集B2B、B2C、C2C電商平臺(tái)與第三方支付于一身的巨無(wú)霸企業(yè)，在2009年前后開(kāi)始低調(diào)試水小貸業(yè)務(wù)，并在之后成立了阿里金融事業(yè)部?；诎⒗锲脚_(tái)所累積信用和行為數(shù)據(jù)的全新風(fēng)險(xiǎn)管理模式，快速靈活的放款審批流程，為需求旺盛但供給遠(yuǎn)遠(yuǎn)不足的小微企業(yè)小額信貸業(yè)務(wù)打開(kāi)了一條別樣的路。阿里金融從出現(xiàn)開(kāi)始便受到了廣泛關(guān)注和討論。許多機(jī)構(gòu)和個(gè)人都向往之，也對(duì)其模式了解得清楚明白，但均默默然而無(wú)法復(fù)制。究其原因，就在于“阿里平臺(tái)獨(dú)有的沉淀信用及行為數(shù)據(jù)”——數(shù)據(jù)，阿里金融的獨(dú)門(mén)利器。
無(wú)論已有的金融交易軟件(如金太陽(yáng)、大智慧等)，亦或電商平臺(tái)、O2O平臺(tái)、第三方支付平臺(tái)，還是SNS 和其他交互數(shù)據(jù)源;現(xiàn)狀是——原始數(shù)據(jù)存儲(chǔ)在平臺(tái)后端，被平臺(tái)掌握者控制，數(shù)據(jù)的創(chuàng)造者(平臺(tái)用戶們)是否掌握與自己相關(guān)的數(shù)據(jù)取決于平臺(tái)的開(kāi)放性和接口提供。平臺(tái)企業(yè)們互相獨(dú)立地像挖礦一樣在沉淀數(shù)據(jù)中淘金，各自取得一些不錯(cuò)的成果，但事實(shí)上數(shù)據(jù)的私密占有也嚴(yán)重制約著大數(shù)據(jù)的廣泛應(yīng)用和整體發(fā)展。
那么，數(shù)據(jù)到底是誰(shuí)的?是平臺(tái)企業(yè)的，還是數(shù)據(jù)創(chuàng)造者(平臺(tái)用戶)的?還是既是平臺(tái)企業(yè)的，也是平臺(tái)用戶的?什么樣的數(shù)據(jù)是公開(kāi)的，什么樣的數(shù)據(jù)是私密的?
一般認(rèn)為，原始數(shù)據(jù)沉淀在平臺(tái)上，平臺(tái)實(shí)際占有并可以使用，但在未獲授權(quán)的情況下不能提供給第三方，用戶對(duì)原始數(shù)據(jù)的占有獲取權(quán)及公開(kāi)程度基本取決于用戶與平臺(tái)達(dá)成的協(xié)議(多為安裝平臺(tái)軟件前的“用戶須知”部分，用戶除用腳投票外并無(wú)實(shí)際協(xié)議制定權(quán));而平臺(tái)對(duì)原始數(shù)據(jù)經(jīng)過(guò)統(tǒng)計(jì)提煉獲得的其他信息屬于平臺(tái)企業(yè)。
參考國(guó)外立法，數(shù)據(jù)是屬于個(gè)人的，平臺(tái)企業(yè)可以解除、使用數(shù)據(jù)不代表個(gè)人放棄對(duì)數(shù)據(jù)的所有權(quán)。國(guó)際立法趨勢(shì)上看，信息主體的權(quán)利正在強(qiáng)化，如信息主體的遺忘權(quán)、轉(zhuǎn)移權(quán);信息控制主體的責(zé)任更加明晰，如明確了負(fù)有個(gè)人信息保護(hù)義務(wù)的服務(wù)提供商范圍、要求服務(wù)提供商設(shè)置個(gè)人信息保護(hù)專(zhuān)職崗位，增加了服務(wù)提供商對(duì)侵權(quán)行為的通知義務(wù)，便于用戶采取預(yù)防和減損措施。
國(guó)內(nèi)的政策法規(guī)方面：2012年12月28日，全國(guó)人大常委會(huì)出臺(tái)《全國(guó)人大常委會(huì)關(guān)于加強(qiáng)網(wǎng)絡(luò)信息保護(hù)的決定》，對(duì)網(wǎng)絡(luò)信息保護(hù)進(jìn)行了原則性的規(guī)定;2013年7月，工信部出臺(tái)《電信和互聯(lián)網(wǎng)用戶個(gè)人信息保護(hù)規(guī)定》;除此以外，《信息安全技術(shù)、公共及商用服務(wù)信息系統(tǒng)個(gè)人信息保護(hù)指南》作為我國(guó)首個(gè)個(gè)人信息保護(hù)的國(guó)家標(biāo)準(zhǔn)，雖然不具有法律上的強(qiáng)制約束效力，但具有指南性，亦可作為衡量互聯(lián)網(wǎng)企業(yè)是否有過(guò)失的參考性標(biāo)準(zhǔn);目前，我國(guó)正在起草《電子商務(wù)法》，強(qiáng)化對(duì)平臺(tái)的監(jiān)管。
二、數(shù)據(jù)有效性將直接影響到大數(shù)據(jù)的應(yīng)用水平。
數(shù)據(jù)的質(zhì)量
大數(shù)據(jù)就像砂金礦，為了開(kāi)采出金子，人們需要不斷的淘沙，淘出沙金，然后再經(jīng)過(guò)冶煉獲得千足金。而數(shù)據(jù)質(zhì)量就相當(dāng)于砂金礦的含金量和成色，良好的數(shù)據(jù)質(zhì)量是挖掘價(jià)值的基本保障。
我們認(rèn)為，數(shù)據(jù)質(zhì)量主要涵蓋兩個(gè)大方面：一是基本質(zhì)量，包含準(zhǔn)確性、一致性、容量和更新率4個(gè)要點(diǎn);二是可應(yīng)用性，包含易識(shí)別性、易處理性、獲取及時(shí)性、遠(yuǎn)程訪問(wèn)性和智能性5個(gè)要點(diǎn);詳情見(jiàn)下表。
洗數(shù)據(jù)的難度
在大數(shù)據(jù)應(yīng)用中，有一項(xiàng)極其重要也極其困難的工作，那就是“洗數(shù)據(jù)”。洗數(shù)據(jù)就是把大量包含無(wú)效數(shù)據(jù)、分布雜亂無(wú)章的原始數(shù)據(jù)進(jìn)行歸并聚合，通過(guò)建立數(shù)據(jù)標(biāo)準(zhǔn)并執(zhí)行來(lái)取得我們需要的分析樣本的過(guò)程。
正所謂：Garbage In, Garbage Out! 數(shù)據(jù)挖掘的領(lǐng)域內(nèi)有一個(gè)觀點(diǎn)：如果數(shù)據(jù)準(zhǔn)確度在60%的時(shí)候，你干出來(lái)的事，一定會(huì)被用戶罵;如果數(shù)據(jù)準(zhǔn)確度在80%左右，那么用戶會(huì)說(shuō)，還不錯(cuò);只有數(shù)據(jù)準(zhǔn)確度到了90%的時(shí)候，用戶才會(huì)覺(jué)得真厲害。但是從數(shù)據(jù)準(zhǔn)確度從80%到90%要付出的成本要比60%到80%的付出大得多得多。大多數(shù)據(jù)的數(shù)據(jù)挖掘團(tuán)隊(duì)都會(huì)止步于70%這個(gè)地方，因?yàn)樵偻?，這就是一件相當(dāng)累的活，絕對(duì)少不了大量人力的工作。
我們這里使用用戶地址舉例說(shuō)明，因?yàn)榈刂肥怯脩糇约禾顚?xiě)的，有很多的坑，這就需要大量的洗數(shù)據(jù)工作。首先，第一類(lèi)是假/錯(cuò)地址，因?yàn)橛械纳碳易鞅谆蚴怯脩糇鰷y(cè)試，比如直接就輸入“該地址不存在”、“13243234asdfasdi”之類(lèi)的情況，這類(lèi)的地址可以通過(guò)程序識(shí)別出來(lái)。然后，很多情況是很難通過(guò)程序識(shí)別出來(lái)，比如“宇宙路地球小區(qū)”，但這類(lèi)地址可以被人識(shí)別出來(lái)。甚至還有連人腦都無(wú)法識(shí)別的，比如“北京市東四環(huán)中路23號(hào)南航大廈5樓540室”，這個(gè)地址根本不存在。其次，第二類(lèi)是真地址，但是因?yàn)橛脩糨斎氩粯?biāo)準(zhǔn)，所以很難處理，比如將“建國(guó)門(mén)外大街” 縮寫(xiě)成 “建外大街”，“中國(guó)工商銀行”縮寫(xiě)成“工行”; 比 如錯(cuò)別字將“朝陽(yáng)門(mén)”寫(xiě)成“潮陽(yáng)門(mén)”;比如顛倒，將“東四環(huán)中路朝陽(yáng)公園” 和 “朝陽(yáng)公園(靠東四環(huán))”;比如別名，將有的寫(xiě)開(kāi)發(fā)商的小區(qū)名“東恒國(guó)際”，有的則寫(xiě)行政的地名“八里莊東里”等等等等。
像上面這樣的例子多得不能再多了，如果希望提高數(shù)據(jù)可應(yīng)用的程度，那么必然需要花大量人力通過(guò)編寫(xiě)程序和手動(dòng)挑選來(lái)淘洗數(shù)據(jù)。而隨著投入的邊際效用遞減，數(shù)據(jù)有效性的要求越高，則需要投入的成本就成倍甚至指數(shù)級(jí)增長(zhǎng)。
三、適宜海量數(shù)據(jù)處理的軟硬件成熟度不夠，成本太高，普及率低下。
從某種意義上來(lái)說(shuō)，“大數(shù)據(jù)”一直存在，只是受限于時(shí)代和科技，因?yàn)槿狈ο鄳?yīng)的數(shù)據(jù)記錄、分析工具而無(wú)法實(shí)現(xiàn)。
市場(chǎng)上缺乏兼具業(yè)務(wù)場(chǎng)景普適性和海量數(shù)據(jù)處理能力的數(shù)據(jù)庫(kù)軟件大數(shù)據(jù)時(shí)代的到來(lái)，使得電子商務(wù)、公共管理、SNS等領(lǐng)域幾乎每個(gè)與用戶相關(guān)的業(yè)務(wù)數(shù)據(jù)量都在億級(jí)別，某些平臺(tái)的日系統(tǒng)調(diào)用可能達(dá)到百億級(jí)別，而且歷史數(shù)據(jù)不能輕易刪除，所以需要能對(duì)TB甚至PB級(jí)數(shù)據(jù)進(jìn)行高速處理的數(shù)據(jù)庫(kù)。傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)，如Oracle,mysql, SQL Server等不能很好地滿足用戶需求，而較新的NoSQL數(shù)據(jù)庫(kù)也依然沒(méi)有達(dá)到適應(yīng)不同業(yè)務(wù)場(chǎng)景的需求，目前依然需要根據(jù)用戶不同的業(yè)務(wù)特征來(lái)選擇適合的數(shù)據(jù)庫(kù)軟件。
私有云和云服務(wù)普及程度太低
所有企業(yè)和個(gè)人都或多或少有大數(shù)據(jù)應(yīng)用的需求。但不同的實(shí)體有不同的出發(fā)點(diǎn)，更在意安全和自主性的企業(yè)希望構(gòu)建屬于自己的私有云;應(yīng)用需求少，對(duì)成本更敏感的企業(yè)則需要在線的即時(shí)云服務(wù)。但受限于人們對(duì)云技術(shù)的接納程度、云服務(wù)的成本優(yōu)勢(shì)尚不明顯等原因，私有云和云服務(wù)普及程度偏低也大大限制了大數(shù)據(jù)的發(fā)展。
四、 數(shù)據(jù)尚未獲得真正意義上的定價(jià)和產(chǎn)業(yè)化。
數(shù)據(jù)的公開(kāi)性與歸屬權(quán)不清晰直接導(dǎo)致了數(shù)據(jù)融合工作被割裂到一個(gè)個(gè)的獨(dú)立的數(shù)據(jù)資產(chǎn)型平臺(tái)內(nèi)部。目前的大數(shù)據(jù)應(yīng)用更多是針對(duì)公開(kāi)數(shù)據(jù)和自有數(shù)據(jù)的價(jià)值挖掘，數(shù)據(jù)尚未獲得真正意義上的定價(jià)和產(chǎn)品化。
在數(shù)據(jù)共享相對(duì)成熟的金融體系，以銀行業(yè)為例，跨銀行間的數(shù)據(jù)共享通道是人民銀行與銀監(jiān)會(huì)分別牽頭、管理的征信系統(tǒng)與客戶風(fēng)險(xiǎn)統(tǒng)計(jì)系統(tǒng)，均采取“報(bào)送數(shù)據(jù)才能享受共享”及“信貸主體本身可申請(qǐng)及授權(quán)查詢”的原則。在未納入眾多信托、小貸、互聯(lián)網(wǎng)金融等機(jī)構(gòu)數(shù)據(jù)的情況下，上述數(shù)據(jù)池的維護(hù)成本已經(jīng)非常高。那么多新的交易和交互數(shù)據(jù)源如何進(jìn)行互相融合，并形成一個(gè)個(gè)類(lèi)似于金融投資業(yè)的萬(wàn)得、同花順一樣在細(xì)分業(yè)務(wù)場(chǎng)景下成熟且具有應(yīng)用價(jià)值的產(chǎn)業(yè)化數(shù)據(jù)池?這是一個(gè)問(wèn)題。
數(shù)據(jù)的產(chǎn)業(yè)化，從破除阻礙的角度看并關(guān)鍵在于兩點(diǎn)，一是數(shù)據(jù)的公開(kāi)性與歸屬權(quán)需要在法律及政策層面得到更明確的規(guī)范和指引，二是對(duì)同類(lèi)業(yè)務(wù)場(chǎng)景下不同平臺(tái)的數(shù)據(jù)制定統(tǒng)一的數(shù)據(jù)標(biāo)準(zhǔn);從操作層面看，在應(yīng)用范圍的選擇上，不應(yīng)尋求一步到位或大而全，最好確定到具體的業(yè)務(wù)場(chǎng)景和產(chǎn)品形態(tài);從實(shí)現(xiàn)路徑看，寄望于行政力量介入模式(類(lèi)似于銀行間整合)的可行性不高，也許“平臺(tái)還數(shù)據(jù)于用戶，通過(guò)第三方機(jī)構(gòu)公證數(shù)據(jù)真實(shí)性，用戶再授權(quán)進(jìn)行跨平臺(tái)融合”才是一條可以期待的路。
重慶分公司
重慶分公司
