【IT168 評論】今天,大數(shù)據(jù)與人工智能已經(jīng)非常普及。像Hadoop和Spark這樣的大數(shù)據(jù)平臺,幾乎已經(jīng)成為業(yè)界最常見的,對大規(guī)模數(shù)據(jù)進行存儲、處理和分析的平臺。但許多組織、企業(yè)的數(shù)據(jù)科學團隊,在面向AI的實際開發(fā)過程中,仍然不免要面臨許多系統(tǒng)和平臺層面的挑戰(zhàn)。
10年積累的成都網(wǎng)站設計、做網(wǎng)站經(jīng)驗,可以快速應對客戶對網(wǎng)站的新想法和需求。提供各種問題對應的解決方案。讓選擇我們的客戶得到更好、更有力的網(wǎng)絡服務。我雖然不認識你,你也不認識我。但先網(wǎng)站制作后付款的網(wǎng)站建設流程,更有宜君免費網(wǎng)站建設讓你可以放心的選擇與我們合作。英特爾在AI領域布局廣泛,一直致力于提供全棧的技術解決方案,除了面向不同場景的硬件外,也通過不斷完善軟件生態(tài)來支撐AI產(chǎn)業(yè)發(fā)展。在此前舉行的英特爾人工智能大會上,英特爾軟件和服務事業(yè)部高級首席工程師、大數(shù)據(jù)技術全球CTO戴金權分享了兩大軟件“利器”——BigDL和Analytics Zoo。
幫助用戶構建統(tǒng)一的大數(shù)據(jù)分析與AI平臺
據(jù)介紹,BigDL是一個由英特爾開發(fā)且開源的,基于Apache Spark的開源分布式深度學習框架,它可以幫助用戶直接在已有的Hadoop/Spark集群上開發(fā)深度學習工作應用,無需特意將數(shù)據(jù)從大數(shù)據(jù)集群上拷貝到獨立的深度學習集群上進行訓練。也可在存儲數(shù)據(jù)的同一個集群上使用深度學習來進行分析,重用現(xiàn)有的大數(shù)據(jù)工具(如Spark工作流)構建大規(guī)模深度學習應用。
Analytics Zoo可以說是BigDL一個擴充,它能夠?qū)⒉煌能浖蚣埽鏢park、TensorFlow、Keras等無縫集成到一個端到端的數(shù)據(jù)處理流水線中,分布式地運行在大規(guī)模集群上,并且對用戶透明,幫助用戶構建統(tǒng)一的大數(shù)據(jù)分析和AI平臺。
英特爾軟件和服務事業(yè)部高級首席工程師、大數(shù)據(jù)技術全球CTO戴金權
戴金權表示:“(借助BigDL與Analytics Zoo)用戶能夠在現(xiàn)有的大數(shù)據(jù)集群和大數(shù)據(jù)平臺上,在數(shù)據(jù)存儲的地方直接運行深度學習和AI應用,也能將數(shù)據(jù)的全生命處理流程——從數(shù)據(jù)收集、處理、分析,到機器學習、深度學習等,整合到統(tǒng)一的工作流和數(shù)據(jù)流水線當中,這樣大大提高了開發(fā)、運維和部署的效率?!?/p>
行業(yè)用戶認可,實際應用效果顯著
寶信軟件是寶鋼股份控股的上市軟件企業(yè),它的前身是寶鋼的自動化部門。該公司致力于推動新一代信息技術與制造技術融合發(fā)展,幫助制造企業(yè)從信息化、自動化向智慧制造邁進。為推動智能制造發(fā)展,寶信軟件推出了具有自主知識產(chǎn)權的大數(shù)據(jù)平臺軟件xInsight,探索工業(yè)大數(shù)據(jù)如何在實際應用場景中創(chuàng)造價值。
寶信軟件研發(fā)團隊與英特爾團隊共同合作,利用了Analytics Zoo解決方案建立了無監(jiān)督的深度學習的系統(tǒng),開發(fā)了設備故障自動預測的驗證模型。寶信軟件研究開發(fā)部總經(jīng)理董文生表示:“寶信與英特爾目前的合作成果,已經(jīng)把Analytics Zoo以及BigDL與xInsight大數(shù)據(jù)平臺做了集成,在我們大數(shù)據(jù)平臺上可以提供相關的方案。在智能制造領域,我們還將與英特爾一起合作,進一步探索,提供更多解決方案?!?/p>
此外,戴金權還分享了更案例。美的集團與英特爾團隊基于Analytics Zoo構建了一個高度優(yōu)化的缺陷檢測解決方案,從而通過計算機視覺自動化地探測流水線上的產(chǎn)品缺陷。利用Analytics Zoo,研發(fā)團隊無縫地將Spark、BigDL和TensorFlow程序統(tǒng)一到了一個集成式的流水線中。
世界銀行采用了英特爾的Analytics Zoo以及AWS Databricks平臺構建圖像分類模型,Analytics Zoo將復雜的數(shù)據(jù)處理分析和模型訓練的流水線單一化,幫助研發(fā)團隊輕松訓練由69類、近百萬張圖片組成的數(shù)據(jù)集,實現(xiàn)了高準確性,部分數(shù)據(jù)集還可實現(xiàn)近乎線性的擴展。
超級計算公司CRAY與英特爾團隊共同合作,成功為他們的TB級訓練數(shù)據(jù)構建了短期降水預測模型,同時確保了極佳的可擴展性。借助Analytics Zoo中基于Apache Spark的可擴展深度學習功能,數(shù)據(jù)科學家輕松構建了復雜的工作流,充分利用了CRAY的超級計算機。
最后
如今的深度學習和AI領域,優(yōu)秀的算法和框架數(shù)不勝數(shù),用于訓練的數(shù)據(jù)也常常能夠達到要求。但隨著應用場景的增多,AI應用的開發(fā)也越來越難,項目流程越來越復雜。英特爾推出的BigDL和Analytics Zoo,在一定程度上很好地填補了在AI開發(fā)流程優(yōu)化以及效率提升方面的空白,能夠幫助開發(fā)人員將更多精力集中在模型的優(yōu)化上,推動應用落地。