胡豐——袋鼠云高級(jí)算法專家
袋鼠云人工智能實(shí)驗(yàn)室 負(fù)責(zé)人。十年圖像 處理、模式識(shí)別、機(jī)器視覺等方面的研發(fā)工作，主要研究領(lǐng)域?yàn)椋褐悄芙煌?、工業(yè)視覺分析、OCR、視頻智能質(zhì)量診斷、智能球機(jī)跟蹤、人臉等方向，發(fā)表第一作者發(fā)明專利十余篇、國際發(fā)明專利一篇。
我國工業(yè)互聯(lián)網(wǎng)已經(jīng)形成“三條途徑”：一是打造智能工廠，提高企業(yè)內(nèi)部生產(chǎn)效率，通過互聯(lián)網(wǎng)技術(shù)以及一些相關(guān)的機(jī)器視覺、圖象算法、模式識(shí)別的方式，提高企業(yè)的生產(chǎn)效率；二是打造智能產(chǎn)品，延伸企業(yè)外部的價(jià)值鏈；三是匯聚產(chǎn)業(yè)鏈資源，實(shí)現(xiàn)向平臺(tái)運(yùn)營的轉(zhuǎn)變，打造數(shù)據(jù)驅(qū)動(dòng)的生態(tài)運(yùn)營能力。
基于互聯(lián)網(wǎng)的條件下，結(jié)合工業(yè)場景，提出端加云的解決方案，方案如下圖：
端+云的完整解決方案
在該解決方案部署中分為 本地端 和 云端 。在本地端中分成兩部分：一個(gè)是數(shù)據(jù)層，數(shù)據(jù)層在一些生產(chǎn)設(shè)備以及相應(yīng)的業(yè)務(wù)系統(tǒng)中實(shí)時(shí)會(huì)場生成的數(shù)據(jù)；另一個(gè)是本地運(yùn)行層，產(chǎn)生的數(shù)據(jù)經(jīng)過本地運(yùn)行層，運(yùn)行層實(shí)時(shí)獲取數(shù)據(jù)，獲取數(shù)據(jù)之后，一方面進(jìn)行數(shù)據(jù)的存儲(chǔ)，另一方面對(duì)獲取到的數(shù)據(jù)進(jìn)行模型計(jì)算，計(jì)算完之后進(jìn)行決策，決策后又可以進(jìn)行下一輪的操作。
在云端接收離線的序列數(shù)據(jù)，在云端基于大數(shù)據(jù)平臺(tái)進(jìn)行一個(gè)模型分析及模型訓(xùn)練，訓(xùn)練之后把更新的模型再下發(fā)到本地進(jìn)行更新，依次循環(huán)可以不斷的提高系統(tǒng)能力及算法能力。
基于機(jī)器視覺的應(yīng)用場景分析
人類對(duì)世界的認(rèn)知非常簡單，我們可以一眼看出一個(gè)水果是蘋果還是橘子。但換成計(jì)算機(jī)，怎么寫個(gè)程序讓機(jī)器來分辨人和貓、蘋果和橘子呢？實(shí)際上在我們考慮的過程中，可以基于以下幾個(gè)方面進(jìn)行思考，首先以我們最直觀的方式來看，比如說顏色、形狀、紋理、邊緣輪廓等，轉(zhuǎn)換成計(jì)算機(jī)，我們通過顏色直方圖把最低的三個(gè)分量特征都提取出來，蘋果是偏向紅色，橘子是偏向橙色，這樣可以分析出來；然后再通過形狀，比如把某省地圖輪廓提取出來作為一個(gè)特征，利用圖象中心到輪廓的距離作為一個(gè)距離特征；再高一層次可以進(jìn)行結(jié)構(gòu)特征，基于底層的特征，一些邊緣、形狀進(jìn)行一個(gè)結(jié)構(gòu)分析。
最左邊的結(jié)構(gòu)特征實(shí)際上是一個(gè)心理學(xué)圖，不同的人看到的維度不同，有一些人看到的是白色的一個(gè)酒杯，但是換成另外一些人去看，這是兩個(gè)面對(duì)面的人臉，這種通過圖象分析可以把結(jié)構(gòu)提出來，然后右邊菱形的結(jié)構(gòu)，以及一些知識(shí)圖庫的紋理結(jié)構(gòu)，都是結(jié)構(gòu)特征。
深度學(xué)習(xí)提取特征
前面是傳統(tǒng)的圖象處理常用方法，采用基于深度學(xué)習(xí)的特征提取方法。深度學(xué)習(xí)的方法相對(duì)來說比較簡單，就是把我們輸入的圖象輸入網(wǎng)絡(luò)，每個(gè)網(wǎng)絡(luò)對(duì)不同的過程進(jìn)行一個(gè)迭代訓(xùn)練。在我們的網(wǎng)絡(luò)前期，像一些低級(jí)的特征比如簡單的邊緣紋理特征，在中間部分我們就可以學(xué)到一個(gè)相對(duì)高級(jí)一點(diǎn)的結(jié)構(gòu)特征，比如說我們做人臉識(shí)別的時(shí)候，是可以把里面的一些眼睛、嘴巴、耳朵等提取出來，再往高處走可以得到，最后就可以把物體的模型給訓(xùn)練出來，比如說訓(xùn)練出人臉的大致輪廓，這是通過深度學(xué)習(xí)方法提取的特征。
異常檢測(cè)分析
特征提取完之后，進(jìn)行異常檢測(cè)分析。圖中目標(biāo)是讓我們?cè)趫D里面去找出哪一個(gè)是與其他不一樣？因?yàn)楣I(yè)場景中會(huì)有一些異常的目標(biāo)異常分析，異常分析跟上圖是挺相似的，在工業(yè)中也是一樣，我們就是要把異常目標(biāo)給自動(dòng)定位分類出來。
對(duì)于異常目標(biāo)分析，首先是要進(jìn)行一個(gè)模型訓(xùn)練，模型訓(xùn)練過程是這樣的，先是對(duì)獲取到的圖象進(jìn)行特征提取，比如說像一些顏色紋理、一些結(jié)構(gòu)，甚至是用一些深度學(xué)習(xí)的方法自動(dòng)去提取特征，提取特征之后建立模型，得到一個(gè)模型表達(dá)式，比如說我們模型可以用圖中這個(gè)分布函數(shù)來表示，模型的分布形式跟我們建立的方法有關(guān)系，我們可能是用一些信息方法，也有可能是二維的曲面，或者多維的曲面。
以二維的平面為例，假設(shè)模型提取的特征為x1,x2 ，我們學(xué)到的模型是一個(gè)分類面，分類面里面有一個(gè)正常的樣本，同時(shí)假設(shè)x1,x2正相關(guān)，即x1越大，x2也就越大，通過模型計(jì)算可以將紅色的異常點(diǎn)自動(dòng)檢測(cè)出來。現(xiàn)在對(duì)待這種異常，在分類面之外我們可以自動(dòng)的分出來。
模型訓(xùn)練完之后肯定要進(jìn)行使用，使用的時(shí)候先把訓(xùn)練好的模型部署到產(chǎn)線上，產(chǎn)線上啟動(dòng)后實(shí)時(shí)對(duì)圖象進(jìn)行獲取，然后進(jìn)行特征提取，經(jīng)過模型輸出最終的決策。在一些產(chǎn)線的分析過程中，實(shí)時(shí)去監(jiān)測(cè)一些關(guān)鍵的曲線，對(duì)這些曲線進(jìn)行可視化的實(shí)時(shí)輸出結(jié)果，比如圖中這些曲線，我們?cè)谧龅倪^程中的一些關(guān)鍵因素通過曲線的方式打印出來。
通過曲線可以去回判維系，比如說我們是哪一個(gè)產(chǎn)線，或者是哪一臺(tái)機(jī)器出了問題，然后這個(gè)曲線跟歷史相對(duì)應(yīng)的會(huì)出現(xiàn)一些異常，利用曲線實(shí)時(shí)去決策，以及可以根據(jù)一些歷史的信息去判斷，這些機(jī)器是什么時(shí)候開始出現(xiàn)這些故障的。
圖像場景分析
另外，在我們一些實(shí)際案例中會(huì)碰到一些比較惡劣的環(huán)境，比如說一些環(huán)境下，在生產(chǎn)產(chǎn)線上有一些是有毒的，還有高溫、高壓、高輻射的一些場景，這種情況用人眼或者一些可見光的攝像頭是很難觀察出來的。我們采用紅外熱感相機(jī)進(jìn)行分析，獲取到紅外熱感應(yīng)的圖象結(jié)果圖，對(duì)這個(gè)結(jié)果圖再進(jìn)行圖象分割，分割完之后就可以得到對(duì)應(yīng)的容器位置，然后我們對(duì)容器的位置內(nèi)部再進(jìn)行一個(gè)異常分析，就可以得到異常區(qū)域，然后對(duì)異常區(qū)域進(jìn)行分類，因?yàn)殡s質(zhì)有多種多樣，有液體的、固體的，最終可以得到一個(gè)決策結(jié)果，可以返推回去是什么原因造成這個(gè)結(jié)果的。
我們還有產(chǎn)線管道熱輻射管道監(jiān)控，在產(chǎn)線有一些燃油傳輸管道，還有一些特殊液體的傳輸管道，我們要實(shí)時(shí)去監(jiān)控，液體經(jīng)過有一個(gè)溫度，如果溫度過高，很容易會(huì)造成產(chǎn)線管道的快速老化，一些老化之后會(huì)爆開或者裂開滲漏出來，我們采用紅外方式獲取一個(gè)實(shí)時(shí)圖象，然后對(duì)圖象再進(jìn)行分割，之后再進(jìn)行一個(gè)標(biāo)注，像藍(lán)色代表數(shù)字方向的一個(gè)管道，綠色是橫向的一個(gè)管道。標(biāo)注完之后對(duì)應(yīng)標(biāo)注管道進(jìn)行曲線的監(jiān)控，得到右邊的工作監(jiān)控圖，通過這個(gè)圖就可以知道管道的實(shí)時(shí)溫度，以及相關(guān)的監(jiān)控值。這樣可以繼續(xù)幫助廠商從歷史體系圖中查看相關(guān)的情況。
重慶分公司
重慶分公司
