上汽集團帆一尚行業(yè)務(wù)發(fā)展部總經(jīng)理 龔瀚申

在上汽集團帆一尚行業(yè)務(wù)發(fā)展部總經(jīng)理龔瀚申看來，汽車行業(yè)對互聯(lián)網(wǎng)轉(zhuǎn)型的需求主要集中在兩個方面，一方面是汽車行業(yè)對于互聯(lián)網(wǎng)云原生的需求，如車聯(lián)網(wǎng)共享出行等，這些互聯(lián)網(wǎng)業(yè)務(wù)帶動了整個汽車行業(yè)的轉(zhuǎn)型，而這一類的生態(tài)大多源于云的系統(tǒng)架構(gòu)，屬于云原生的系統(tǒng)。另一方面則是來源于公司內(nèi)部的運營需求，運營方式無法實現(xiàn)對互聯(lián)網(wǎng)快速變革需求的及時響應(yīng)，重復(fù)的基礎(chǔ)建設(shè)、復(fù)雜的系統(tǒng)架構(gòu)以及封閉的業(yè)務(wù)系統(tǒng)，將會造成巨大的資源浪費和高昂的企業(yè)運營成本。

當(dāng)企業(yè)將業(yè)務(wù)部署到云端之后，這樣的情況便會得到相應(yīng)的改善，除了降低整體的IT投資成本之外，基于云計算互聯(lián)互通的優(yōu)勢，也能增加業(yè)務(wù)之間的數(shù)據(jù)交互?！皬纳掀瘓F的戰(zhàn)略規(guī)劃層面出發(fā)，我們需要開發(fā)大量的具有行業(yè)特性的產(chǎn)品。”龔瀚申分析道：“在上云的過程當(dāng)中，云平臺不單是資源提供方的角色，最重要的是它將通用技術(shù)與通用業(yè)務(wù)功能產(chǎn)品化。這是上汽云平臺長期的一個發(fā)展方向?！?/p>

帆一尚行云平臺的總體框架

在明確上汽云平臺未來的發(fā)展方向之后，他們制定了一個總體的云平臺框架，將主要的任務(wù)集中放在兩大平臺進行處理。其一是基礎(chǔ)服務(wù)平臺，以虛擬化和數(shù)據(jù)中心作為技術(shù)核心，將標(biāo)準(zhǔn)化的硬件以虛擬資源的方式提供給用戶，用戶在資源池內(nèi)按需計算。其二則是推出了平臺服務(wù)，容器加上調(diào)度系統(tǒng)將構(gòu)成平臺服務(wù)的運行基礎(chǔ)，當(dāng)平臺服務(wù)往業(yè)務(wù)層靠攏，將抽象出業(yè)務(wù)中臺，當(dāng)平臺服務(wù)往技術(shù)層靠攏，將抽象出技術(shù)中臺。不管是技術(shù)中臺還是業(yè)務(wù)中臺，運行基礎(chǔ)都是由虛擬化和容器來提供的。所以在云數(shù)據(jù)中心，容器已經(jīng)顯然成為上汽集團帆一尚行的一個核心技術(shù)，它不僅是一個輕量級的PaaS，也是IaaS平臺更小顆粒的虛擬化，為整個平臺提供運行基礎(chǔ)。

從時間線上來看，上汽集團在容器技術(shù)的探索和實踐與容器技術(shù)的整體發(fā)展息息相關(guān)。

帆一尚行容器技術(shù)使用歷程

2015年，上汽集團帆一尚行的開發(fā)團隊使用Docker跑了一些簡單的網(wǎng)站應(yīng)用，開發(fā)人員在筆記本上運行一些簡單的代碼，通過容器打包推送到帆一尚行的虛擬環(huán)境里面，在秒級的響應(yīng)時間內(nèi)便可以啟動打包的應(yīng)用?！拔覀儗ocker和OpenStack進行了對比，也在內(nèi)部進行了容器是否會取代OpenStack的議題討論。”龔瀚申回憶：“由于容器成熟度以及用戶成熟度的問題，我們認為短期內(nèi)容器還無法取代OpenStack，但基于這次嘗試，我們感受到了容器在資源利用率和環(huán)境一致性上的優(yōu)勢?！?/p>

2016年，上汽集團帆一尚行在Docker以及編排系統(tǒng)上投入了更多的精力，開發(fā)團隊調(diào)研了市面上Rancher、Mesos+Marathon、Kubernetes以及Docker+Swarm等系統(tǒng)，不同的系統(tǒng)在系統(tǒng)成熟度以及部署難易程度上存在一定的差別，最終選擇了Docker+Swarm去搭建企業(yè)的集群，并開始了利用小規(guī)模集群支撐整體營銷活動的實踐及推廣。

到了2017年，隨著Kubernetes的呼聲和熱度越來越高，產(chǎn)品也日趨成熟。上汽集團帆一尚行開發(fā)團隊在內(nèi)部小范圍構(gòu)建了Kubernetes的小型集群，將其應(yīng)用于整個GPU資源平臺的調(diào)度。經(jīng)過這一兩年的嘗試及探索，上汽集團帆一尚行正式將Kubernetes列為產(chǎn)品線的重要產(chǎn)品，用以支撐整個容器平臺的運行。

“在建設(shè)Kubernetes平臺的初期，我們從多個維度設(shè)定了容器平臺的目標(biāo)。”龔瀚申分享道：“從部署的維度出發(fā)，它必須支持多跨數(shù)據(jù)中心的部署，必須支持主流公有云和私有云平臺的部署；從資源調(diào)度編排的角度出發(fā)，它必須支持主流的CPU調(diào)度，必須以開放標(biāo)準(zhǔn)的形式提供存儲與網(wǎng)絡(luò)的對接；從租戶管理的角度出發(fā)，它必須可以提供多租戶的資源配額，讓租戶在自己的配額里面可以調(diào)度資源以及鏡像倉庫；從整體運營管理的角度出發(fā)，它必須提供一個統(tǒng)一對接Kubernetes集群管理的平臺，必須能對Kubernetes集群進行靈活增減，以及能實現(xiàn)簡單的監(jiān)控功能。”

帆一尚行技術(shù)方案選型

通過一系列的探索與實踐，上汽集團最終落地了最符合自身需求的容器技術(shù)選型：基于物理服務(wù)器構(gòu)建基礎(chǔ)設(shè)施，利用自研基于Ansible的Kubernetes進行整個集群的自動化部署；通過Rancher來實現(xiàn)平臺的統(tǒng)一管控，對接統(tǒng)一認證系統(tǒng)，實現(xiàn)應(yīng)用部署管理、多租戶、配額管理等高級功能；在網(wǎng)絡(luò)的層面上，選擇利用Calico BGP網(wǎng)絡(luò)+外部L4L/7的負載均衡來實現(xiàn)多種應(yīng)用的發(fā)布形式；存儲則是沿用了Swarm里面的Nexenta以及PortWorx來打造分布式存儲方案；最后，上汽集團還基于Prometheus進行平臺監(jiān)控和外部統(tǒng)一監(jiān)控告警。

Kubernetes平臺邏輯框架

Kubernetes集群與上汽集團帆一尚行的用戶界面是集成的，用戶可以通過登錄Saicmotor的門戶網(wǎng)站直接使用上汽集團帆一尚行的Kubernetes集群，或者是通過上汽集團帆一尚行周邊的云平臺產(chǎn)品如應(yīng)用開發(fā)日志、日志管理等來進行對Kubernetes集群進行管控。而上汽集團帆一尚行的運維人員則是通過Rancher的管理界面來管理底層的Kubernetes集群。

“關(guān)于Kubernetes應(yīng)該怎樣以產(chǎn)品的方式提供給用戶，我們也進行了一些場景化的思考。有人會將Kubernetes當(dāng)作是數(shù)據(jù)中心的管控系統(tǒng)，有人會將它作為是任務(wù)調(diào)度的管理系統(tǒng)，還會有人將Kubernetes當(dāng)作是微服務(wù)的一個治理框架，在不同的而場景下，大家對Kubernetes的定義是不一樣的。”龔瀚申分析：“這一切就是源于Kubernetes它開放的多維度框架設(shè)計理念以及簡單易用的產(chǎn)品特性，所以我們將它理解為一個可擴展、可組合的調(diào)度系統(tǒng)框架?！?/p>

針對Kubernetes的產(chǎn)品特性和用戶對Kubernetes的熟悉程度，上汽集團帆一尚行設(shè)計了兩類產(chǎn)品形態(tài)。一類產(chǎn)品形態(tài)針對初級用戶，將Kubernetes封裝起來，以另外一種形式為用戶提供服務(wù)，用戶更多體驗到的是以容器技術(shù)為主的應(yīng)用部署和發(fā)布能力。另一類則針對高級用戶開放，用戶可以獨享一個Kubernetes集群，并且通過一鍵部署來快速實現(xiàn)，可以充分體驗Kubernetes的特性。

在內(nèi)部的項目落地之后，上汽集團為了實現(xiàn)對L4自動駕駛產(chǎn)業(yè)化軟件的開發(fā)以及復(fù)雜場景下自動駕駛功能的建設(shè)需求，他們對容器平臺提出了更高的要求。

 “平臺必須提供完整的AI軟件開發(fā)流程管理體系，包括數(shù)據(jù)管理、模型管理、仿真測試、模型壓縮等系統(tǒng)功能，和車端行程從訓(xùn)練到推理的AI軟件開發(fā)閉環(huán)。”龔瀚申將這一目標(biāo)歸結(jié)為兩大需求，一是AI訓(xùn)練服務(wù)，將專注于數(shù)據(jù)標(biāo)注、數(shù)據(jù)存儲、CPU訓(xùn)練以及分布式訓(xùn)練；二是AI模型，包含訓(xùn)練服務(wù)、托管發(fā)布和模型的版本管理。

同時，這一平臺將定義為集團層面的公共訓(xùn)練服務(wù)平臺，不僅服務(wù)于上汽集團智能駕駛的部門，還將為集團下屬的整車物流零部件等企業(yè)提供AI訓(xùn)練服務(wù)。那么，對于這一平臺來說，任務(wù)調(diào)度功能以及租戶隔離功能都是不可或缺的。

上汽集團帆一尚行開發(fā)團隊在進行技術(shù)選型的時候，發(fā)現(xiàn)Kubernetes能完美地實現(xiàn)資源層的調(diào)度和服務(wù)層的任務(wù)調(diào)度功能，也能對租戶的GPU資源和網(wǎng)絡(luò)存儲資源進行很好的隔離。最終在AI平臺應(yīng)用的層面，上汽集團也選擇了Kubernetes進行應(yīng)用于落地。

AI平臺業(yè)務(wù)架構(gòu)

那么，整個AI平臺是怎么進行業(yè)務(wù)實現(xiàn)的呢？從橫向的角度來看，上汽集團的AI平臺客戶分為三個層面，一是人力層面，二是算力層面，三是數(shù)據(jù)層面。數(shù)據(jù)層面將產(chǎn)生大量的數(shù)據(jù)，如行車交通標(biāo)志、雨天產(chǎn)生的大量視頻和圖像，以及一些信號數(shù)據(jù)，這些數(shù)據(jù)將被收集起來，送到算力平臺上，最終由上汽集團帆一尚行的人力分工對這些數(shù)據(jù)進行處理和訓(xùn)練，最終產(chǎn)出一個算法。從縱向的角度來看，平臺的人力團隊被劃分為三類，一是標(biāo)注團隊，主要負責(zé)模型服務(wù)；二是算法團隊，三是運營團隊，起到協(xié)調(diào)的作用。

AI訓(xùn)練平臺邏輯框架

當(dāng)帆一尚行的開發(fā)團隊和業(yè)務(wù)進行溝通之后，抽象出了AI平臺的系統(tǒng)邏輯框架，第一層為基礎(chǔ)層面，由Kubernetes和存儲構(gòu)成；第二層為Service層面，包括需要調(diào)度的算法和需要進行的數(shù)據(jù)處理；還有一個層面就是前臺的服務(wù)層，包括數(shù)據(jù)管控的流程、任務(wù)發(fā)布等。當(dāng)Kubernetes接到調(diào)度之后，將去Service的層面去調(diào)度Service模塊，然后Kubernetes再把GPU資源、存儲資源分配給Service模塊，Service模塊進行統(tǒng)一的訓(xùn)練和計算，最終把結(jié)果返回到前臺的用戶。

“所有這些調(diào)度的服務(wù)層的任務(wù)全部都是以鏡像的形式存儲在Kubernetes的鏡像倉庫里面，Kubernetes在整套系統(tǒng)里面起到的是多任務(wù)控制的調(diào)度以及資源調(diào)度的作用。所以這個核心實際上是有底層的Kubernetes實現(xiàn)的。”龔瀚申補充道：“我們團隊會根據(jù)算法團隊打包他們的算力，把它存儲在鏡像倉庫里面，由他們自主地通過前端的前臺來自主地發(fā)起任務(wù)訓(xùn)練。這就是Kubernetes在上汽集團AI平臺的應(yīng)用。”