文/陳爐軍
創(chuàng)新互聯(lián)公司專注為客戶提供全方位的互聯(lián)網(wǎng)綜合服務(wù)，包含不限于網(wǎng)站制作、做網(wǎng)站、中站網(wǎng)絡(luò)推廣、小程序開發(fā)、中站網(wǎng)絡(luò)營銷、中站企業(yè)策劃、中站品牌公關(guān)、搜索引擎seo、人物專訪、企業(yè)宣傳片、企業(yè)代運營等，從售前售中售后，我們都將竭誠為您服務(wù)，您的肯定，是我們最大的嘉獎；創(chuàng)新互聯(lián)公司為所有大學(xué)生創(chuàng)業(yè)者提供中站建站搭建服務(wù)，24小時服務(wù)熱線：13518219792，官方網(wǎng)址：www.cdcxhl.com
整理/LiveVideoStack
大家好，我是阿里巴巴閑魚事業(yè)部的陳爐軍，本次分享的主題是Flutter浪潮下的音視頻研發(fā)探索，主要內(nèi)容是針對閑魚APP在當(dāng)下流行的跨平臺框架Flutter的大規(guī)模實踐，介紹其在音視頻領(lǐng)域碰到的一些困難以及解決方案。
分享內(nèi)容主要分為四個方面，首先會對Flutter有一個簡單介紹以及選擇Flutter作為跨平臺框架的原因，其次會介紹Flutter中與音視頻關(guān)系非常大的外接紋理概念，以及對它做出的一些優(yōu)化。之后會對閑魚在音視頻實踐過程中碰到的一些Flutter問題提出了一些解決方案——TPM音視頻框架。最后是閑魚Flutter多媒體開源組件的介紹。
Flutter
Flutter是一個跨平臺框架，以往的做法是將音頻、視頻和網(wǎng)絡(luò)這些模塊都下沉到C++層或者ARM層，在其上封裝成一個音視頻的SDK，供UI層的PC、iOS和Android調(diào)用。
而Flutter做為一個UI層的跨平臺框架，顧名思義就是在UI層也實現(xiàn)了一個跨平臺開發(fā)?？梢灶A(yù)想的是未Flutter發(fā)展的好的話，會逐漸變?yōu)橐粋€從底層到UI層的一個全鏈路的跨平臺開發(fā)，技術(shù)人員分別負(fù)責(zé)SDK和UI層的開發(fā)。
在Flutter之前已經(jīng)有很多跨平臺UI解決方案，那為什么選擇Flutter呢？
我們主要考慮性能和跨平臺的能力。
以往的跨平臺方案比如Weex，ReactNative，Cordova等等因為架構(gòu)的原因無法滿足性能要求，尤其是在音視頻這種性能要求幾乎苛刻的場景。
而諸如Xamarin等，雖然性能可以和原生App一致，但是大部分邏輯還是需要分平臺實現(xiàn)。
我們可以看一下，為什么Flutter可以實現(xiàn)高性能：
原生的native組件渲染以IOS為例，蘋果的UIKit通過調(diào)用平臺自己的繪制框架QuaztCore來實現(xiàn)UI的繪制，圖形繪制也是調(diào)用底層的API,比如OpenGL、Metal等。
而Flutter也是和原生API邏輯一致，也是通過調(diào)用底層的繪制框架層SKIA實現(xiàn)UI層。這樣相當(dāng)于Flutter他自己實現(xiàn)了一套UI框架，提供了一種性能超越原生API的跨平臺可能性。
但是我們說一個框架最終性能怎樣，其實取決于設(shè)計者和開發(fā)者。至于現(xiàn)在到底是一個什么狀況：
在閑魚的實踐中，我們發(fā)現(xiàn)在正常的開發(fā)沒有特意的去優(yōu)化UI代碼的情況下，在一些低端機上，F(xiàn)lutter界面的流暢性是比Native界面要好的。
雖然現(xiàn)在閑魚某些場景下會有卡頓閃退等情況，但是這是一個新事物發(fā)展過程中的必然問題，我們相信未來性能肯定不會成為限制Flutter發(fā)展的瓶頸的。
在閑魚實踐Flutter的過程中，混合棧和音視頻是其中比較難解決的兩個問題，混合棧是指一個APP在Flutter過程中不可能一口氣將所有業(yè)務(wù)全部重寫為Flutter，所以這是一個逐步迭代的過程，這期間原生native界面與Flutter界面共存的狀態(tài)就稱之為混合棧。閑魚在混合棧上也有一些比較好的輸出，例如FlutterBoost。
外接紋理
在講音視頻之前需要簡要介紹一下外接紋理的概念，我們將它稱之為是Flutter和Frame之間的橋梁。
Flutter渲染一幀屏幕數(shù)據(jù)首先要做的是，GPU發(fā)出的VC信號在Flutter的UI線程，通過AOT編譯的機器碼結(jié)合當(dāng)前Dart Runtime，生成Layer Tree UI樹，Layer Tree上每一個葉子節(jié)點都代表了當(dāng)前屏幕上所需要渲染的每一個元素，包含了這些元素渲染所需要的內(nèi)容。將Layer Tree拋給GPU線程，在GPU線程內(nèi)調(diào)用Skia去完成整個UI的渲染過程。Layer Tree中有PictureLayer和TextureLayer兩個比較重要的節(jié)點。PictureLayer主要負(fù)責(zé)屏幕圖片的渲染，F(xiàn)lutter內(nèi)部實現(xiàn)了一套圖片解碼邏輯，在IO線程將圖片讀取或者從網(wǎng)絡(luò)上拉取之后，通過解碼能夠在IO線程上加載出紋理，交給GPU線程將圖片渲染到屏幕上。但是由于音視頻場景下系統(tǒng)API太過繁多，業(yè)務(wù)場景過于復(fù)雜。Flutter沒有一套邏輯去實現(xiàn)跨平臺的音視頻組件，所以說Flutter提出了一種讓第三方開發(fā)者來實現(xiàn)音視頻組件的方式，而這些音視頻組件的視頻渲染出口，就是TextureLayer。
在整個Layer Tree渲染的過程中，TextureLayer的數(shù)據(jù)紋理需要由外部第三方開發(fā)者來指定，可以把視頻數(shù)據(jù)和播放器數(shù)據(jù)送到TextureLayer里，由Flutter將這些數(shù)據(jù)渲染出來。
TextureLayer渲染過程：首先判斷Layer是否已經(jīng)初始化，如果沒有就創(chuàng)建一個Texture，然后將Texture Attach到一個SufaceTexture上。
這個SufaceTexture是音視頻的native代碼可以獲取到的對象，通過這個對象創(chuàng)建的Suface，我們可以將視頻數(shù)據(jù)、攝像頭數(shù)據(jù)解碼放到Suface中，然后Flutter端通過監(jiān)聽SufaceTexture的數(shù)據(jù)更新就可以順利把剛才創(chuàng)建的數(shù)據(jù)更新到它的紋理中，然后再將紋理交給SKIA渲染到屏幕上。
然而我們?nèi)绻枰肍lutter實現(xiàn)美顏，濾鏡，人臉貼圖等等功能，就需要將視頻數(shù)據(jù)讀取出來，更新到紋理中，再將GPU紋理經(jīng)過美顏濾鏡處理后生成一個處理后的紋理。按Flutter提供的現(xiàn)有能力，必須先將紋理中的數(shù)據(jù)從GPU讀出到CPU中，生成Bitmap后再寫入Surface中，這樣在Flutter中才能順利的更新到視頻數(shù)據(jù)，這樣做對系統(tǒng)性能的消耗很大。
通過對Flutter渲染過程分析，我們知道Flutter底層需要渲染的數(shù)據(jù)就是GPU紋理，而我們經(jīng)過美顏濾鏡處理完成以后的結(jié)果也是GPU紋理，如果可以將它直接交給Flutter渲染，那就可以避免GPU-CPU-GPU這樣的無用循環(huán)。這樣的方法是可行的，但是需要一個條件，就是OpenGL上下文共享。
OpenGL
在說上下文之前，得提到一個和上線文息息相關(guān)的概念：線程。
Flutter引擎啟動后會啟動四個線程：
第一個線程是UI線程，這是Flutter自己定義的UI線程，主要負(fù)責(zé)GPU發(fā)出的VSync信號時候用當(dāng)前Dart編譯的機器碼和當(dāng)前運行環(huán)境創(chuàng)建出Layer Tree。
還有就是IO線程和GPU線程。和大部分OpenGL處理解決方案中一樣，F(xiàn)lutter也采取一個線程責(zé)資源加載，一部分負(fù)責(zé)資源渲染這種思路。
兩個線程之間紋理共享有兩種方式。一種是EGLImage(IOS是 CVOpenGLESTextureCache)。一種是OpenGL Share Context。Flutter通過Share Context來實現(xiàn)紋理共享，將IO線程的Context和GPU線程的Context進行Share，放到同一個Share Group下面，這樣兩個線程下資源是互相可見可以共享的。
Platform線程是主線程，F(xiàn)lutter中有一個很奇怪的設(shè)定，GPU線程和主線程共用一個Context。并且在主線程也有很多OpenGL 操作。
這樣的設(shè)計會給音視頻開發(fā)帶來很多問題，后面會詳細(xì)說。
音視頻端美顏處理完成的OpenGL紋理能夠讓Flutter直接使用的條件就是Flutter的上下文需要和平臺音視頻相關(guān)的OpenGL上下文處在一個Share Group下面。
由于Flutter主線程的Context就是GPU的Context，所以在音視頻端主線程中有一些OpenGL操作的話，很有可能使Flutter整個OpenGL被破壞掉。所以需要將所有的OpenGL操作都限制在子線程中。
通過上述這兩個條件的處理，我們就可以在沒有增加GPU消耗的前提下實現(xiàn)美顏和濾鏡等等功能。
TPM
在經(jīng)過demo驗證之后，我們將這個方案應(yīng)用到閑魚音視頻組件中，但改造過程中發(fā)現(xiàn)了一些問題。
上圖是攝像頭采集數(shù)據(jù)轉(zhuǎn)換為紋理的一段代碼，其中有兩個操作：首先是切進程，將后面的OpenGL操作都切到cameraQueue中。然后是設(shè)置一次上下文。然后這種限制條件或者說是潛規(guī)則往往在開發(fā)過程中容易被忽略的。而這個條件一旦忽略后果就是出現(xiàn)一些莫名其妙的詭異問題極難排查。因此我們就希望能抽象出一套框架，由框架本身實現(xiàn)線程的切換、上下文和模塊生命周期等的管理，開發(fā)者接入框架以后只需要安心實現(xiàn)自己的算法，而不需要關(guān)心這些潛規(guī)則還有其他一些重復(fù)的邏輯操作。
在引入Flutter之前閑魚的音視頻架構(gòu)與大部分音視頻邏輯一樣采用分層架構(gòu)：
1：底層是一些獨立模塊
2：SDK層是對底層模塊的封裝
3：最上層是UI層。
引入Flutter之后，通過分析各個模塊的使用場景，我們可以得出一個假設(shè)或者說是抽象：音視頻應(yīng)用在終端上可以歸納為視頻幀解碼之后視頻數(shù)據(jù)幀在各個模塊之間流動的過程，基于這種假設(shè)去做Flutter音視頻框架的抽象。
咸魚Flutter多媒體開源組件
整個Flutter音視頻框架抽象分為管線和數(shù)據(jù)的抽象、模塊的抽象、線程統(tǒng)一管理和上下文同一管理四部分。
管線，其實就是視頻幀流動的管道。數(shù)據(jù)，音視頻中涉及到的數(shù)據(jù)包括紋理、Bit Map以及時間戳等。結(jié)合現(xiàn)有的應(yīng)用場景我們定義了管線流通數(shù)據(jù)以Texture為主數(shù)據(jù)，同時可以選擇性的添加Bit Map等作為輔助數(shù)據(jù)。這樣的數(shù)據(jù)定義方式，避免重復(fù)的創(chuàng)建和銷毀紋理帶來的性能開銷以及多線程訪問紋理帶來的一些問題。也滿足一些特殊模塊對特殊數(shù)據(jù)的需求。同時也設(shè)計了紋理池來管理管線中的紋理數(shù)據(jù)。
模塊：如果把管線和數(shù)據(jù)比喻成血管和血液，那框架音視頻的場景就可以比喻成器官，我們根據(jù)模塊所在管線的位置抽象出采集、處理和輸出三個基類。這三個基類里實現(xiàn)了剛才說的線程切換，上下文切換，格式轉(zhuǎn)換等等共同邏輯，各個功能模塊通過集成自這些基類，可以避免很多重復(fù)勞動。
線程：每一個模塊初始化的時候，初始化函數(shù)就會去線程管理的模塊去獲取自己的線程，線程管理模塊可以決定給初始化函數(shù)分配新的線程或者已經(jīng)分配過其他模塊的線程。
這樣有三個好處：
一是可以根據(jù)需要去決定一個線程可以掛載多少模塊，做到線程間的負(fù)載均衡。第二，多線程并發(fā)式能夠保證模塊內(nèi)的OpenGL操作是在當(dāng)前線程內(nèi)而不會跑到主線程去，徹底避免Flutter的OpenGL 環(huán)境被破壞。第三，多線程并行可以充分利用CPU多核架構(gòu)，提升處理速度。
從Flutter端修改Flutter引擎將Context取出后，根據(jù)Context創(chuàng)建上下文的統(tǒng)一管理模塊，每一個模塊在初始化的時候會獲取它的線程，獲取之后會調(diào)用上下文管理模塊獲取自己的上下文。這樣可以保證每一個模塊的上下文都是與Flutter的上下文進行Share的，每個模塊之間資源都是共享可見的，F(xiàn)lutter和音視頻native之間也是互相共享可見的。
基于上述框架如果要實現(xiàn)一個簡單的場景，比如畫面實時預(yù)覽和濾鏡處理功能，
1：需要選擇功能模塊，功能模塊包括攝像頭模塊、濾鏡處理模塊和Flutter畫面渲染模塊，
2：需要配置模塊參數(shù)，比如采集分辨率、濾鏡參數(shù)和前后攝像頭設(shè)置等，
3：在創(chuàng)建視頻管線后使用已配置的參數(shù)創(chuàng)建模塊
4：最后管線搭載模塊，開啟管線就可以實現(xiàn)這樣簡單的功能。
上圖為整個功能實現(xiàn)的代碼和結(jié)構(gòu)圖。
結(jié)合上述音視頻框架，閑魚實現(xiàn)了Flutter多媒體開源組件。
組要包含四個基本組件分別是：
1：視頻圖像拍攝組件
2：播放器組件
3：視頻圖像編輯組件
4：相冊選擇組件
現(xiàn)在這些組件正在走內(nèi)部開源流程。預(yù)計9月份，相冊和播放器會實現(xiàn)開源。
后續(xù)展望和規(guī)劃
1：實現(xiàn)開頭所說的從底層SDK到UI的全鏈路的跨端開發(fā)。目前底層框架層和模塊層都是各個平臺各自實現(xiàn)，反而是Flutter的UI端進行了跨平臺的統(tǒng)一，所以后續(xù)會將底層也按照音視頻常用做法把邏輯下沉到C++層，盡可能的實現(xiàn)全鏈路跨平臺。
2：第二部分內(nèi)容為開源共建，閑魚開源的內(nèi)容不僅包括拍攝、編輯組件，還包括了很多底層模塊，希望有開發(fā)者在基于Flutter開發(fā)音視頻應(yīng)用時可以充分利用閑魚開源出的音視頻模塊能力，搭建APP框架，開發(fā)者只要去負(fù)責(zé)實現(xiàn)特殊需求模塊就可以，盡可能的減少重復(fù)勞動。
本文面向 Flutter 初學(xué)者，旨在用易懂的方式帶大家入門。除了 Flutter 代碼，還會介紹到語法、原理、特性等基礎(chǔ)知識。相信本文能幫助你學(xué)習(xí)和理解 Flutter。
我們先看一下目前的一些跨平臺方案，從前端渲染的角度來分類的話，大致可以分為以下幾種方案。
WebView 渲染
這種方案就很好理解，現(xiàn)在很多項目都會嵌入 H5 的頁面。就是用 JavaScript 等前端技術(shù)進行開發(fā)，在客戶端上用 WebView 來進行渲染。微信小程序目前使用的就是這種方案。
它的優(yōu)點很明顯，使用成熟的前端技術(shù)進行開發(fā)，學(xué)習(xí)成本低，開發(fā)效率高，并且支持動態(tài)發(fā)布代碼。
但缺點也很明顯，在性能體驗上，和原生還是存在較大差距的。
原生控件渲染
既然 WebView 的性能不夠好，于是就有了使用原生控件進行渲染的方案。這種方案，同樣也是使用 JavaScript 開發(fā)，區(qū)別是它最終是調(diào)用原生控件進行渲染的。這種方案的代表是 Facebook 的 React Native。
由于使用原生控件進行渲染，性能體驗也會更接近原生。但也只是更接近，和原生還是有差距的，因為它需要頻繁的進行 JavaScript 和原生之間的通信，這個通信效率是比較低的。
另外，由于需要適配各個平臺的控件，那就有可能出現(xiàn)，系統(tǒng)控件更新了，而框架本身還沒有更新，由此產(chǎn)生了一些問題。換句話說，這種方案是受到原生控件限制的。
繪圖引擎渲染
接下來就是主角了。
在前端，如果完全不使用原生控件，我們可以通過系統(tǒng)的繪圖 API 繪制出一個用戶界面。從這個角度出發(fā)，可以在各個平臺使用一個統(tǒng)一接口的繪圖引擎來進行界面繪制，這個引擎最終調(diào)用的是系統(tǒng)的 API 繪制的。這樣的話，它的性能可以做到接近原生，并且又不受原生控件的限制，在不同平臺上能夠做到 UI 統(tǒng)一。
Flutter 就是這樣的一個開發(fā)框架。
一個跨平臺 UI 解決方案
Flutter 是由 Google 開發(fā)的，一個跨平臺 UI 解決方案。換句話說，它原則上只管 UI 的問題，如果涉及到平臺本身的一些功能，比如調(diào)用藍(lán)牙、攝像頭，一般還是需要原生代碼去操作。但現(xiàn)在也會有一些第三方庫幫我們解決這些問題。
繪圖引擎 Skia
Flutter 使用 Skia 作為它的繪圖引擎。Skia 已經(jīng)被 Google 收購，目前很多 Google 旗下的產(chǎn)品都是用 Skia 繪制的，包括 Android。
Android 內(nèi)置了 Skia，但 iOS 沒有，所以在打 iOS 安裝包的時候，會把 Skia 一起打進去。這就導(dǎo)致了，用同一份 Flutter 代碼打包之后，iOS 的包要比 Android 的包大一些。
開發(fā)語言 Dart
Flutter 使用的開發(fā)語言，叫 Dart。Dart 也是 Google 自家的，它是一門面向?qū)ο蟮恼Z言，從它身上會看到一些其他開發(fā)語言的影子。學(xué)習(xí)起來難度不大的。
前面講跨平臺方案的時候，可以發(fā)現(xiàn)別的方案基本都是用 JavaScript 作為開發(fā)語言的，但為什么 Flutter 不用？就因為 Dart 是谷歌自家的嗎？這個問題先留著，我們后面會提到。
這里部分就簡單點帶過了，具體的搭建流程可以在官網(wǎng)查看:
主要的搭建步驟如下:
下載 Flutter SDK
官網(wǎng)下載地址：
由于在國內(nèi)訪問可能受限，官方為中國開發(fā)者搭建了鏡像：
更新環(huán)境變量
解壓后，將 flutter\bin 的全路徑添加到環(huán)境變量 PATH 中。
安裝開發(fā)工具
理論上，任何文本編輯器都可以用來開發(fā) Flutter 應(yīng)用，但推薦的開發(fā)工具是 Android Studio、IntelliJ 以及 VS Code。因為在這些開發(fā)工具上，可以安裝官方的 Flutter 和 Dart 插件，得到更好的開發(fā)體驗。文章里使用 Android Studio 來演示。
如果你打算開發(fā) iOS 應(yīng)用，則還需要安裝 Xcode。
安裝插件
在開發(fā)工具的插件設(shè)置中，安裝上面說到的 Flutter 和 Dart 插件。Flutter 插件用于支持 Flutter 的運行、調(diào)試、熱重載等功能，而 Dart 插件則提供了代碼的輸入校驗、代碼補全等功能。
萬物始于 Hello World，我們先來創(chuàng)建一個顯示 Hello World 的 Flutter 項目。
在 Android Studio 的歡迎頁面選擇 Start a new Flutter project ，或者通過菜單欄的 File New New Flutter Project ，創(chuàng)建一個新的 Flutter 項目。
創(chuàng)建好的項目里面包含了 android 和 ios 兩個文件夾，它們是標(biāo)準(zhǔn)的 Android 和 iOS 項目。我們的 Flutter 代碼，存放在 lib 文件夾里。項目創(chuàng)建好后，會默認(rèn)帶一個計數(shù)器的示例，我們不管它，把 main.dart 的代碼改成 Hello World:
啟動一個模擬器，或者連上真機，點擊 Run 運行一下，就能看這樣一個界面了：
具體代碼先混個眼熟就好，具體的后面會再講到。
在寫 Flutter 之前，還要先跟大家簡單介紹一下 Dart 的語法。如果你有 Java 或 JavaScript 的開發(fā)經(jīng)驗，以及面向?qū)ο蟮木幊趟枷?，學(xué)起來是很快的。
我們可以在 test 文件夾下新建一個 dart 文件，用來寫測試代碼。
指定類型
var
但和 JavaScript 不同的是，以下代碼在 JavaScript 是不會報錯的，但在 Dart 里會報錯：
Object
如果非要上面這樣寫，那也可以。把 var 換成 Object 就不報錯了：
和 Java 類似，Object 是所有對象的根基類。但是這樣的話，如果想打印一下 num 的字符串長度，是會報錯的：
因為 length 是屬于 String 的，但系統(tǒng)只知道 num 是一個對象，并不知道它是一個 String。
dynamic
如果還是非要這樣寫，那也可以。Dart 有一個特有的關(guān)鍵字 dynamic，把 Object 改成 dynamic 就不報錯了：
我們運行一下這個文件，可以在控制臺看到正確打印出了字符串長度。
函數(shù)
dynamic
在 Dart 里，函數(shù)也是可以不寫返回類型的，不寫的話會被當(dāng)做 dynamic 來處理。這樣的話，函數(shù)的類型就是 return 的類型，如果沒有 return 則是 void 類型。比如可以這樣:
運行之后是能正確打印出字符串長度的。
用于傳參
Dart 里的函數(shù)也是一個對象，所以可以把函數(shù)作為參數(shù)來傳遞，比如：
可選參數(shù)
在 Dart 的函數(shù)傳參里，有一個叫可選參數(shù)的概念，我們以文字控件 Text 為例，在源碼里可以看到 Text 的構(gòu)造函數(shù)是這樣的:
首先，在參數(shù)里有一個 data，它是要顯示的文字內(nèi)容，是一個必填項。而 data 后面的一堆參數(shù)，是用一個大括號括起來的，這些參數(shù)就叫做可選參數(shù)，意思是這些參數(shù)可傳可不傳。
假如我們要顯示一個比較長的文字，又想限制它最多顯示兩行，就可以這樣來創(chuàng)建一個 Text:
可選參數(shù)，在 Flutter 里面用的非常多。
異步
Future
在 Dart 里使用 Future 來處理異步任務(wù)，比如我們現(xiàn)在延時一秒打印 666，代碼如下：
Future 的語法和 Promise 非常像。任務(wù)執(zhí)行成功會調(diào)用 then，執(zhí)行失敗會調(diào)用 catchError，而無論成功還是失敗，都會調(diào)用 whenComplete。
async/await
如果你不喜歡上面那種寫法，或者是想把異步轉(zhuǎn)成同步，就可以用 async 和 await 這兩個關(guān)鍵字來轉(zhuǎn)換。
我們把上面的代碼轉(zhuǎn)換一下，寫一個 getString 方法，返回的類型是 Future，它會延時返回一個字符串。在 main 函數(shù)后面加上 async 關(guān)鍵字，在 getString() 前面加上 await，代碼如下:
運行之后可以看到，能正常延時一秒后，把字符串打印出來。這里 getString() 返回的類型是 Future，而 await getString() 則是返回了延時之后返回的字符串。await 要在 async 的函數(shù)里面才能使用。
async 和 await 其實是一個語法糖，它最終也是轉(zhuǎn)換成 Future 調(diào)用鏈的形式執(zhí)行的。
接下來回到 Flutter，F(xiàn)lutter 里最重要的一個概念是 Widget（下面翻譯作控件）。
在原生開發(fā)里面，我們可能會在界面上區(qū)分，這是一個 View，這是一個 Layout，這是一個 View Controller。但在 Flutter 里面，它們?nèi)紝儆谝粋€統(tǒng)一的模型 Widget?？梢哉f，在 Flutter 界面里，所有東西都是 Widget。
以前學(xué)面向?qū)ο蟮臅r候，我們都聽過一句話，叫萬物皆對象。我這里套用一下，在 Flutter 里， 萬物皆控件 。
具體有哪些控件，我做了一下簡單的分類。
根控件
所有的控件都屬于 StatefulWidget 或 StatelessWidget 。它們的區(qū)別是，StatefulWidget 擁有狀態(tài) State ，而 StatelessWidget 沒有。
StatefulWidget
當(dāng)一個控件是可變的時候，就要使用 StatefulWidget 來構(gòu)建。StatefulWidget 本身不可變，但它持有的狀態(tài) State 是可變的。
StatelessWidget
當(dāng)一個控件狀態(tài)是固定不可變的時候，就可以使用 StatelessWidget。前面我們寫的 Hello World 就是使用 StatelessWidget。
容器控件
容器類控件一般是將某些屬性或配置，作用在它的子控件上，比如控件所在的寬高、背景、位置等。
常用的容器控件有 Container、Center、Padding 等。
布局控件
布局控件可以類比作原生開發(fā)中的 Layout，通常它會擁有一個 children 的屬性，用于接收一個控件數(shù)組，對這些控件進行特定的排版。
常用的布局控件有 Row、Column、Stack、Flex 等。
基礎(chǔ)控件
基礎(chǔ)控件就是常用的文字、按鈕、圖片等控件。
常用的基礎(chǔ)控件有 Text、TextField、Button、Image 等。
功能控件
在 Flutter 里還有一類控件，它們不影響 UI 布局，但帶有一些特定的功能，比如頁面跳轉(zhuǎn)、事件監(jiān)聽、定義主題等。我們把這一類控件稱作功能控件。
常用的功能控件有 Navigator、NotificationListener、Theme 等。
開始寫 Flutter 代碼了。還記不記得，在 Flutter 項目創(chuàng)建之后，是自帶一個計數(shù)器 demo 的，現(xiàn)在我們用自己的代碼實現(xiàn)一遍。代碼修改成如下：
運行之后，就可以看到這樣的界面了：
按鈕每點擊一次，數(shù)字就會加一。下面我們來分析一下這段代碼，看下里面用到的一些 Widget。
StatefulWidget
由于頁面中的數(shù)字是跟隨狀態(tài)變化的，所以該頁面改用 StatefulWidget。StatefulWidget 并不會直接返回一個 Widget，而是返回狀態(tài) State，在 State 里再返回 Widget。
Scaffold
Scaffold 是一個標(biāo)準(zhǔn)的 Material Design 頁面，它包含了標(biāo)題欄、浮動按鈕、側(cè)滑菜單、底部導(dǎo)航欄等配置。我們這里用到了標(biāo)題欄 appBar、頁面內(nèi)容 body、浮動按鈕 floatingActionButton。
AppBar
AppBar 就是標(biāo)題欄，通過查看控件的構(gòu)造方法，我們可以知道它可配置的屬性。
AppBar 的可選參數(shù)除了標(biāo)題 title，還可以配置標(biāo)題前的內(nèi)容 leading，右側(cè)的操作按鈕 anctions，控件垂直高度 elevation 等。我們只傳了 title，其他屬性都用默認(rèn)值。
Center
Center 是一個容器類控件，它的作用就是讓它的子控件居中顯示。
FloatingActionButton
熟悉安卓開發(fā)的應(yīng)該對這個控件比較熟悉，它就是頁面右下角一個特定樣式的 Button，參數(shù)里面的 onPressed 是一個必填項，要傳一個點擊之后的回調(diào)函數(shù)。
根據(jù)這個例子，下面給大家介紹一下 Flutter 兩個比較重要的特性。
點擊 Button 之后，我們把 num 變量加一，并使用 setState 通知狀態(tài)發(fā)生了改變，F(xiàn)lutter 會根據(jù)新的狀態(tài)更新 UI。如果有接觸過小程序開發(fā)，setState 就和小程序的 setData 類似。
在 Flutter 里面我們不需要用 set 方法來更新 UI，可變控件是和狀態(tài)綁定的，這就是 Flutter 的響應(yīng)式 UI 編程。
在 Android Q 和 iOS 13 里都加入了暗黑模式，我們也換一個暗黑主題來玩一下。MaterialApp 里有一個 theme 的屬性，我們把它配置一下:
這次改完之后不點 Run 了，我們點一下閃電圖標(biāo) Flutter Hot Reload ，就能看到界面發(fā)生了變化:
這就是 Flutter 的 熱重載 ，在修改完代碼之后，通過熱重載就能馬上在設(shè)備上看到修改結(jié)果，可以很大程度上增加開發(fā)效率。
下面再給大家介紹幾個 Flutter 里的常見操作。
在 Flutter 里，使用 Navigator 來管理頁面跳轉(zhuǎn)，比如要跳轉(zhuǎn)到一個 NewPage 可以這樣寫:
進棧使用 push，出棧則是 pop。
使用 MaterialPageRoute 會模擬出 Android 上頁面跳轉(zhuǎn)的過場效果。
我們來看看怎么顯示一張本地圖片。
先在根目錄新建一個存放圖片的文件夾，比如叫 images，把圖片 picture.png 放進去。
找到根目錄下的 pubspec.yaml 文件，這個便是 Flutter 依賴配置文件，我們需要在這里配置一下剛才的圖片：
這樣，我們就能使用 Image 控件把這張圖片顯示出來了：
和 node 的 npm 以及 Android 的 jcenter 類似，F(xiàn)lutter 也擁有一個公共倉庫 pub.dev。pub.dev 是 Google 官方的 Dart 倉庫，在上面可以找到我們需要的包和插件。
Flutter 本身沒有 Toast，我們來接入一個。在 pub.dev 上搜索后，我決定使用 fluttertoast：
按照說明，在 pubspec.yaml 文件里的 dependencies 下配置：
點一下 Android Studio 右上角的 Packages get 同步之后就可以使用了：
我們上面使用的都是 Material Design 的控件，它們都是在 flutter/material.dart 包里面的。如果要使用 iOS 風(fēng)格的控件，則要用到 flutter/cupertino.dart 包：
iOS 風(fēng)格的控件，基本都以 Cupertino 開頭。我們把計時器頁面里的控件替換一下：
效果如下：
代碼的部分就到這里了，接下來跟大家聊一下編譯方式，編程語言的編譯方式有兩種。
關(guān)于它們孰優(yōu)孰劣，就要看從哪個角度去對比了。JIT 的話，它的一大特點就是支持動態(tài)發(fā)布代碼，也就是支持熱更新。但要是從性能的角度考慮，AOT 會更好，因為在運行的時候不用再進行編譯的操作的，運行的效率會更高一些。
回到我們一開始的時候留下的問題，為什么別的跨平臺方案都是用 JavaScript，而 Flutter 要用 Dart 來開發(fā)。JavaScript 的編譯方式是 JIT 的，它不支持 AOT。而 Dart 同時支持 JIT 和 AOT。
Flutter 在開發(fā)階段使用 JIT，讓我們用上了熱重載，增加了開發(fā)效率。在打包時改用 AOT，保證了正式版應(yīng)用的性能。
最后講一下大家比較關(guān)心的一個東西，F(xiàn)lutter 是否支持熱更新？前面說到 Dart 支持 JIT，所以從技術(shù)層面它是支持的。但是目前是不支持的，在官方的計劃文檔中，可以看到:
至于原因，官方在這里進行了說明?？偟膩碚f，是由于政策的限制，以及出于對性能和安全性的考慮，暫時不支持了。
到這就結(jié)束啦。由于想把 Flutter 基礎(chǔ)在一篇內(nèi)講完，沒有涉及太多細(xì)節(jié)，如果要寫 Flutter 代碼還需要深入學(xué)習(xí)。但相信理解之后再學(xué)，會輕松很多。
在Tree中從上往下高效傳遞數(shù)據(jù)的基類widget , 定義為:abstract class InheritedWidget extends ProxyWidget
Flutter的響應(yīng)式開發(fā)與React類似，數(shù)據(jù)都是自頂向下的。
假設(shè)有祖先組點A，中間經(jīng)過結(jié)點B, C，然后到結(jié)點D，D需要從A中獲取數(shù)據(jù)f，那按照自頂向下數(shù)據(jù)流轉(zhuǎn)，f需要依次傳遞給B及C，最后才到C。這樣開發(fā)極為不靈活，成本也比較高。所有Flutter需要有跨結(jié)點(只能是祖先后代節(jié)點，不能跨兄弟節(jié)點)高效傳遞數(shù)據(jù)的方案。
大體意思如下:
InheritedWidget 是在樹中高效向下傳遞信息的基類部件；
調(diào)用[BuildContext.inheritFromWidgetOfExactType]方法可以從 BuildContext 中獲取到最近的 InheritedWidget 類型的實例；
在 InheritedWidget 類型的控件被引用,也就是調(diào)用過 inheritFromWidgetOfExactType 方法后,當(dāng) InheritedWidget 自身狀態(tài)改變時，會導(dǎo)致引用了 InheritedWidget 類型的子控件重構(gòu)(rebuild)。
這里隨便定義一個人 Person 類。
創(chuàng)建一個類繼承 InheritedWidget，并實現(xiàn) updateShouldNotify 方法。
之前說到調(diào)用[BuildContext.inheritFromWidgetOfExactType]方法可以從 BuildContext 中獲取到最近的 InheritedWidget 類型的實例，所以此處定義一個靜態(tài)的 of 方法，通過傳入的 context 獲取到最近的 InheriedDataWidget 實例。
1.定義數(shù)據(jù)模型
這里隨便定義一個 Person 類。
2.自定義 InheritedWidget 控件類
創(chuàng)建一個類繼承 InheritedWidget，并實現(xiàn) updateShouldNotify 方法。
之前說到調(diào)用[BuildContext.inheritFromWidgetOfExactType]方法可以從 BuildContext 中獲取到最近的 InheritedWidget 類型的實例，所以此處定義一個靜態(tài)的 of 方法，通過傳入的 context 獲取到最近的 InheriedDataWidget 實例。
3.InheriedDataWidget 的使用
InheriedDataWidget 使用起來也很簡單，它本身也是一個控件，只要在任意一個頁面的子控件調(diào)用其構(gòu)造方法就行，這里我們定義一個形如的 Widget 樹。
WidgetA 是一個 StatefulWidget 類型的控件，可以調(diào)用 setState 刷新，如果是繼承人 Stateless 類型的控件,那我們也可以通過 Stream 或者其他方式刷新數(shù)據(jù)，感興趣的請看[什么是 Stream? Dart
WidgetA1_1 類
WidgetA1_2 類
WidgetA1_3 類
當(dāng)我們點擊 floatingActionButton 的時候，WidgetA1, WidgetA1_1， WidgetA1_2 的控件都會更新 Person 的信息，而且每點 floatingActionButton 一次， 當(dāng)我們點擊 floatingActionButton 的時候，WidgetA1, WidgetA1_1， WidgetA1_2 的控件都會更新 Person 的信息，而且每點 floatingActionButton 一次，都會輸出：
如果我們試圖在和 WidgetA 的同一層級的兄弟節(jié)點去訪問 InheriedDataWidget 的 Person 數(shù)據(jù)，是不行的，因為父節(jié)點中并沒有插入 InheriedDataWidget。
把 WidgetB 和 WidgetA 保持同一節(jié)點
這也體現(xiàn)了 Inheried(遺傳) 這一單詞的特性，遺傳只存在于父子。兄弟不存在遺傳的關(guān)系。
這種數(shù)據(jù)共享的方式在某些場景還是很有用的，就比如說全局主題，字體大小，字體顏色的變更，只要在 App 根層級共享出這些配置數(shù)據(jù)，然后在觸發(fā)數(shù)據(jù)改變之后，所有引用到這些共享數(shù)據(jù)的地方都會刷新，這換主題，字體是不是就很輕松，事實上 Theme.of(context).primaryColor 之流就是這么干的。
以上就是有關(guān)InheritedWidget的使用。
自己也是從事Android開發(fā)5年有余了；整理了一些Android開發(fā)技術(shù)核心筆記和面經(jīng)題綱，有關(guān)更多Android開發(fā)進階技術(shù)資料、面經(jīng)題綱、核心技術(shù)筆記； 想要進階自己、拿高薪的同學(xué)請私信我回復(fù)“核心筆記”或“面試”領(lǐng)??！
Flutter是谷歌公司推出的跨終端的開發(fā)框架，支持Android、iOS和WEB終端。1.0版在2018年12月5日發(fā)布，目前的最新版本是1.5，它采用的開發(fā)語言是Dart，Dart也是谷歌開發(fā)的計算機編程語言，語法類似C，是編譯型語言：
hello world例子，打印字符串“Hello World!”：
1、沒有橋接層
React Native、Weex等技術(shù)都是跨終端的框架，然而性能跟原生App存在很大差距。這是由于它們的工作原理決定的：
React Native、Weex等技術(shù)多了一個橋接層，所以界面渲染會慢一些，由于UI渲染非常頻繁，想要不卡頓，基本上比較難，性能和用戶體驗跟原生代碼有差距。而這恰恰是Flutter的優(yōu)勢所在：
Dart可以被編譯成不同平臺的本地代碼，讓Flutter不通過橋接層直接跟平臺通信，自然性能會快一些。
2、編譯執(zhí)行
JavaScript是解釋執(zhí)行的，Dart是編譯執(zhí)行的，性能誰好一目了然。
3、Flutter Engine虛擬機
Flutter是依靠Flutter Engine虛擬機在iOS和Android上運行的，F(xiàn)lutter Engine使用C/C++編寫，開發(fā)人員通過Flutter框架直接和API在內(nèi)部進行交互，所以具有輸入低延遲和UI渲染高幀速率的特點。除了這特點之外，F(xiàn)lutter還提供了自己的小部件，F(xiàn)lutter小部件是使用從React獲取靈感的現(xiàn)代框架構(gòu)建的。 中心思想是您使用小部件構(gòu)建UI。
窗口小部件根據(jù)其當(dāng)前配置和狀態(tài)描述了它們的視圖。 當(dāng)窗口小部件的狀態(tài)發(fā)生更改時，窗口小部件會重建其描述，框架將根據(jù)前面的描述進行區(qū)分，以確定底層呈現(xiàn)樹從一個狀態(tài)轉(zhuǎn)換到下一個狀態(tài)所需的最小更改?？梢灾苯釉贠S平臺提供的畫布上進行描繪，也就是一些核心類庫直接放到虛擬機里面，調(diào)用起來更快。
從它的系統(tǒng)結(jié)構(gòu)可以看出，類似安卓的ART(Android Run Time)虛擬機，同樣采用AOT(Ahead of TIme)技術(shù)，會在APP安裝時就編譯成機器語言，不再解釋執(zhí)行，從而優(yōu)化了APP運行的性能。
4、自帶渲染引擎
Flutter使用谷歌自己的Skia渲染引擎，而Android系統(tǒng)自帶Skia引擎，iOS平臺上Flutter也會把Skia引擎打包到APP中，從而實現(xiàn)了高效渲染。而React Native通過橋接層訪問原生UI，操作頻繁就容易出性能問題。
綜合所述，F(xiàn)lutter 是性能最接近原生代碼 的一種開發(fā)框架，未來也會是構(gòu)建谷歌Fuchsia應(yīng)用的主要方式，前途不可限量，唯一的問題就是需要學(xué)習(xí)一門新的語言：Dart，而有Java或者C#語言基礎(chǔ)的程序員會比較容易學(xué)習(xí)。
如果我們目前的項目是Android的，但是接下來我們希望部分頁面可以使用Flutter進行開發(fā)，甚至我們希望在Native頁面中嵌入FlutterUI組件，那么我們該如何實現(xiàn)呢？
假設(shè)你現(xiàn)在Android項目的目錄的結(jié)構(gòu)是這樣的
這時候如果你想創(chuàng)建一個Flutter模塊，使得Android模塊和Flutter模塊之間可以進行交互，我們可以通過Android Studio新建一個Flutter Module，具體過程是：File — New — New Module ，之后選擇Flutter Module，指定Project Location的路徑為
也就是說，最終你的項目結(jié)構(gòu)會是這樣的
接下來在Android Module的 build.gradle 文件中添加flutter依賴
先創(chuàng)建一個Flutter頁面
這里比較重要的是 window.defaultRouteName 這個字段，這個字段可以接收從Native傳遞過來的參數(shù) （下文我們會介紹原生傳遞參數(shù)的方法），也就是說通過這個字段我們就可以進行Flutter頁面的路由的分發(fā)
我們可以直接在Android的 MainActivity 中啟動一個 FlutterActivity ，這里的 initialRoute 方法中傳遞的參數(shù)就對應(yīng)Flutter層的 window.defaultRouteName
注意：需要在 AndroidManifest.xml 注冊 FlutterActivity
自己創(chuàng)建一個 FlutterAppActivity 繼承自 FlutterActivity
在 MainActivity 中啟動 FlutterAppActivity （另外別忘了在 AndroidManifest.xml 中注冊 FlutterAppActivity ）
兩種啟動方式的區(qū)別
如果單純只是想打開一個Flutter頁面，兩種方式實際上基本沒有太大區(qū)別，第一種方式也許還會更簡單一點。但是，在Flutter開發(fā)中，我們往往還需要開發(fā)一些Native插件供Flutter調(diào)用，如果使用復(fù)寫 FlutterActivity 的方式更有利于我們在 FlutterActivity 中注冊我們的Native插件，所以實際開發(fā)中一般推薦使用第二種方式
擴展思考
initialRoute 從名稱上看起來是Flutter提供給我們進行Native與Flutter交互的路由跳轉(zhuǎn)的，但是實際上他就是一個字符串，我們不僅僅可以傳遞一個路由名稱，有時候我們也可以通過這個參數(shù)傳遞一串JSON數(shù)據(jù)，然后在Flutter端進行解析，這樣我們就可以通過這個參數(shù)做更多的事情
activity_main.xml
FrameLayout 用于承載Flutter組件
MainActivity.java
使用 FragmentManager 將 FlutterFragment 添加到 FrameLayout 容器中
運行結(jié)果
上半部分是原生的TextView，下半部分是Flutter的Text組件
本節(jié)主要介紹了Native和Flutter之間的頁面跳轉(zhuǎn)，以及同一個頁面中Native與Flutter組件的組合。接下來會介紹如何編寫Android插件與Flutter進行數(shù)據(jù)交互
相對于iOS開發(fā)，F(xiàn)lutter的布局更具有靈活性，每個頁面設(shè)計都不一樣，相同頁面可選擇的布局方式也不一樣，如果單純的說應(yīng)該如何去布局，我覺得不現(xiàn)實，大家可以參考下 Flutter官方的布局教程 。接下來，筆者，通過項目中的一個頁面，來一步一步的拆解布局的流程。整個過程，基本上按照拆解、組件封裝、具體布局這三步來的。
根據(jù)設(shè)計圖，可以看出整體可以分成兩部分，上面一部分是系統(tǒng)介紹模塊，下面一部分是真正的登錄內(nèi)容，因為涉及到疊加，因此考慮用Stack；
系統(tǒng)介紹模塊部分：整體也是涉及到疊加，考慮用Stack，分為四部分。最底部漸變色背景用一個contanier，無須指定位置，全視圖擴展；載放logo圖標(biāo)在上一層，用Image。最后兩個Text同級放在最上層。Image，Text各用Positioned包裹去指定位置。
登錄內(nèi)容模塊是最外層是一個Contanier容器，去控制背景色和圓角。然后是一個Column元素，逐行排列。
第一行為Image，
第二行為Text，
第三行可以看成一個小Column，分兩塊進行布局
第四行可以看成一個小Column，分兩塊進行布局
第五行可以看作一個TextButton，
第六行可以看作一個Row，分三塊進行布局
通過上面這樣一步一步的分析后，基本上對大致的布局有了一個了解，最外層的控件大致選對（只要能實現(xiàn)的話，就是復(fù)雜度以及效率的問題），然后一步一步的拆解每一行的元素，如果有重復(fù)的或者覺得可以封裝出來的部分，則進行下一步。
每一行的拆解，大致也是按照這個思路來進行，因此筆者在這里就不做講解了。
在做到第三第四行的時候，發(fā)現(xiàn)這兩個很相似，而且設(shè)計到一些交互邏輯，筆者就想對第三第四行的這種展示進行封裝，覺得今后的布局可能會用到，因此在這一步，可以先把這一塊兒抽離出一個控件。利用TextField來實現(xiàn)這種輸入操作，具體的實現(xiàn)筆者不再詳細(xì)的描述了。
經(jīng)過這一步，整體的規(guī)劃設(shè)計圖已經(jīng)有了，各個組件也都有了，接下來的工作就是組裝了。
具體布局設(shè)計到一些細(xì)節(jié)的地方，例如整體Column的居中對齊（crossAxisAlignment）、間隔（Padding或Container包裹，筆者更喜歡用SizedBox占位）、居左居右居中（Align）、點擊事件（GestureDetector）以及圓角（BorderRadius）等一些特殊情況。
像第六行row是放在底部的，就可以在第六行前面增加一個Spacer()去填充空白區(qū)域。
對文字顏色大小等，可以用TextStyle直接設(shè)置。
對于輸入框的刪除按鈕，可以用Offstage這種Flutter特有的控制顯示隱藏的控件。
重慶分公司
重慶分公司
