1.圓角對(duì)性能的影響
成都創(chuàng)新互聯(lián)公司專注于惠民企業(yè)網(wǎng)站建設(shè),響應(yīng)式網(wǎng)站,商城網(wǎng)站開發(fā)?;菝窬W(wǎng)站建設(shè)公司,為惠民等地區(qū)提供建站服務(wù)。全流程按需制作網(wǎng)站,專業(yè)設(shè)計(jì),全程項(xiàng)目跟蹤,成都創(chuàng)新互聯(lián)公司專業(yè)和態(tài)度為您提供的服務(wù)
盡量避免用Clipxxx組件,建議用BoxDecoration的image屬性實(shí)現(xiàn),如果用Clipxxx組件,圓角取整后性能會(huì)提升。
2.減少重繪
根據(jù)場(chǎng)景合理使用RePaintBoundary,使繪制獨(dú)立于父布局,避免重繪,提升性能,但過度使用增加的圖層會(huì)帶來Raster合成的耗時(shí)。例如scrollview是滑動(dòng)過程會(huì)導(dǎo)致所有的節(jié)點(diǎn)都重繪,可以在scrollview下一層使用RePaintBoundary。
3.滾動(dòng)步長(zhǎng)插值器優(yōu)化(了解)
官方的滾動(dòng)差值器在出現(xiàn)小卡頓時(shí),滾動(dòng)步長(zhǎng)會(huì)出現(xiàn)大的跳躍,導(dǎo)致體感上出現(xiàn)很明顯的抖動(dòng),優(yōu)化步長(zhǎng)偏移量算法與原生效果對(duì)齊。
4.開啟SurfaceView
官方推薦Flutter用SurfaceView ,因?yàn)镾urfaceView與應(yīng)用窗口內(nèi)容分隔開,在專有硬件中合成,產(chǎn)生的中間副本少于TextureView,所以性能高,占用內(nèi)存少,但是在混合棧遇到的問題需要突破
5.使用RepaintBoundary 提升頻繁重繪控件的性能。使用RelayoutBoundary提升頻繁修改大小,增刪的布局中也可以提升性能。
6.build中不要去寫大量的耗時(shí)邏輯,因?yàn)閿?shù)據(jù)更新會(huì)觸發(fā)build的多次調(diào)用,在里面做耗時(shí)邏輯會(huì)降低性能。
7.盡量使用statelessWidget代替statefulWidget,因?yàn)閟tatefulWidget的銷毀重建會(huì)引起子widget的銷毀與重建。
8.解析json可以放到子線程線程中,開Isolate去解析,這樣,當(dāng)返回?cái)?shù)據(jù)特別大的時(shí)候也不會(huì)阻塞界面。
9.使用不變的組件的時(shí)候可以添加const,const組件不會(huì)進(jìn)行build更新
10.由于flutter通過widget.runtimeType和key來判斷是否需要跟新組建,所以我們寫組件的時(shí)候盡量保持key不變,或者不寫key。對(duì)于一些需要頻繁改變,例如新增、刪除、排序的最好加上key。如果type一直,如果不寫key容易導(dǎo)致,element無法區(qū)分新舊widget,導(dǎo)致無法更新。
第一階段 網(wǎng)頁重構(gòu):HTML+CSS核心技術(shù)、PC端網(wǎng)站布局、HTML5+CSS3核心技術(shù)、移動(dòng)端網(wǎng)站布局、響應(yīng)式布局實(shí)戰(zhàn)
第二階段 JS高級(jí)程序設(shè)計(jì):JavaScript核心技術(shù)-網(wǎng)站動(dòng)效交互、JavaScript核心技術(shù)-網(wǎng)站前后端交互、jQuery交互效果開發(fā)
第三階段 NodeJS前端架構(gòu)及后臺(tái)開發(fā):版本控制工具、NodeJS核心技術(shù)
第四階段 前端框架:Vuejs全家桶-Vue、React框架-React、微信小程序、Flutter
第五階段 小程序開發(fā):能夠獨(dú)立開發(fā)小程序,提高就業(yè)能力,是就業(yè)的加分項(xiàng)。
對(duì)于Android開發(fā)者來說,我們或多或少有了解過Android圖像顯示的知識(shí)點(diǎn),剛剛學(xué)習(xí)Android開發(fā)的人會(huì)知道,在Actvity的onCreate方法中設(shè)置我們的View后,再經(jīng)過onMeasure,onLayout,onDraw的流程,界面就顯示出來了;對(duì)Android比較熟悉的開發(fā)者會(huì)知道,onDraw流程分為軟件繪制和硬件繪制兩種模式,軟繪是通過調(diào)用Skia來操作,硬繪是通過調(diào)用Opengl ES來操作;對(duì)Android非常熟悉的開發(fā)者會(huì)知道繪制出來的圖形數(shù)據(jù)最終都通過GraphiBuffer內(nèi)共享內(nèi)存?zhèn)鬟f給SurfaceFlinger去做圖層混合,圖層混合完成后將圖形數(shù)據(jù)送到幀緩沖區(qū),于是,圖形就在我們的屏幕顯示出來了。
但我們所知道的Activity或者是應(yīng)用App界面的顯示,只屬于Android圖形顯示的一部分。同樣可以在Android系統(tǒng)上展示圖像的WebView,F(xiàn)lutter,或者是通過Unity開發(fā)的3D游戲,他們的界面又是如何被繪制和顯現(xiàn)出來的呢?他們和我們所熟悉的Acitvity的界面顯示又有什么異同點(diǎn)呢?我們可以不借助Activity的setView或者InflateView機(jī)制來實(shí)現(xiàn)在屏幕上顯示出我們想要的界面嗎?Android系統(tǒng)顯示界面的方式又和IOS,或者Windows等系統(tǒng)有什么區(qū)別呢?……
去探究這些問題,比僅僅知道Acitvity的界面是如何顯示出來更加的有價(jià)值,因?yàn)橄胍卮疬@些問題,就需要我們真正的掌握Android圖像顯示的底層原理,當(dāng)我們掌握了底層的顯示原理后,我們會(huì)發(fā)現(xiàn)WebView,F(xiàn)lutter或者未來會(huì)出現(xiàn)的各種新的圖形顯示技術(shù),原來都是大同小異。
我會(huì)花三篇文章的篇幅,去深入的講解Android圖形顯示的原理,OpenGL ES和Skia的繪制圖像的方式,他們?nèi)绾问褂?,以及他們?cè)贏ndroid中的使用場(chǎng)景,如開機(jī)動(dòng)畫,Activity界面的軟件繪制和硬件繪制,以及Flutter的界面繪制。那么,我們開始對(duì)Android圖像顯示原理的探索吧。
在講解Android圖像的顯示之前,我會(huì)先講一下屏幕圖像的顯示原理,畢竟我們圖像,最終都是在手機(jī)屏幕上顯示出來的,了解這一塊的知識(shí)會(huì)讓我們更容易的理解Android在圖像顯示上的機(jī)制。
圖像顯示的完整過程,分為下面幾個(gè)階段:
圖像數(shù)據(jù)→CPU→顯卡驅(qū)動(dòng)→顯卡(GPU)→顯存(幀緩沖)→顯示器
我詳細(xì)介紹一下這幾個(gè)階段:
實(shí)際上顯卡驅(qū)動(dòng),顯卡和顯存,包括數(shù)模轉(zhuǎn)換模塊都是屬于顯卡的模塊。但為了能能詳細(xì)的講解經(jīng)歷的步驟,這里做了拆分。
當(dāng)顯存中有數(shù)據(jù)后,顯示器又是怎么根據(jù)顯存里面的數(shù)據(jù)來進(jìn)行界面的顯示的呢?這里以LCD液晶屏為例,顯卡會(huì)將顯存里的數(shù)據(jù),按照從左至右,從上到下的順序同步到屏幕上的每一個(gè)像素晶體管,一個(gè)像素晶體管就代表了一個(gè)像素。
如果我們的屏幕分辨率是1080x1920像素,就表示有1080x1920個(gè)像素像素晶體管,每個(gè)橡素點(diǎn)的顏色越豐富,描述這個(gè)像素的數(shù)據(jù)就越大,比如單色,每個(gè)像素只需要1bit,16色時(shí),只需要4bit,256色時(shí),就需要一個(gè)字節(jié)。那么1080x1920的分辨率的屏幕下,如果要以256色顯示,顯卡至少需要1080x1920個(gè)字節(jié),也就是2M的大小。
剛剛說了,屏幕上的像素?cái)?shù)據(jù)是從左到右,從上到下進(jìn)行同步的,當(dāng)這個(gè)過程完成了,就表示一幀繪制完成了,于是會(huì)開始下一幀的繪制,大部分的顯示屏都是以60HZ的頻率在屏幕上繪制完一幀,也就是16ms,并且每次繪制新的一幀時(shí),都會(huì)發(fā)出一個(gè)垂直同步信號(hào)(VSync)。我們已經(jīng)知道,圖像數(shù)據(jù)都是放在幀緩沖中的,如果幀緩沖的緩沖區(qū)只有一個(gè),那么屏幕在繪制這一幀的時(shí)候,圖像數(shù)據(jù)便沒法放入幀緩沖中了,只能等待這一幀繪制完成,在這種情況下,會(huì)有很大了效率問題。所以為了解決這一問題,幀緩沖引入兩個(gè)緩沖區(qū),即 雙緩沖機(jī)制 。雙緩沖雖然能解決效率問題,但會(huì)引入一個(gè)新的問題。當(dāng)屏幕這一幀還沒繪制完成時(shí),即屏幕內(nèi)容剛顯示一半時(shí),GPU 將新的一幀內(nèi)容提交到幀緩沖區(qū)并把兩個(gè)緩沖區(qū)進(jìn)行交換后,顯卡的像素同步模塊就會(huì)把新的一幀數(shù)據(jù)的下半段顯示到屏幕上,造成畫面撕裂現(xiàn)象。
為了解決撕裂問題,就需要在收到垂直同步的時(shí)候才將幀緩沖中的兩個(gè)緩沖區(qū)進(jìn)行交換。Android4.1黃油計(jì)劃中有一個(gè)優(yōu)化點(diǎn),就是CPU和GPU都只有收到垂直同步的信號(hào)時(shí),才會(huì)開始進(jìn)行圖像的繪制操作,以及緩沖區(qū)的交換工作。
我們已經(jīng)了解了屏幕圖像顯示的原理了,那么接著開始對(duì)Android圖像顯示的學(xué)習(xí)。
從上一章已經(jīng)知道,計(jì)算機(jī)渲染界面必須要有GPU和幀緩沖。對(duì)于Linux系統(tǒng)來說,用戶進(jìn)程是沒法直接操作幀緩沖的,但我們想要顯示圖像就必須要操作幀緩沖,所以Linux系統(tǒng)設(shè)計(jì)了一個(gè)虛擬設(shè)備文件,來作為對(duì)幀緩沖的映射,通過對(duì)該文件的I/O讀寫,我們就可以實(shí)現(xiàn)讀寫屏操作。幀緩沖對(duì)應(yīng)的設(shè)備文件于/dev/fb* ,*表示對(duì)多個(gè)顯示設(shè)備的支持, 設(shè)備號(hào)從0到31,如/dev/fb0就表示第一塊顯示屏,/dev/fb1就表示第二塊顯示屏。對(duì)于Android系統(tǒng)來說,默認(rèn)使用/dev/fb0這一個(gè)設(shè)幀緩沖作為主屏幕,也就是我們的手機(jī)屏幕。我們Android手機(jī)屏幕上顯示的圖像數(shù)據(jù),都是存儲(chǔ)在/dev/fb0里,早期AndroidStuio中的DDMS工具實(shí)現(xiàn)截屏的原理就是直接讀取/dev/fb0設(shè)備文件。
我們知道了手機(jī)屏幕上的圖形數(shù)據(jù)都存儲(chǔ)在幀緩沖中,所以Android手機(jī)圖像界面的原理就是將我們的圖像數(shù)據(jù)寫入到幀緩沖內(nèi)。那么,寫入到幀緩沖的圖像數(shù)據(jù)是怎么生成的,又是怎樣加工的呢?圖形數(shù)據(jù)是怎樣送到幀緩沖去的,中間經(jīng)歷了哪些步驟和過程呢?了解了這幾個(gè)問題,我們就了解了Android圖形渲染的原理,那么帶著這幾個(gè)疑問,接著往下看。
想要知道圖像數(shù)據(jù)是怎么產(chǎn)生的,我們需要知道 圖像生產(chǎn)者 有哪些,他們分別是如何生成圖像的,想要知道圖像數(shù)據(jù)是怎么被消費(fèi)的,我們需要知道 圖像消費(fèi)者 有哪些,他們又分別是如何消費(fèi)圖像的,想要知道中間經(jīng)歷的步驟和過程,我們需要知道 圖像緩沖區(qū) 有哪些,他們是如何被創(chuàng)建,如何分配存儲(chǔ)空間,又是如何將數(shù)據(jù)從生產(chǎn)者傳遞到消費(fèi)者的,圖像顯示是一個(gè)很經(jīng)典的消費(fèi)者生產(chǎn)者的模型,只有對(duì)這個(gè)模型各個(gè)模塊的擊破,了解他們之間的流動(dòng)關(guān)系,我們才能找到一條更容易的路徑去掌握Android圖形顯示原理。我們看看谷歌提供的官方的架構(gòu)圖是怎樣描述這一模型的模塊及關(guān)系的。
如圖, 圖像的生產(chǎn)者 主要有MediaPlayer,CameraPrevier,NDK,OpenGl ES。MediaPlayer和Camera Previer是通過直接讀取圖像源來生成圖像數(shù)據(jù),NDK(Skia),OpenGL ES是通過自身的繪制能力生產(chǎn)的圖像數(shù)據(jù); 圖像的消費(fèi)者 有SurfaceFlinger,OpenGL ES Apps,以及HAL中的Hardware Composer。OpenGl ES既可以是圖像的生產(chǎn)者,也可以是圖像的消費(fèi)者,所以它也放在了圖像消費(fèi)模塊中; 圖像緩沖區(qū) 主要有Surface以及前面提到幀緩沖。
Android圖像顯示的原理,會(huì)僅僅圍繞 圖像的生產(chǎn)者 , 圖像的消費(fèi)者 , 圖像緩沖區(qū) 來展開,在這一篇文章中,我們先看看Android系統(tǒng)中的圖像消費(fèi)者。
SurfaceFlinger是Android系統(tǒng)中最重要的一個(gè)圖像消費(fèi)者,Activity繪制的界面圖像,都會(huì)傳遞到SurfaceFlinger來,SurfaceFlinger的作用主要是接收?qǐng)D像緩沖區(qū)數(shù)據(jù),然后交給HWComposer或者OpenGL做合成,合成完成后,SurfaceFlinger會(huì)把最終的數(shù)據(jù)提交給幀緩沖。
那么SurfaceFlinger是如何接收?qǐng)D像緩沖區(qū)的數(shù)據(jù)的呢?我們需要先了解一下Layer(層)的概念,一個(gè)Layer包含了一個(gè)Surface,一個(gè)Surface對(duì)應(yīng)了一塊圖形緩沖區(qū),而一個(gè)界面是由多個(gè)Surface組成的,所以他們會(huì)一一對(duì)應(yīng)到SurfaceFlinger的Layer中。SurfaceFlinger通過讀取Layer中的緩沖數(shù)據(jù),就相當(dāng)于讀取界面上Surface的圖像數(shù)據(jù)。Layer本質(zhì)上是 Surface和SurfaceControl的組合 ,Surface是圖形生產(chǎn)者和圖像消費(fèi)之間傳遞數(shù)據(jù)的緩沖區(qū),SurfaceControl是Surface的控制類。
前面在屏幕圖像顯示原理中講到,為了防止圖像的撕裂,Android系統(tǒng)會(huì)在收到VSync垂直同步時(shí)才會(huì)開始處理圖像的繪制和合成工作,而Surfaceflinger作為一個(gè)圖像的消費(fèi)者,同樣也是遵守這一規(guī)則,所以我們通過源碼來看看SurfaceFlinger是如何在這一規(guī)則下,消費(fèi)圖像數(shù)據(jù)的。
SurfaceFlinger專門創(chuàng)建了一個(gè)EventThread線程用來接收VSync。EventThread通過Socket將VSync信號(hào)同步到EventQueue中,而EventQueue又通過回調(diào)的方式,將VSync信號(hào)同步到SurfaceFlinger內(nèi)。我們看一下源碼實(shí)現(xiàn)。
上面主要是SurfaceFlinger初始化接收VSYNC垂直同步信號(hào)的操作,主要有這幾個(gè)過程:
經(jīng)過上面幾個(gè)步驟,我們接收VSync的初始化工作都準(zhǔn)備好了,EventThread也開始運(yùn)轉(zhuǎn)了,接著看一下EventThread的運(yùn)轉(zhuǎn)函數(shù)threadLoop做的事情。
threadLoop主要是兩件事情
mConditon又是怎么接收VSync的呢?我們來看一下
可以看到,mCondition的VSync信號(hào)實(shí)際是DispSyncSource通過onVSyncEvent回調(diào)傳入的,但是DispSyncSource的VSync又是怎么接收的呢?在上面講到的SurfaceFlinger的init函數(shù),在創(chuàng)建EventThread的實(shí)現(xiàn)中,我們可以發(fā)現(xiàn)答案—— mPrimaryDispSync 。
DispSyncSource的構(gòu)造方法傳入了mPrimaryDispSync,mPrimaryDispSync實(shí)際是一個(gè)DispSyncThread線程,我們看看這個(gè)線程的threadLoop方法
DispSyncThread的threadLoop會(huì)通過mPeriod來判斷是否進(jìn)行阻塞或者進(jìn)行VSync回調(diào),那么mPeriod又是哪兒被設(shè)置的呢?這里又回到SurfaceFlinger了,我們可以發(fā)現(xiàn)在SurfaceFlinger的 resyncToHardwareVsync 函數(shù)中有對(duì)mPeriod的賦值。
可以看到,這里最終通過HWComposer,也就是硬件層拿到了period。終于追蹤到了VSync的最終來源了, 它從HWCompser產(chǎn)生,回調(diào)至DispSync線程,然后DispSync線程回調(diào)到DispSyncSource,DispSyncSource又回調(diào)到EventThread,EventThread再通過Socket分發(fā)到MessageQueue中 。
我們已經(jīng)知道了VSync信號(hào)來自于HWCompser,但SurfaceFlinger并不會(huì)一直監(jiān)聽VSync信號(hào),監(jiān)聽VSync的線程大部分時(shí)間都是休眠狀態(tài),只有需要做合成工作時(shí),才會(huì)監(jiān)聽VSync,這樣即保證圖像合成的操作能和VSync保持一致,也節(jié)省了性能。SurfaceFlinger提供了一些主動(dòng)注冊(cè)監(jiān)聽VSync的操作函數(shù)。
可以看到,只有當(dāng)SurfaceFlinger調(diào)用 signalTransaction 或者 signalLayerUpdate 函數(shù)時(shí),才會(huì)注冊(cè)監(jiān)聽VSync信號(hào)。那么signalTransaction或者signalLayerUpdate什么時(shí)候被調(diào)用呢?它可以由圖像的生產(chǎn)者通知調(diào)用,也可以由SurfaceFlinger根據(jù)自己的邏輯來判斷是否調(diào)用。
現(xiàn)在假設(shè)App層已經(jīng)生成了我們界面的圖像數(shù)據(jù),并調(diào)用了 signalTransaction 通知SurfaceFlinger注冊(cè)監(jiān)聽VSync,于是VSync信號(hào)便會(huì)傳遞到了MessageQueue中了,我們接著看看MessageQueue又是怎么處理VSync的吧。
MessageQueue收到VSync信號(hào)后,最終回調(diào)到了SurfaceFlinger的 onMessageReceived 中,當(dāng)SurfaceFlinger接收到VSync后,便開始以一個(gè)圖像消費(fèi)者的角色來處理圖像數(shù)據(jù)了。我們接著看SurfaceFlinger是以什么樣的方式消費(fèi)圖像數(shù)據(jù)的。
VSync信號(hào)最終被SurfaceFlinger的onMessageReceived函數(shù)中的INVALIDATE模塊處理。
INVALIDATE的流程如下:
handleMessageTransaction的處理比較長(zhǎng),處理的事情也比較多,它主要做的事情有這些
handleMessageRefresh函數(shù),便是SurfaceFlinger真正處理圖層合成的地方,它主要下面五個(gè)步驟。
我會(huì)詳細(xì)介紹每一個(gè)步驟的具體操作
合成前預(yù)處理會(huì)判斷Layer是否發(fā)生變化,當(dāng)Layer中有新的待處理的Buffer幀(mQueuedFrames0),或者mSidebandStreamChanged發(fā)生了變化, 都表示Layer發(fā)生了變化,如果變化了,就調(diào)用signalLayerUpdate,注冊(cè)下一次的VSync信號(hào)。如果Layer沒有發(fā)生變化,便只會(huì)做這一次的合成工作,不會(huì)注冊(cè)下一次VSync了。
重建Layer棧會(huì)遍歷Layer,計(jì)算和存儲(chǔ)每個(gè)Layer的臟區(qū), 然后和當(dāng)前的顯示設(shè)備進(jìn)行比較,看Layer的臟區(qū)域是否在顯示設(shè)備的顯示區(qū)域內(nèi),如果在顯示區(qū)域內(nèi)的話說明該layer是需要繪制的,則更新到顯示設(shè)備的VisibleLayersSortedByZ列表中,等待被合成
rebuildLayerStacks中最重要的一步是 computeVisibleRegions ,也就是對(duì)Layer的變化區(qū)域和非透明區(qū)域的計(jì)算,為什么要對(duì)變化區(qū)域做計(jì)算呢?我們先看看SurfaceFlinger對(duì)界面顯示區(qū)域的分類:
還是以這張圖做例子,可以看到我們的狀態(tài)欄是半透明的,所以它是一個(gè)opaqueRegion區(qū)域,微信界面和虛擬按鍵是完全不透明的,他是一個(gè)visibleRegion,除了這三個(gè)Layer外,還有一個(gè)我們看不到的Layer——壁紙,它被上方visibleRegion遮擋了,所以是coveredRegion
對(duì)這幾個(gè)區(qū)域的概念清楚了,我們就可以去了解computeVisibleRegions中做的事情了,它主要是這幾步操作:
頁面中的各界面元素(Widget)以樹的形式組織,即控件樹。Flutter通過控件樹中的每個(gè)控件創(chuàng)建不同類型的渲染對(duì)象,組成渲染對(duì)象樹。而渲染對(duì)象樹在Flutter的展示過程分為三個(gè)階段:布局、繪制、合成和渲染。
(一)布局
Flutter采用深度優(yōu)先機(jī)制遍歷渲染對(duì)象樹,決定渲染對(duì)象樹中各渲染對(duì)象在屏幕上的位置和尺寸。在布局過程中,渲染對(duì)象樹中的每個(gè)渲染對(duì)象都會(huì)接收父對(duì)象的布局約束參數(shù),決定自己的大小,然后父對(duì)象按照控件邏輯決定各個(gè)子對(duì)象的位置,完成布局過程。
為了防止因子節(jié)點(diǎn)發(fā)生變化而導(dǎo)致整個(gè)控件樹重新布局,F(xiàn)lutter加入了一個(gè)機(jī)制——布局邊界(Relayout Boundary),可以在某些節(jié)點(diǎn)自動(dòng)或手動(dòng)地設(shè)置布局邊界,當(dāng)邊界內(nèi)的任何對(duì)象發(fā)生重新布局時(shí),不會(huì)影響邊界外的對(duì)象,反之亦然。
二)繪制
布局完成后,渲染對(duì)象樹中的每個(gè)節(jié)點(diǎn)都有了明確的尺寸和位置。Flutter會(huì)把所有的渲染對(duì)象繪制到不同的圖層上。與布局過程一樣,繪制過程也是深度優(yōu)先遍歷,而且總是先繪制自身,再繪制子節(jié)點(diǎn)。
以下圖為例:節(jié)點(diǎn)1在繪制完自身后,會(huì)再繪制節(jié)點(diǎn)2,然后繪制它的子節(jié)點(diǎn)3、4和5,最后繪制節(jié)點(diǎn)6。
可以看到,由于一些其他原因(比如,視圖手動(dòng)合并)導(dǎo)致2的子節(jié)點(diǎn)5與它的兄弟節(jié)點(diǎn)6處于了同一層,這樣會(huì)導(dǎo)致當(dāng)節(jié)點(diǎn)2需要重繪的時(shí)候,與其無關(guān)的節(jié)點(diǎn)6也會(huì)被重繪,帶來性能損耗。
為了解決這一問題,F(xiàn)lutter提出了與布局邊界對(duì)應(yīng)的機(jī)制——重繪邊界(Repaint Boundary)。在重繪邊界內(nèi),F(xiàn)lutter會(huì)強(qiáng)制切換新的圖層,這樣就可以避免邊界內(nèi)外的互相影響,避免無關(guān)內(nèi)容置于同一圖層引起不必要的重繪。
重繪邊界的一個(gè)典型場(chǎng)景是Scrollview。ScrollView滾動(dòng)的時(shí)候需要刷新視圖內(nèi)容,從而觸發(fā)內(nèi)容重繪。而當(dāng)滾動(dòng)內(nèi)容重繪時(shí),一般情況下其他內(nèi)容是不需要重繪的,這時(shí)候重繪邊界就派上用場(chǎng)了。
(三)合成和渲染
終端設(shè)備的頁面越來越復(fù)雜,因此Flutter的渲染樹層級(jí)通常很多,直接交付給渲染引擎進(jìn)行多圖層渲染,可能會(huì)出現(xiàn)大量渲染內(nèi)容的重復(fù)繪制,所以還需要先進(jìn)行一次圖層合成,即將所有的圖層根據(jù)大小、層級(jí)、透明度等規(guī)則計(jì)算出最終的顯示效果,將相同的圖層歸類合并,簡(jiǎn)化渲染樹,提高渲染效率。
合并完成后,F(xiàn)lutter會(huì)將幾何圖層數(shù)據(jù)交由Skia引擎加工成二維圖像數(shù)據(jù),最終交由GPU進(jìn)行渲染,完成界面的展示。
四、總結(jié)
咱們從各種業(yè)界主流跨端方案與Flutter的對(duì)比開始,到Flutter的簡(jiǎn)要介紹以及Flutter的運(yùn)行機(jī)制,并以界面渲染過程為例,從布局、繪制、合成和渲染三個(gè)階段講述了Flutter的實(shí)現(xiàn)原理。相信大家對(duì)Flutter已經(jīng)有一個(gè)整體認(rèn)知,趕快一起上手操作起來吧!
本文將從三個(gè)方面介紹Android 圖形系統(tǒng)。
圖形系統(tǒng)提供繪圖和圖形處理支持。
Android 框架提供了各種用于 2D 和 3D 圖形渲染的 API、圖片解碼庫,以及各種Driver支持。
? 繪圖API:2D引擎 Skia,3D引擎 OpenGL ES,RenderScript,OpenCV和Vulkan。
? 圖片解碼庫:jpg,png,gif等。
應(yīng)用開發(fā)者可通過三種方式將圖像繪制到屏幕:
? Canvas : 2D圖形API,Android View樹實(shí)際的繪制者。
? OpenGL ES : 嵌入式設(shè)備的OpenGL 三維圖形API子集。
? Vulkan :跨平臺(tái)的2D和3D繪圖引擎,Android 7.0后支持,NDK。
整個(gè)圖形系統(tǒng)架構(gòu)是一個(gè)生產(chǎn)者和消費(fèi)者模式,五層依次介紹:
2D繪制:Canvas api / view 的子類 (button ,list)/自定義view
3D繪制:應(yīng)用直接使用OpenGL 接口繪制圖形(PixelFlinger對(duì)應(yīng)的是openGl 1.0 ,GUP driver 對(duì)應(yīng)的是2.0和3.0)
所有情況下的繪圖都渲染到一個(gè)包含 GraphicBuffer的Surface上,當(dāng)一塊 Surface 顯示在屏幕上時(shí),就是用戶所看到的窗口。
? Canvas:畫布,2D圖形API,Android View樹實(shí)際的渲染者。
? Skia繪制:Android4.0之前默認(rèn)使用,主線程通過CPU完成繪圖指令操作,在復(fù)雜場(chǎng)景下單幀容易超過16ms導(dǎo)致卡頓。
WindowManagerService(WMS)窗口管理服務(wù),管理系統(tǒng)中所有的窗口。
? 管理window (view的容器)
? Window與surface對(duì)應(yīng),一塊顯示區(qū)域。添加一個(gè)window,就是 WMS 為其分配一塊 Surface 的過程。
Google 在Android source官網(wǎng)提示:
這里就對(duì)這些控件進(jìn)行簡(jiǎn)單介紹:
Surface : Handle onto a raw buffer that is being managed by the screen compositor.
Surface 對(duì)應(yīng)一塊屏幕緩沖區(qū)。生產(chǎn)者是: SurfaceTexture、MediaRecorder 等,消費(fèi)者是: OpenGL、MediaPlayer 或 CameraDevice等。每個(gè)window對(duì)應(yīng)一個(gè)Surface。Canvas或OpenGL ES等最終都渲染到Surface上。
? Flutter在Android平臺(tái)上也是直接渲染到Surface。例如:一個(gè)Activity/Dialog都是一個(gè)Surface,它承載了上層的圖形數(shù)據(jù),與SurfaceFlinger側(cè)的Layer相對(duì)應(yīng)。
Canvas(畫布)實(shí)現(xiàn)由 Skia 圖形庫提供。為了確保兩個(gè)客戶端不會(huì)同時(shí)更新某個(gè)緩沖區(qū),使用以下命令處理畫布鎖:
使用雙緩沖機(jī)制,有自己的 surface,View只是一個(gè)透明的占位符,Surface可以在后臺(tái)線程中繪制。雙緩沖機(jī)制提高渲染效率,獨(dú)立線程
繪制,提升流暢性。適合一些場(chǎng)景:需要界面迅速更新、UI繪制時(shí)間長(zhǎng)、對(duì)幀率要求較高的情況。
提供訪問和控制Surface 相關(guān)的方法 。通過SurfaceView的getHolder()函數(shù)可以獲取SurfaceHolder對(duì)象,Surface 就在SurfaceHolder對(duì)象內(nèi)。
addCallback(SurfaceHolder.Callbackcallback) /Canvas lockCanvas() /unlockCanvasAndPost(Canvascanvas)
SurfaceTexture: Surface 和 OpenGL ES (GLES) 紋理(Texture)的組合。將圖像流轉(zhuǎn)為 OpenGL 外部紋理。
TextureView:持有 SurfaceTexture,將圖像處理為 OpenGL 紋理更新到 HardwareLayer。
GLSurfaceView:加入 EGL 管理,自帶 GL 上下文和 GL 渲染線程
這些View通常涉及到Android音視頻相關(guān),需要高效的渲染能力。如下面的SurfaceTexture在camera中的應(yīng)用。
簡(jiǎn)稱Buffer, 一個(gè)Buffer包含一幀圖像,Buffer由gralloc分配和回收。Buffer 屬性包含:width, height, format, usage等
BufferQueue 的引入是為了解決顯示和性能問題。
? Surface屬于APP進(jìn)程,Layer屬于系統(tǒng)進(jìn)程,如果它們之間只用一個(gè)Buffer,會(huì)存在顯示和性能問題。
? 一些Buffer用于繪制,一些Buffer用于顯示,雙方處理完之后,交換一下Buffer,提高效率。
? BufferQueue中包含多個(gè)Buffer對(duì)象。
Android圖形系統(tǒng)包含了兩對(duì)生產(chǎn)者和消費(fèi)者模型,它們都通過BufferQueue進(jìn)行連接:
1.Canvas和OpenGL ES生產(chǎn)圖形數(shù)據(jù),SurfaceFlinger消費(fèi)圖形數(shù)據(jù)。
2.SurfaceFlinger合成所有圖層的圖形數(shù)據(jù),Display顯示合成結(jié)果。
code:frameworks/native/services/surfaceflinger
? Surface表示APP進(jìn)程的一個(gè)窗口,承載了窗口的圖形數(shù)據(jù)。
? SurfaceFlinger是系統(tǒng)進(jìn)程合成所有窗口的系統(tǒng)服務(wù),負(fù)責(zé)合成所有Surface提供的圖形數(shù)據(jù),然后送顯到屏幕。
? SurfaceFlinger既是上層應(yīng)用的消費(fèi)者,又是Display的生產(chǎn)者,起到了承上啟下的作用。
數(shù)據(jù)流:
合成示意圖:
在介紹Vsync機(jī)制之前先介紹兩個(gè)重要概念:
屏幕刷新率:屏幕每秒鐘可以刷新多少次。60HZ刷新率,16.7ms刷新一次。(120HZ/8.3ms),硬件指標(biāo)。
GPU 繪制幀率:GPU 每秒能夠合成繪制多少幀。
軟件層觸發(fā) View 繪制的時(shí)機(jī)是隨機(jī)的,當(dāng)下一次屏幕刷新時(shí),屏幕從 Frame Buffer 中拿到的數(shù)據(jù)還是“幀1”的數(shù)據(jù),導(dǎo)致“丟幀”。
每隔 16ms 硬件層發(fā)出 vsync 信號(hào),應(yīng)用層接收到此信號(hào)后會(huì)觸發(fā)UI 的渲染流程,同時(shí) vsync 信號(hào)也會(huì)觸發(fā) SurfaceFlinger 讀取Buffer 中的數(shù)據(jù),進(jìn)行合成顯示到屏幕上。
總結(jié):Vsync機(jī)制將 CPU 和 GPU 的開始時(shí)間與屏幕刷新強(qiáng)行拖拽到同一起跑線
Android提供的Graphics流程相對(duì)比較復(fù)雜對(duì)其進(jìn)行具象后的流程如下兩張圖所示: