視頻直播App搭建的音視頻采集和處理

1、作為直播平臺搭建中的核心功能，音視頻處理的一般流程：直播客戶端分為兩個端：共享端和觀看端。其中共享端又包含：音視頻采集，音視頻編碼兩個模塊，我們需要對每個模塊做的事情非常清楚。

網(wǎng)站的建設(shè)創(chuàng)新互聯(lián)專注網(wǎng)站定制,經(jīng)驗(yàn)豐富,不做模板,主營網(wǎng)站定制開發(fā).小程序定制開發(fā),H5頁面制作!給你煥然一新的設(shè)計體驗(yàn)!已為成都iso認(rèn)證等企業(yè)提供專業(yè)服務(wù)。

2、前端設(shè)備，手機(jī)或者攝像機(jī)等設(shè)備將直播的音視頻內(nèi)容進(jìn)行采集處理，才推動到平臺源站服務(wù)器（采用多機(jī)集群熱備份機(jī)制）。

3、預(yù)處理：對采集到的數(shù)據(jù)通過SDK層面接口進(jìn)行潤化處理，主要是圖像方面的處理，如美顏、水印、濾鏡等，GPU優(yōu)化提速，平衡手機(jī)功耗及效果。

MAC/iOS利用FFmpeg解析音視頻數(shù)據(jù)流

通過上圖可以得知，Audio Queue的播放流程即是一個 生產(chǎn)者與消費(fèi)者 的模式： 創(chuàng)建多個Buffer容器，依次填充(生產(chǎn))Buffer后插入隊列中，開始播放(消費(fèi))，然后通過回調(diào)將消費(fèi)過的Buffer reuse，循環(huán)整個過程。

引用 wiki百科 的解析.FFmpeg 項(xiàng)目由以下幾部分組成：FFmpeg 可以在Windows、Linux還有Mac OS等多種操作系統(tǒng)中進(jìn)行安裝和使用。

ffmpeg播放視頻的部分方法解析 The number of *pixels* that a line in the buffer takes in memory. This may be = width.圖像的一行在內(nèi)存里占的空間，做了對齊，可能比寬度大一些。

iOS音視頻采集與格式轉(zhuǎn)換(yuv轉(zhuǎn)rgb)

1、yuv是一種圖片儲存格式，跟RGB格式類似。RGB格式的圖片很好理解，計算機(jī)中的大多數(shù)圖片，都是以RGB格式存儲的。yuv中，y表示亮度，單獨(dú)只有y數(shù)據(jù)就可以形成一張圖片，只不過這張圖片是灰色的。

2、因?yàn)樵?OpenGL 中紋理的默認(rèn)格式都是 RGBA 格式的，并且也要為后續(xù)的紋理處理以及渲染到屏幕上打下基礎(chǔ)，最終編碼器也是以 RGBA 格式為基礎(chǔ)進(jìn)行轉(zhuǎn)換和處理的。 YUV轉(zhuǎn)RGBA 在FragmentShader 中將 YUV 轉(zhuǎn)換為 RGBA 格式。

3、這種格式應(yīng)該被視為用于標(biāo)準(zhǔn)定義 TV 分辨率 (720 x 576) 和更低分辨率視頻的首選 YUV 格式。

4、yuv三個分量的取值范圍也是[0，255]，且取整數(shù)的。

5、RGB模型 轉(zhuǎn)換成 YUV模型 ，在顯示的時候再將 YUV模型 轉(zhuǎn)換成 RGB模型 。RGB 到 YUV 的轉(zhuǎn)換，就是將圖像所有像素點(diǎn)的 R、G、B 分量量轉(zhuǎn)換到 Y、U、V 分量。