iOS 音視頻開發(fā) - 系統(tǒng)中斷音頻（Swift語言）

注冊(cè) AVAudioSession.interruptionNotification 的通知，可以收到播放打斷通知。 系統(tǒng)將此通知發(fā)布到主線程。

創(chuàng)新互聯(lián)建站專注于鳳岡網(wǎng)站建設(shè)服務(wù)及定制，我們擁有豐富的企業(yè)做網(wǎng)站經(jīng)驗(yàn)。 熱誠為您提供鳳岡營銷型網(wǎng)站建設(shè)，鳳岡網(wǎng)站制作、鳳岡網(wǎng)頁設(shè)計(jì)、鳳岡網(wǎng)站官網(wǎng)定制、成都微信小程序服務(wù)，打造鳳岡網(wǎng)絡(luò)公司原創(chuàng)品牌,更為您提供鳳岡網(wǎng)站排名全網(wǎng)營銷落地服務(wù)。

其中userinfo有如下字段：

分began與end，用來表示打斷開始與打斷結(jié)束。

只在打斷結(jié)束時(shí)返回。選項(xiàng)用 shouldResume 來指示：另一個(gè)音頻會(huì)話的中斷已結(jié)束，應(yīng)用程序可以恢復(fù)其音頻會(huì)話。

該屬性只在打斷開始時(shí)返回。存在于版本iOS 10.3-14.5。

用于確定這次中斷是否由于系統(tǒng)掛起App所致。

獲取到的是一個(gè)NSNumber表示的Bool。為true表示中斷是由于系統(tǒng)掛起，false是被另一音頻打斷。

該屬性只在打斷開始時(shí)返回。存在于版本iOS 14.5以后，用來代替 AVAudioSessionInterruptionWasSuspendedKey 。

default ：因?yàn)榱硪粋€(gè)音頻會(huì)話被激活,音頻中斷。（例如后臺(tái)播著音頻，此時(shí)播放微信語音）

appWasSuspended ：由于APP被系統(tǒng)掛起，音頻中斷

builtInMicMuted ：音頻因內(nèi)置麥克風(fēng)靜音而中斷(例如iPad智能關(guān)閉套【iPad's Smart Folio】合上)

MAC/iOS利用FFmpeg解析音視頻數(shù)據(jù)流

利用FFmpeg解析音視頻流,音視頻流可以來自一個(gè)標(biāo)準(zhǔn)的RTMP的URL或者是一個(gè)文件. 通過解析得到音視頻流,進(jìn)一步就可以解碼, 然后視頻渲染在屏幕上,音頻通過揚(yáng)聲器輸出.

利用FFmpeg框架中l(wèi)ibavformat模塊可以通過函數(shù) av_read_frame 解析出音視頻流的音視頻數(shù)據(jù),如果直接使用FFmpeg硬解,僅需要解析到AVPacket即可傳給解碼模塊使用,如果使用VideoToolbox中的硬解, 對(duì)于視頻數(shù)據(jù),還需要獲取其NALU Header中的(vps)sps, pps以便后續(xù)使用.

使用流程

FFmpeg parse流程

下面的鏈接中包含搭建iOS需要的FFmpeg環(huán)境的詳細(xì)步驟,需要的可以提前閱讀.

iOS手動(dòng)編譯并搭建FFmpeg

導(dǎo)入FFmpeg框架后,首先需要將用到FFmpeg的文件改名為.mm, 因?yàn)樯婕癈,C++混編,所以需要更改文件名

然后在頭文件中導(dǎo)入FFmpeg頭文件.

注意: FFmpeg是一個(gè)廣為流傳的框架,其結(jié)構(gòu)復(fù)雜,一般導(dǎo)入都按照如上格式,以文件夾名為根目錄進(jìn)行導(dǎo)入,具體設(shè)置,請(qǐng)參考上文鏈接.

2.1. 注冊(cè)FFmpeg

一般在程序中的main函數(shù)或是主程序啟動(dòng)的代理方法 - (BOOL)application:(UIApplication *)application didFinishLaunchingWithOptions:(NSDictionary *)launchOptions 中初始化FFmpeg,執(zhí)行一次即可.

2.2. 利用視頻文件生成格式上下文對(duì)象

C++音視頻開發(fā)學(xué)習(xí)資料 ：點(diǎn)擊領(lǐng)取 音視頻開發(fā)（資料文檔+視頻教程+面試題）（FFmpeg+WebRTC+RTMP+RTSP+HLS+RTP）

2.3. 獲取Audio / Video流的索引值.

通過遍歷format context對(duì)象可以從 nb_streams 數(shù)組中找到音頻或視頻流索引,以便后續(xù)使用

2.4. 是否支持音視頻流

目前視頻僅支持H264, H265編碼的格式.實(shí)際過程中,解碼得到視頻的旋轉(zhuǎn)角度可能是不同的,以及不同機(jī)型可以支持的解碼文件格式也是不同的,所以可以用這個(gè)方法手動(dòng)過濾一些不支持的情況.具體請(qǐng)下載代碼觀看,這里僅列出實(shí)戰(zhàn)中測(cè)試出支持的列表.

音頻本例中僅支持AAC格式.其他格式可根據(jù)需求自行更改.

使用AVPacket這個(gè)結(jié)構(gòu)體來存儲(chǔ)壓縮數(shù)據(jù).對(duì)于視頻而言, 它通常包含一個(gè)壓縮幀,對(duì)音頻而言,可能包含多個(gè)壓縮幀,該結(jié)構(gòu)體類型通過 av_malloc() 函數(shù)分配內(nèi)存,通過 av_packet_ref() 函數(shù)拷貝,通過 av_packet_unref(). 函數(shù)釋放內(nèi)存.

解析數(shù)據(jù)

int av_read_frame(AVFormatContext *s, AVPacket *pkt); : 此函數(shù)返回存儲(chǔ)在文件中的內(nèi)容，并且不驗(yàn)證解碼器的有效幀是什么。它會(huì)將存儲(chǔ)在文件中的內(nèi)容分成幀，并為每次調(diào)用返回一個(gè)。它不會(huì)在有效幀之間省略無效數(shù)據(jù)，以便為解碼器提供解碼時(shí)可能的最大信息。

獲取sps, pps等NALU Header信息

通過調(diào)用av_bitstream_filter_filter可以從碼流中過濾得到sps, pps等NALU Header信息.

av_bitstream_filter_init: 通過給定的比特流過濾器名詞創(chuàng)建并初始化一個(gè)比特流過濾器上下文.

av_bitstream_filter_filter: 此函數(shù)通過過濾buf參數(shù)中的數(shù)據(jù),將過濾后的數(shù)據(jù)放在poutbuf參數(shù)中.輸出的buffer必須被調(diào)用者釋放.

此函數(shù)使用buf_size大小過濾緩沖區(qū)buf，并將過濾后的緩沖區(qū)放在poutbuf指向的緩沖區(qū)中。

注意: 下面使用new_packet是為了解決av_bitstream_filter_filter會(huì)產(chǎn)生內(nèi)存泄漏的問題.每次使用完后將用new_packet釋放即可.

可以根據(jù)自己的需求自定義時(shí)間戳生成規(guī)則.這里使用當(dāng)前系統(tǒng)時(shí)間戳加上數(shù)據(jù)包中的自帶的pts/dts生成了時(shí)間戳.

本例將獲取到的數(shù)據(jù)放在自定義的結(jié)構(gòu)體中,然后通過block回調(diào)傳給方法的調(diào)用者,調(diào)用者可以在回調(diào)函數(shù)中處理parse到的視頻數(shù)據(jù).

獲取parse到的音頻數(shù)據(jù)

因?yàn)槲覀円呀?jīng)將packet中的關(guān)鍵數(shù)據(jù)拷貝到自定義的結(jié)構(gòu)體中,所以使用完后需要釋放packet.

parse完成后釋放相關(guān)資源

C++音視頻開發(fā)學(xué)習(xí)資料 ：點(diǎn)擊領(lǐng)取 音視頻開發(fā)（資料文檔+視頻教程+面試題）（FFmpeg+WebRTC+RTMP+RTSP+HLS+RTP）

注意: 如果使用FFmpeg硬解,則僅僅需要獲取到AVPacket數(shù)據(jù)結(jié)構(gòu)即可.不需要再將數(shù)據(jù)封裝到自定義的結(jié)構(gòu)體中

《基于Android與iOS平臺(tái)的實(shí)踐》pdf下載在線閱讀全文，求百度網(wǎng)盤云資源

《音視頻開發(fā)進(jìn)階指南：基于Android與iOS平臺(tái)的實(shí)踐》百度網(wǎng)盤pdf最新全集下載:

鏈接:

?pwd=5wmv 提取碼: 5wmv

簡(jiǎn)介：書中首先通過介紹音視頻的物理現(xiàn)象與基礎(chǔ)概念，幫助讀者建立模擬信號(hào)到數(shù)字信號(hào)轉(zhuǎn)化的過程，然后重點(diǎn)介紹了如何在移動(dòng)端開發(fā)音視頻項(xiàng)目，其中包括開發(fā)中所需要了解的各種知識(shí)，如音視頻的解碼與渲染，采集與編碼，音視頻的處理與性能優(yōu)化等；在此基礎(chǔ)上最后綜合當(dāng)下*流行的直播場(chǎng)景，介紹如何將書中的已有項(xiàng)目改造、適配成為一個(gè)直播產(chǎn)品，進(jìn)一步幫助讀者自由、有效的開發(fā)出功能豐富、性能一流的音視頻App。 ?

如何快速的開發(fā)一個(gè)完整的iOS直播app

直播視頻App軟件如何開發(fā) 1.形成用戶的正反饋 所謂正反饋也就是在網(wǎng)絡(luò)上的正面效應(yīng)，也就是用戶量與視頻直播App產(chǎn)品價(jià)值是一種正反饋的關(guān)系存在的。一般來講，產(chǎn)品的價(jià)值是隨著用戶數(shù)量和產(chǎn)品購買率、消費(fèi)轉(zhuǎn)化率的提升而不斷提升。反過來講，隨著產(chǎn)品價(jià)值不斷提升，在直播內(nèi)容的輸出上會(huì)更有價(jià)值，則能夠吸引更多關(guān)注。為此在用戶參與的視頻App設(shè)計(jì)上，開發(fā)者是一種全民參與直播的形式，同時(shí)打造嚴(yán)格的審核機(jī)制，確保凈化空間環(huán)境。 2.增加用戶的參與感 對(duì)于視頻App直播產(chǎn)品來講，其自身的優(yōu)點(diǎn)在于用戶能夠在平臺(tái)上進(jìn)行互動(dòng)和討論交流，也就是用戶參與的過程，而且在用戶的互動(dòng)中，激發(fā)其他用戶自我表達(dá)的欲望。為此對(duì)于產(chǎn)品設(shè)計(jì)而言，應(yīng)該根據(jù)蘋果手機(jī)的用戶習(xí)慣，進(jìn)行設(shè)計(jì)交互性強(qiáng)、性能好的直播類視頻App產(chǎn)品，以及打造參與門檻低的板塊，進(jìn)而增強(qiáng)用戶的參與感。 3.專注于解決問題 對(duì)于任何產(chǎn)品來講，并不是產(chǎn)品的功能越全面越好，而是需要在不斷的升級(jí)過程中，滿足目標(biāo)用戶需求增長、變化。為此對(duì)于天瑞地安直播類視頻App軟件開發(fā)團(tuán)隊(duì)而言，在為客戶設(shè)計(jì)產(chǎn)品的過程中，會(huì)根據(jù)客戶自身的情況，在初級(jí)版本的設(shè)計(jì)中，專注于解決用戶的某一個(gè)問題，從而達(dá)到吸引用戶、培養(yǎng)用戶的效果。而在功能迭代的過程中，會(huì)將重要的功能點(diǎn)前置，致力于為客戶打造最具性價(jià)比的產(chǎn)品。

如何實(shí)現(xiàn) iOS開發(fā)webrtc 視頻通話時(shí)錄像，截屏。

實(shí)現(xiàn) iOS開發(fā)webrtc 視頻通話時(shí)錄像，截屏推薦ZEGO即構(gòu)科技，4行代碼，30分鐘在APP、Web和小程序等應(yīng)用內(nèi)實(shí)現(xiàn)視頻通話、語音通話，互動(dòng)直播功能?！军c(diǎn)擊免費(fèi)試用，0成本啟動(dòng)】

實(shí)現(xiàn) iOS開發(fā)webrtc 視頻通話時(shí)錄像，截屏的具體步驟如下：

1.權(quán)限申請(qǐng)。

2.引入 WebRTC 庫。

3.采集并顯示本地視頻。

4.信令驅(qū)動(dòng)。

5.創(chuàng)建音視頻數(shù)據(jù)通道。

6.媒體協(xié)商。

7.渲染遠(yuǎn)端視頻。

想要了解更多關(guān)于webrtc的相關(guān)信息，推薦咨詢ZEGO即構(gòu)科技。ZEGO即構(gòu)科技自主研發(fā)的高音質(zhì)語音視頻引擎，能夠提供實(shí)時(shí)清晰的多人語音通話獨(dú)立自研的語音前處理模塊（AEC, NS, AGC）能夠提供優(yōu)于同類競(jìng)品的處理效果，支持全帶語音處理。良好的抖動(dòng)緩沖、前向糾錯(cuò)和丟幀補(bǔ)償技術(shù)使引擎適應(yīng)復(fù)雜的網(wǎng)絡(luò)環(huán)境，提供低延時(shí)清晰流暢的語音視頻通話，在較差網(wǎng)絡(luò)環(huán)境中自適應(yīng)的找到延時(shí)與流暢的最佳契合點(diǎn)。

iOS開發(fā)小知識(shí)之檢測(cè)程序被中斷，進(jìn)入后臺(tái)，耳機(jī)的插拔點(diǎn)擊等事件

在iOS端關(guān)于音頻或視頻的開發(fā)中，聲音或者視頻播放的時(shí)候一些外界的因素可能會(huì)把音視頻打斷，比如電話，或者其他會(huì)播放音頻的APP，這時(shí)候程序的音頻或視頻都會(huì)中斷，但是我們?cè)倩氐角芭_(tái)時(shí)需要更改一些UI上的變化（比如正在播放的音樂被電話打斷，電話掛掉之后音樂會(huì)保持暫停的狀態(tài)，但是如果不及時(shí)更新UI，播放按鈕會(huì)保持正在播放的狀態(tài)），這時(shí)候我們就需要對(duì)這些時(shí)間進(jìn)行主動(dòng)的監(jiān)聽，來進(jìn)行我們需要的操作，

情況一：用戶按home鍵主動(dòng)退到后臺(tái)，一般的音樂類播放軟件都會(huì)有后臺(tái)播放的設(shè)置，不用進(jìn)行額外的操作，但是如果是正在播放視頻的話，退到后臺(tái)后視頻應(yīng)該是暫停狀態(tài)，這時(shí)我們只需要在AppDelegate的相關(guān)方法中進(jìn)行主動(dòng)的設(shè)置就可以

情況二：被電話或者其他App播放的聲音打斷，此時(shí)就需要我們?cè)诔绦蛑腥ケO(jiān)聽這些事件，當(dāng)事件被觸發(fā)時(shí)進(jìn)行相應(yīng)的操作

其中AVAudioSessionInterruptionNotification就是系統(tǒng)提供的被中斷的通知

然后在被打斷時(shí)進(jìn)行相應(yīng)的操作

音樂類軟件為了提高用戶體驗(yàn)一般都會(huì)添加耳機(jī)線控音樂的功能（單機(jī)暫停/播放，雙擊下一曲，點(diǎn)擊三下上一曲），還可以對(duì)耳機(jī)的插拔進(jìn)行監(jiān)聽

監(jiān)聽耳機(jī)的插拔：

點(diǎn)擊耳機(jī)中鍵的事件：

首先要在程序入口處讓app接收遠(yuǎn)程控制事件

然后在遠(yuǎn)程事件通知中進(jìn)行相應(yīng)的操作（這個(gè)通知還會(huì)接收系統(tǒng)上拉菜單中的控制中心的播放和暫停按鈕）