當(dāng)下抖音非?;馃?,是不是也很心動(dòng)做一個(gè)類似的app嗎?
成都創(chuàng)新互聯(lián)成立與2013年,先為明溪等服務(wù)建站,明溪等地企業(yè),進(jìn)行企業(yè)商務(wù)咨詢服務(wù)。為明溪企業(yè)網(wǎng)站制作PC+手機(jī)+微官網(wǎng)三網(wǎng)同步一站式服務(wù)解決您的所有建站問(wèn)題。
優(yōu)質(zhì)短視頻內(nèi)容的產(chǎn)生依賴于短視頻的采集和特效編輯,這就要求在進(jìn)行抖音APP開(kāi)發(fā)時(shí),用到基礎(chǔ)的美顏、混音、濾鏡、變速、圖片視頻混剪、字幕等功能,在這些功能基礎(chǔ)上,進(jìn)行預(yù)處理,結(jié)合OpenGL、AI、AR技術(shù),產(chǎn)生很多有趣的動(dòng)態(tài)貼紙玩法,使得短視頻內(nèi)容更具創(chuàng)意。
視頻錄制的大致實(shí)現(xiàn)流程是先由 Camera 、 AudioRecord 進(jìn)行最原始的相機(jī)畫面以及聲音的采集,然后將采集的數(shù)據(jù)進(jìn)行濾鏡、降噪等前處理,處理完成后由 MediaCodec 進(jìn)行硬件編碼,最后采用 MediaMuxer 生成最終的 MP4 文件。
視頻的處理和播放主要是視頻的清晰度、觀看流暢度方面的體驗(yàn)。在這方面來(lái)講,可以采用“窄帶高清”技術(shù),在節(jié)省碼率的同時(shí)能夠提供更加清晰的觀看體驗(yàn),經(jīng)過(guò)測(cè)試,同等視頻質(zhì)量下最高可以節(jié)省20-40%帶寬。除了帶寬之外,短視頻內(nèi)容的存儲(chǔ)和cdn優(yōu)化也尤為重要,通常我們需要上傳到云存儲(chǔ)服務(wù)器的內(nèi)容是短視頻內(nèi)容和封面內(nèi)容。
而CDN優(yōu)化帶給短視頻平臺(tái)的則是進(jìn)一步的短視頻首次載入和循環(huán)播放方面的體驗(yàn)。比如針對(duì)首播慢的問(wèn)題,像阿里云播放器支持QUIC協(xié)議,基于CDN的調(diào)度,可以使短視頻首次播放秒開(kāi)的成功率達(dá)到98%,此外在循環(huán)播放時(shí)還可以邊播放邊緩存,用戶反復(fù)觀看某一短視頻時(shí)就不用耗費(fèi)流量了。
在Android系統(tǒng)當(dāng)中,如果需要一臺(tái)Android設(shè)備來(lái)獲取到一個(gè)MP4這樣的視頻文件的話,主流的方式一共與三種:MediaRecorder、MediaCodec+MediaMuxer、FFmpeg。
MediaRecorder:是Android系統(tǒng)直接提供給我們的錄制類,用于錄制音頻和視頻的一個(gè)類,簡(jiǎn)單方便,不需要理會(huì)中間錄制過(guò)程,結(jié)束錄制后可以直接得到音頻文件進(jìn)行播放,錄制的音頻文件是經(jīng)過(guò)壓縮的,需要設(shè)置編碼器,錄制的音頻文件可以用系統(tǒng)自帶的播放器播放。
優(yōu)點(diǎn):大部分以及集成,直接調(diào)用相關(guān)接口即可,代碼量小,簡(jiǎn)單穩(wěn)定;
缺點(diǎn):無(wú)法實(shí)時(shí)處理音頻;輸出的音頻格式不是很多。
MediaCodec+MediaMuxer:MediaCodec 與 MediaMuxer結(jié)合使用同樣能夠?qū)崿F(xiàn)錄制的功能。MediaCodec是Android提供的編解碼類,MediaMuxer則是復(fù)用類(生成視頻文件)。從易用性的角度上來(lái)說(shuō)肯定不如MediaRecorder,但是允許我們進(jìn)行更加靈活的操作,比如需要給錄制的視頻添加水印等各種效果。
優(yōu)點(diǎn): 與MediaRecorder一樣低功耗速度快,并且更加靈活
缺點(diǎn): 支持的格式有限,兼容性問(wèn)題
FFmpeg:?FFmpeg(Fast forword mpeg,音視頻轉(zhuǎn)換器)是一個(gè)開(kāi)源免費(fèi)跨平臺(tái)的視頻和音頻流方案,它提供了錄制/音視頻編解碼、轉(zhuǎn)換以及流化音視頻的完整解決方案。主要的作用在于對(duì)多媒體數(shù)據(jù)進(jìn)行解協(xié)議、解封裝、解碼以及轉(zhuǎn)碼等操作
優(yōu)點(diǎn):格式支持非常的強(qiáng),十分的靈活,功能強(qiáng)大,兼容性好;
缺點(diǎn):C語(yǔ)言些的音視頻編解碼程序,使用起來(lái)不是很方便。
雖然從數(shù)據(jù)看來(lái)FFmpeg是最好的,但是我們得首先排除這種,因?yàn)樗囊子眯允亲畈畹模黄浯?,MediaRecorder也是需要排除的,所以在這里我比較推薦MediaCodec+MediaMuxer這種方式。
碼率:數(shù)據(jù)傳輸時(shí)單位時(shí)間傳送的數(shù)據(jù)位數(shù),kbps:千位每秒。碼率和質(zhì)量成正比,也和文件體積成正比。碼率超過(guò)一定數(shù)值,對(duì)圖像的質(zhì)量沒(méi)有多大的影響。
幀數(shù):每秒顯示多少個(gè)畫面,fps
關(guān)鍵幀間隔:在H.264編碼中,編碼后輸出的壓縮圖像數(shù)據(jù)有多種,可以簡(jiǎn)單的分為關(guān)鍵幀和非關(guān)鍵幀。關(guān)鍵幀能夠進(jìn)行獨(dú)立解碼,看成是一個(gè)圖像經(jīng)過(guò)壓縮的產(chǎn)物。而非關(guān)鍵幀包含了與其他幀的“差異”信息,也可以稱呼為“參考幀”,它的解碼需要參考關(guān)鍵幀才能夠解碼出一個(gè)圖像。非關(guān)鍵幀擁有更高的壓縮率。
MediaMuxer和MediaCodec這兩個(gè)類,它們的參考文http://developer.android.com/reference/android/media/MediaMuxer.html和http://developer.android.com/reference/android/media/MediaCodec.html,里邊有使用的框架。這個(gè)組合可以實(shí)現(xiàn)很多功能,比如音視頻文件的編輯(結(jié)合MediaExtractor),用OpenGL繪制Surface并生成mp4文件,屏幕錄像以及類似Camera app里的錄像功能(雖然這個(gè)用MediaRecorder更合適)等。
它們一個(gè)是生成視頻,一個(gè)生成音頻,這里把它們結(jié)合一下,同時(shí)生成音頻和視頻?;究蚣芎土鞒倘缦拢?/p>
首先是錄音線程,主要參考HWEncoderExperiments。通過(guò)AudioRecord類接收來(lái)自麥克風(fēng)的采樣數(shù)據(jù),然后丟給Encoder準(zhǔn)備編碼:
AudioRecord audio_recorder;
audio_recorder = new AudioRecord(MediaRecorder.AudioSource.MIC,
SAMPLE_RATE, CHANNEL_CONFIG, AUDIO_FORMAT, buffer_size);
// ...
audio_recorder.startRecording();
while (is_recording) {
byte[] this_buffer = new byte[frame_buffer_size];
read_result = audio_recorder.read(this_buffer, 0, frame_buffer_size); // read audio raw data
// …
presentationTimeStamp = System.nanoTime() / 1000;
audioEncoder.offerAudioEncoder(this_buffer.clone(), presentationTimeStamp); // feed to audio encoder
}
這里也可以設(shè)置AudioRecord的回調(diào)(通過(guò)setRecordPositionUpdateListener())來(lái)觸發(fā)音頻數(shù)據(jù)的讀取。offerAudioEncoder()里主要是把a(bǔ)udio采樣數(shù)據(jù)送入音頻MediaCodec的InputBuffer進(jìn)行編碼:
ByteBuffer[] inputBuffers = mAudioEncoder.getInputBuffers();
int inputBufferIndex = mAudioEncoder.dequeueInputBuffer(-1);
if (inputBufferIndex >= 0) {
ByteBuffer inputBuffer = inputBuffers[inputBufferIndex];
inputBuffer.clear();
inputBuffer.put(this_buffer);
...
mAudioEncoder.queueInputBuffer(inputBufferIndex, 0, this_buffer.length, presentationTimeStamp, 0);
}
下面,參考Grafika-SoftInputSurfaceActivity,并加入音頻處理。主循環(huán)大體分四部分:
try {
// Part 1
prepareEncoder(outputFile);
...
// Part 2
for (int i = 0; i < NUM_FRAMES; i++) {
generateFrame(i);
drainVideoEncoder(false);
drainAudioEncoder(false);
}
// Part 3
...
drainVideoEncoder(true);
drainAudioEncoder(true);
} catch (IOException ioe) {
throw new RuntimeException(ioe);
} finally {
// Part 4
releaseEncoder();
}
第1部分是準(zhǔn)備工作,除了video的MediaCodec,這里還初始化了audio的MediaCodec:
MediaFormat audioFormat = new MediaFormat();
audioFormat.setInteger(MediaFormat.KEY_SAMPLE_RATE, 44100);
audioFormat.setInteger(MediaFormat.KEY_CHANNEL_COUNT, 1);
...
mAudioEncoder = MediaCodec.createEncoderByType(AUDIO_MIME_TYPE);
mAudioEncoder.configure(audioFormat, null, null, MediaCodec.CONFIGURE_FLAG_ENCODE);
mAudioEncoder.start();
第2部分進(jìn)入主循環(huán),app在Surface上直接繪圖,由于這個(gè)Surface是從MediaCodec中用createInputSurface()申請(qǐng)來(lái)的,所以畫完后不用顯式用queueInputBuffer()交給Encoder。drainVideoEncoder()和drainAudioEncoder()分別將編碼好的音視頻從buffer中拿出來(lái)(通過(guò)dequeueOutputBuffer()),然后交由MediaMuxer進(jìn)行混合(通過(guò)writeSampleData())。注意音視頻通過(guò)PTS(Presentation time stamp,決定了某一幀的音視頻數(shù)據(jù)何時(shí)顯示或播放)來(lái)同步,音頻的time stamp需在AudioRecord從MIC采集到數(shù)據(jù)時(shí)獲取并放到相應(yīng)的bufferInfo中,視頻由于是在Surface上畫,因此直接用dequeueOutputBuffer()出來(lái)的bufferInfo中的就行,最后將編碼好的數(shù)據(jù)送去MediaMuxer進(jìn)行多路混合。
注意這里Muxer要等把a(bǔ)udio track和video track都加入了再開(kāi)始。MediaCodec在一開(kāi)始調(diào)用dequeueOutputBuffer()時(shí)會(huì)返回一次INFO_OUTPUT_FORMAT_CHANGED消息。我們只需在這里獲取該MediaCodec的format,并注冊(cè)到MediaMuxer里。接著判斷當(dāng)前audio track和video track是否都已就緒,如果是的話就啟動(dòng)Muxer。
總結(jié)來(lái)說(shuō),drainVideoEncoder()的主邏輯大致如下,drainAudioEncoder也是類似的,只是把video的MediaCodec換成audio的MediaCodec即可。
while(true) {
int encoderStatus = mVideoEncoder.dequeueOutputBuffer(mBufferInfo, TIMEOUT_USEC);
if (encoderStatus == MediaCodec.INFO_TRY_AGAIN_LATER) {
...
} else if (encoderStatus == MediaCodec.INFO_OUTPUT_BUFFERS_CHANGED) {
encoderOutputBuffers = mVideoEncoder.getOutputBuffers();
} else if (encoderStatus == MediaCodec.INFO_OUTPUT_FORMAT_CHANGED) {
MediaFormat newFormat = mAudioEncoder.getOutputFormat();
mAudioTrackIndex = mMuxer.addTrack(newFormat);
mNumTracksAdded++;
if (mNumTracksAdded == TOTAL_NUM_TRACKS) {
mMuxer.start();
}
} else if (encoderStatus < 0) {
...
} else {
ByteBuffer encodedData = encoderOutputBuffers[encoderStatus];
...
if (mBufferInfo.size != 0) {
mMuxer.writeSampleData(mVideoTrackIndex, encodedData, mBufferInfo);
}
mVideoEncoder.releaseOutputBuffer(encoderStatus, false);
if ((mBufferInfo.flags & MediaCodec.BUFFER_FLAG_END_OF_STREAM) != 0) {
break;
}
}
}
第3部分是結(jié)束錄制,發(fā)送EOS信息,這樣在drainVideoEncoder()和drainAudioEncoder中就可以根據(jù)EOS退出內(nèi)循環(huán)。第4部分為清理工作。把a(bǔ)udio和video的MediaCodec,MediaCodec用的Surface及MediaMuxer對(duì)象釋放。
最后幾點(diǎn)注意:
1. 在AndroidManifest.xml里加上錄音權(quán)限,否則創(chuàng)建AudioRecord對(duì)象時(shí)鐵定失?。?/p>
2. 音視頻通過(guò)PTS同步,兩個(gè)的單位要一致。
3. MediaMuxer的使用要按照Constructor -> addTrack -> start -> writeSampleData -> stop 的順序。如果既有音頻又有視頻,在stop前兩個(gè)都要writeSampleData()過(guò)。
以上就是抖音類APP的部分內(nèi)容,其中的步驟和過(guò)程是我親自實(shí)踐過(guò)的,按照上述的過(guò)程應(yīng)該都可以正常運(yùn)行,寫這一篇文章花了很多時(shí)間,希望所有看了這篇文章的朋友們都能夠有一定的收獲。此外更多的Android短視頻詳細(xì)內(nèi)容可見(jiàn)下方附帶資料:
【附】相關(guān)視頻及資料
鏈接:https://pan.baidu.com/s/17TwdsQizp1R02zKHoykTMA
提取碼:krzw