[發明專利]一種處理視音頻的方法、裝置、電子設備及存儲介質

有效

• 申請號: 202010621187.2
• 申請日: 2020-07-01
• 公開（公告）號: CN111510744B
• 公開（公告）日: 2020-10-16
• 發明（設計）人: 黃裔
• 申請（專利權）人: 北京美攝網絡科技有限公司
• 主分類號: H04N21/2343
• 分類號: H04N21/2343;H04N21/845;H04N21/234;H04N21/233;H04N21/231
• 代理公司: 北京潤澤恒知識產權代理有限公司 11319
• 代理人: 莎日娜

本發明公開了一種處理視音頻的方法、裝置、電子設備及存儲介質。所述方法包括：web端啟動待編輯工程；web端從存儲服務器中下載攜帶有JavaScript接口的wasm相關文件，并對wasm相關文件進行編譯，得到wasm處理模塊；在待編輯工程中，wasm處理模塊通過JavaScript接口，添加視音頻軌道；wasm處理模塊獲取待編輯視音頻中的m3u8文件切片，并將m3u8文件切片添加到視音頻軌道；wasm處理模塊從存儲服務器中加載特效包；wasm處理模塊根據加載的特效包，對m3u8文件切片進行渲染處理。采用本發明的技術方案可以在web端實現在對圖像的實時渲染，避免了由服務器端處理視音頻的過程，解決了過渡依賴網絡、實時性較低等問題。

技術領域

本發明涉及信息處理技術領域，特別是涉及一種處理視音頻的方法、裝置、電子設備及存儲介質。

背景技術

在相關技術中，處理視音頻的方法為：由服務器端進行音視頻解碼、特效處理和圖像渲染，再將處理好的音視頻流混合后發送給web端，由web端進行實時播放和顯示。該方法中，web端不需要對音視頻進行處理，只負責實時播放和顯示圖像，然而在web端進行實時播放和顯示時，由于需要服務器端實時地將處理好的音視頻流發送給web端，因而存在過渡依賴網絡的問題，如果網絡環境不穩定或者網絡速度較差，該方法就會導致實時性無法保證，會出現頻繁卡頓的問題，進而導致web端的用戶體驗變得很差。

因此，處理視音頻的相關技術方案中，由于web端的播放和顯示，需要實時地從服務器端獲取，因而存在過渡依賴網絡、實時性較低等問題。

發明內容

鑒于上述問題，本發明實施例提供一種處理視音頻的方法、裝置、電子設備及存儲介質，旨在解決相關技術中存在的過渡依賴網絡和實時性較低的問題。

為了解決上述技術問題，本發明采取以下方案實現：

第一方面，提供了一種處理視音頻的方法，所述方法包括：

web端啟動待編輯工程；

所述web端從存儲服務器中下載攜帶有JavaScript接口的wasm相關文件，并對所述wasm相關文件進行編譯，得到wasm處理模塊；

在所述待編輯工程中，所述web端通過所述JavaScript接口，創建視音頻編輯界面；

所述wasm處理模塊獲取待編輯視音頻中的m3u8文件切片，并將所述m3u8文件切片添加到所述視音頻編輯界面；

所述web端從所述存儲服務器中下載特效包；

所述wasm處理模塊根據所述特效包，對所述m3u8文件切片進行渲染處理。

本發明實施例的第二方面，提供了一種處理視音頻的裝置，所述裝置包括：

啟動模塊，用于web端啟動待編輯工程；

獲取模塊，用于所述web端從存儲服務器中加載攜帶有JavaScript接口的wasm相關文件，并對所述wasm相關文件進行編譯，得到wasm處理模塊；

第一添加模塊，用于在所述待編輯工程中，所述web端通過所述JavaScript接口，創建視音頻編輯界面；

第二添加模塊，用于所述wasm處理模塊加載待編輯視音頻中的m3u8文件切片，并將所述m3u8文件切片添加到所述視音頻編輯界面；

下載模塊，用于所述Web端從所述存儲服務器中下載特效包；

處理模塊，用于所述wasm處理模塊根據所述特效包，對所述m3u8文件切片進行渲染處理。