二次元直播 : 虛擬主播與 Replay kit 的邂逅
- 1. 二次元直播 - 虛擬主播 與 ReplayKit 的邂逅 Han Chang
- 2. 我是誰 ? 17 Media iOS 工程師 ? Twitter：@8E9BfRgcq3vsVUZ ? 雪癌患者 2
- 3. 二次元直播 - 虛擬主播與 ReplayKit 的邂逅 3
- 4. 二次元直播 - 虛擬主播與 ReplayKit 的邂逅 4
- 5. 虛 擬 主 播 5
- 6. 虛 擬 主 播 6
- 7. 虛 擬 主 播 7
- 10. 所以到底主題是？ 10
- 12. 虛擬主播操作流程 12
- 13. 大綱 ? 17 直播推流架構 ? 螢幕直播推流架構 ? 實作螢幕直播遇到的問題 13
- 14. 17 直播推流架構 14
- 19. 螢幕直播推流架構 19
- 22. ReplayKit 版本差異 iOS 9 iOS 10 iOS 11 iOS 12 基本錄製功能 透過 App Extension 取得 real time data 系統層級的錄製 (ReplayKit 2) 從 App 啟動系統錄製 App Extension 22
- 23. 螢幕錄製 on iOS 9 RPScreenRecorder RPPreview ViewController 開始錄製 結束錄製 編輯 / 儲 存 23 An App
- 24. 螢幕直播 on iOS 10 Broadcast Upload Extension Start / Stop LFLiveKit A/V Data 24 An App
- 25. 螢幕直播 on iOS 11 Control Center Broadcast Upload Extension LFLiveKit A/V Data ReplayKit Select UI Present Select UI Start / Stop 25
- 28. iOS 11 螢幕直播生命週期 Process Sample Application 設定 初始化 開始 處理樣本 停止 錯誤警示 Broadcast Upload Extension 28
- 29. iOS 11 螢幕直播生命週期 濾鏡+渲染影像採集 編碼 推流 混音聲音採集 LFLiveKit 29
- 30. iOS 11 螢幕直播生命週期 濾鏡+渲染Video 編碼 推流 混音 Audio (Mic) Broadcast Upload Extension LFLiveKit Audio (App) 30
- 31. 實作螢幕直播遇到的問題 31
- 33. 如何與 溝通 ? 共用 NSUserDefault (間接) ? 使用 CFNoti?cationCenter (直接) 33
- 34. 觀眾聽不到主播聲音 34
- 36. 混音：以 App Audio 為主 Audio (app) Audio (mic) Mix Audio 36
- 37. 混音：Video 備案 Video Audio (app) Audio (mic) Mix Audio (fake) trigger Audio 37
- 38. 有聲音但影像變好卡 38
- 39. 音視頻同步 時間 影像 聲音(0 ~ 0.5秒) 0秒 0.5秒 1秒 39 (Timestamp 均為 0.5)
- 40. 音視頻同步 時間 影像 0秒 0.5秒 1秒 聲音(0 ~ 0.5秒) 40 (Timestamp 平均分配)
- 41. 螢幕轉橫就跑板了 41
- 42. 42
- 43. 螢幕方向資訊 ? CMSampleBufferRef -> RPVideoSampleOrientationKey -> CGImagePropertyOrientation ? API_AVAILABLE(ios( 11.1)) 43
- 45. 影像渲染編碼流程 渲染影像 渲染結果 編碼 輸出影像尺寸 螢幕方向 重新產生 frame bu?er 45
- 46. 影像渲染編碼流程 渲染影像 渲染結果 編碼 輸出影像尺寸 螢幕方向 重新產生 frame bu?er 解析度改變 重置編碼器 46
- 47. 總結 ? Server Clusters ? ReplayKit 2 (Broadcast Upload Extension) ? LFLiveKit 47
- 48. Thank You