直播软件平台搭建开发定制功能

推拉流

推拉流是直播软件中将视频数据传输到流媒体服务器及用户拉流呈现直播画面的重要过程。

推流的过程如下：首先通过摄像头或录屏功能进行视频采集用于直播间搭建。接着通过话筒进行音频采集，音频原始数据格式为 PCM。然后将视频文件编码，视频格式从 YUV (RGB) 变为 H.264 (H.265)。将音频文件编码，视频格式从 YUV (RGB) 变为 H.264 (H.265)，同时将音频文件编码，音频格式从 PCM 变为 AAC。之后将视频与音频文件编码为有 “流媒体” 特性的多媒体容器格式，此时音视频结合成了 FLV 或 TS 或 RTMP Packet，这要视传输协议的规定而定。接下来选择一种向服务器推流的协议，应用层协议有 HLS、RTSP、RTMP 等，传输层协议有 RTCP、RTP，网络层协议有 RSVP。后传入推流地址（URL）来定位推流目标，开始推流，比如在斗鱼当主播，OBS 中的推流地址就写斗鱼的，在六间房当程序员，程序中默认的推流地址就写六间房的。

拉流的过程为：首先通过某种渠道获取拉流 URL（或者叫播放 URL），并选取一种从服务器拉流的协议，然后开始拉流，应用层协议有 HLS、RTSP、RTMP 等，传输层协议有 RTCP、RTP，网络层协议有 RSVP。接着将处于 “多媒体容器格式” 的流解复用成为 “视频编码格式” 的视频数据（如 H.264）和 “音频编码格式” 的音频数据（如 AAC）。然后使用硬解码（GPU 解码 + CPU 辅助）或软解码（CPU 解码），解码后视频数据格式为 YUV 或 RGB，音频数据格式为 PCM。之后执行音画同步操作。后将同步后的音频（PCM）送到音频输出设备播放，将同步后的视频（YUV 或 RGB）送到视频输出设备播放。

音视频解码播放是直播软件中保证用户观看体验的关键环节，需要满足音频清晰、画质清楚的要求。

直播切片对播放器的要求包括音视频解码、播放控制、音视频轨道选择等基本功能要求，流畅性、稳定性、适应性等性能要求，以及跨平台兼容性、浏览器兼容性、插件与扩展兼容性等兼容性要求。音视频解码需要支持主流音视频格式的解码，如 H.264、H.265 等，确保直播画面的流畅播放。播放控制要提供播放、暂停、快进、快退等基本控制功能，方便用户观看直播内容。音视频轨道选择要支持音视频轨道选择，满足用户对不同音轨和字幕的需求。

在解码过程中，要注意处理好视频的各种参数，如码率、采样率、帧等。码率是形容音视频压缩数据传输过程中，每秒钟传输的数据量，码率越高，传输数据越大，音视频质量就越好，但不是所有的数据都是越高越好，需要考虑到别的因素，选择一个合适的数据区间范围。采样率通俗来说就是指在每秒内，对音视频信号采样了多少点，每个点有多少比特，通常用 HZ 来表示。采样率越高，听到或看到的声音画面就越连贯，但人能分辨的采样率是有限的。帧是视频小的构成单位，每秒中的帧的数量的为帧数，用 FPS 来表示。帧率越高，看到的直播画面就越流畅，但帧率不是越高越好，当帧率超过屏幕刷新率时，多出来的帧率就会浪费，所以在搭建直播平台时，多是使用 30FPS 的帧率。