上海视沃信息科技有限公司 申请试用
SmartMediaKit 产品模块

WHIP推流SDK

面向 WebRTC 实时媒体接入的 WHIP 直播推流 SDK，支持摄像头采集直推、RTSP/RTMP 转 WHIP 发布，可配合 SmartMediaServer 实现 WHEP 实时观看与多协议分发。

申请试用 查看产品矩阵 WHIP 接入文档 联系技术对接

面向 WebRTC 实时音视频接入的超低延迟推流 SDK，支持摄像头直推、RTSP／RTMP 转 WHIP、多协议融合与私有化部署。

大牛直播 SDK（SmartMediaKit）WHIP 直播推流 SDK，是基于自研音视频内核打造的实时媒体发布模块，遵循 IETF RFC 9725 标准，通过 WHIP（WebRTC-HTTP Ingestion Protocol）将摄像头、麦克风及外部音视频数据发布到支持 WHIP 的流媒体服务器，适用于浏览器低延迟观看、远程协作、移动视频回传、工业巡检、智能机器人及实时视觉感知等场景。

依托 SmartMediaKit 自 2015 年以来持续积累的采集、编码、推流、播放和媒体转发能力，WHIP 推流 SDK 不仅支持终端摄像头采集后直接发布，还可配合 RTSP／RTMP 拉流模块，将已有网络摄像机、NVR 和直播平台的音视频流转换为 WHIP 推送。对于编码格式兼容的视频，可复用已有压缩数据，避免不必要的重复编解码，有助于降低 CPU 占用、功耗和额外处理时延。

WHIP 推流 SDK 可与 SmartMediaKit 的 RTMP 推流、轻量级 RTSP 服务、GB28181 设备接入及录像等模块按需组合，并配合 SmartMediaServer 实现 WHIP 媒体接入、WHEP 实时观看和多协议分发，为行业客户提供从终端采集、边缘汇聚到中心媒体服务的完整技术方案。

模块定位

WHIP 直播推流 SDK 主要解决实时音视频数据接入 WebRTC 媒体服务的问题。开发者无需自行构建完整的 WebRTC 推流信令与传输模块，即可通过 SDK 接口实现 WHIP Endpoint 配置、SDP 会话协商、ICE 连接建立、DTLS/SRTP 媒体传输、推流状态管理及网络传输参数控制等功能。

模块支持两类典型接入方式：

1. 摄像头及音视频数据直接发布

通过 SmartMediaKit 现有采集与编码能力，将摄像头、麦克风或外部输入的音视频数据发布至 WHIP 服务器。适用于移动采集终端、远程技术支持、视频协作及现场实时回传等应用。

2. RTSP／RTMP 拉流转 WHIP 发布

通过 SmartMediaKit 拉流模块获取已有 RTSP／RTMP 音视频数据，经编码格式判断、时间戳适配及必要的音频处理后，由 WHIP 模块主动发布至服务器。适用于传统摄像机上云、边缘视频汇聚和已有直播系统的 WebRTC 接入改造。

两种方式均可复用 SmartMediaKit 的媒体处理能力，减少业务侧重复开发，并根据项目需求灵活选择发布链路。

技术特点和优势

全自研音视频内核

WHIP 推流 SDK 基于 SmartMediaKit 自研音视频框架构建，复用已有采集、编码、外部数据输入、媒体处理和 Publisher 生命周期管理能力，并扩展 WebRTC 会话协商、实时媒体发送及网络反馈机制。

新增 WHIP 发布方式无需重新构建整个音视频采集系统，便于在既有 SDK 架构上持续扩展和维护。

标准化 WHIP 接入

遵循 RFC 9725 WHIP 标准，采用 HTTP 完成 SDP Offer/Answer 交互，通过 ICE 建立媒体连通路径，并基于 DTLS/SRTP 实现安全媒体传输。

支持配置 WHIP Endpoint URL、Bearer Token、HTTP 连接超时及请求超时等参数，可对接遵循相应 WHIP 规范的流媒体服务，减少平台间定制信令适配的复杂度。

面向超低延迟实时媒体传输

基于 WebRTC 实时媒体传输机制，提供视频 NACK 重传响应、RTP Pacing 平滑发送等配置能力，在网络条件和接收端协商支持的情况下，有助于改善丢包恢复与发送突发问题。

针对远程巡检、移动作业、机器人视觉及实时协作等场景，可结合采集、编码、缓存、服务器转发和播放端参数进行端到端低延迟优化。实际延迟取决于设备性能、编码配置、网络状况及接收终端。

支持摄像头直接 WHIP 推流

可复用 SmartMediaKit 的摄像头采集、音视频编码及媒体输入接口，将终端音视频数据发布至 WHIP 服务器。

Android Camera2 Demo 已提供完整的摄像头 WHIP 推流示例，涵盖 Camera2 图像采集、YUV 数据接入、麦克风音频输入、WHIP 参数配置、推流启停及连接状态回调。

支持 RTSP／RTMP 转 WHIP

配合 SmartMediaKit 拉流模块，可将已有 RTSP／RTMP 音视频源转换为 WHIP 发布，无需更换现场摄像机或原有视频生产系统。

当视频编码格式及相关参数满足目标链路要求时，可直接复用压缩视频数据，减少重复编解码开销；对于不兼容的音频格式，可根据目标媒体服务要求进行必要的格式适配。

该方式特别适合 IPC、NVR、工业摄像机及传统直播系统向 WebRTC 实时观看平台扩展。

网络反馈与发送节奏控制

提供视频 RTP NACK 重传响应配置，可在协商支持、发送端缓存有效且网络条件允许时，响应接收端的丢包恢复请求。

支持 RTP Pacing 平滑发送，减少编码视频尤其是较大关键帧造成的瞬时发送突发。对于外部编码视频输入，还提供平均编码码率配置接口，辅助发送节奏控制。

相关机制可根据实际网络环境、视频码率和实时性要求进行组合调优。

灵活的音视频数据接入

复用 SmartMediaKit 现有音视频处理与输入能力，可根据平台及模块版本接入摄像头、麦克风、外部原始音视频数据和外部压缩码流。

针对 WebRTC 常用媒体格式，支持按实际协商结果组织媒体发布。对于 G.711 等传统音频来源，提供 G.711 转 Opus 的适配配置入口。

视频 H.264/H.265、音频 Opus 等具体格式的实际互通能力，需与目标 WHIP 服务端及接收终端共同验证。

完整的状态回调与生命周期管理

提供 WHIP HTTP 信令状态、媒体通道连接状态及异常事件回调，便于业务应用区分会话协商失败、网络连通性异常和媒体通道断开等情况。

支持通过 SDK 接口控制 WHIP 发布启动与停止，并结合业务侧状态机实现异常检测、资源释放和重连恢复策略。

模块化设计与多协议协同

WHIP 推流模块可与 RTMP 推流、轻量级 RTSP 服务、RTSP／RTMP 拉流、录像及 GB28181 设备接入模块按需组合。

通过模块化方式复用音视频采集、编码与媒体处理能力，让同一套终端应用能够适应局域网直连、传统直播平台、国标系统及 WebRTC 实时媒体服务等不同业务需求。

配合 SmartMediaServer 构建完整媒体链路

WHIP 推流 SDK 可作为 SmartMediaServer 的媒体发布端，将终端采集或边缘汇聚的视频主动接入中心服务器。

SmartMediaServer 可进一步承担媒体通道管理、访问控制、录像以及 WHEP、RTMP、HTTP-FLV、HLS 等适用输出的分发工作，帮助开发者构建从终端到中心、从实时观看到业务平台集成的音视频解决方案。

功能支持

WHIP 推流与会话管理

  • 支持基于 RFC 9725 的 WHIP 推流接入；
  • 支持设置 WHIP Endpoint URL；
  • 支持 Bearer Token 鉴权配置；
  • 支持 HTTP SDP Offer/Answer 会话协商；
  • 支持 ICE 网络连通性检查及 WebRTC 媒体通道建立；
  • 支持基于 DTLS/SRTP 的安全媒体传输；
  • 支持 HTTP 连接超时及请求超时设置；
  • 支持 HTTPS 证书校验相关配置；
  • 支持 WHIP 发布启动、停止及会话资源管理；
  • 支持 HTTP 信令和媒体通道状态事件回调。

视频处理与传输

  • 支持摄像头采集后编码发布；
  • 支持通过外部编码视频数据接入 WHIP 发布链路；
  • 支持 H.264 视频发布，具体编码配置需满足目标服务端协商要求；
  • H.265 等其他视频格式按服务器、终端及实际模块版本支持情况确定；
  • 支持视频 RTP NACK 重传响应配置；
  • 支持 RTP Pacing 平滑发送配置；
  • 支持外部编码视频平均码率配置；
  • 支持关键帧及视频时间戳处理；
  • 支持与已有视频采集、编码、图层处理及水印能力集成；
  • 支持按目标端兼容性要求进行必要的媒体格式适配。

音频处理与传输

  • 支持麦克风 PCM 音频数据接入；
  • 支持外部音频数据对接；
  • 支持适用于目标 WebRTC 链路的音频编码配置；
  • 提供 G.711 转 Opus 的适配配置接口；
  • 支持根据实际音频来源和目标接收能力进行格式适配；
  • 支持音视频时间关系处理与同步发布。

RTSP／RTMP 转 WHIP

  • 支持通过 SmartMediaKit 拉取已有 RTSP／RTMP 音视频流；
  • 支持获取上游音视频压缩数据；
  • 支持将兼容的 H.264 压缩视频数据接入 WHIP 发布链路；
  • 支持在必要位置进行编码格式与时间戳适配；
  • 支持按目标链路要求进行音频格式转换；
  • 支持将内网 RTSP 视频源主动发布至中心 WHIP 服务；
  • 支持结合应用层通道管理扩展多路视频转发业务；
  • 支持与 SmartMediaServer 组合实现边缘接入与中心分发。

工程集成与扩展

  • 提供 SDK 接口化集成方式；
  • 支持推流参数配置、事件通知及状态管理；
  • 可复用 SmartMediaKit 既有 Publisher 生命周期管理；
  • 可与 RTMP 推流、轻量级 RTSP 服务、录像及其他媒体模块组合；
  • 支持对接符合相应协议要求的 WHIP 流媒体服务；
  • 支持根据业务需求配置网络异常检测及重连处理策略；
  • 支持在不同终端和边缘设备中按需集成。

平台支持与接入方式

SmartMediaKit 已形成覆盖 Windows、Linux（x86_64／aarch64）、Android、iOS、HarmonyOS NEXT、macOS 等平台的音视频 SDK 能力体系，可复用各平台现有的采集、编码、外部音视频数据接入及业务集成经验。

其中，Android Camera2 WHIP 推流已有配套 Demo，可展示摄像头采集、音视频数据输入、WHIP 配置和发布的完整过程。其他平台可根据对应 WHIP SDK 版本、接口及 Demo 工程进行集成，具体可用范围以正式发布包为准。

典型应用场景

移动视频采集与实时回传

适用于移动执法终端、单兵设备、车载终端、便携采集设备和移动巡检 App。通过终端摄像头采集、编码后进行 WHIP 发布，中心平台可进一步向浏览器或业务终端提供实时观看服务。

工业巡检与远程专家协作

适用于电力巡检、工业设备维护、生产现场协作及远程技术支持。现场终端通过 WHIP 主动发布媒体，中心业务系统结合实时画面完成远程协作和现场状态判断。

智能机器人与实时视觉感知

适用于移动机器人、巡检机器人、工业机器人和其他智能终端的视频实时回传。WHIP 可作为实时媒体上行接入方式，与设备控制、业务信令和智能视觉分析模块协同工作。

传统摄像机接入 WebRTC

适用于 IPC、NVR 和已有 RTSP 视频监控系统。边缘节点通过 SmartMediaKit 拉取已有视频，并按需转换为 WHIP 发布，从而保留现场原有视频设备和网络架构。

RTMP 视频源实时化改造

适用于已有 RTMP 直播系统向浏览器实时观看平台扩展。在不改变原有视频生产工作流的情况下，通过 SmartMediaKit 增加 WHIP 发布链路，满足新的媒体接入需求。

多协议融合与私有化部署

适用于智慧安防、应急指挥、智慧园区、智慧教育、工业可视化以及企业内部视频系统。配合 SmartMediaServer，可根据不同终端需求组织实时媒体接入、分发、录像和业务管理能力。

对应 Demo

Android Camera2 WHIP 推流 Demo

基于 Android Camera2 摄像头采集，演示采集图像与麦克风音频输入 SmartMediaKit，并通过 WHIP 发布至流媒体服务器的完整流程。

主要包括：

  • Camera2 摄像头采集；
  • YUV_420_888 图像数据对接；
  • PCM 音频数据输入；
  • 视频编码与媒体处理；
  • WHIP Endpoint 和 Bearer Token 配置；
  • NACK、RTP Pacing 等参数设置；
  • WHIP 推流启动、停止和连接事件回调。

RTSP／RTMP 转 WHIP 推流 Demo

演示通过 SmartMediaKit 拉取已有 RTSP／RTMP 视频源，获取压缩音视频数据，经必要的媒体适配后发布至 WHIP 服务器。

主要包括：

  • RTSP／RTMP 视频源接入；
  • 音视频压缩数据回调；
  • 兼容视频数据的高效复用；
  • 音频格式适配；
  • 视频时间戳处理；
  • WHIP 发布与状态管理；
  • 通过支持 WHIP 的流媒体服务完成接入验证。

主要 WHIP 接口

以 Android Java 封装为例，WHIP 推流模块提供以下核心配置及控制接口：

接口 功能
SetWhipEndpointURL() 设置 WHIP 推流接入地址
SetWhipBearerToken() 设置 WHIP 鉴权令牌
SetWhipHttpConnectTimeoutMs() 设置 HTTP 连接超时
SetWhipHttpTimeoutMs() 设置 HTTP 请求超时
SetWhipRtpNackEnabled() 控制视频 RTP NACK 重传响应
SetWhipRtpPacingEnabled() 控制 RTP 平滑发送
SetWhipEncodedVideoKbitrate() 设置外部编码视频平均码率参考
SetWhipG711ToOpus() 配置 G.711 转 Opus 音频适配
start_whip_stream() 启动 WHIP 发布
stop_whip_stream() 停止 WHIP 发布

具体接口签名、参数和调用顺序以对应平台 SDK 头文件、封装及配套 Demo 为准。

产品总结

WHIP 直播推流 SDK 是 SmartMediaKit 面向 WebRTC 实时媒体接入的重要扩展。它既能够为新建摄像头、移动终端和实时协作应用提供标准化发布能力，也能够通过 RTSP／RTMP 转 WHIP 的方式，帮助已有音视频系统更高效地接入实时媒体服务。

依托 SmartMediaKit 成熟的采集、编码、播放、转发和模块化集成能力，并配合 SmartMediaServer 的中心媒体服务，开发者可以根据实际业务选择 WHIP、RTMP、RTSP、GB28181 等不同媒体接入和发布方式，构建更灵活、更易扩展的实时音视频系统。

SmartMediaKit——让实时音视频接入更灵活，让不同协议协同服务于更多行业场景。

如需了解 WHIP 推流 SDK 的平台版本、Demo 工程、功能授权或技术集成方案，可通过官网申请试用及联系技术支持。