大牛直播SDK官方博客技术文章目录

大牛直播SDK 技术文章目录

视沃科技(大牛直播SDK)RTMP推送-RTSP/RTMP直播SDK

视沃科技-大牛直播SDK daniulive.com

始于2014年,国内外为数不多致力于极致体验的超强全自研跨平台(windows/android/iOS)流媒体内核,通过模块化自由组合,支持实时RTMP推流、RTMP/RTSP直播播放(支持RTSP/RTMP H.265)、实时录像、多路流媒体转发、音视频导播、动态视频合成、音频混音、互动直播、内置轻量级RTSP服务等,比快更快,业界真正靠谱的超低延迟直播SDK(1秒内,低延迟模式下200~400ms)。

适用于在线教育、无纸化推屏/会议、智慧教室、直播答题、智能可视门禁对讲、智慧安防、智能家居、物联网、智能车载、传统硬件领域、超低延迟娃娃机抓取播放方案、媒体移动直播、应急指挥调度(针对保险、城管、交警、消防、公安等职能管理部门的单兵应急执法系统)、可视化购物、远程专家诊断、可视化巡检、(如电信/电力线路/铁路沿线/水利设施/油田/消防设施巡检)、移动视频安防监控,企业内训、金融在线直播室、微信直播、监控对接、活动现场直播、游戏直播、秀场直播等场景。

latest release note

除此之外,大牛直播SDK播放端,支持APICloudReact Native二次封装,并且全平台支持Unity3D平台,也可能是Unity3D平台下首款真正高稳定、超低延迟的rtmp/rtsp直播播放器。

android/iOS播放器SDK(V2)APICloud调用说明

windows/android/iOS播放器SDK(V2)Unity3D调用说明(更新于2018/10/31)

大牛直播SDK基于unity3d平台的rtmp/rtsp直播播放端SDK视频演示

Unity3D-Windows播放端APP下载(更新于2018/09/04)

Unity3D-Android播放端APK下载(更新于2018/10/24)

Windows端

  •  RTMP直播推流SDK rtmp推送SDK(支持同时推多路url,支持RTMP扩展H.265推送(64位库));
  •  RTMP/RTSP直播播放器SDK 业内首屈一指的rtmp/rtsp超低延迟直播播放器SDK(支持RTMP H.265扩展播放);
  •  Unity3D RTMP/RTSP直播播放器SDK 业内首家Windows支持Unity3D的超低延迟RTMP/RTSP直播播放器SDK,支持快照、录像、实时静音、view旋转、快速切换URL等特性;
  •  RTMP/RTSP多路流媒体转RTMP推送SDK 支持同时多路拉取rtmp/rtsp流/本地flv文件,并分别转发到服务器,支持转发过程中,拉取的rtsp/rtmp或本地flv文件实时内容切换,业内为数不多支持RTSP/RTMP H.265拉流转发的SDK(提供配套RTMP扩展H.265服务器);
  •  轻量级RTSP服务SDK 为满足内网无纸化/电子教室等内网超低延迟需求,避免让用户配置单独的服务器,大牛直播SDK在推送端支持轻量级RTSP服务SDK,推送端SDK支持的功能,内置轻量级RTSP服务SDK后,功能继续支持,windows端64位库支持RTSP H.265视频输出;
  •  内网RTSP网关SDK 内网RTSP网关SDK,系内置轻量级RTSP服务SDK扩展,完成外部RTSP/RTMP数据拉取并注入到轻量级RTSP服务SDK工作,多个内网客户端直接访问内网轻量级RTSP服务获取公网数据,无需部署单独的服务器,支持RTSP/RTMP H.265数据接入;
  •  导播SDK 数据源:1. rtmp/rtsp音视频流;2. 本地屏幕/摄像头/音频数据;3.本地flv文件;多路流合成一路实时导播推送;
  •  录像SDK 支持拉取rtmp/rtsp流实时录像模块/实时快照功能,支持纯音频、纯视频、音视频录制模式,支持音频(PCMU/PCMA,Speex等)转AAC后再录像,业内为数不多的支持RTSP/RTMP H.265录制到MP4文件的录像SDK;
  •  [互动SDK] Windows一对一互动(可windows与windows/android互动);
  •  连麦SDK 以标准协议为基础,完美支持Windows连麦;
  •  [点播播放器SDK] 支持本地flv文件播放(支持获取flv文件的duration(时长);支持显示当前播放位置;支持开始播放或播放过程中seek(跳转播放位置),也许是行业内seek最快的flv点播播放器);
  •  SEI扩展数据发送/接收SDK 支持推送端通过H.264 SEI信息扩展,实时传输文本/二进制数据信息(如实时字幕/时间戳/题目分发/公告广播等),播放端做相应解析和回显;
  •  视频处理SDK 屏幕/多摄像头/水印/遮挡区域多层自由合成模块;
  •  音频处理SDK 多路混音、回音消除、噪音抑制、自动增益、VAD检测模块;

Android端

  •  RTMP直播推流端SDK Android屏幕、摄像头RTMP推流SDK;
  •  RTMP/RTSP直播播放器SDK 业内首屈一指的rtmp/rtsp超低延迟直播播放器SDK(支持RTMP H.265扩展播放);
  •  Unity3D RTMP/RTSP直播播放器SDK 业内首家Android支持Unity3D的超低延迟RTMP/RTSP直播播放器SDK,支持快照、录像、实时静音、view旋转、快速切换URL等特性;
  •  录像SDK 支持拉取rtmp/rtsp流实时录像模块/实时快照功能,支持纯音频、纯视频、音视频录制模式,支持音频(PCMU/PCMA,Speex等)转AAC后再录像,业内为数不多的支持RTSP/RTMP H.265录制到MP4文件的录像SDK;
  •  RTMP/RTSP多路流媒体转RTMP推送SDK 支持实时拉取的rtmp/rtsp流转发到指定rtmp url;
  •  轻量级RTSP服务SDK 为满足内网无纸化/电子教室等内网超低延迟需求,避免让用户配置单独的服务器,大牛直播SDK在推送端支持轻量级RTSP服务SDK,推送端SDK支持的功能,内置轻量级RTSP服务SDK后,功能继续支持;
  •  [互动SDK] Android一对一互动(可android与windows/android/iOS互动);
  •  SEI扩展数据发送/接收SDK 支持推送端通过H.264 SEI信息扩展,实时传输文本/二进制数据信息(如实时字幕/时间戳/题目分发/公告广播等),播放端做相应解析和回显;
  •  视频处理SDKAndroid文字水印、png图片水印;
  •  音频处理SDKAndroid回音消除、噪音抑制、自动增益、VAD检测模块;

iOS端

  •  RTMP直播推流端SDK iOS屏幕(基于ReplayKit)、摄像头RTMP推流SDK;
  •  RTMP/RTSP直播播放器SDK 业内首屈一指的rtmp/rtsp超低延迟直播播放器SDK(支持RTMP H.265扩展播放);
  •  Unity3D RTMP/RTSP直播播放器SDK 业内首家iOS支持Unity3D的超低延迟RTMP/RTSP直播播放器SDK,支持快照、录像、实时静音、view旋转、快速切换URL等特性;
  •  录像SDK 支持拉取rtmp/rtsp流实时录像模块/实时快照功能,支持纯音频、纯视频、音视频录制模式,支持音频(PCMU/PCMA,Speex等)转AAC后再录像,业内为数不多的支持RTSP/RTMP H.265录制到MP4文件的录像SDK;
  •  RTMP/RTSP多路流媒体转RTMP推送SDK 支持实时拉取的rtmp/rtsp流转发到指定rtmp url;
  •  轻量级RTSP服务SDK 为满足内网无纸化/电子教室等内网超低延迟需求,避免让用户配置单独的服务器,大牛直播SDK在推送端支持轻量级RTSP服务SDK,推送端SDK支持的功能,内置轻量级RTSP服务SDK后,功能继续支持;
  •  SEI扩展数据发送/接收SDK 支持推送端通过H.264 SEI信息扩展,实时传输文本/二进制数据信息(如实时字幕/时间戳/题目分发/公告广播等),播放端做相应解析和回显;

本地下载

很多开发者反应,由于项目庞大,github下载整个工程很慢,我们已经把相关demo文件和使用说明,全部上传到QQ群共享:

或者直接从私有服务器下载(Windows提供C#/C++ demo, android提供android studio demo,iOS提供xcode demo):

大牛直播SDK相关demo本地下载

NOTE: Windows平台,以C++ SDK Demo为最新,C# Demo更新速度稍滞于C++ Demo。

大牛直播SDK集成和调用说明

大牛直播SDK Demo使用说明

上层源码目录

  1. android推流 SmartPublisherV2https://github.com/daniulive/SmarterStreaming/tree/master/SourceCode/AndroidStudio/SmartPublisherV2
  2. android推流 SmartServicePublisherV2(后台service推送屏幕)https://github.com/daniulive/SmarterStreaming/tree/master/SourceCode/AndroidStudio/SmartServicePublisherV2
  3. android推流 SmartServiceCameraPublisherV2(后台service推送摄像头)https://github.com/daniulive/SmarterStreaming/tree/master/SourceCode/AndroidStudio/SmartServiceCameraPublisherV2
  4. android一对一回音消除 SmartEchoCancellationV2https://github.com/daniulive/SmarterStreaming/tree/master/SourceCode/AndroidStudio/SmartEchoCancellationV2
  5. android播放器 SmartPlayerV2:https://github.com/daniulive/SmarterStreaming/tree/master/SourceCode/AndroidStudio/SmartPlayerV2
  6. android转发-录像-播放三合一 SmartRelayDemoV2:https://github.com/daniulive/SmarterStreaming/tree/master/SourceCode/AndroidStudio/SmartRelayDemoV2
  7. iOS推流 SmartiOSPublisherV2:https://github.com/daniulive/SmarterStreaming/tree/master/SourceCode/IOS/SmartiOSPublisherV2
  8. iOS后台推屏 SmartiOSScreenPublisherV2:https://github.com/daniulive/SmarterStreaming/tree/master/SourceCode/IOS/SmartiOSScreenPublisherV2
  9. iOS播放器 SmartiOSPlayerV2:https://github.com/daniulive/SmarterStreaming/tree/master/SourceCode/IOS/SmartiOSPlayerV2
  10. iOS转发-录像-播放三合一 SmartiOSRelayDemoV2:https://github.com/daniulive/SmarterStreaming/tree/master/SourceCode/IOS/SmartiOSRelayDemoV2

功能支持


1. Windows视频采集处理SDK

  1. 支持视频源
  •  支持Windows屏幕采集、屏幕裁剪特定窗口采集、摄像头采集、扩展外部H.264数据对接;
  1. 摄像头和屏幕合成
  •  [摄像头和屏幕实时切换]支持推送过程中,摄像头和屏幕互相切换,单画面显示摄像头或屏幕;
  •  [摄像头叠加到屏幕] 支持摄像头按照设置坐标,叠加到屏幕指定位置,并支持实时关闭叠加层;
  •  [屏幕叠加到摄像头] 支持屏幕按照设定坐标,叠加到摄像头指定位置,并支持实时关闭叠加层;
  1. 水印和透明度遮挡
  •  [实时水印]支持动态水印设置,完美支持文字水印、实时时间水印和图片水印
  •  [透明度]可以设置透明度处理(设置遮盖);
  1. 对应Demo:
  •  测试程序:SmartPublisherDemo.exe;
  •  C++工程:WIN-PublisherSDK-CPP-Demo;
  •  C#工程:WIN-PublisherSDK-CSharp-Demo。

2. Windows音频采集处理SDK

  1. 支持音频源
  •  支持Windows采集麦克风扬声器和外部AAC, Speex WB, PCMA, PCMU数据接口输入;
  1. 音频合成
  •  [音频]支持扬声器和麦克风音频混音输出(同时选择“采集扬声器”和“采集麦克风”);
  1. 音频处理
  •  支持音频“端点检测(VAD)”,自适应码流,音频码流更节省;
  •  支持回音消除功能;
  •  支持噪音抑制功能;
  •  支持自动增益控制。
  1. 对应Demo:
  •  测试程序:SmartPublisherDemo.exe;
  •  C++工程:WIN-PublisherSDK-CPP-Demo;
  •  C#工程:WIN-PublisherSDK-CSharp-Demo。

3. Windows/Android/iOS RTMP直播推流SDK

如不单独说明,系Windows、Android、iOS全平台支持。

  •  [视频采集处理]Windows平台涵盖“Windows视频采集处理SDK”功能;
  •  [音频采集处理]Windows平台涵盖“Windows音频采集处理SDK”功能;
  •  [本地预览]Windows平台支持摄像头/屏幕/合成数据实时预览功能,Android/iOS平台支持本地前后置摄像头预览;
  •  [摄像头反转/旋转]Windows平台支持摄像头水平反转、垂直反转、0°/90°/180°/270°旋转;
  •  [RTMP推流]超低延时的RTMP协议直播推流SDK(Windows支持RTMP扩展H.265推送);
  •  [视频格式]Windows平台支持H.264/H.265编码,Android/iOS平台支持H.264编码;
  •  [音频格式]Windows/Android/iOS平台支持AAC编码,Windows/Android平台支持Speex编码;
  •  [音频编码]Windows/Android平台支持Speex推送、Speex编码质量设置;
  •  [H.264硬编码]Android/iOS支持H.264硬编码;
  •  [硬编码码自适应]Android/iOS平台支持硬编码自适应,如检测到硬编码不支持,自动切换到软编;
  •  [编码参数配置]支持gop间隔、帧率、bit-rate、软编码profile、软编码速度设置;
  •  [多实例推送]支持多实例推送(如同时推送屏幕/摄像头和外部数据);
  •  [RTMP扩展H.265]Windows推送SDK支持RTMP扩展H.265推送,针对摄像头采集编码,使用H.265可变码率,带宽大幅节省,效果直逼传统H.265编码摄像头;
  •  [横竖屏推流]Android/iOS平台支持支持横屏、竖屏推流;
  •  [多分辨率支持]支持摄像头或屏幕多种分辨率设置;
  •  [Windows推屏]支持屏幕裁剪、窗口采集、屏幕/摄像头数据合成等多种模式推送;
  •  [移动端推屏]Android平台支持后台service推送摄像头或屏幕(推送屏幕需要5.0+版本);
  •  [移动端推屏]iOS平台支持后台推送屏幕(基于ReplayKit,需要iOS 10.0+版本);
  •  [事件回调]支持各种状态实时回调;
  •  [水印]Windows平台支持文字水印、png水印、实时遮挡,Android平台支持文字水印、png水印;
  •  [RTMP推送模式]支持RTMP推送 live|record模式设置(需服务器支持);
  •  [镜像]Android/iOS平台支持前置摄像头实时镜像功能;
  •  [前后摄像头实时切换]Android/iOS平台支持采集过程中,前后摄像头切换;
  •  [复杂网络处理]支持断网重连等各种网络环境自动适配;
  •  [动态码率]支持根据网络情况自动调整推流码率;
  •  [实时静音]支持推送过程中,实时静音/取消静音;
  •  [实时快照]支持推流过程中,实时快照;
  •  [纯音频推流]支持仅采集音频流并发起推流功能;
  •  [纯视频推流]支持特殊场景下的纯视频推流功能;
  •  [降噪]Windows/Android平台支持环境音、手机干扰等引起的噪音降噪处理、自动增益、VAD检测;
  •  [回音消除]android支持实时传递远端PCM数据,方便回音消除处理;
  •  [外部编码前视频数据对接]支持YUV数据对接;
  •  [外部编码前音频数据对接]支持PCM对接;
  •  [外部编码后视频数据对接]支持外部H.264数据对接;
  •  [外部编码后音频数据对接]外部AAC/PCMA/PCMU/SPEEX数据对接;
  •  [编码后数据输出]Android平台支持输出编码后的H264/AAC数据到上层,方便对接第三方平台(如GB28181)对接(接口说明和demo请点击以下链接);
  •  [扩展录像功能]完美支持和录像SDK组合使用,录像相关功能,可参见”8. Windows/Android/iOS录像SDK“;
  •  [基础美颜]iOS平台自带基础美颜功能;
  •  [裁剪模式]Android/iOS平台支持特定分辨率摄像头裁剪模式设置;
  •  [服务器兼容]支持支持自建服务器(如Nginx、SRS)或CDN。

对应Demo:

  •  Windows测试程序:SmartPublisherDemo.exe;
  •  Windows C++工程:WIN-PublisherSDK-CPP-Demo;
  •  Windows C#工程:WIN-PublisherSDK-CSharp-Demo;
  •  Android工程:SmartPublisherV2;
  •  iOS工程:SmartiOSPublisherV2。

4. Windows/Android/iOS RTMP、RTSP直播播放器SDK

如不单独说明,系Windows、Android、iOS全平台支持。

  •  [支持播放协议]高稳定、超低延迟(一秒内,行业内几无效果接近的播放端)、业内首屈一指的RTMP/RTSP直播播放器SDK;
  •  [多实例播放]支持多实例播放(如同时播放多路RTMP/RTSP流);
  •  [事件回调]支持网络状态、buffer状态等回调;
  •  [视频格式]支持RTSP H.265、RTMP扩展H.265,RTSP/RTMP H.264;
  •  [音频格式]RTMP/RTSP支持AAC/PCMA/PCMU,此外RTMP还支持Speex;
  •  [H.264/H.265软解码]支持H.264/H.265软解;
  •  [H.264硬解码]Android/iOS支持H.264硬解;
  •  [H.265硬解]Android支持H.265硬解;
  •  [H.264/H.265硬解码]Android支持设置Surface模式硬解和普通模式硬解码;
  •  [硬解码自适应]Android/iOS平台支持硬解码码自适应,如检测到硬解码不支持,自动切换到软解;
  •  [RTSP模式设置]支持RTSP TCP/UDP模式设置;
  •  [RTSP TCP/UDP自动切换]支持RTSP TCP、UDP模式自动切换;
  •  [RTSP超时设置]支持RTSP超时时间设置,单位:秒;
  •  [RTSP 401认证处理]支持上报RTSP 401事件,如URL携带鉴权信息,会自动处理;
  •  [缓冲时间设置]支持buffer time设置;
  •  [首屏秒开]支持首屏秒开模式;
  •  [低延迟模式]支持类似于线上娃娃机等直播方案的超低延迟模式设置(公网200~400ms);
  •  [复杂网络处理]支持断网重连等各种网络环境自动适配;
  •  [快速切换URL]支持播放过程中,快速切换其他URL,内容切换更快;
  •  [音视频多种render机制]Android平台,视频:surfaceview/OpenGL ES,音频:AudioTrack/OpenSL ES;
  •  [实时静音]支持播放过程中,实时静音/取消静音;
  •  [实时快照]支持播放过程中截取当前播放画面;
  •  [渲染角度]支持0°,90°,180°和270°四个视频画面渲染角度设置;
  •  [渲染镜像]支持水平反转、垂直反转模式设置;
  •  [实时下载速度更新]支持当前下载速度实时回调(支持设置回调时间间隔);
  •  [解码前视频数据回调]支持H.264/H.265数据回调;
  •  [解码后视频数据回调]支持解码后YUV/RGB数据回调;
  •  [解码前音频数据回调]支持AAC/PCMA/PCMU/SPEEX数据回调;
  •  [音视频自适应]支持播放过程中,音视频信息改变后自适应;
  •  [扩展录像功能]完美支持和录像SDK组合使用,录像相关功能,可参见”8. Windows/Android/iOS录像SDK“;
  •  [全屏]Windows平台双击画面进入全屏模式;
  •  [Windows本地FLV播放器]支持本地FLV文件播放(支持获取FLV文件的duration(时长);支持显示当前播放位置;
  •  [Windows本地FLV播放器]支持开始播放或播放过程中seek(跳转播放位置),也许是行业内seek最快的flv点播播放器)。

对应Demo:

  •  Windows测试程序:SmartPlayer.exe;
  •  Windows C++工程:WIN-PlayerSDK-CPP-Demo;
  •  Windows C#工程:WIN-PlayerSDK-CSharp-Demo;
  •  Android工程:SmartPlayerV2;
  •  iOS工程:SmartiOSPlayerV2。

5. Windows/Android/iOS内置轻量级RTSP服务SDK

如不单独说明,系Windows、Android、iOS全平台支持。

  •  [基础功能]支持Windows/Android/iOS平台RTMP直播SDK除推送RTMP外的所有常规功能;
  •  [音频格式]AAC;
  •  [视频格式]H.264、H.265;
  •  [协议类型]RTSP;
  •  [端口设置]支持RTSP端口设置;
  •  [鉴权设置]支持RTSP鉴权用户名、密码设置;
  •  [获取session连接数]支持获取当前RTSP服务会话连接数;
  •  [多服务支持]支持同时创建多个内置RTSP服务;
  •  [H.265支持]Windows内置rtsp server支持发布H.265视频(64位库);
  •  [RTSP url回调]支持设置后的rtsp url通过event回调到上层。

对应Demo:

  •  Windows测试程序:SmartPublisherDemo.exe;
  •  Windows C++工程:WIN-PublisherSDK-CPP-Demo;
  •  Windows C#工程:WIN-PublisherSDK-CSharp-Demo;
  •  Android工程:SmartPublisherV2;
  •  iOS工程:SmartiOSPublisherV2。

6. Windows内网RTSP网关SDK

内网RTSP网关SDK,系内置轻量级RTSP服务SDK扩展,完成外部RTSP/RTMP数据拉取并注入到轻量级RTSP服务SDK工作,多个内网客户端直接访问内网轻量级RTSP服务获取公网数据,无需部署单独的服务器,支持RTSP/RTMP H.265数据接入。 简单来说:内置轻量级RTSP服务SDK和内置RTSP网关SDK的区别在于数据来源不同,内置轻量级RTSP服务SDK数据来源于终端设备自带摄像头数据/屏幕数据/外部编码前后数据,内置RTSP网关SDK的数据源是RTSP/RTMP流数据。

  •  [音频格式]AAC;
  •  [视频格式]H.264、H.265;
  •  [接入协议]支持内外网RTMP/RTSP流接入;
  •  [输出协议]RTSP,拉取的RTSP/RTMP流,注入轻量级RTSP服务SDK;
  •  [音频转码]支持音频(PCMU/PCMA,Speex等)转AAC后注入;
  •  [端口设置]支持RTSP端口设置;
  •  [鉴权设置]支持RTSP鉴权用户名、密码设置;
  •  [获取session连接数]支持获取当前RTSP服务会话连接数;
  •  [多服务支持]支持同时创建多个内置RTSP服务;
  •  [H.265支持]Windows内置rtsp server支持发布H.265视频(64位库);
  •  [RTSP url回调]支持设置后的rtsp url通过event回调到上层;

对应Demo:

  •  Windows测试程序:SmartStreamRelayDemo.exe;
  •  Windows C++工程:WIN-RelaySDK-CPP-Demo;
  •  Windows C#工程:WIN-RelaySDK-CSharp-Demo。

7. Windows/Android/iOS RTMP/RTSP多路流媒体转RTMP推送SDK

如不单独说明,系Windows、Android、iOS全平台支持。

  •  [拉流]支持拉取RTSP流;
  •  [拉流]支持拉取RTMP流;
  •  [预览]支持拉取到的RTMP/RTSP随时本地预览、关闭预览;
  •  [拉流音频调节]支持拉取的RTMP/RTSP流静音;
  •  [音频转码]支持拉取的RTMP/RTSP的PCMA/PCMU/SPEEX音频格式转AAC后再转发到RTMP服务器;
  •  [url切换]支持转发过程中,拉取的RTMP/RTSP或本地FLV文件实时内容切换
  •  [转发]超低延迟转发拉取的rtsp/rtmp流到rtmp server;
  •  [H.265支持]业内首家支持RTSP/RTMP H.265转RTMP推送的SDK(提供配套RTMP扩展H.265服务器);

对应Demo:

  •  Windows测试程序:SmartStreamRelayDemo.exe;
  •  Windows C++工程:WIN-RelaySDK-CPP-Demo;
  •  Windows C#工程:WIN-RelaySDK-CSharp-Demo;
  •  Android工程:SmartRelayDemoV2;
  •  iOS工程:SmartiOSRelayDemoV2。

8. Windows导播SDK

  •  [拉流]支持拉取RTSP流;
  •  [拉流]支持拉取RTMP流;
  •  [混音合成]支持本地采集到屏幕或摄像头数据,和远程拉取得RTSP或RTMP流做合成、混音输出;
  •  [导播]支持导播过程中,随时切断某一路音视频或音频;
  •  [混音]支持音频混音(同时选择“采集麦克风”+“采集扬声器”);
  •  [合成]多路流合成一路流后,推送到RTMP服务器;
  •  [扩展录像快照]多路合成后的流,支持本地录像、快照。

对应Demo:

  •  测试程序:SmartMixStreamDemo.exe;
  •  C++工程:WIN-MixStreamSDK-CPP-Demo;

9. Windows/Android/iOS录像SDK

  •  [拉流]支持拉取RTSP流录像;
  •  [拉流]支持拉取RTMP流录像;
  •  [推流端录像]支持推送端同步录像;
  •  [逻辑分离]大牛直播录像SDK不同于普通录像接口,更智能,和推送、播放、转发、内置轻量级RTSP服务SDK功能完全分离,支持随时录像;
  •  [url切换]在录像过程中,支持切换不同URL,如两个URL配置一致,则可以录制到同一个MP4文件,如不一致,可自动分割到下一个文件;
  •  [参数设置]支持设置单个录像文件大小、录像路径等,并支持纯音频、纯视频、音视频录制模式;
  •  [音频转码]支持音频(PCMU/PCMA,Speex等)转AAC后再录像;
  •  [265支持]支持RTSP/RTMP H.265录制到MP4文件;
  •  [推送端265录像]Windows推送SDK支持H265录像;
  •  [事件回调]从开始录像,到录像结束均有event callback上来,网络堵塞、音视频同步均做了非常友好的处理。

对应Demo:

  •  Windows测试程序:SmartPlayer.exe;
  •  Windows C++工程:WIN-PlayerSDK-CPP-Demo;
  •  Windows C#工程:WIN-PlayerSDK-CSharp-Demo;
  •  测试程序:SmartPublisherDemo.exe;
  •  C++工程:WIN-PublisherSDK-CPP-Demo;
  •  C#工程:WIN-PublisherSDK-CSharp-Demo。
  •  Android工程:SmartPlayerV2;
  •  iOS工程:SmartiOSPlayerV2;
  •  Android工程:SmartPublisherV2;
  •  iOS工程:SmartiOSPublisherV2。

10. Windows/Android/iOS SEI扩展数据发送/接收SDK

  •  [RTSP SEI]支持内置RTSP服务SDK携带SEI扩展信息(H.264);
  •  [RTMP SEI]支持RTMP推送SDK携带SEI扩展信息(H.264);
  •  [自定义数据]持发送自定义用户数据(如自定义utf8字符串);
  •  [二进制数据]支持发送二进制数据;
  •  [播放端解析]RTSP/RTMP直播播放端SDK支持utf8文本、二进制、和原SEI数据解析。

对应Demo:

  •  Windows测试程序:SmartPlayer.exe;
  •  Windows C++工程:WIN-PlayerSDK-CPP-Demo;
  •  Windows C#工程:WIN-PlayerSDK-CSharp-Demo;
  •  测试程序:SmartPublisherDemo.exe;
  •  C++工程:WIN-PublisherSDK-CPP-Demo;
  •  C#工程:WIN-PublisherSDK-CSharp-Demo。
  •  Android工程:SmartPlayerV2;
  •  iOS工程:SmartiOSPlayerV2;
  •  Android工程:SmartPublisherV2;
  •  iOS工程:SmartiOSPublisherV2。

编译注意事项

  • iOS平台支持真机和模拟器编译运行.
  • iOS播放端编译时找不到 libSmartPlayerSDK.a 时,请先到 SmartiOSPlayer/SmartiOSPlayer/libs 目录, 解压libSmartPlayerSDK.zip.
  • iOS推送端编译时找不到 libSmartPublisherSDK.a 时,请先到 SmartiOSPublisher/SmartiOSPublisher/libs 目录, 解压libSmartPublisherSDK.zip.
  • 未授权版本,限制app-name,如果需要集成到自己工程里面调试,可以用以下名字:
Windows推送端:SmartPublisherDemo
Windows播放端:SmartPlayer
Windows转发端:SmartStreamRelayDemo
Windows合流导播端:SmartMixStreamDemo
android推送端:SmartPublisherSDKDemo
android后台Service推送:SmartServicePublisherSDKDemo
android一对一互动:SmartEchoCancellation
android播放器:SmartPlayerSDKDemo
iOS推送端:SmartiOSPublisher
iOS转发端:SmartiOSRelayDemo
iOS播放器:SmartiOSPlayer
  • 集成到自己工程,如何改名字(以推送端为例):
android:strings.xml:
<string name="app_name">SmartPublisherSDKDemo</string>
iOS:Info.plist-->右键Open As-->Source Code,添加或者编辑
<key>CFBundleName</key>	
<string>SmartiOSPublisher</string>

联系我们

点击查看联系方式

QQ交流群:

大牛直播SDK技术交流群1:499687479

大牛直播SDK技术交流群2:294891451

内网RTSP网关SDK

技术特点和优势:

内网RTSP网关模块,系内置轻量级RTSP服务模块扩展,完成外部RTSP/RTMP数据拉取并注入到轻量级RTSP服务模块工作,多个内网客户端直接访问内网轻量级RTSP服务获取公网数据,无需部署单独的服务器,支持RTSP/RTMP H.265数据接入。

内置轻量级RTSP服务模块和内置RTSP网关模块共同点:

内置轻量级RTSP服务模块和内置RTSP网关模块,核心痛点是避免用户或者开发者单独部署RTSP或者RTMP服务,数据汇聚到内置RTSP服务,对外提供可供拉流的RTSP URL,适用于内网环境下,对并发要求不高的场景,支持H.264/H.265,支持RTSP鉴权、单播、组播模式,考虑到单个服务承载能力,我们支持同时创建多个RTSP服务,并支持获取当前RTSP服务会话连接数。

内置轻量级RTSP服务模块和内置RTSP网关模块不同点:数据来源不同

1. 内置轻量级RTSP服务模块,数据源来自摄像头、屏幕、麦克风等编码前数据,或者本地编码后的对接数据;

2. 内置RTSP网关模块,实际上是RTSP/RTMP拉流模块+内置轻量级RTSP服务模块组合出来的。数据源来自RTSP或RTMP网络流,拉流模块完成编码后的音视频数据回调,然后,汇聚到内置轻量级RTSP服务模块。

整体设计方案如下:

功能支持:

  •  [音频格式]AAC;
  •  [视频格式]H.264、H.265;
  •  [接入协议]支持内外网RTMP/RTSP流接入;
  •  [输出协议]RTSP,拉取的RTSP/RTMP流,注入轻量级RTSP服务SDK;
  •  [传输模式]Windows支持单播组播模式,Android/iOS平台支持单播模式;
  •  [音频转码]支持音频(PCMU/PCMA,Speex等)转AAC后注入;
  •  [端口设置]支持RTSP端口设置;
  •  [鉴权设置]支持RTSP鉴权用户名、密码设置;
  •  [获取session连接数]支持获取当前RTSP服务会话连接数;
  •  [多服务支持]支持同时创建多个内置RTSP服务;
  •  [H.265支持]Windows内置rtsp server支持发布H.265视频(64位库);
  •  [RTSP url回调]支持设置后的rtsp url通过event回调到上层;

对应Demo:

  •  Windows测试程序:SmartStreamRelayDemo.exe;
  •  Windows C++工程:WIN-RelaySDK-CPP-Demo;
  •  Windows C#工程:WIN-RelaySDK-CSharp-Demo;
  •  Android工程:SmartRelayDemoV2.
  •  iOS工程:SmartiOSRelayDemoV2.

基本使用步骤(以Windows平台为例):

  1. 点击“配置查看Rtsp服务”按钮,启动rtsp服务;
  2. 输入需要拉流的rtsp或rtmp地址;
  3. 点击拉流,获取rtsp或rtsp流数据;
  4. 点击“发送rtsp流”,即可把数据注入内网rtsp网关sdk;
  5. 发送成功后,会回调可用来播放的内网rtsp url;
  6. 播放端,输入步骤5回调的rtsp地址,完成拉流播放;
  7. 如果查看连接的内网播放session数,点击“配置查看Rtsp服务”,可实时查询每个rtsp service连接的session数;
  8. 如需本地拉取的rtsp或rtmp流,点击“预览”;
  9. 如需停止,点击“停止rtsp流”。

相关博客:

音频采集处理SDK

Windows音频采集处理SDK

  1. 支持音频源
  •  支持Windows采集麦克风扬声器和外部AAC, Speex WB, PCMA, PCMU数据接口输入;
  1. 音频合成
  •  [音频]支持扬声器和麦克风音频混音输出(同时选择“采集扬声器”和“采集麦克风”);
  1. 音频处理
  •  支持音频“端点检测(VAD)”,自适应码流,音频码流更节省;
  •  支持回音消除功能;
  •  支持噪音抑制功能;
  •  支持自动增益控制。
  1. 对应Demo:
  •  测试程序:SmartPublisherDemo.exe;
  •  C++工程:WIN-PublisherSDK-CPP-Demo;
  •  C#工程:WIN-PublisherSDK-CSharp-Demo。

视频采集处理SDK

Windows视频采集处理SDK

  1. 支持视频源
  •  支持Windows屏幕采集、屏幕裁剪特定窗口采集、摄像头采集、扩展外部H.264数据对接;
  1. 摄像头和屏幕合成
  •  [摄像头和屏幕实时切换]支持推送过程中,摄像头和屏幕互相切换,单画面显示摄像头或屏幕;
  •  [摄像头叠加到屏幕] 支持摄像头按照设置坐标,叠加到屏幕指定位置,并支持实时关闭叠加层;
  •  [屏幕叠加到摄像头] 支持屏幕按照设定坐标,叠加到摄像头指定位置,并支持实时关闭叠加层;
  1. 水印和透明度遮挡
  •  [实时水印]支持动态水印设置,完美支持文字水印、实时时间水印和图片水印
  •  [透明度]可以设置透明度处理(设置遮盖);
  1. 对应Demo:
  •  测试程序:SmartPublisherDemo.exe;
  •  C++工程:WIN-PublisherSDK-CPP-Demo;
  •  C#工程:WIN-PublisherSDK-CSharp-Demo。

大牛直播连麦SDK

大牛直播连麦SDK,系一对一互动SDK的扩展,关于一对一互动SDK说明,可点我查看

连麦SDK,目前覆盖Windows平台,如一对一互动SDK提及,基于官方现有RTMP、RTSP推送、或内置RTSP服务、播放SDK,产品稳定度高,行业内首屈一指的超低延迟特性,采用通用的RTMP服务器,如nginx、SRS,更有利于私有部署。

连麦SDK特别适用于教育培训、指挥系统等场景,连麦后的流数据,以RTMP流形式出去,并支持连麦流数据双屏录制、快照等操作。

以Windows与android端连麦为例(Windows端作为连麦主体端/指挥中心):

Windows端

  1. 打开”SmartMixStreamDemo.exe”;
  2. [视频] 选择期望的视频采集模式,并获取推荐的码流(码率可根据需求自行调整);
  3. [音频] 选择”采集麦克风”,并选择”回音消除”、”噪音抑制”、”端点检测(VAD)”(可选);
  4. [推送地址设置] 输入合流后的rtmp推送地址(可以直接推到CDN),对应”RTMP推送地址1″,如”rtmp://player.daniulive.com:1935/hls/streammix”;
  5. [推送地址设置] 输入原始rtmp推送地址,对应”RTMP原始流推送地址”,如”rtmp://player.daniulive.com:1935/hls/streamorg”;
  6. [播放连麦互动rtmp] 在SmartMixStreamDemo.exe左下角播放器部分,在”播放URL”栏,输入android端的推送地址,如”rtmp://player.daniulive.com:1935/hls/streamandroid”;

[推送] 点击”推送”和”推送原始流”。

Android端

  1. 打开SmartEchoCancellation.apk
  2. [推送]根据需求,选择合适的分辨率和帧率,并选择”使用噪音抑制”,输入推送地址,如”rtmp://player.daniulive.com:1935/hls/streamandroid”,点击开始推送;
  3. [播放]输入Windows推送的原始rtmp推送地址,如此次设置,输入 “rtmp://player.daniulive.com:1935/hls/streamorg”,点击开始播放。

iOS端

  1. 打开SmartiOSEchoCancellation工程
  2. [推送]根据需求,选择合适的分辨率和帧率,输入推送地址,如”rtmp://player.daniulive.com:1935/hls/streamios”,点击开始推送;
  3. [播放]输入Windows推送的原始rtmp推送地址,如此次设置,输入 “rtmp://player.daniulive.com:1935/hls/streamorg”,点击开始播放。

至此,以Windows为连麦主体端的设置完成,可与Windows、Android、iOS平台完成连麦操作,如第三方平台(windows/android/iOS)需要观看此次实时互动视频(连麦效果),在播放端,输入合流后的rtmp推送地址,此次demo为 “rtmp://player.daniulive.com:1935/hls/streammix”,即可完成播放。

大牛直播导播SDK

适用场景:

大牛直播导播SDK适用于外部如多路RTMP/RTSP流,本地摄像头/屏幕/flv文件,多路流合成一路流,然后单路输出的场景。

技术优势:

1. 以SDK形式输出,企业或开发者可根据需求完成多样化的产品需求;

2. 行业内接口更灵活,资源占用更低;

3. 超低延迟输出,效率更高;

4. 支持合流后的图像预览;

5. 支持合流后的音频混音;

6. 支持导播过程中,随时切断某一路音视频或音频;

7. 岂止是合流,还可以实时录像、快照等,接口更丰富。

数据源:

1. rtmp/rtsp音视频流;

2. 本地屏幕/摄像头/音频数据;

3.本地flv文件。

输出:

1. 多路流合成一路流后,推送到RTMP服务器;

2. 多路合成后的流,支持本地录像、快照。

支持平台:Windows

对应Demo:

SmartStreamRelayDemo.exe、SmartMixStreamDemo.exe

相关博客:

轻量级RTSP服务SDK

模块定位

大牛直播SDK(SmartMediaKit)轻量级 RTSP 服务 SDK,是推送端 SDK 内置的 RTSP 服务模块。开发者无需单独部署 RTSP/RTMP 服务器,即可将本地采集的音视频数据,如摄像头、麦克风、屏幕采集、外部编码数据等,编码后接入内置 RTSP 服务,并对外生成可直接拉流访问的 RTSP URL。

该模块专为内网低并发、低延迟实时分发场景设计,适用于安防监控、智慧教室、无纸化会议、工业生产、医疗健康、智能物联网等局域网音视频应用。

在典型内网环境下,轻量级 RTSP 服务可实现 100~200ms 量级的端到端低延迟表现,在保证高稳定性和低 CPU 占用的前提下,帮助开发者快速构建无需独立流媒体服务器的本地实时音视频服务能力。

技术架构

大牛直播SDK轻量级 RTSP 服务采用“本地采集 / 外部输入 + 编码处理 + 内置 RTSP 服务 + 局域网拉流访问”的架构设计。

业务侧可通过推送端 SDK 完成音视频采集、编码和参数配置;RTSP 服务模块作为独立能力挂载在推送端内部,将编码后的 H.264/H.265 视频和 AAC 音频接入服务实例,并生成 RTSP URL 供局域网内客户端直接拉流播放。

该架构的核心价值在于:服务能力内置在 SDK 中,开发者无需额外搭建流媒体服务器,即可在终端侧、工控机、移动设备或嵌入式设备上快速输出 RTSP 服务。

平台覆盖

功能说明

基础能力

继承大牛直播SDK推送端的常规能力,包括音视频采集、软硬编码、码率参数配置、帧率控制、分辨率设置、事件回调等。轻量级 RTSP 服务作为独立增强模块提供,不影响原有 RTMP 推送、录像、快照等功能。

音视频格式

音频支持 AAC。

视频支持 H.264、H.265,可满足不同清晰度、码率和带宽环境下的实时传输需求。

协议与传输模式

协议类型支持 RTSP。

传输模式支持单播(Unicast)和组播(Multicast)。单播适合点对点访问,组播适合局域网内一对多分发场景。

服务端口设置

支持自定义 RTSP 服务端口,便于适配不同网络环境、端口规划和业务系统集成需求。

RTSP 鉴权

支持 RTSP 鉴权机制,可配置用户名和密码,避免未授权客户端访问本地音视频流。

会话连接数查询

支持实时获取当前 RTSP 服务的会话连接数,便于上层业务监控服务负载、连接状态和访问情况。

多服务实例

支持同时创建多个独立的内置 RTSP 服务实例,可面向不同数据源、不同端口或不同业务通道分别提供服务。

RTSP URL 回调

RTSP 服务启动后,可通过 Event 回调将可用 RTSP URL 通知上层应用,便于业务侧展示、复制、扫码访问或下发给其他客户端。

技术优势

零服务器依赖,极简部署

传统方案需独立部署并维护 RTSP 或 RTMP 服务器,涉及服务器配置、网络映射、运维管理等一系列工作。轻量级 RTSP 服务 SDK 将服务能力内置于推送端,开发者集成 SDK 即可完成部署,无需任何服务器知识,无需额外硬件投入,显著降低使用门槛和运营成本。

超低延迟,内网实时传输

针对内网环境深度优化,端到端延迟实测稳定在 100~200 毫秒,充分满足智慧教室同屏、无纸化会议、安防实时查看等对时效性敏感的场景需求。

高效编码,带宽友好

支持 H.264 / H.265 编码格式,压缩效率高,在保证画质的同时有效降低带宽占用,即使在低带宽内网环境下也能保障流畅传输

轻量化设计,资源占用极低

SDK 体量轻巧,运行时资源占用少,不会对终端设备造成额外性能负担,适合在各类嵌入式设备、移动终端或性能受限的工控机上稳定运行。

安全可控,多模式灵活适配

支持 RTSP 鉴权机制,有效防止未授权访问;同时支持单播和组播两种传输模式——单播适合点对点精准推送,组播适合一对多高效广播,可按实际场景灵活选用。

多实例并行,服务管理完善

支持同时创建多个 RTSP 服务实例,可面向不同终端或数据源独立提供服务;配合实时会话连接数查询接口,方便开发者对服务状态进行监控与管理。

对应Demo

  •  Windows测试程序:SmartPublisherDemo.exe;
  •  Windows C++工程:WIN-PublisherSDK-CPP-Demo;
  •  Windows C#工程:WIN-PublisherSDK-CSharp-Demo;
  •  Linux工程:rtspserverdemo;
  •  Android工程:SmartPublisherV2;
  •  iOS工程:SmartiOSPublisherV2。

技术对接文档

以Windows平台为例

1. 在选择好需要推送出去的音视频数据类型、调整好码率后(以采集Windows桌面为例,设置好采集帧率,看是否用硬编码,码率如果不想自己配置的话,可以点击按钮“获取视频码率默认值”,如需采集麦克风或扬声器,选择即可),点击“配置查看RTSP服务”,如果需要采集摄像头,选择“采集摄像头”,并选择相应的分辨率和帧率,如果需要采集窗口,选择后,记得设置采集帧率(帧)

2. 根据需求,可以启动一路或者多路服务,每路服务,并可配置用户名密码信息(可选)。启动服务后,点击“确定”退出设置页面;

3. 配置流名称(可自定义),默认是 stream1;

4. 发布RTSP流:

5. 发布后,播放地址列表里面,会显示当前发布的url,拷贝其中一个或多个,用大牛直播直播播放器SDK,分别播放即可;

6.服务器负载查看:再次点击“配置查看RTSP服务”,即可看到每个服务连接的会话数:

7. 如需停止服务,点击页面的“停止RTSP流”即可;

8. 如需启动RTSP服务的同时,还需要把数据推到其他RTMP服务,输入推送的RTMP url,点击“推送”即可。

视频展示

经测试,整体延迟在100-200毫秒区间,在高稳定低CPU占用的前提下,也可能是行业内功能支持最全面,延迟最低的商用级内置RTSP服务方案。

Android平台启动轻量级RTSP服务和推送RTMP,Windows平台分别拉取RTSP流和RTMP流播放,毫秒级延迟体验:

相关博客:

大牛直播SDK-Unity3D直播播放器SDK

大牛直播SDK(SmartMediaKit)在 Windows、Android、iOS 原生播放 SDK 的基础上,进一步支持 Unity3D 平台二次封装,覆盖 Unity3D 在 Windows、Linux、Android、iOS 等平台下的 RTMP、RTSP 直播播放场景,延迟低至100~200ms。

作为业内少数真正面向 Unity3D 实时音视频场景深度适配的直播播放器 SDK,大牛直播SDK Unity3D 播放方案具备高稳定性、超低延迟、多实例播放、软硬解码、RTSP/RTMP 协议支持、事件回调、快照、镜像、旋转、低延迟模式、断网重连等完整能力,适合智慧教室、数字孪生、工业仿真、无人机巡检、远程监控、VR/全景实时视频展示等对实时性和稳定性要求较高的应用场景。

除 Unity3D 播放端能力外,大牛直播SDK在 Windows、Android 平台的 RTMP 推送端,也支持 Unity3D 基础对接,开发者可结合实际业务需求,构建从 Unity3D 实时采集、推送到跨平台低延迟播放的完整音视频链路。

Unity3D播放端实现流程

大牛直播SDK Unity3D 播放方案采用“Native 解码 + Unity 纹理渲染”的集成思路,在保证底层播放能力稳定成熟的同时,兼顾 Unity3D 场景下的渲染灵活性。

典型实现流程如下:

  1. Native 层 RTMP/RTSP 直播播放 SDK 完成拉流、解封装、解码,并回调 RGB、YUV420、NV12 等未压缩视频图像数据;
  2. Unity3D 侧根据回调的视频格式创建对应的 RGB、YUV420 或 NV12 Shader;
  3. Unity3D 从各平台 Native 层获取图像数据,填充纹理并完成实时渲染;
  4. 开发者可结合 Unity3D 场景能力,实现多路视频墙、3D 场景贴图、全景球面渲染、VR/AR 画面融合、数字孪生视频接入等扩展应用。

核心功能

协议与播放能力

支持高稳定、超低延迟 RTMP、RTSP 直播播放,具备毫秒级低延迟播放能力,是业内少数在 Unity3D 场景下仍能保持高实时性和稳定性的直播播放器方案。

支持 RTMP、RTSP 直播流播放,适用于公网直播、局域网摄像头、NVR、无人机、编码器、工业相机、车载设备等实时视频接入场景。

多平台 Unity3D 支持

支持 Unity3D 在 Windows、Linux、Android、iOS 平台下进行二次封装和集成,便于开发者在统一 Unity 工程中构建跨平台实时视频应用。

多实例播放

支持多实例播放,可在 Unity3D 中实现多路 RTSP/RTMP 流同时播放,适合多画面监控、视频墙、智慧教室、多设备巡检、工业可视化大屏等场景。

事件回调

支持网络状态、连接状态、缓冲状态、播放状态、分辨率变化、下载速度等事件回调,方便上层业务进行状态展示、异常处理和自动重连控制。

视频格式支持

支持 H.264 视频格式,支持 RTMP 扩展 H.265 视频流播放,满足高清视频、低码率传输和新一代编码格式接入需求。

音频格式支持

支持 AAC、PCMA、PCMU、Speex(RTMP) 音频格式,适配摄像头、编码器、会议终端、语音广播等多种实时音频场景。

H.264/H.265软解码

支持 H.264、H.265 软解码,便于在复杂平台环境下获得更好的兼容性和可控性。

H.264/H.265

硬解码

Windows、Android、iOS 平台支持 H.264/H.265 特定机型硬解码,可在移动端降低 CPU 占用,提高播放性能和续航表现。

RTSP传输模式设置

支持 RTSP TCP、UDP 模式设置,开发者可根据网络环境、设备类型和实时性要求灵活选择传输方式。

RTSP TCP/UDP自动切换

支持 RTSP TCP、UDP 模式自动切换,在复杂网络环境下提升播放成功率和连接稳定性。

RTSP超时设置

支持 RTSP 超时时间设置,单位为秒,方便业务侧根据网络环境调整连接等待策略。

RTSP 401认证处理

支持 RTSP 401 认证事件上报。如播放 URL 中携带鉴权信息,SDK 可自动完成认证处理,便于对接带用户名、密码的摄像头或平台流地址。

缓冲时间设置

支持 buffer time 设置,可根据业务需求在低延迟和播放平滑度之间进行灵活平衡。

首屏秒开

支持首屏秒开模式,优化首帧显示速度,适用于监控预览、快速切流、多路视频轮巡等场景。

低延迟模式

支持超低延迟播放模式,可显著降低端到端播放延迟,适合远程操控、无人机巡检、工业视觉、实时指挥等强实时场景。

复杂网络处理

支持断网重连、网络波动适配等机制,可在弱网、抖动、临时断链等复杂环境下提升播放连续性和稳定性。

快速切换URL

支持播放过程中快速切换其他 URL,适合多通道轮巡、设备切换、监控点位切换和业务场景快速切换。

实时静音

支持播放过程中实时静音和取消静音,便于 Unity3D 应用根据业务状态灵活控制音频播放。

实时快照

支持播放过程中截取当前播放画面,可用于巡检留痕、异常抓拍、课堂记录、远程取证等场景。

渲染角度设置

支持 0°、90°、180°、270° 四种视频画面渲染角度设置,便于适配不同摄像头安装方向和终端显示方向。

渲染镜像设置

支持水平反转、垂直反转模式设置,适用于前置摄像头、镜像预览、特殊安装角度摄像头等场景。

实时下载速度回调

支持当前下载速度实时回调,并支持设置回调时间间隔,方便上层进行网络状态展示和播放质量监测。

音视频自适应

支持播放过程中音视频信息变化后的自适应处理,如分辨率变化、音视频参数变化等,提升复杂流媒体场景下的兼容性。

扩展录像能力

支持与大牛直播SDK录像 SDK 组合使用,可实现 RTMP/RTSP 播放过程中的本地录像能力。支持 RTMP 扩展 H.265 流录制,支持 PCMA、PCMU、Speex 转 AAC 后录制,并支持只录制音频或只录制视频。

录像相关能力可参见:Windows/Linux/Android/iOS 录像 SDK。

典型应用场景

相关资料:

大牛直播SDK(SmartMediaKit)Windows 平台 Unity3D RTSP/RTMP 直播播放 SDK 集成说明

大牛直播SDK(SmartMediaKit)Android平台Unity3D RTSP/RTMP播放器集成实践

视沃科技-大牛直播SDK(V2)Unity3D调用说明1.7

Unity3d RTSP/RTMP直播播放端SDK视频演示

Unity3d Linux平台直播播放视频演示(以Windows平台RTMP直播推送SDK采集秒表计时器推送到RTMP服务器,Unity发布的Linux平台RTSP|RTSP播放demo拉流为例):

 

相关博客:

 

大牛直播录像SDK

在实时音视频系统中,录像不仅仅是“把音视频写入文件”,还涉及音视频同步、时间戳处理、网络抖动下的缓冲管理、分段文件边界控制以及异常情况下的文件完整性保障。

大牛直播SDK(SmartMediaKit)录像模块采用独立实例设计,与 RTMP 推流、RTSP/RTMP 播放、RTSP 转 RTMP 推送、轻量级 RTSP 服务、GB28181 设备接入等模块解耦,可按需挂载在不同媒体链路中。无论是推流端同步录像、播放端边播边录、多路转发独立存档,还是国标设备接入后的本地录像,都可以通过统一接口灵活集成。

录像模块不依赖某一个具体业务模块运行,上游推流、播放、转发状态变化,不会直接影响录像实例的独立管理能力,适合构建稳定、可靠、可持续运行的音视频录像系统。

目前,该模块已广泛应用于安防监控存档、在线教育回放、工业过程记录、无人机巡检留痕、移动执法取证、应急指挥回溯等场景,支持 Windows、Linux、Android、iOS、鸿蒙NEXT 等平台。

技术架构:

大牛直播SDK录像模块采用“独立录像实例 + 多模块挂载 + 统一文件管理 + 事件回调”的架构设计。

通过独立挂载方式,开发者可以在不改变原有推流、播放、转发、国标接入逻辑的前提下,快速增加录像能力,降低系统耦合度,提升录像稳定性和可维护性。

核心能力

1. 灵活挂载,独立运行

支持与 RTMP 推流端、RTSP/RTMP 播放端、RTSP 转 RTMP 推送模块、轻量级 RTSP 服务、多路转发模块、GB28181 设备接入模块组合使用。

典型场景包括:

  • RTMP 推流端同步录像;
  • RTSP/RTMP 播放端边播边录;
  • RTSP 转 RTMP 推送过程同步存档;
  • 多路转发独立录像;
  • 轻量级 RTSP 服务分发同时本地录像;
  • GB28181 设备接入后录像留存。

录像模块独立运行,可按需开启或停止,不与推流、播放、转发状态强绑定。


2. 录制控制完善

支持录像实时开启、停止、暂停和恢复,便于业务侧根据场景精准控制录制片段。

支持录像过程中切换 URL:配置一致时可续录同一文件,配置变化时自动分割至下一文件,避免不同音视频参数混写导致文件异常。

支持设置单个录像文件大小上限,自动分段存储;支持自定义录像路径;支持纯音频、纯视频、音视频三种录制模式。


3. 编码格式兼容

视频支持 H.264、H.265 录制,支持 RTSP/RTMP H.265 流直接录入 MP4 文件。

音频支持 AAC 录制,并支持 PCMU、PCMA、Speex 等格式自动转 AAC 后写入。

推流端支持外部编码后的 H.264/AAC 数据直接对接录像模块,便于和已有采集、编码、AI 分析或图像处理链路集成。


4. 稳定写入与事件回调

针对网络堵塞、上游抖动、时间戳波动、音视频到达顺序变化等实时流常见问题,录像模块做了专项处理,确保音视频同步写入、文件结构稳定、时间线连续。

从录像开始、新文件创建、文件完成到录像结束,均支持事件回调。业务侧可基于回调实现录像状态展示、文件路径获取、分段文件入库、自动上传、异常告警和多路录像管理。

支持多路并发录像,每路独立实例管理,互不干扰。

典型应用场景:

对应Demo:

  •  Windows测试程序:SmartPlayer.exe;
  •  Windows C++工程:WIN-PlayerSDK-CPP-Demo;
  •  Windows C#工程:WIN-PlayerSDK-CSharp-Demo;
  •  测试程序:SmartPublisherDemo.exe;
  •  C++工程:WIN-PublisherSDK-CPP-Demo;
  •  C#工程:WIN-PublisherSDK-CSharp-Demo。
  •  Android/鸿蒙NEXT /Linux 工程:SmartPlayerV2;
  •  iOS工程:SmartiOSPlayerV2;
  •  Android/鸿蒙NEXT /Linux 工程:SmartPublisherV2;
  •  iOS工程:SmartiOSPublisherV2。

大牛直播跨平台RTSP/RTMP转RTMP转发SDK

在实时流媒体系统中,一个优秀的转发模块,低延迟是基础能力,而不是额外加分项。除此之外,还需要具备高稳定性、灵活的转发控制、完善的状态反馈机制,以及尽可能低的资源占用,才能满足安防监控、直播分发、远程调度、无人机回传、内网流媒体汇聚等复杂场景的长期运行需求。

大牛直播SDK(SmartMediaKit)跨平台 RTSP/RTMP 转 RTMP 转发 SDK,基于全自研音视频内核构建,支持从 RTSP、RTMP 等实时流中拉取音视频数据,并低延迟转推到 RTMP 服务器。模块支持多路并发转发、本地预览、实时静音、URL 快速切换、录像扩展、快照扩展、音频转 AAC、实时码率反馈和推拉流状态回调,便于开发者快速构建稳定、低延迟、可观测的多路流媒体转发系统。

目前,该模块已覆盖 Windows、Linux(x86_64 / aarch64)、Android、iOS、鸿蒙NEXT 等平台,适用于安防视频上云、摄像头流媒体汇聚、RTSP 转直播平台、内网流转外网、移动端转发、边缘节点分发以及国产化实时音视频系统建设等场景。

整体设计如下:

1. 拉流:通过RTSP直播播放SDK的数据回调接口,拿到音视频数据;

2. 转推:通过RTMP直播推送SDK的编码后数据输入接口,把回调上来的数据,传给RTMP直播推送模块,实现RTSP数据流到RTMP服务器的转发;

3. 录像:如果需要录像,借助RTSP直播播放SDK,拉到音视频数据后,直接存储MP4文件即可;

4. 快照:如果需要实时快照,拉流后,解码调用播放端快照接口,生成快照,因为快照涉及到video数据解码,如无必要,可不必开启,不然会额外消耗性能。

5. 拉流预览:如需预览拉流数据,只要调用播放端的播放接口,即可实现拉流数据预览;

6. 数据转AAC后转发:考虑到好多监控设备出来的音频可能是PCMA/PCMU的,如需要更通用的音频格式,可以转AAC后,在通过RTMP推送;

7. 转推RTMP实时静音:只需要在传audio数据的地方,加个判断即可;

8. 拉流速度反馈:通过RTSP播放端的实时码率反馈event,拿到实时带宽占用即可;

9. 整体网络状态反馈:考虑到有些摄像头可能会临时或异常关闭,RTMP服务器亦是,可以通过推拉流的event回调状态,查看那整体网络情况,如此界定:是拉不到流,还是推不到RTMP服务器。

多路RTSP/RTMP转RTMP推送SDK设计架构图:

多路RTMP/RTSP转RTMP推送SDK功能支持:

  1. 支持拉取rtmp流;
  2. 支持拉取rtsp流;
  3. Windows支持本地flv文件转发(支持制定文件位置转发,或转发过程中seek);
  4. 支持本地预览;
  5. 支持转发过程中,实时静音;
  6. 支持转发过程中,切换rtmp/rtsp url,此外,windows平台还支持切换本地flv文件;
  7. 支持录像模块扩展,可边转发边录制,每个文件录制开始结束,均有状态回馈;
  8. 支持内网RTSP网关模块扩展,拉取的流数据,可以流入到内网RTSP网关模块,对外微型RTSP媒体流服务(RTSP url),便于内网访问;
  9. 音频:AAC,并支持拉流后的音频(PCMU/PCMA,Speex等)转AAC后再转发;
  10. 视频:H.264、H.265,支持h265转发(rtsp/rtmp h265转rtmp h265推送)

典型应用场景:

对应Demo:

  •  Windows测试程序:SmartStreamRelayDemo.exe;
  •  Windows C++工程:WIN-RelaySDK-CPP-Demo;
  •  Windows C#工程:WIN-RelaySDK-CSharp-Demo;
  •  Android工程:SmartRelayDemoV2;
  •  iOS工程:SmartiOSRelayDemoV2。

大牛直播RTMP/RTSP播放器SDK

大牛直播RTSP/RTMP播放器SDK特点:

在没测试过大牛直播SDK的RTMP和RTSP播放器之前,你甚至不相信行业内,RTMP和RTSP播放器(特别是RTMP播放器)延迟可以稳定的做到1秒以内。

无需赘述,全自研内核,行业内一致认可的跨平台RTSP/RTMP直播播放器SDK,功能齐全、高稳定、超低延迟、近200家公司明智之选。

功能支持:

如不单独说明,系Windows、Android、iOS全平台支持。

  •  [支持播放协议]高稳定、超低延迟(一秒内,行业内几无效果接近的播放端)、业内首屈一指的RTMP/RTSP直播播放器SDK;
  •  [多实例播放]支持多实例播放(如同时播放多路RTMP/RTSP流);
  •  [事件回调]支持网络状态、buffer状态等回调;
  •  [视频格式]支持RTSP H.265、RTMP扩展H.265,RTSP/RTMP H.264;
  •  [音频格式]RTMP/RTSP支持AAC/PCMA/PCMU,此外RTMP还支持Speex;
  •  [H.264/H.265软解码]支持H.264/H.265软解;
  •  [H.264硬解码]Android/iOS支持H.264硬解;
  •  [H.265硬解]Android支持H.265硬解;
  •  [H.264/H.265硬解码]Android支持设置Surface模式硬解和普通模式硬解码;
  •  [RTSP模式设置]支持RTSP TCP/UDP模式设置;
  •  [RTSP TCP/UDP自动切换]支持RTSP TCP、UDP模式自动切换;
  •  [RTSP超时设置]支持RTSP超时时间设置,单位:秒;
  •  [RTSP 401认证处理]支持上报RTSP 401事件,如URL携带鉴权信息,会自动处理;
  •  [缓冲时间设置]支持buffer time设置;
  •  [首屏秒开]支持首屏秒开模式;
  •  [低延迟模式]支持类似于线上娃娃机等直播方案的超低延迟模式设置(公网200~400ms);
  •  [复杂网络处理]支持断网重连等各种网络环境自动适配;
  •  [快速切换URL]支持播放过程中,快速切换其他URL,内容切换更快;
  •  [音视频多种render机制]Android平台,视频:surfaceview/OpenGL ES,音频:AudioTrack/OpenSL ES;
  •  [实时静音]支持播放过程中,实时静音/取消静音;
  •  [实时快照]支持播放过程中截取当前播放画面;
  •  [只播关键帧]Windows平台支持实时设置是否只播放关键帧;
  •  [渲染角度]支持0°,90°,180°和270°四个视频画面渲染角度设置;
  •  [渲染镜像]支持水平反转、垂直反转模式设置;
  •  [实时下载速度更新]支持当前下载速度实时回调(支持设置回调时间间隔);
  •  [解码前视频数据回调]支持H.264/H.265数据回调;
  •  [解码后视频数据回调]支持解码后YUV/RGB数据回调;
  •  [解码前音频数据回调]支持AAC/PCMA/PCMU/SPEEX数据回调;
  •  [音视频自适应]支持播放过程中,音视频信息改变后自适应;
  •  [扩展录像功能]完美支持和录像SDK组合使用,录像相关功能,可参见”Windows/Android/iOS录像SDK“;
  •  [全屏]Windows平台双击画面进入全屏模式;
  •  [Windows本地FLV播放器]支持本地FLV文件播放(支持获取FLV文件的duration(时长);支持显示当前播放位置;
  •  [Windows本地FLV播放器]支持开始播放或播放过程中seek(跳转播放位置),也许是行业内seek最快的flv点播播放器)。

对应Demo:

  •  Windows测试程序:SmartPlayer.exe;
  •  Windows C++工程:WIN-PlayerSDK-CPP-Demo;
  •  Windows C#工程:WIN-PlayerSDK-CSharp-Demo;
  •  Android工程:SmartPlayerV2;
  •  iOS工程:SmartiOSPlayerV2。

RTMP直播推送SDK

面向 Windows、Linux、Android、iOS、HarmonyOS NEXT 的低延迟直播推流能力

大牛直播SDK(SmartMediaKit)RTMP直播推流SDK,是面向实时音视频应用场景打造的跨平台直播推流模块。SDK 自 2015 年推出以来持续迭代,支持 Windows、Linux、Android、iOS、HarmonyOS NEXT 等平台,覆盖摄像头采集、屏幕采集、麦克风采集、扬声器采集、外部编码前数据接入、外部编码后数据接入、实时水印、快照、录像扩展、断网重连、状态回调等能力。

RTMP直播推流SDK 可将终端侧采集或外部输入的音视频数据,通过 RTMP 协议推送至自建 RTMP 服务器、CDN 或业务直播平台。配合大牛直播 SmartPlayer 播放器,可在典型低延迟场景下实现 100~200ms 级端到端延迟,适用于安防监控、远程教育、工业可视化、移动执法、应急指挥、远程巡检、无纸化会议、电子教室、远程医疗等行业场景。


模块定位:

RTMP直播推流SDK 主要解决端侧音视频采集、编码、封装和推送问题。开发者可根据业务需求,快速实现摄像头推流、屏幕推流、纯音频推流、纯视频推流、音视频混合推流、外部音视频数据推流、推流端录像等能力。

在复杂业务场景中,RTMP直播推流SDK 还可与录像SDK、轻量级RTSP服务SDK、RTSP/RTMP播放器SDK、GB28181设备接入模块组合使用,构建“采集推流 + 本地录像 + 局域网分发 + 远程播放 + 国标平台接入”的完整实时音视频链路。

技术特点和优势:

全自研推流框架

SDK 基于大牛直播自研音视频框架设计,覆盖采集、编码、封装、推流、状态回调等核心链路,具备良好的性能、稳定性和可扩展性。

跨平台能力完整

覆盖 Windows、Linux、Android、iOS、HarmonyOS NEXT 等主流平台,适合多终端、多系统、多行业场景统一建设。

原生鸿蒙集成

HarmonyOS NEXT 平台采用 ArkTS + NAPI + Native C/C++ 分层接入方式,既保留鸿蒙原生应用开发体验,又将复杂的采集、编码、推流、录像和事件回调能力封装在 SDK 内部,降低业务侧集成成本。

接口化集成

所有能力均以 SDK 接口形式提供,支持参数设置、状态反馈、事件回调和异常通知,便于集成到不同类型的业务系统中。

参数配置灵活

支持帧率、码率、GOP、分辨率、编码方式、推流模式、音频参数等配置。开发者既可使用默认参数快速接入,也可根据业务场景进行精细化调优。

网络适应能力强

支持断网自动重连、推流状态回调和网络状态监听,可满足移动网络、弱网、专网、局域网等复杂部署环境下的工程化需求。

多类型数据源接入

支持摄像头、屏幕、麦克风、扬声器、外部YUV/RGB、外部H.264/H.265、外部AAC/PCM等多类型数据源,适合标准直播推流和行业定制推流场景。

易于组合扩展

推流、录像、轻量级RTSP服务、播放、GB28181接入等模块解耦设计,可按需组合,适合构建实时监控、远程巡检、会议同屏、屏幕直播、移动执法、国标平台接入辅助链路等系统。

功能支持:

Windows平台RTMP直播推送SDK

  • 音频编码:AAC/SPEEX;
  • 视频编码:H.264、H.265;
  • 推流协议:RTMP;
  • [音视频]支持纯音频/纯视频/音视频推送;
  • [屏幕/摄像头]支持帧率、关键帧间隔(GOP)、码率(bit-rate)设置;
  • [屏幕]支持屏幕裁剪,根据帧率和推送分辨率,自动推荐码流;
  • [摄像头]支持摄像头选择、分辨率设置、帧率设置;
  • [摄像头]摄像头支持水平反转、垂直反转、0° 90° 180° 270°旋转;
  • [屏幕]支持DXGI采集设置、启/停用Aero;
  • [音频]采集麦克风;
  • [音频]采集扬声器;
  • [预览]支持推送端实时预览;
  • 支持实时静音、取消静音;
  • [对接服务器]支持自建标准RTMP服务器或CDN;
  • 支持断网自动重连、网络状态回调;
  • 屏幕和摄像头合成/多层合成;
  • 支持窗口采集(一般不建议使用);
  • 支持实时动态水印;
  • 支持实时快照;
  • 支持降噪处理、自动增益控制、VAD端点检测;
  • 支持扬声器和麦克风混音;
  • 支持外部编码前音视频数据对接;
  • 支持外部编码后音视频数据对接;
  • 支持RTMP扩展H.265(需设备支持H.265特定机型硬编码)和Enhanced RTMP;
  • 支持特定机型硬编码;
  • 支持实时音量调节;
  • 支持扩展录像模块;
  • 支持Unity接口;
  • 支持H.264扩展SEI发送模块;
  • 支持Windows7及以上版本。

—————————————————————————————————————————————-

Linux平台x64_64架构|aarch64架构RTMP直播推送SDK

  • 音频编码:AAC/SPEEX;
  • 视频编码:H.264;
  • 推流协议:RTMP;
  • [音视频]支持纯音频/纯视频/音视频推送;
  • 支持X11屏幕采集;
  • 支持部分V4L2摄像头设备采集;
  • [屏幕/V4L2摄像头]支持帧率、关键帧间隔(GOP)、码率(bit-rate)设置;
  • [V4L2摄像头]支持V4L2摄像头设备选择(设备文件名范围:[/dev/video0, /dev/video63])、分辨率设置、帧率设置;
  • [V4L2摄像头]支持水平反转、垂直反转、0° 90° 180° 270°旋转;
  • [音频]支持基于alsa-lib接口的音频采集;
  • [音频]支持基于libpulse接口采集本机PulseAudio服务音频;
  • [预览]支持推送端实时预览;
  • [对接服务器]支持自建标准RTMP服务器或CDN;
  • 支持断网自动重连、网络状态回调;
  • 屏幕和摄像头合成/多层合成;
  • 支持窗口采集(一般不建议使用);
  • 支持实时快照;
  • 支持降噪处理、自动增益控制、VAD端点检测;
  • 支持扬声器和麦克风混音;
  • 支持外部编码前音视频数据对接;
  • 支持外部编码后音视频数据对接;
  • 支持实时音量调节;
  • 支持扩展录像模块;
  • 支持Unity接口;
  • 支持H.264扩展SEI发送模块;
  • 支持x64_64架构、aarch64架构(需要glibc-2.21及以上版本的Linux系统, 需要libX11.so.6, 需要GLib–2.0, 需安装 libstdc++.so.6.0.21、GLIBCXX_3.4.21、 CXXABI_1.3.9);

—————————————————————————————————————————————-

Android平台RTMP直播推送SDK

  • 音频编码:AAC/SPEEX;
  • 视频编码:H.264、H.265;
  • 推流协议:RTMP;
  • [音视频]支持纯音频/纯视频/音视频推送;
  • [摄像头]支持采集过程中,前后摄像头实时切换;
  • 支持帧率、关键帧间隔(GOP)、码率(bit-rate)设置;
  • 支持RTMP推送 live|record模式设置;
  • 支持前置摄像头镜像设置;
  • 支持软编码、特定机型硬编码;
  • 支持横屏、竖屏推送;
  • 支持Android屏幕采集推送;
  • 支持自建标准RTMP服务器或CDN;
  • 支持断网自动重连、网络状态回调;
  • 支持实时动态水印;
  • 支持实时快照;
  • 支持降噪处理、自动增益控制;
  • 支持外部编码前音视频数据对接;
  • 支持外部编码后音视频数据对接;
  • 支持RTMP扩展H.265(需设备支持H.265特定机型硬编码)和Enhanced RTMP;
  • 支持实时音量调节;
  • 支持扩展录像模块;
  • 支持Unity接口;
  • 支持H.264扩展SEI发送模块;
  • 支持Android 5.1及以上版本。

—————————————————————————————————————————————-

鸿蒙NEXT 平台RTMP直播推送SDK

  • 音频编码:AAC/SPEEX;
  • 视频编码:H.264、H.265;
  • 推流协议:RTMP;
  • [音视频]支持纯音频/纯视频/音视频推送;
  • [摄像头]支持采集过程中,前后摄像头实时切换;
  • 支持帧率、关键帧间隔(GOP)、码率(bit-rate)设置;
  • 支持RTMP推送 live|record模式设置;
  • 支持前置摄像头镜像设置;
  • 支持软编码、特定机型硬编码;
  • 支持横屏、竖屏推送;
  • 支持鸿蒙NEXT 屏幕采集推送;
  • 支持自建标准RTMP服务器或CDN;
  • 支持断网自动重连、网络状态回调;
  • 支持实时快照;
  • 支持降噪处理、自动增益控制;
  • 支持外部编码前音视频数据对接;
  • 支持外部编码后音视频数据对接;
  • 支持RTMP扩展H.265(需设备支持H.265特定机型硬编码)和Enhanced RTMP;
  • 支持实时音量调节;
  • 支持扩展录像模块;
  • 支持H.264扩展SEI发送模块;
  • 支持HarmonyOS 5.0及以上版本。

—————————————————————————————————————————————-

iOS平台RTMP直播推送SDK

  • 音频编码:AAC;
  • 视频编码:H.264、H.265;
  • 推流协议:RTMP;
  • [音视频]支持纯音频/纯视频/音视频推送;
  • [摄像头]支持采集过程中,前后摄像头实时切换;
  • 支持帧率、关键帧间隔(GOP)、码率(bit-rate)设置;
  • [RTMP协议]支持RTMP推送 live|record模式设置;
  • 支持前置摄像头镜像设置;
  • 支持软编码、特定机型硬编码;
  • 支持实时静音、取消静音;
  • 支持横屏、竖屏推送;
  • [对接服务器]支持自建标准RTMP服务器或CDN;
  • 支持断网自动重连、网络状态回调;
  • 实时快照;
  • 外部编码前音视频数据对接;
  • 外部编码后音视频数据对接;
  • 特定设备H.265硬编码;
  • RTMP扩展H.265(需设备支持H.265特定机型硬编码);
  • 扩展录像模块;
  • H.264扩展SEI发送模块;
  • 支持iOS 9.0及以上版本。

典型应用场景:

对应Demo:

  •  Windows测试程序:SmartPublisherDemo.exe;
  •  Windows C++工程:WIN-PublisherSDK-CPP-Demo;
  •  Windows C#工程:WIN-PublisherSDK-CSharp-Demo;
  •  Linux工程:publisherdemo;
  •  Android工程:SmartPublisherV2;
  •  iOS工程:SmartiOSPublisherV2。

技术对接文档:

相关博客: