Unity环境下RTMP推流|轻量级RTSP服务+RTMP|RTSP播放低延迟解决方案

除了Windows/Linux/Android/iOS Native SDK,大牛直播SDK发布了Unity环境下的RTMP推流|轻量级RTSP服务(Windows平台+Linux平台+Android平台)和RTMP|RTSP直播播放(Windows、Linux、Android和iOS平台全覆盖)低延迟的解决方案。与Unity引擎深度融合、效能全开,全平台超低延迟,沉浸无界。

目前,大牛直播SDK的Unity3D环境下,已覆盖以下SDK:

  •  Windows平台RTMP直播推送SDK(采集Unity窗体、摄像头或屏幕);
  •  Windows平台轻量级RTSP服务SDK(采集Unity窗体、摄像头或屏幕);
  •  Windows平台RTMP|RTSP直播播放SDK;
  •  Linux平台RTMP直播推送SDK(采集Unity窗体、Unity声音);
  •  Linux平台RTMP|RTSP直播播放SDK;
  •  Android平台RTMP直播推送SDK(采集Unity窗体、摄像头、麦克风或Unity声音);
  •  Android平台轻量级RTSP服务SDK(采集Unity窗体、摄像头、麦克风或Unity声音);
  •  Android平台RTMP|RTSP直播播放SDK;
  •  iOS平台RTMP|RTSP直播播放SDK。

平台覆盖和架构支持

支持平台 支持架构
Windows平台 x86 debug/release, x64 debug/release
Linux(含麒麟操作系统) x86_64、aarch64
Android平台 armeabi-v7a, arm64-v8a, x86, x86_64
iOS平台 arm64

1. Unity环境下RTMP推流、轻量级RTSP服务模块

Unity环境下,不管是camera还是窗体数据也好,主要是高效率的拿到原始数据,采集端可用的数据格式是RGB的,拿到之后,通过高效率的数据传递,发给封装后的原生SDK,完成数据编码和RTMP推送。

需要注意的地方有几点:

1. 数据采集投递,确保高效率;

2. 屏幕分辨率发生变化,可实时适配;

3. Unity和原生SDK之间通信,比如event回调等;

4. 屏幕数据如有水平或垂直翻转,需要有一定的矫正。

2. Unity环境下RTMP|RTSP播放器

Unity 直播播放先锋,深耕传统行业赋能革新

早在数年前,大牛直播 SDK 便前瞻性地布局 Unity 环境下的 RTMP 和 RTSP 直播播放领域,以技术先行之姿,深度嵌入诸多传统行业关键脉络,成为驱动行业数字化转型、效能进阶的隐形引擎。

教育革新:知识跨时空,互动零延迟

在教育版图,打破地域与硬件束缚,将课堂装进 Unity 构建的虚拟空间。实时 RTMP 直播播放让名师课程穿越城市界限,偏远地区学子与名校课堂无缝对接。高清画面流畅呈现复杂实验演示、精美课件讲解,RTSP 技术加持下,校园监控实时回传,保障校园安全同时为远程教学管理提供一手资料。师生互动环节,借助超低延迟特性,提问瞬间达,解答零时差,虚拟教具操作同步反馈,无论是 K12 基础教育的趣味课堂,还是高校专业学科的深度研讨,都被重塑为沉浸式、互动型学习新生态。

工业仿真:虚拟预演,精准操控

工业制造与设计场景中,Unity 结合 RTMP/RTSP 直播播放大放异彩。新品研发阶段,异地团队通过直播实时观看高精度 3D 产品仿真模拟,机械运转细节、流体力学效果纤毫毕现,各方意见实时交流,加速迭代周期。生产线上,RTSP 实时回传设备运行状况,工程师远程监测参数、诊断故障,宛如亲临现场;复杂工业操控培训借 RTMP 低延迟实现远程模拟实操,新手在虚拟环境跟随导师动作即时反馈,精准掌握重型机械、精密仪器操作要诀,降低培训成本,提升实操安全系数。

低延迟控制:指令闪达,效能飞升

特殊作业与智能管控领域,毫秒级延迟决定成败。消防应急演练时,指挥中心通过 RTMP 直播精准掌控现场动态,下达疏散、救援指令瞬间抵达一线人员终端,人员位置、火势蔓延态势实时更新;电力巡检无人机搭载 RTSP 直播设备,飞巡线路画面即刻回传中控,隐患排查精准定位,远程操控指令同步执行,保障电网安全。智能仓储物流里,机械臂抓取、货物分拣动作经直播监控与控制指令零时差交互,提升自动化作业流畅度,减少货物损耗,以技术之力夯实行业高效运转根基,持续释放传统行业新潜能。

相关实现逻辑如下:

1. Native RTSP或RTSP直播播放SDK回调RGB/YUV420/NV12等其中的一种未压缩的图像格式;

2. Unity3D创建相应的RGB/YUV420等Shader;

3.Unity3D从各个平台获取图像数据来填充纹理即可;

需要注意的有几点:

1. 多实例支持:播放端和推送不一样,比如智慧城市,播放端有多路场景,所以多实例支持是必备功能,多实例环境下,需要能有好的区分event状态回调等;

2. 尽可能高效率的数据传递,确保资源占有最小化;

3. 视频分辨率变化后,能自动适配;

4. Unity和原生SDK之间通信,比如event回调等;

5. 长时间运行稳定性。

相关SDK文档及视频

大牛直播SDK Unity3D接口调用SDK说明

Unity3d RTSP/RTMP直播播放端SDK视频演示1

Unity3d RTSP/RTMP直播播放端SDK视频演示2

相关博客

Windows平台Unity3d下如何同时播放多路RTSP或RTMP流

如何在Unity3d平台下低延迟播放RTMP或RTSP流

Windows平台实现Unity下窗体|摄像头|屏幕采集推送

Android平台实现Unity3D下RTMP推送

Unity3D平台实现全景实时RTMP|RTSP流渲染

Unity3D下Linux平台播放RTSP或RTMP流

Android平台实现VR头显Unity下音视频数据RTMP推送

Unity实现Camera和Audio数据的低延迟RTMP推送技术探讨

Android平台Unity下如何通过WebCamTexture采集摄像头数据并推送至RTMP服务器或轻量级RTSP服务