552 浏览基于5G网络的无人机超清实时图传系统设计与实现
摘要：图像传输系统是无人机的重要组成部分之一,随着无人机应用领域的拓宽,人们对图传系统的要求越来越高。传统无人机图传系统在实时性、清晰度、传输距离等方面存在不足,针对上述问题,本文设计了一个基于5G网络的无人机超清实时图传系统。本系统能够便捷的部署在各类无人机上,使无人机获得超清实时图传的能力,能够广泛的运用于数字成像、抢险救灾、电力巡检等无人机应用领域,具有较高的实际应用价值。本文设计的图传系统主要由推流端、服务端、客户端三部分组成,其中推流端部署在无人机上,基于海思专业视频处理芯片HI3519AV100将视频处理、编码后封装成RTMP格式,并推流到云端SRS流媒体服务器,无人机推流端与流媒体服务器通过5G网络进行通信,客户端从流媒体服务器实时拉流播放。论文主要研究内容如下:（1）基于海思HI3519AV100嵌入式平台对摄像头采集的视频进行处理和编码,使用ISP单元中内置的数字图像信号处理算法进行图像调优,通过DIS模块实现数字防抖的功能,从源头上解决图像质量差、视频果冻效应严重等问题。通过芯片内置H265硬件编码器进行视频编码,大大提升编码效率。针对视频场景变化较大、延时要求较低的无人机4K图传应用场景,选用Dual智能编码模式和AVBR码率控制策略,节省视频码率并降低编码延时。（2）基于中兴ZM9000模组实现5G无线通信功能,修改了ffmpeg和SRS开源框架中关于FLV封装的部分,解决官方RTMP协议不支持H265格式的问题,精简移植ffmpeg到HI3519AV100嵌入式平台,实现视频封装、推流发送的功能。（3）基于ffmpeg和QT开源框架设计定制化的图传系统客户端,通过手动设置流信息的方式,解决了首帧视频格式探测时间长的问题,通过libyuv对CPU特殊指令集的优化加速,解决了ffmpeg视频格式转换函数效率低的问题。采用GPU硬件解码的方式解决了软解效率低的问题,并针对播放本地视频时跳转不精准、音视频不同步的问题,提出了优化方案。本文设计并实现了一款用于无人机的超清实时图传系统,并对图传系统进行了全面的测试,通过测试验证了系统的可靠性和稳定性,系统平均图传延时约为500ms、动态环境下视频编码图像峰值信噪比高于33d B,能够满足无人机超清视频图传的技术要求。
关键词：无人机;实时图传系统;
文章目录
摘要
ABSTRACT
第一章 绪论
1.1 研究背景及意义
1.2 国内外研究现状
1.2.1 无人机图传通信方式研究现状
1.2.2 视频编码技术研究现状
1.2.3 无人机图传系统研究现状
1.3 论文的主要研究内容
1.4 论文的组织结构
第二章 相关技术及标准
2.1 HEVC视频编码标准
2.2 5G通信技术
2.3 RTMP流媒体协议
2.4 本章小结
第三章 系统的需求分析与设计
3.1 图传系统需求分析
3.2 图传系统总体设计
3.3 系统硬件开发环境介绍
3.3.1 HI3519AV100控制芯片
3.3.2 CMOS摄像头模块
3.3.3 5G通信模块
3.4 本章小结
第四章 视频推流端的设计与实现
4.1 推流端总体设计
4.2 5G通信模块设计与实现
4.2.1 5G模组驱动适配
4.2.2 无线通信功能实现
4.3 视频输入模块
4.3.1 MPP处理平台
4.3.2 视频采集功能设计
4.3.3 数字防抖模块设计
4.3.4 视频缓存池设计
4.3.5 视频处理子系统设计
4.3.6 视频输入模块设计与实现
4.4 视频编码模块
4.4.1 码率控制策略选择
4.4.2 编码GOP结构选择
4.4.3 视频编码模块程序实现
4.5 视频传输模块
4.5.1 ffmpeg源码修改及精简移植
4.5.2 SRS流媒体服务器
4.5.3 视频推流模块程序实现
4.6 本章小结
第五章 音视频客户端的设计与实现
5.1 音视频客户端总体设计
5.2 缓存队列的设计与实现
5.3 解复用模块
5.3.1 解复用模块设计与实现
5.3.2 首帧时延优化
5.3.3 跳转功能实现与优化
5.4 视频解码模块
5.4.1 视频解码器选择
5.4.2 解码模块实现
5.5 音视频输出模块
5.5.1 视频格式处理算法优化
5.5.2 音视频同步模块设计与实现
5.5.3 音视频输出模块实现
5.6 本章小结
第六章 系统实验与测试
6.1 系统测试平台与环境
6.2 系统基础功能测试
6.3 视频编码质量实验与测试
6.4 图传系统时延实验与测试
6.5 超视距控制与图传功能实验与测试
6.6 本章小结
结论与展望
参考文献
[1]论述物联网形势下的5G通信技术应用[J]. 杨蓓. 中国新通信. 2022(06)
[2]“5G+无人机”的应用与发展问题研究[J]. 吴文博,唐艳. 中国无线电. 2021(04)
[3]基于5G的超密集无线网络规划与部署方案研究[J]. 李贵生. 通讯世界. 2020(06)
[4]5G终端业务发展趋势及技术挑战[J]. 刘洋. 数字通信世界. 2020(04)
[5]基于机载红外影像纹理特征的输电线路绝缘子自动定位[J]. 彭向阳,梁福逊,钱金菊,杨必胜,陈驰,郑晓光. 高电压技术. 2019(03)
[6]运营商如何抢占5G发展先机?可践行5G“承载先行”[J]. 黄海峰. 通信世界. 2019(06)
[7]工业互联网平台助力产业生态构建[J]. 刘廉如,张忠平,肖力. 信息通信技术. 2018(03)
[8]5G移动通信发展趋势与若干关键技术分析[J]. 屈德华,张琦,杨鹏,张义,郭志强. 中国新通信. 2018(11)
[9]易瓦特:无人机产业布局刚刚开始[J]. 李园. 机器人产业. 2016(02)
[10]基于同轴电缆的多路视频混合传输技术的研究[J]. 简伟,于海滨,盛庆华. 电子器件. 2012(04)
