机
第49卷
第11期
电工程技术
Vol.49No.11
MECHANICAL&ELECTRICALENGINEERINGTECHNOLOGY
DOI:10.3969/j.issn.1009-9492.2020.11.049
成海秀,陈河源,曹惠茹,等.无人机目标跟踪系统的设计与实现[J].机电工程技术,2020,49(11):165-167.
无人机目标跟踪系统的设计与实现*
成海秀1,陈河源1,曹惠茹2,徐欣桐1,黄畅1
(1.中山大学南方学院电气与计算机工程学院,广州
510970;2.广东工程技术职业学院信息工程学院,广州
510075)
摘要:设计了一种通过颜色识别技术与超声波测距技术进行目标检测和跟踪的无人机目标跟踪系统。采用ArduinoMega2560为主控板,利用Pixy2
视觉识别传感器模块、超声波模块HC-SR04作为跟踪目标信息采集装置与四旋翼无人机机体共同构成系统的硬件部分。开发了应用视觉识别与超声波信息控制无人机进行自动跟踪的控制程序。实验结果显示,使用Pixy2传感器模块可以识别多种形状和颜色的目标物体,而超声波模块辅助识别增加了系统识别的精准性,无人机可以根据所获得的数据进行目标物体的识别与跟踪,具有较好的智能性、实时性和准确性,实现了无人机准确识别、锁定被测物体的位置,并控制机体进行自主移动跟踪。关键词:无人机;视觉识别;Pixy2;HC-SR04中图分类号:V279
文献标志码:A
开放科学(资源服务)标识码(OSID):
文章编号:1009-9492(2020)11-0165-03
DesignandImplementationofUAVTargetTrackingSystem
(1.SchoolofElectricalandComputerEngineering,NanfangCollegeofSunYat-senUniversity,Guangzhou510970,China;
Abstract:AUAVtargettrackingsystembasedoncolorrecognitiontechnologyandultrasonicrangingtechnologywasdesigned.ArduinoMega2560wasusedas
ChengHaixiu1,ChenHeyuan1,CaoHuiru2,XuXintong1,HuangChang1
2.DepartmentofInformationEngineering,GuangzhouInstituteofTechnology,Guangzhou510075,China)
themaincontrolboard,Pixy2visionrecognitionsensormoduleandultrasonicmoduleHC-SR04wereusedastrackingtargetinformationacquisitiondevice.ThehardwarepartofthesystemwascomposedofquadrotorUAV.AcontrolprogramforautomatictrackingofUAVusingvisualrecognitionandultrasonicultrasonicmoduleassistedrecognitionincreasestheaccuracyofthesystemrecognition.TheUAVcanrecognizeandtrackthetargetobjectaccordingtothethebodyforautonomousmovementtracking.
informationwasdeveloped.TheexperimentalresultsshowthatthePixy2sensormodulecanidentifyavarietyofshapesandcolorsofthetargetobject,whiletheobtaineddata,whichhasgoodintelligence,real-timeandaccuracy,andrealizestheaccuraterecognitionandlockingofthemeasuredobjectposition,andcontrolKeywords:UAV;visualrecognition;Pixy2;HC-SR04
0引言
无人驾驶飞机(unmannedaerialvehicle,UAV)是利用无线电遥控设备和自备的程序控制装置操控的不载人飞机,简称无人机[1]。无人机具有方便携带、体积小、低成本、质量轻、操作灵活等优点[2-5],在众多领域具有广泛的应用前景,例如交通检查、电力巡检、资源勘探、森林防火、大气监测、航拍等[6-8]。随着无人机技术和传感器技术的急速发展,两者的充分结合孕育出了许多功能各异的飞行器,这使得无人机在军事和商业上的应用成为一种可行的选择。然而现有的大部分无人机仍然采用人为远程操控和跟踪预定的航迹[9-10]。因此本文设计一款能智能跟踪目标的无人机目标跟踪系统。
无人机跟踪系统设计中,视觉识别跟踪技术是研究无人机跟踪的关键领域[11-14],对于无人机的发展而言,更是必不可少。根据目标的不同,视觉跟踪技术可以分为对人的跟踪和对物的跟踪两种类型[15-16]。对人的跟踪需要考虑人的动作姿态等问题,识别难度较高,而对物的识别主要是从大小、形状和颜色的特征进行识别,在图像中获取物体的外部特征信息通常是固定不变的,识别难度较小。因此本系统中无人机对目标的跟踪是通过颜色视觉识别技术和超声波测距技术对物的跟踪进行的。
基金项目:大学生创新创业训练计划项目(编号:S201912619036)收稿日期:2020-05-23传统视觉识别主要存在的问题如下。
(1)数据量大,实时性差。例如传统的视觉识别传感器在获取图像信息时不可避免地会产生大量的数据,实时性较差[17]。
(2)对处理器要求比较高。在视觉识别中,处理器要实时性获取图像信息,大部分处理器的性能无法支撑,往往需要依赖计算能力强大的远端主机来完成。
为了解决传统无人机视觉跟踪由于目标的快速移动而导致的无人机与被跟踪目标易发生碰撞的问题,本文采用超声波测距模块与Pixy2传感器模块相结合的方式进行无人机目标跟踪。本文中的无人机目标跟踪系统中的开发机飞行控制是在无人机体上使用ArduinoMega2560主控板结合超声波模块测距数据和Pixy2传感器模块的颜色识别数据综合进行的。
1Pixy2CMUcam5视觉传感器
开源视觉传感器[18],使用色调过滤算法(hue-basedcolorfilter⁃ingalgorithm)对目标图像进行处理,可以从一帧完整的图像中获得颜色数据进行处理后,传输到Arduino或者其他适配的微控制器中。传统的图像识别处理,通常由微控制器负责全局提取出需要的颜色数据,传感器模块内置的专用处理器对所
Pixy2CMUcam5视觉传感器是一款具有图像处理能力的
·165·
2020年11月机电工程技术第49卷第11期
的数据处理。而使用Pixy2CMUcam5视觉传感器时,其自带的具有图像处理功能的处理器可以完成图像方面的数据处理,大大减轻了微处理器的工作负担,使得微控制器可以进行更多更为复杂的操作。Pixy2CMUcam5图1
Pixy2传感器
视觉传感器如图1所示。
别及色块追踪能力,图像识别容易,支持多物体识别。目标跟踪
Pixy2传感器最高支持7种颜色,具有强大的多色彩颜色识
系统在通过Pixy2模块进行目标跟踪时,提前将与被跟踪物体相同的颜色进行记录存储。其可以同时识别多个物体,具备优秀且快速的图像处理能力,只需要16.7ms就能完成对一帧图像的处理。在实际的识别跟踪中,Pixy2可以每16.7ms对物体的位置进行完整更新,应对快速移动中的物体也能做到很好地识别跟踪。SPI、I2CPixy2、USB支持、数字多种通I/O信、模拟接口I/O,例等,通过如常用USB的UART线连接到计
串行、
算机的PixyMon,当PixyMon运行后,你会看到如下信息Pixyprogrammingstatedetected”在PixyMon的命令窗口区。此时Pixy2与计算机连接成功,然后就可以对Pixy2传感器进行功能设置和调试,提高检测精度。本文设计的无人机目标跟踪系统使用FC-10P转FC-6P连接线将Pixy2连接到ArduinoMega成602560帧画面的处理,实现了无人机对目标物体移动的快速跟开发板的ICSP接口上,使得无人机系统可以每秒完踪响应。PixyMon软件演示效果图如图2所示。
图2PixyMon软件演示效果图图3超声波模块HC-SR04
2超声波模块HC-SR04
感测功能的传感器,可测量精度达到HC-SR04超声波模块是一种可以提供3mm。模块由超声波发
2~400cm的距离
射器、接收器与控制电路组成,如图3所示。
超声波模块启动时,需要给至少10μs的高电平脉冲信号,触发引脚Trig。HC-SR04会持续发出8个40kHz的方波,不断检测信号值是否有返回。检测到返回信号后引脚Echo输出一个高电平脉冲,高电平脉冲的持续时间从超声波发射到反射返回。计算公式:距离=(高电平脉冲时间×340)/2。HC-SR04模块可以不断检测无人机周围的环境情况,辅助无人机目标跟踪系统的运行。
3无人机跟踪系统的硬件系统设计
本文设计的无人机目标系统机构如图4所示。各部分的主要功能如下。
(1)Pixy2传感器模块。该模块负责对指定物体进行视觉识别,并根据指定物体相对摄像头的位置将物体的大小和位置信息发送给主控板的ICSP端口。
图4
Pixy2视觉识别无人机跟踪硬件系统结构
(2)超声波模块。该模块负责对指定物体进行测距,将超声波发射模块与超声波接收模块的数据发送到主控板I/O口。
(3)无线模块。该模块主要由遥控器与接收机组成,接收机将6个通道遥控的信号发送到主控板I/O口。
(4)主控模块。系统采用配置了ATmega256处理器的Ar⁃duino自Pixy2Mega传感器模块的视觉识别信号与超声波模块的距离信2560开发板作为主控板。其主要功能包括接收来号,根据指定物体获取信息中的大小和位置数据,判定物体相对摄像头的运动关系;根据指定物体相对摄像头的运动关系,判决无人机应采取的飞行姿态。
(5)无人机体。无人机体采用F450机架、XXD电机14000系统软件设计
kV马达、XXD30A电调、1045正反桨、2200mAh锂电池。
本文ArduinoIDE开发环境下完成了系统的软件设计。首先将需要的端口进行定义,编写函数指令,将传感器数据与遥控器油门通道数据结合,实现对指定目标进行识别跟踪,获得目标颜色、横纵向位移、水平距离等参数,根据获得数据改变无人机的飞行轨迹。因此分为5个模块功能:
(1)Pixy2代CMUcam5模块对跟踪目标的颜色、目标的移动位移;
(2)超声波模块检测目标物体与无人机的水平距离;(3)ArduinoMega2560作为处理中心,处理整套无人机控制系统数据;
(4)接收机向ArduinoMega2560传输遥控数据;(5)qq飞控接受ArduinoMega2560处理好的传感器数据控制无人机飞行。
图5
无人机跟踪系统工作流程
5系统功能测试
5.1模块配置
系统供电后,Pixy2中间的LED闪烁后熄灭,模块启动正常,按压Pixy2上方的黑色按钮,大约1s后,LED亮起白灯,待LED的颜色与被测物体的颜色匹配时,变为红色后松开按钮,Pixy2会进入“Pixy2的LEDlightpipe会亮起与被测物体”模式,LED颜色相同的灯光,此时按下顶部按钮松开,即完成颜色的记录。
LED灯的亮度与物体色调的饱和度成正比,所以亮度越高越好。进行系统测试时,使用PixyMon软件进行校准和设置。首
先打开PixyMon软件进行Pixy2的校准和设置。
166·
“·成海秀,等:无人机目标跟踪系统的设计与实现
当软件运行后,Pixy2视觉传感器模块上的LED会关闭,此时在屏幕上mingPixyMon的命令窗口区会看到“Pixyprogram⁃的视觉特征进行定义。待statedetected”这样的信息,然后就可以对多个被测物体Pixy2配置好后,打ArduinoIDE软件运行系统代码,通过ArduinoIDE的串口助手测试Pixy2模块与超声波模块是否正常工作。即完成了整个系统的测试前准备。视觉识别无人机现场如图6所示。
图6无人机跟踪测试
5.2测试流程
准备8张彩色A4纸,颜色分别为红、黄、蓝、绿、紫、青、黑、灰等8个A4RGB格式下典型色彩,然后将颜色不同的颜色纸与无人机在不同光照环境下进行识别范围的测试,每种A4纸测试15次,取其平均值。测试超声波模块的识别距离,测15次,取其平均值。
5.3测试结果与分析
(1)同一颜色在不同的光照环境下,Pixy2传感器识别的准确性与距离有所不同,在光照充足的环境下,青色与蓝色有效识别的距离较远,在弱光环境下,青色与黄色有效识别距离较远。黑色与灰色在整个实验过程中均无法有效识别,与Pixy2传感器识别算法的预期结果一致,测试结果如图7所示。由于Pixy2传感器采用的是色调过滤算法,受环境光照影响较大,在不同的光照下摄像头获取到的图像信息有所差异,所以图像识别的距离和准确度都会受到环境的影响。相对而言,环境亮度越高,Pixy2传感器对目标的识别距离越远。
图7光照强度与识别距离及色调差异
(2)超声波模块的有效测试距离为183cm,与超声波模块的预期效果一致。
通过以上测试结果分析可知,Pixy2传感器的硬件配置和软件算法仍有很大的改进空间。在实际的视觉识别中,可以参考上述数据,根据所在环境的光照需要,设置合适的跟踪距离。
将多种颜色混合与形状不同的目标物体做进一步测试,对系统的视觉识别和自动跟踪性能进行测试。实验结果表明,该无人机目标跟踪系统对长方形、正方形、圆形等相对饱满的物体与颜色相对单一的物体识别率较高,跟踪响应速度快,并能够对多个物体进行识别跟踪。因此本文设计的无人机目标跟踪系统可以有效地完成对色块的识别和对运动物体的跟踪。
·167·
6结束语
本文设计的无人机目标跟踪系统经实验检验,能够对规则形状和颜色的物体进行视觉识别,并且能使无人机实现自动跟踪。该无人机通过使用ArduinoPixy2传感器、超声波传感器和术在无人机领域的应用进行了实践探索。该无人机的整体设Mage2560主控板对无人机进行控制,为视觉识别技
计,在进一步完善后有望应用到更复杂的无人驾驶系统中。目前,无人机目标跟踪系统存在以下问题需要进一步完善:
(1)Pixy2传感器在实际工作中对被测物体的颜色饱和度、形状大小及其所处的环境光照强度有着很高的要求,需要进一步完善算法、提升性能;
180°(视角的物体,通过加装可移动云台增加2)目前Pixy2传感器固定安装在无人机上,只能检测前方
(3)由于超声波模块的局限性,该系统的有效跟踪距离Pixy2的可检测范围;
较短,需要进一步优化传感器的算法;
(4)对于无人机的防碰撞性,目前只能防止与正面物体发生碰撞,需要加装更多的超声波模块达到全方位防碰撞。参考文献:
[1]张辰,赵红颖,[2]究姜运宇[J].红外技术钱旭,2015,37(03):224-228.
.面向无人机影像的目标特征跟踪方法研[3]滨姜成平:哈尔滨工业大学.旋翼无人机跟踪地面移动目标的视觉控制[D].哈尔.一种四旋翼无人机控制系统的设计与实现研究,2014.
[D].[4]哈尔滨白志君:.哈尔滨工业大学四旋翼无人机室内自主导航系统的研究与实现,2014.
[5]范保杰厦门:厦门大学[D].,朱琳琳,2014.
,崔书平,等.旋翼无人机视觉跟踪系统[J].[6]与激光工程李宇昊.无人机遥感飞机在林业调查中的应用研究,2011,40(01):149-152.
红外[D].[7]李勇北京林业大学.无人机飞行器在特高压交流输电线路巡视中的应用模,2008.
北京:[8]式研究吕梦[D].北京:华北电力大学,2014.
[9]西安.李瞳:无人机在高速公路边坡日常养护巡查的应用研究长安大学,2018.
[D].[10]电子科技大学.小型模块化无人机地面站系统的设计与实现[D].成都:沈自然[11]京.无人机自主航迹规划与地面测控技术研究,2018.
[D].南
韩鹏:南京航空航天大学[12]述郭显久[J].,飞航导弹耿增显,刘宏,等.,2011.
无人机视觉识别与移动追踪技术综
[13][J].车玉涵辽宁师范大学学报,苏欣,王康,2018(10):24-28.
,等..基于机器视觉的旋翼无人机跟踪系统研究(基于自然科学版VITAL),2019,42(02):187-196.的无人机目标跟踪方法
[D].长
[14]春钱超超:吉林大学,吕勇,2019.
[15][J].尹宏鹏电子技术,陈波,2017,46(01):47-50.
.一种基于Linux的视觉识别四旋翼控制系统
,柴毅,等[16]自动化学报.基于视觉的目标检测与跟踪综述[J].
侯志强,韩崇昭,2016,42(10):1466-14.
.视觉跟踪技术综述[J].自动化学报,2006(04):
[17]603-617.
程嘉晖[18]究张喜凤[D].杭州.基于深度卷积神经网络的飞行器图像识别算法研
:浙江大学[J].电子测量技术.基于Pixy传感器的视觉识别智能车的设计与实现
,2017.
,2018(12):17-20.第一作者简介:成海秀(1984-),女,硕士,讲师,研究领域为计算机网络、计算机信息处理、高速视频网络QoS。
(编辑:刘诗寒)