在线时间:8:00-16:00
迪恩网络APP
随时随地掌握行业动态
扫描二维码
关注迪恩网络微信公众号
开源软件名称:hand-keras-yolo3-recognize开源软件地址:https://gitee.com/cungudafa/hand-keras-yolo3-recognize开源软件介绍:hand-keras-yolo3-recognize手语图像识别系统设计 一个基于人体姿态研究的手语图像识别系统。根据OpenPose人体姿态开源模型和YOLOv3自训练手部模型检测视频和图像,再把数字特征进行分类器模型预测,将预测结果以文本形式展现出来。 预期是通过手机移动端对视频进行采集处理并应用,详见视频。 软硬件环境基于人体姿态的手语图像识别系统采用了软硬件相结合的方法。硬件部分主要是用于采集手语图像的单目摄像头。软件部分主要是通过ffmpeg对视频图像进行处理,然后在Anaconda下配置Python3.6的开发环境,再结合Cmake编译OpenPose模型,最后在VScode编译器中结合OpenCV中的图像算法,实现了对手语图像识别系统所有程序的编译,通过wxFromBuilder框架整合设计了系统主界面。 硬件环境手语视频图像采集主要采用的硬件设备有笔记本电脑摄像头和手机摄像头。程序运行硬件环境详细参数如下: (1)操作系统:Windows10家庭版,64bit (2)GPU:Intel(R) Core(TM) i5-8300H,主频:2.30GHz (3)内存:8G 软件环境(1) 视频处理工具:ffmpeg-20181115 (2) 集成开发环境:Microsoft Visual Studio Code、Anaconda3 (3) 界面设计工具:wxFromBuilder (4) 编程语言环境:python3.6 系统功能设计一个基于人体姿态研究的手语图像识别系统。根据OpenPose人体姿态开源模型和YOLOv3自训练手部模型检测视频和图像,再把数字特征进行分类器模型预测,将预测结果以文本形式展现出来。 基于人体姿态的手语图像识别系统是由多模块组成的,主要分为训练模块和识别模块两个部分。 1. 视频帧处理2. OpenPose人体姿态识别由于仅靠人体姿态4和7关键点不足以识别手部位置,容易误判,因此在最终设计中引入了yolo手部识别。 3. yolov3手部模型训练项目结构主要分为两大部分:YOLOv3深度模型训练部分和YOLOv3和OpenPose手语姿态识别部分。 训练模型思路:
4. 人体姿态数字特征提取识别完整过程思路: 在OpenPose设计中阐述过求解距离和角度的公式及方法,最终因为个体差异每个人的骨骼可能不同,目前优化为距离比(即小臂3-4关键点的距离与脖子长度0-1关键点距离之比)。 基于 keras的yolo3训练部分项目结构如下表所示: keras-yolo3训练项目结构:
其中logs文件夹用于存放训练好的模型,VOCdevkit用于存放图片和标注信息。 model_data文件夹内容:
nets文件夹内容:
5.beyes分类识别识别部分代码结构:
视频文件处理filesUtils文件夹:
模型model文件夹:
基本算法pose和yolov3文件夹:
使用
说明目前,该项目有很多笔记过程记录在csdn,也很有价值,感兴趣的朋友可以看看。 当然,这个项目仅是原理输出,作为成品推出可适用的方案还插一大段距离,中国手语包含5400+词汇,方言差异等,在词汇自然语言处理上还有很多发挥空间,再结合动态手势规划等等,手语翻译势在必行; 总之,基于手势动作进行图像识别的发展趋势是很大的,图形图像的处理运用在生活中的方方面面,待大家发现哦! 贡献者cungudafa(王瑜) |
请发表评论