icon

教育机器人YanShee眼睛和人的眼睛到底有什么不一样?

发表时间:2020-06-20 11:05:14

  服务机器人是机器人家族中的一个年轻成员,到目前为止尚没有一个严格的定义,不同国家对服务机器人的认识不同。国际机器人联合会经过几年的搜集整理,给了服务机器人一个初步的定义:服务机器人是一种半自主或全自主工作的机器人,它能完成有益于人类健康的服务工作。服务机器人被广泛应用于医院、家庭、工地、办公室和体育娱乐场馆等领域,直接与人类共处,为人类排忧解难。

  机器人本身并不具有视觉感知能力,所以需要通过机器视觉技术赋予机器人一双“眼睛”,从而让机器人像人一样具备检测,判断,识别等能力。

  如今,机器视觉技术已在各类服务机器人中应用,如应用于防疫机器人上的口罩识别技术,协助疫情管控人员监测到来访人员的口罩佩戴情况,并对没有佩戴和未正确佩戴口罩的人员进行提醒与记录;应用于教育机器人Yanshee上的人体姿态估计,让机器人可以高仿真人类动作,实现机器人舞蹈;应用于家庭服务机器人悟空上的物体识别技术,使得悟空能够快速识别200多种动植物和日常生活用品,大大满足了孩子们的好奇心。

                             



  教育机器人YanShee功能介绍:

  ØYanShee是优必选教育面向高中和大学生开发的一款开源人形机器人教学平台。

  Ø它采用Raspberry Pi + STM32 开放式硬件平台架构,17个自由度的高度拟人设计,内置800万像素摄像头、陀螺仪及多种通信模块,配套多种开源传感器包,提供专业开源学习软件,支持BLockly、Python、Java、C/C++等多种编程语言学习及多种AI应用的学习和开发。

  Ø它支持智能语音识别、视觉识别和手势识别。

  那么什么是机器视觉技术

  机器视觉技术,就是指用计算机来模拟人的视觉功能,给机器人一双“眼睛”。

  除了简单的视觉感知以外,更重要的是赋予其具备模拟人脑的一部分功能——从客观事物的图像中提取信息,进行处理并加以理解,最终用于实际检测、测量和控制。

  对于服务机器人来说,这项技能必不可少。

  它们需要准确识别到目标物体,并且预判物体所在的位置。在自主导航的过程中,遇到障碍物,可以进行智能导航避障。

  举个栗子,就像看护型机器人,他的职责是跟随看护患者。实现这一功能的前提就是它可以检测识别到人,才能进行跟随和进一步的交互。

  更进一步地说,服务机器人常用的视觉技术主要有三种:

  检测:将一张图片中的所有目标检测出来,并输出目标的位置和大小,通常以bounding box的形式输出结果。

  识别:识别出图像中的物体的种类或者人的身份。

  跟踪:通常讲将各个视频图像序列中各个目标之间的轨迹关联起来,就形成了目标跟踪。

      

  在实际应用中常常需要应用多个技术。

  比如,在物体识别中,服务机器人常常在检测多种物体的同时也输出被检测到的物体的种类。而人脸识别则通过人脸检测和人脸比对或者识别两个主要步骤来完成。

  在人体姿态估计中,服务机器人则检测来确定人体各个关节点,并在检测中利用各个关节点之间的相互关系来提高精度。

  光这么说大家可能还是不太理解,接下来我们从口罩佩戴识别、人体姿态估计、物体识别,这三个具体实例来看看,视觉技术在服务机器人当中的应用。

  今年年初这一场突发的疫情,让戴口罩彻底成为了我们的日常。

  针对这一道健康防线,优必选科技根据戴口罩的不同状态:佩戴好口罩、未佩戴口罩、口罩没戴好,训练出了这三种AI算法,协助疫情管控人员进行监测。

  一般来说,口罩识别分三步进行(读入视频图像→人脸检测跟踪→口罩佩戴识别),这次优必选在人脸检测的基础上,重新训练了分类模型来识别是否佩戴好口罩。

  除了正常的视频读入与人脸检测跟踪外,我们还新增了姿态估计和语音提醒。检测到口罩不规范戴法,机器人会及时发出语音提醒用户戴好口罩。


  在教育机器人Yanshee上,我们将2D人体姿态估计与3D人体姿态估计应用于动作模仿。

  通过Yanshee头部RGB相机采集图像发送给计算设备(云端或笔记本),利用跟踪方法处理得到的2D或3D关键点信息,再将位置信息发送给运动控制模块解算关节运动角度,进而模仿人的运动。

  由于目标具有不同姿态、运动具有不规则性,传感器的景深、分辨率、天气、光照等条件和场景也呈现多样性,摄像头所拍出来的图像千差万别。

  物体检测之所以成为CV重要技术,是因为目标检测算法的结果直接影响后续的跟踪、动作识别和行为描述的效果。

  因此,目标检测这一基本任务仍然非常具有挑战性,尤其是在机器人身上做目标检测,存在很大的提升潜力和空间。

  目前主流的目标检测算法主要是基于深度学习模型,方法从Two-Stage发展到One-Stage ,从Anchor based到Anchor Free检测算法。

  Two-Stage目标检测算法

  这类检测算法将检测问题划分为两个阶段,第一个阶段首先产生候选区域(Region Proposals),包含目标大概的位置信息,然后第二个阶段对候选区域进行分类和位置精修。

  这类算法的典型代表有R-CNN,Fast R-CNN,FasterR-CNN等。

  这类检测算法不需要Region Proposal阶段,可以通过一个阶段直接产生物体的类别概率和位置坐标值,比较典型的算法有YOLO、SSD、CornerNet和CenterNet等。

  以教育机器人悟空为例。(快点记笔记!)

  比如说通用的物体识别,将物体放置悟空面前,触发关于物体内容的进一步语音交互;

  拖动积木条进行编程,通过对图像主体的分类结果返回对应的值,也就是当识别到某样东西,才能做下一步的行动,触发编程条件。

  通过物体检测算法,悟空能够检测出包含水果花卉等多种生活中常见的物体。

  从算法层面,在CenterNet的基础上,使用轻量级的网络模型提取物体的特征,输出物体的检测框。

  与之前的物体检测算法不同之处在于:该算法输出一张物体中心热力图,通过对该热力图的分析处理,直接输出待检测的物体中心点以及物体的长和宽。

  其实机器人身上可以应用的视觉技术,远不止于上面提到的几个应用。还有视觉导航、语义地图、物体抓取、视频分析等等。

  相信结合深度学习算法和机器视觉技术,机器人将更好地帮助人做更有价值的事情,为社会带来持续不断的动能。

上一篇: 机器人能保障人类舌尖上的安全吗?

下一篇: 什么是蟑螂机器人,机器人和动物的爱恨情仇