机器人是如何走出迷宫的

首先,我们要了解,机器人领域的视觉(Machine Vision)跟计算机领域(Computer Vision)的视觉有一些不同:机器视觉的目的是给机器人提供操作物体的信息。所以,机器视觉的研究大概有这几块: 

物体识别(Object Recognition):在图像中检测到物体类型等,这跟 CV 的研究有很大一部分交叉; 

位姿估计(Pose Estimation):计算出物体在摄像机坐标系下的位置和姿态,对于机器人而言,需要抓取东西,不仅要知道这是什么,也需要知道它具体在哪里; 

相机标定(Camera Calibration):因为上面做的只是计算了物体在相机坐标系下的坐标,我们还需要确定相机跟机器人的相对位置和姿态,这样才可以将物体位姿转换到机器人位姿。

当然,我这里主要是讲物体定位领域的机器视觉;SLAM 等其他领域的就先不讲了。  算法肯定也是有的。 

由于视觉是机器人感知的一块很重要内容,所以研究也非常多了,我就我了解的一些,按照由简入繁的顺序介绍吧:  

1. 相机标定  
这其实属于比较成熟的领域。由于我们所有物体识别都只是计算物体在相机坐标系下的位姿,但是,机器人操作物体需要知道物体在机器人坐标系下的位姿。所以,我们先需要对相机的位姿进行标定。  内参标定就不说了,参照张正友的论文,或者各种标定工具箱;  外参标定的话,根据相机安装位置,有两种方式:   

Eye to Hand:相机与机器人极坐标系固连,不随机械臂运动而运动
Eye in Hand:相机固连在机械臂上,随机械臂运动而运动 两种方式的求解思路都类似,首先是眼在手外(Eye to Hand)   

只需在机械臂末端固定一个棋盘格,在相机视野内运动几个姿态。由于相机可以计算出棋盘格相对于相机坐标系的位姿 、机器人运动学正解可以计算出机器人底座到末端抓手之间的位姿变化 、而末端爪手与棋盘格的位姿相对固定不变。  
而对于眼在手上(Eye in Hand)的情况,也类似,在地上随便放一个棋盘格(与机器人基座固连),然后让机械臂带着相机走几个位姿,然后也可以形成一个 的坐标环。  

2 平面物体检测  
这是目前工业流水线上最常见的场景。目前来看,这一领域对视觉的要求是:快速、精确、稳定。所以,一般是采用最简单的边缘提取+边缘匹配/形状匹配的方法;而且,为了提高稳定性、一般会通过主要打光源、采用反差大的背景等手段,减少系统变量。
目前,很多智能相机(如 cognex)都直接内嵌了这些功能;而且,物体一般都是放置在一个平面上,相机只需计算物体的 三自由度位姿即可。  另外,这种应用场景一般都是用于处理一种特定工件,相当于只有位姿估计,而没有物体识别。   当然,工业上追求稳定性无可厚非,但是随着生产自动化的要求越来越高,以及服务类机器人的兴起。对更复杂物体的完整位姿 估计也就成了机器视觉的研究热点。 

3. 有纹理的物体  
机器人视觉领域是最早开始研究有纹理的物体的,如饮料瓶、零食盒等表面带有丰富纹理的都属于这一类。  当然,这些物体也还是可以用类似边缘提取+模板匹配的方法。但是,实际机器人操作过程中,环境会更加复杂:光照条件不确定(光照)、物体距离相机距离不确定(尺度)、相机看物体的角度不确定(旋转、仿射)、甚至是被其他物体遮挡(遮挡)。
幸好有一位叫做 Lowe 的大神,提出了一个叫做 SIFT (Scale-invariant feature transform)的超强局部特征点:  Lowe, David G. "Distinctive image features from scale-invariant keypoints."International journal of computer vision 60.2 (2004): 91-110.  具体原理可以看上面这篇被引用 4万+ 的论文或各种博客,简单地说,这个方法提取的特征点只跟物体表面的某部分纹理有关,与光照变化、尺度变化、仿射变换、整个物体无关。  因此,利用 SIFT 特征点,可以直接在相机图像中寻找到与数据库中相同的特征点,这样,就可以确定相机中的物体是什么东西(物体识别)。
对于不会变形的物体,特征点在物体坐标系下的位置是固定的。所以,我们在获取若干点对之后,就可以直接求解出相机中物体与数据库中物体之间的单应性矩阵。  如果我们用深度相机(如Kinect)或者双目视觉方法,确定出每个特征点的 3D 位置。那么,直接求解这个 PnP 问题,就可以计算出物体在当前相机坐标系下的位姿。   

4. 无纹理的物体 
好了,有问题的物体容易解决,那么生活中或者工业里还有很多物体是没有纹理的
我们最容易想到的就是:是否有一种特征点,可以描述物体形状,同时具有跟 SIFT 相似的不变性?  不幸的是,据我了解,目前没有这种特征点。  所以,之前一大类方法还是采用基于模板匹配的办法,但是,对匹配的特征进行了专门选择(不只是边缘等简单特征)。  

这里,我介绍一个我们实验室之前使用和重现过的算法 LineMod:  Hinterstoisser, Stefan, et al. "Multimodal templates for real-time detection of texture-less objects in heavily cluttered scenes." Computer Vision (ICCV), 2011 IEEE International Conference on. IEEE, 2011.   
简单而言,这篇论文同时利用了彩色图像的图像梯度和深度图像的表面法向作为特征,与数据库中的模板进行匹配。  由于数据库中的模板是从一个物体的多个视角拍摄后生成的,所以这样匹配得到的物体位姿只能算是初步估计,并不精确。  但是,只要有了这个初步估计的物体位姿,我们就可以直接采用 ICP 算法(Iterative closest point)匹配物体模型与 3D 点云,从而得到物体在相机坐标系下的精确位姿。
当然,这个算法在具体实施过程中还是有很多细节的:如何建立模板、颜色梯度的表示等。另外,这种方法无法应对物体被遮挡的情况。(当然,通过降低匹配阈值,可以应对部分遮挡,但是会造成误识别)。  针对部分遮挡的情况,我们实验室的张博士去年对 LineMod 进行了改进,但由于论文尚未发表,所以就先不过多涉及了。   

5. 深度学习  
由于深度学习在计算机视觉领域得到了非常好的效果,我们做机器人的自然也会尝试把 DL 用到机器人的物体识别中。  
首先,对于物体识别,这个就可以照搬 DL 的研究成果了,各种 CNN 拿过来用就好了。有没有将深度学习融入机器人领域的尝试?有哪些难点? - 知乎 这个回答中,我提到 2016 年的『亚马逊抓取大赛』中,很多队伍都采用了 DL 作为物体识别算法。   然而, 在这个比赛中,虽然很多人采用 DL 进行物体识别,但在物体位姿估计方面都还是使用比较简单、或者传统的算法。似乎并未广泛采用 DL。 如  @周博磊  所说,一般是采用 semantic segmentation network 在彩色图像上进行物体分割,之后,将分割出的部分点云与物体 3D 模型进行 ICP 匹配。  
当然,直接用神经网络做位姿估计的工作也是有的,如这篇:  Doumanoglou, Andreas, et al. "Recovering 6d object pose and predicting next-best-view in the crowd." Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2016.
它的方法大概是这样:对于一个物体,取很多小块 RGB-D 数据(只关心一个patch,用局部特征可以应对遮挡);每小块有一个坐标(相对于物体坐标系);然后,首先用一个自编码器对数据进行降维;之后,用将降维后的特征用于训练Hough Forest。    

6. 与任务/运动规划结合  
这部分也是比较有意思的研究内容,由于机器视觉的目的是给机器人操作物体提供信息,所以,并不限于相机中的物体识别与定位,往往需要跟机器人的其他模块相结合。
我们让机器人从冰箱中拿一瓶『雪碧』,但是这个 『雪碧』 被『美年达』挡住了。  我们人类的做法是这样的:先把 『美年达』 移开,再去取 『雪碧』 。  所以,对于机器人来说,它需要先通过视觉确定雪碧在『美年达』后面,同时,还需要确定『美年达』这个东西是可以移开的,而不是冰箱门之类固定不可拿开的物体。   当然,将视觉跟机器人结合后,会引出其他很多好玩的新东西。由于不是我自己的研究方向,所以也就不再班门弄斧了。

更详细的图文解析可以到机器人家上去看,我这边就不贴出来了,希望对你有用



这个应该是靠算的

机器人是如何走出迷宫的~

迷宫的万能解法。一直向左走,走到尽头就向左转两次也就是回头然后还是向左走。
第一次记录了数据后,把“冤枉路”也就是连续向左转的地方与第二次向左转的地方记录起来。以后去到那个地方就不会再犯错了。
这是一个很简单的数控逻辑。

弄个分支判断,上面的等待图标为光电2,下面为4,等到两个光电都看不见黑线的时候,让它只往一个方向拐弯,加上无限循环就行了。
前两行是我很久以前出的了,都过去几周了,你倒是答个话啊!
你倒是快点啊!采纳或者追问都行!要不我太无聊了!

#15990362193# 摩尔整理RK档案答案 - ******
#宓凭# 2009年4月3日的摩尔庄园又更新了,这次捣蛋鬼RK把庄园弄得乱七八糟,于是摩尔庄园警署,提出了寻找捣蛋鬼RK的任务了.... 首先从地图到了爱心教堂的点,然后进入摩尔庄园警署,有个牌子挡住了记得移开 然后看警署公告栏,点通...

#15990362193# 求一款IPAD上面的走迷宫的游戏. - ******
#宓凭# 叫机械迷宫 (Mekorama),是一款3D益智解谜游戏.有一个呆萌可爱的机器人,然后玩家主要是让机器人能通过方块搭建的3D迷宫中的阻碍和机关,最后抵达终点.还可以自创关卡.好几年前在姐姐的ipad上玩过,之后再也没玩过了.最近突然想起这个游戏也在找,结果在apple store上找不到.希望能帮到你!

#15990362193# 高价求家庭教师雪之守护者来袭的攻略 - ******
#宓凭# 第一章大致上是基地攻入战刚结束,Choice开始前的时间点.阿纲跟小巴及里包恩在进行特训时,杰拉洛突然出现,自称雪之守护者.有著雪花图样的蛤蛎戒&白色火焰,正当阿纲他们还在怀疑杰拉洛的身分时,阿纲的大空戒能力就被封印了....

#15990362193# 有谁知道柯南游戏的购买地址?(要那种只有柯南的) - ******
#宓凭# 基本操作: 方向键 控制方向/选择 A 跳/确定 B 跑/取消 L 蹲下 R 特定的时候使用道具 START 观察环境 SELECT 菜单选项 流程: 剧情之后前往控制室调查,开始的房间要在货物箱上行走,之后有两个红外线的房间,红的要住跑跳过去,绿的要...

#15990362193# 在177秒之内怎么走出仓库迷宫阿,我找不到衣服哦在177秒之内怎 ******
#宓凭# 这里可选择拿什么衣服给龙葵,这可能会影响其好感度. 当今宫殿服饰:在景天卧房旁边的门口进入仓库,走到2楼,再从窗口走到另一个仓库,再下一层便会找到一个黑黑又小小的盒子. 普通服饰:在景天卧房对面的仓库进入,走到2楼,再从窗口走到另一个仓库后,这里窗口旁就有一个宝箱了. 看图:(放大可以看得更清)

#15990362193# 小学6年级征文怎么写啊?小学6年级征文怎么写啊!~谢谢了,大神帮 ******
#宓凭# 我国在中小学科技普及教育中存在的问题,首先,是我国应试教育对科技普及活动的... 使学生们在营地了解----迷宫机器人在没有人的干预下能自己走出迷宫,也可以由人用...

#15990362193# 什么是“蜈蚣地雷?什么是蜈蚣地雷”? ******
#宓凭# 蜈蚣的躯体分为12节,其背部呈暗绿 色,腹部呈黄褐色.每一节上都生有两只脚. ... “蜈蚣”机器人地雷,能在障碍物间随意穿 行,甚至能自己“动脑”走出“迷宫”,...

#15990362193# GBA新约圣剑传说的人物流程求人物的通关过程<br/>清晰的 ******
#宓凭# 说话三次.同中间的那个说话能出去女神像记录,出现那只人.打完后先上走,剧情... 至楼顶,BOSS大机器人出现打完剧情前进至マナ圣域,进入神殿迷宫,走出迷宫,...

#15990362193# 走出迷宫游戏的过程是什么? ******
#宓凭# 2、过程:从入口入,让儿童按照120的顺序,将弹珠球用手弹出,弹到20即终点,就算走出迷宫了

#15990362193# 求新约圣剑传说全敌人出处?全日记事件?以上问题尽量详尽些!其它就 ******
#宓凭# 自己慢慢看吧,什么都有 这是最详细的资料网站,也是我以前玩新约用的 我不是骗分的,你如果觉得我贴的东西不如上面两个人多 那你就把分给他们吧,反正我对分数没什么兴趣

  • 机器人是如何走出迷宫的
  • 答:由于相机可以计算出棋盘格相对于相机坐标系的位姿 、机器人运动学正解可以计算出机器人底座到末端抓手之间的位姿变化 、而末端爪手与棋盘格的位姿相对固定不变。 而对于眼在手上(Eye in Hand)的情况,也类似,在地上随便放一个棋盘格(...

  • 求走迷宫的算法!(计算机的算法)(编程也可以
  • 答:按照人类走迷宫的方法,贴着左边走,左边有路就向左走,左边没路向前走,左边前面都没路向右走 机器人的应该是:1.判断左边是否有墙,无墙:机器人左转,前进一步,继续判断左。。2.左边有墙,则判断前方是否有墙,无...

  • 机器人是如何走出迷宫的
  • 答:迷宫的万能解法。一直向左走,走到尽头就向左转两次也就是回头然后还是向左走。第一次记录了数据后,把“冤枉路”也就是连续向左转的地方与第二次向左转的地方记录起来。以后去到那个地方就不会再犯错了。这是一个很简单...

  • 只能看到前方的机器人怎样走出迷宫?
  • 答:总之就是遇到可以转弯的地方,向一个地方转弯。同时紧贴一侧的墙壁。

  • 如果想实现轮式机器人走入走出迷宫的功能需要机器人具备什么功能_百度...
  • 答:根据查询相关公开信息显示,机器人必须自行决定搜索法则并且拥有在迷宫中前进,转弯,记忆迷宫墙壁资料,计算最短路径,搜索终点等功能。轮式机器人可以作为各种智能控制方法(包括动态避障、群体协作策略)的良好载体。

  • 机械迷城在最顶端的那个大机器人得那个迷宫怎么走?
  • 答:当反派后仰翘起椅子的时候,鼠标移动到椅子腿就可以推倒椅子,然后快速点击桌上的子弹盘。乘它跑过去捡子弹的时候伸手把挂在它身上的钥匙取下,然后把得到的子弹丢到地面上,跳上地面用钥匙打开两个牢房门,两个红灯都变绿...

  • 一个游戏是一个大眼机器人跟纪念碑谷差不多,就是这样!
  • 答:游戏的操作上,指引机器人往哪儿走并不是靠点击,而是点一下机器人,它就会转身,之后再走即可。《纪念碑谷》是USTWO公司开发制作的解谜类手机游戏,于2014年正式发行。玩家在游戏中,通过探索隐藏小路、发现视力错觉以及击败...

  • 用51单片机做的小车如何实现小车走迷宫
  • 答:一种二叉树结构.注意,在上面的结果上我都加有"局部"两字,这是因为机器人走迷宫的次数如果不够多,或则说少于迷宫的总路径数,我们得到结果都是不完整的,只有当机器人走迷宫的次数足够大,以致于走遍了迷宫所有的路径,这时...

  • 机器人走迷宫程序用stm32多久能学会
  • 答:机器人走迷宫程序用stm32要想学会的话因人而异,但是一般来说快的话需要半个多月,慢的话则需要一两年的时间。这个情况主要因人而异,会还是精通是两种感念,能用起来的话,我认为使用库函数标准固件库大约一周就行。要...

  • 机械迷城在最顶端的那个大机器人得那个迷宫怎么走?
  • 答:必须先想办法把蓝色的先放到最上面,黄色的保持现在的位置不动,紫色的放到左下角,这时再把蓝色的弄下来就绿色的就可以上去了

    为传递更多家电数码信息,若有事情请联系
    数码大全网