纯视觉取代slam做路径规划及避障的思路

https://blog.csdn.net/weixin_43823054/article/details/106903128

  1. 利用habitat仿真环境,仿真训练,habitat环境中有大概50个房间场景,每个场景都提供了其中所有位置的深度图。(移动过程中,实时的碰撞显示为屏幕的红框,环境中白色为障碍物,灰色为可移动区域)
    以深度图作为输入,通过强化学习策略来学习避障。
  2. 这里仅仅是避障,采取分解任务的思想,先实现深度图的避障,再实现深度图的路径规划。每个环节都通了,最后做联合训练,将路径规划避障融为一体。
  3. 实际的仿真环境和真实环境之间还是有gap的,输入的深度图虽然是深度信息但是也是一张图片,而仿真环境的深度图样本和真实环境之间肯定是不完全相同的,这个泛化如何做?

当然做路径规划还是要基于深度图建图。

对于避障的训练过程中,不同的仿真引擎其移动控制不同,有连续运动控制及离散运动控制:

对于连续运动控制,即多层神经网络输入是机器人移动时每帧的深度图,输出是线速度及角速度
对于离散运动控制,输出就是【向左25cm,向右25cm,向前25cm】其中的一个运动策略

真正要应用还有很多复杂的问题,比如:

  1. 利用深度图如何建图,
  2. 环境在动态变化(比如椅子的挪动),如何更新图
  3. 对于实际的硬件,其控制不能满足平滑线性,那么仿真的时候要根据硬件条件反过来调整策略
  4. 最后如何给搜索目标,比如"去左边房间拿杯子"
原文地址:https://www.cnblogs.com/Henry-ZHAO/p/14385162.html