Go2经常停下

[ucas-liumk]

Question

1）为什么遇到红色的桶状物狗会自动过去停下呢，但是指令里面确实是没有让它凑过去，路线也是不交叉的，只是视线里面有出现过。这是我给的指令“"First, walk around the room you're currently in, then return to your current position, and finally exit the room and walk to the end of this corridor."”
2）执行任务时常卡顿，经常性输出向左向右的离散指令，不输出向前向后走的指令。（已经将深度相机抬高了很多）
3）周围障碍物一多就停下或来回转圈，一直反复很久很多次，但其实朝向某方向区域仍还有大片空地。

[yuqiang-yang]

你好，这个情况需要仔细分析一下：

1. 先确定在正常情况下pixel的输出是否与instruction符合，比如可能你叫他走出房间，他确实点了一个出门的pixel。但是因为推理过于频繁，导致这个pixel动作没有被正常执行的话。此时可以减少一下推理频率
2. 假如一直不输出pixel的话，那么可能是 相机模糊、障碍物太多等其他情况，导致sim2real gap太大。此时可以想办法换一下相机，或者做一下结构上的减震
3. 关于障碍物一多就一直转圈这个问题，一般来说也不该出现，VLN一般来说会倾向于在一开始转弯，后面都应该能正常点pixel走下去。可以检查一下给大模型的memory间隔