[Question]: 真机部署出现过早转弯的问题

[chaser12138]

Question

您好，我在G1上部署了您的模型，但是出现了过早转弯的问题
譬如我的指令是walk forward and turn right at the chair，机器人在距离椅子3m的位置看见了椅子，但是没有靠近直接右转，导致撞墙。看您主页的视频并不存在这个问题，想请教您真机中如何解决这个问题的，具体私是模型训练的原因还是相机视角的原因。

[comedy0913]

我出现了相同的问题，scripts中realworld的代码令人疑惑，出现了过早转弯的问题，甚至是只有旋转，在某些运行的时候

[comedy0913]

@chaser12138 你好，我也在复现internNav，可以聊一下吗？你可以通过该邮箱联系我
comedy0913@gmail.com

[Changfei-Fu]

当我输入指令: "Walk out through the door. Turn left and go forward for about 3 meters."时，机器人未出门就开始左转。

[yuqiang-yang]

您好，在做所有实验前请先确保，1. 使用的是全局快门的相机，如d455,否则很模糊 2. 保证相机高度有0.6m以上 3. 保证相机是有一定的向下倾角的

[yuqiang-yang]

然后，有些情况失败就是因为模型过于OOD的，在一些场景模型认不得也比较正常，模型确实没有100%的instruction
following能力

[yuqiang-yang]

一般来说假如出现过早转弯的问题，请检查一下模型输出的pixel，由于现在是双系统架构，请先确认system 2的点的pixel是对的（比如你想出门你需要确认system2点的pixel确实在门外，不然可能这个场景大模型不认识）。

然后假如pixel对了，但是机器人没有正常走，请检查depth有没有输入对（主要是单位），轨迹是不是对的。

假如说轨迹也是对的，那么可能是机器人执行的太慢了，比如说模型期望你往前走1m，但是你却只走了10cm，那么此时再次对模型进行推理模型就会confused，很可能做出奇怪的决策

[comedy0913]

scripts中的realworld脚本在系统2运行完以后，都没有给pixel，直接输出了前后左右，并且不知道为什么就是一直往左

[yuqiang-yang]

离散action只会有左右，不会有前后，前后走一定会有pixel

[Changfei-Fu]

scripts中的realworld脚本在系统2运行完以后，都没有给pixel，直接输出了前后左右，并且不知道为什么就是一直往左

pixel-goal 和latent plan是绑定输出的，否则输出离散动作，想知道是有开关吗，还是自适应的选择哪种输出。

[yuqiang-yang]

一开始有一定的原地转弯也是正常的，因为R2R训练数据里面很多都是原地转弯的，但是一般转了一定的角度后应该会点pixel向前走的。

[yuqiang-yang]

scripts中的realworld脚本在系统2运行完以后，都没有给pixel，直接输出了前后左右，并且不知道为什么就是一直往左

pixel-goal 和latent plan是绑定输出的，否则输出离散动作，想知道是有开关吗，还是自适应的选择哪种输出。

没有开关，是由模型自己决定的，模型觉得他该走了就点pixel，觉得不该走就原地转弯

[Tommaswang]

does your rgbd camera is d435i ？？

[comedy0913]

does your rgbd camera is d435i ？？

yes, d435i