从视觉其实就比较容易联想到了触觉(汉威科技, 奥迪威) 电子皮肤
电子皮肤方面,在人形机器人有两种用途:1)身体关节的防碰撞,此用途性能要求相对较低。人形和人类处于同一场景,机器人安全作业较为重要,一般置于手臂等动力关节;2)灵巧手,特别是指尖,一般采用阵列式,性能要求较高,不仅仅是感知力,更多是实现灵巧手的高度灵活性以实际工作。也是新质生产力方向
Figure 机器人的神经网络的应用方式:
Figure 机器人依靠安装在其身上的摄像头,以 10hz 的频率向 OpenAI 训练的大型视觉语言模型 (VLM) 提供图像数据。同时,Figure 的神经网络本身也能够直接处理来自摄像头图像的信息。这些图像数据以 10hz 的频率被输入到神经网络中,然后神经网络会以 200hz 的频率输出控制机器人 24 个自由度的动作指令,并加载特定的神经网络权重到 GPU 上并执行策略。