采访到了小米自动驾驶负责人。供大家参考。
问：【更复杂的一些情况，关于路权的。比如无红绿灯支路让干路，端到端AI怎么知道哪个是支路哪个是干路？】
答：【理论上端到端的方案，只要训练数据充分，是能够做到的。模型不一定能够显式推理出支路、干路这样的概念（除非做multi task训练，把这样的中间结果也作为训练目标），但最终可能可以体现出这样的行为。就像LLM，很多的概念并没有被显式标注和训练，但确实在某些神经元上有所体现。不过我对现在自动驾驶完全端到端的可量产性还是比较怀疑。现在对应LLM，图像/视频上的方法是相对落后的。】
问：【停止线这个例子是老马自己说的，他说大部分司机都不完全停止，他说清洗数据，那成本也太高了吧。】
答：【那就还是把完全停止的数据留下做训练样本了，可以自动化清洗，如果知道清洗的规则，大部分是能自动做的，但这样跟直接加驾驶规则其实也差不多了。】
问：【那等于是，规则放在数据清洗这一步来做了？】
答：【好处是清洗不会太彻底，还是留了些弹性。（停止线的例子）应该是大概率会停，碰到极端情况可能确实不停，比如给救护车让行之类的。】
问：【这样的规则太多了，我还想到一个远离大货车的例子，我观察路上很多车都没有远离大货车，如果数据不清洗肯定不如用“远离大货车”规则的自动驾驶安全。】
答：【对。规则的问题就是太多了，人处理不好组合爆炸和互相矛盾的情况。用模型训练的话，他把明显不合理、不合交规的数据清洗掉就行了。剩下规则咋组合，就看模型的学习和泛化能力了。】
问：【给救护车让行也是能端到端学习到的吗？】
答：【理论上可以啊。LLM现在展现的理解能力已经远超这个了。现在主要是图像/视频处理的方法还没突破。】
问：【视频做结构化后可以吧？】
答：【现在还有巨大的gap。比如给一段视频，能不能预测出合理的下一帧，这个是LLM现在已经具备的能力了。另外给一段视频，针对视频内容提问，能不能给出正确的答案。】
$特斯拉(TSLA)$ $小鹏汽车(XPEV)$ $理想汽车(LI)$