发布于: 修改于:iPhone转发:5回复:17喜欢:3
【转发并整理于大V不是郑小康老师】
Elon最近接受Lex采访透露了FSD Beta一个相当重大的调整,可能会改变HW 4.0的设计:接下来全车摄像头数据不会再经左上角这个ISP(图像信号处理器)处理,转为直接输入FSD Beta的NN推理。
先看一下HW 3.0这张架构图,自研的好处在于,可以最大程度的根据自身需求来定义芯片:
❶最大的部分是两个互为冗余的NPU;
❷其次是GPU、CPU;
❸在右上角设计了安全模块,左上角设计了ISP;
ISP
Image Signal Processor(图像信号处理器)按Elon的说法,ISP处理后的图片很漂亮,但NN不需要漂亮的图片,需要的是数据,是原始光子计数(Raw photon counts)但现在,ISP被完全推翻,全球超过150万辆Tesla上的ISP和毫米波雷达一样,变成了一个无意义的存在。
优势
❶摄像头原始拍到的图片比经ISP处理后的图片包含的信息要大得多,NN通过检测可以识别非常微小的光子计数差异,这意味着它在黑暗环境下的感知性能惊人的好,比你想象得要好太多;
❷未经ISP处理可以实现13毫秒的延迟下降,因为有8个摄像头,每个摄像头ISP处理会产生1.5-1.6毫秒延迟;
评论
①控制延迟非常重要,$特斯拉(TSLA)$投入了很多精力基于C语言来重写执行机构,包括加速、刹车和转向控制器的代码,使后者的同步频率从10Hz提高到大约100Hz的水平。也就是每秒同步100次,目的都是为了控制延迟;
②这些分析看下来,感觉HW 4.0是全部适用的,想不出Tesla后续转回使用ISP处理的理由;
③看完Tesla干掉雷达,现在又不用ISP,大家会跟进吗?NVIDIA的下一代处理器还留不留ISP?不过$英伟达(NVDA)$要照顾众多客户的不同需求,应该没办法说砍就砍。


全部讨论

2021-12-31 01:52

HW4.0应该已经投片了吧?即使不用ISP,芯片所占的空间也无法利用了,只能起到系统降低延迟提高认知的作用。要想充分利用芯片空间,除非取消投片推倒重来。对于HW3.0来说,要看ISP是否可编程,允许RAW DATA Passthrough。

【终于来了】
Green发现FSD Beta V10.11的代码中出现了HW4,看来年内有戏…
【参考】
HW3第一次出现在Autopilot固件中是2018年12月,量产装车是2019年4月
$特斯拉(TSLA)$

2022-02-16 00:41

你搞新能源汽车赚了几十倍?

2022-01-07 10:40

HW4.0将采用索尼IMX490,540万像素。
❶视场角宽了很多,最直接影响应该是前置3目摄像头降成2目,和ET7类似;
❷可以同时开HDR和LED频闪抑制,其实HW3.0是通过基于时间的Feature queue,已经用算法解决了;
❸120 dB的高动态范围,主要就是出隧道和阳光直射(100000lux)以及月光下(0.1lux)都可以看得清楚了;
❹其中这个月光下识别障碍物主要是欧洲NCAP在推动;
$特斯拉(TSLA)$

2022-01-07 10:09

据说Tesla下半年的HW 4.0最终还是选500万的像素密度,没上800万…
下一个悬念是:布置方式会变吗
$特斯拉(TSLA)$

2021-12-31 10:21

感觉要fsd得升级4.0硬件才能完全实现了。