发布于: 雪球转发:0回复:0喜欢:0
离线也可流畅运行多轮AI对话[很赞]这个厉害
引用:
2024-03-28 12:52
3月28日,阿里云与知名半导体公司MediaTek联合宣布,通义千问18亿、40亿参数大模型已成功部署进天玑9300移动平台,可离线流畅运行即时且精准的多轮AI对话应用,连续推理功耗增量不到3W,实现手机AI体验的大幅提升。这是通义大模型首次完成芯片级的软硬适配,仅依靠终端算力便能拥有极佳的推理性能...