我成功在手机端离线部署了大语言模型

发布于: iPhone转发:5回复:23喜欢:14

今天我离线部署了一个大语言模型,在苹果11上成功运行了。

部署后长这样


不需要联网,我录了视频,详细问了几个问题。但雪球好像发视频还要开通,我没搞,就截视频里的图吧。

总的来说英文回答没问题,中文因为语料原因有缺陷,但是也还可以。

不多说,直接上图。


第一个问题,让他写个代码,反转字符串

然后回答:


第二个问题,让他讲故事。


也没问题,而且回答的长度超预期了,特别完整。就不全部放出来了。

第三个,让他写巧克力蛋糕制作过程

根本难不倒他

但到这里开始手机开始变得很烫,很卡。。。

还是对硬件有要求的,我的11可能还是不太行,后面几代手机应该压力不大。

接下去,用中文提问了,让他解释人工智能和应用


回答也很长。

之后让他写一段中文的情景对话,很魔性,给我看笑了。英文还好,中文训练不够


之后让他想一个去巴黎旅行一周的计划,也不错


最后我还想问一个和朋友吵架了该怎么办,但是突然就黑屏闪退了。手机太烫了,11可能是刚好能够运行那样,再次运行进去,历史记录就没了。

目前来看还有很多缺陷。

但这一小的成功步,代表了可行性,代表了未来广阔的空间。

未来,都可以离线部署的话

我想肯定可以做到人人自定义地打造自己的助手,

离线存储就可以问任何内容,不用怕隐私问题,

企业内部也可以专门自己搞一个了,专门自己企业用,不怕数据泄露。

各种仪器自己能读懂自己的数据了,交互也方便很多。

无人的一些设备,单机游戏npc,arvrmr这些虚拟现实设备,各种物联网设备,电子阅读器,广告屏,智能家居的全部……

可以有很多场景,未来肯定会被开发出来。

其实能离线也能在线是最好的状态。速度会很快,功能也可以很强,兼顾隐私安全,没人规定一定要全部云端,也不是全部边端,远近结合,强弱合作,大小通吃。

这才是未来的生态吧。

$全志科技(SZ300458)$ $广和通(SZ300638)$ $美格智能(SZ002881)$ #上证指数#

全部讨论

2023-06-04 16:17

非常认可老师的思路,昨天重新看了一遍流浪地球二,里面的量子超算运用的就是终端边缘计算。制造出能够支持终端设备运算大模型的算力卡一定是趋势。地球上还有很多地方是连不上云的。

牛人。离线部署能做到那么厉害,都存储要求高吗?很难想象AI的这些答案是从何而来?如果是训练的结果,是否训练越多,AI体量会越大?

2023-06-04 23:55

牛人,我刚好像问了个憨问题哈哈哈

2023-06-04 23:46

国内?

2023-06-04 18:44

牛啊牛啊

2023-06-04 15:57

牛逼

燃起来了 等大盘放量全志第一个新高