泡沫艺术家 的讨论

发布于: 雪球回复:34喜欢:103
如果是APP端提供服务,手机为什么要换机呢?要是手机本地运行,不靠谱的。
这一年用过大量的开源7B,13B单机的语言与多模态模型,还是在“胡说”,而电脑都是16GB-24GB的显存配置,大模型还这样了,手机能用多小的模型?
AI绘图,现在比较好用的SDXL大模型单个模型大小就6G,随便一个Lora 800MB-1G左右,手机有多少内存资源能这么耗?
而且个人体验用4090绘制都不快,至于新的lighting与Turbo两种模型快但没有质量与可控性。手机Gen3也就相当于1050的性能,不算CUDA单元的计算能力,手机并行单元性能,其实才不到这样电脑性能的5%...
其实说到这也能够看到一个问题,就是AI目前在国内很难实现真正的商业化模式赚钱。
因为你想呀。没有使用A100与H100等专业计算卡,就是这样的运行AI应用的“丐版”单机配置,也得2.5-3万的成本。
而如果云端提供这样的AI服务,你得有团队升级AI模型,维护软硬件,甚至AI运行时电费都堪比挖矿。
而且这套硬件时间段分片后才能够几个客户用的?否则都得慢慢排队,你的服务就没人买了。
综合下来就变成了Midjourney那种收费,也就是说想得到真正靠谱的AI服务,并公司实现盈利,单月订阅费用就得至少200元-300元,一年就是2400元-3600元。
个人还不真信,这个基本20倍于各种视频网站会员的费用,在国内会有市场。
除非卖铲子的英伟达肯把“铲子”降成白菜价,否则AI没有商业模式的,因为太贵了!

热门回复

你查一下为什么目前几乎所有的手机厂商对大模型的布置都是端侧而不是云端。只有华为是云端,苹果暂时未定。你们考虑的问题看上去很对但是90%的手机厂商不选。为什么呢,因为你们只考虑性能不考虑隐私。

图形最直观,SDXL-Turbo就是用对抗扩散蒸馏技术基于SDXL蒸馏出来的模型,你去试试就知道了,实际非常不好用的。

隐私问题这样考虑: 如果你使用苹果icloud或者百度云盘,那么这些云盘的隐私问题更大;显然大部分人都用云盘(我的电话薄都存在云盘上的),所以隐私问题不需要考虑。 假如推理放在手机上,那么这个手机估计至少要2W吧。

手机端的存储能力和运算能力限制了它只能运行起来轻量级的AI模型,大量运算还会带来电池续航问题和发热问题,所以我认为最终方向还会是云端处理,隐私问题可以通过算法来降低或者规避,可以类比的是杀毒软件,本地杀毒软件主流的处理逻辑就是特征串比对,随着时间的推移,病毒库越来越大,对磁盘占用和日常运行速度造成的影响也越来越大,所以厂商会在云端配置服务,本地提取文件特征的哈希值上传云端进行比对。通过哈希算法部分解决了隐私原文上传的问题。另外,大模型还有继续进化的需求,全部本地处理不利于产品迭代训练,所以上云应该是迟早的事。

要考虑隐私,你微信也别用了呗

也是,这个问题换个思路考虑: 在网速、时延足够快的情况下, AI推理服务器放在数据中心明显性价比更高吧, 放在数据中心相当于大家都可以调用,几台服务器就可以服务非常多人,而且服务器利用率很高,大模型效果也更好; 如果是本地手机、电脑推理,那么有个问题,就是一天可能也用不了几次,推理芯片是在闲置,而且都是些小模型,效果比较差, 这样一对比,AI手机、AIPC暂时应该没有什么市场。 而且模型放在本地,更新迭代也是很麻烦的。

好像国内也没有几个手机厂商都有能力卷端侧吧?

不能抱残守缺的只看图迷信上证50落后产能而忽略年轻消费者对新科技的拥抱热情。三星的AI手机功能改进有限,但是AI这个名字就刺激了销量猛增,初代功能是否完善不重要,因为那些功能即便完善也不一定必需。重要的是别人用的普通手机,小伙姑娘用的叫AI手机!!!!

不是你们思考问题都不动态的吗?技术本身也会进步啊。我不说了,这种交流毫无意义。

蒸馏、量化过的模型效果都比较差的, 手机,电脑做成本地AI推理机成本太高,收益太低,属于胡扯淡。现在就是题材瞎炒阶段,你不要上头。