下班的时候等电梯，无聊拍了一张图，于是拿来“调戏”下各家的大模型。
我把这张照片PO给大模型，问了ta们这样一个问题↓
我在30层等电梯，图片描述了当前电梯的运行状态。
假设电梯每1秒钟可以上升或下降一层，不考虑开关门的时间，其他楼层也不存在乘坐电梯的人。那么，我最快要多久才能乘坐该电梯到达地面一层？
这个问题看似简单，实则一点也不复杂，主要考察大模型这几个知识点。
1、读图能力：能不能精准识别和理解图片内容。
2、NLP能力：能否准确理解我的问题，拆解语法并转化成任务。
3、逻辑和算术：需要基本逻辑和小学水平的算术能力，以便计算出正确的时间。
4、场景知识：需要了解电梯的运行原理。
5、综合推理：结合1、2、3、4来得出最终的正确答案。
废话不说，我们来看看考试结果吧↓
先上一个最近比较火的免费模型：智谱清言。
关注到它是因为我的一个朋友今年52岁了，今年利用智谱+ChatGPT4.0辅导考研，结果成功通过了全国研究生统考（398分）。
那么智谱清言在电梯考题中表现如何？
这个答案让我有点懵逼，直接忽略了我在30层的关键信息，给出14秒的错误答案。
看来，图+文的双重信息，给它造成了困扰。
再看第二个：讯飞星火
同样，读图和对题目的理解都不正确，这里面的核心是无法理解人乘坐电梯和电梯运行之间的关系。导致答题失败。
第三个，阿里系的通义千问
且不论答案正确与否，整个回答前后语言逻辑就不通，属于答非所问。
本来还想调戏下腾讯混元和字节豆包，可惜这俩家伙现在还不支持「图片+文字」的混合式提问，没给我机会。
几个测下来，怎么说呢，都是一根筋，给人“一种大脑发育不完全，小脑完全不发育”的感觉。
不过，上面三个大模型都是免费的，既然是白嫖，那么咱不能要求太高。
所以，来看看收费的文心一言怎么样↓
看完这个回答，怎么说，第一感觉是有点东西，似乎比别人多动了点脑子。但仔细一看，也不是太灵光。
首先读图理解不准确，电梯明明是在下行，小度却没有给出明确的判断。
接下来，持续加戏，把答案分成了两种情况，但答越多就错得越多。比如连从“30层下降到1层需要经过几层楼”这种基本常识都没搞清楚。
文心一言就像是个遇到了难题的考生：这题不会怎么办，把试卷写满，不管对不对，诚意在那里，给老师留个印象分吧。
讲真，我第一遍看答案的时候，看到满满一屏，差点被它蒙住了。
文心一言的费用是59.9元每月，从答题结果看，这价格真不便宜。
玩到这里我有点不甘心，是不是这道题太难了，超过了当前大模型的能力？
于是，我决定再去调戏一下ChatGPT↓
这个答案还是非常令我吃惊，简明扼要，非常精准地给出了结论，楼层数的计算也没有出错。
接下来，我又追问了ChatGPT几个问题↓
这个问题是“为什么我在30层呼叫电梯，正在下行的电梯要先回到1层再返回30层”，ChatGPT给出了非常详实的判断依据。
然后我接着问一个电梯的运行常识，这个问题跟上面一个问题有相关性，ChatGPT的回答说明这家伙有非常丰富的场景化知识，很懂电梯呀，个人认为这种场景知识对AI的细分行业落地很有必要。
最后一问，那就是ChatGPT4为什么能做出正确判断？
所以，小小一个读图题，其实涉及到很多知识点，任何一个环节有短板，都会导致最后的错误判断。
而这其中，我认为最NB的还是综合推理。
最近，我也在不断试用前面那些国产大模型，按我的使用体验，如果询问一些单点问题、知识点，国产大模型都能回答得头头是道，甚至和ChatGPT没有太大差别。
比如我问通义千问、文心一言同样的电梯运行逻辑的问题，它们也能回答得滴水不漏。甚至很多偏门、晦涩的问题，也都可以有问必答。
【通义千问的回答↑】
【文心一言的回答↑】
可是，当需要他们把所有知识点串联起来，进行综合推理的时候，学霸和学渣的差距就出来了.
有人只会死记硬背，而ChatGPT却能够融会贯通、举一反三。
我并不是个“GPT吹”，过去一年，也确实能够看到国产大模型们在互卷中持续进步，更希望他们在这种“比学赶帮超”中，早日吊打GPT、Claude3们。
毕竟GPT4很贵（140块一个月），访问还很不方便、不稳定。而像Claude3这样的新贵，你想体验一下都很不容易。
比如我周末想试试号称吊打GPT4的Claude3，结果发现中国大陆和中国香港的账户是无法使用的。（当然像羊驼那些“老破小”模型，是不受限制的）
据说这个限制是Claude3母公司Anthropic的规定，类似的，微软copilot中国区用户也无法访问。
高端算力不让你用，先进的AI应用也不让你用，真是无了个大语呀。
崭新的「人工智能+」时代开启了！
国产大模型们，加油吧！
