7月13日，最新一期的《歌手》公布排名。孙楠得票13.8%，外国歌手香缇莫得票13.11%。引发了网友对排名的质疑，不少网友认为13.11%大于13.8%，因此，香缇莫的得票率比孙楠高。随后，关于13.8和13.11大小比较的话题，经过测试ChatGPT、Kimi、智谱清言、商汤商量、阶跃星辰等大部分大模型应用纷纷翻车，而文心一言、字节豆包等少部分大模型则守住了尊严。
为什么号称智能的大模型答不好小学生数学题？这并非一个新出现的问题，数学能力一直是大模型的短板，此前行业也多次讨论过大模型的数学和复杂推理能力较差，即便是目前最好的大模型GPT-4也仍然有很大进步空间。
最近的一次，第一财经曾在6月报道过，根据司南评测体系OpenCompass的高考全卷测试，包括GPT-4在内，7个大模型在高考测试中语文和英语考试水平普遍不错，但数学这科全不及格，最高分也只有75分。
在批阅大模型的数学试卷时，老师们发现，大模型的主观题回答相对凌乱，且过程具有迷惑性，甚至出现过程错误但得到正确答案的情况。这意味着，大模型的公式记忆能力较强，但是无法在解题过程中灵活应用。
一些行业人士将数学不好的原因归结于LLM（大语言模型）的架构问题，大语言模型往往是通过预测下一个词的监督学习方式进行训练。简单来说，向大模型输入大规模的文本数据集，模型在训练学习后会根据当前输入的文本来预测下一个词的概率分布。通过不断比较模型预测和实际的下一个词，语言模型逐步掌握了语言规律，学会了预测并生成了下一个词。
一位算法工程师认为，生成式的语言模型更像文科生而不是理科生。实际上语言模型在这样的数据训练过程中学到的是相关性，使得AI在文字创作上达到人类平均水平，而数学推理更需要的是因果性，数学是高度抽象和逻辑驱动的，与语言模型处理的语言数据在本质上有所不同。这意味着大模型要学好数学，除了学习世界知识外，还应该有思维的训练，从而具备推理演绎能力。
此外，针对简单数学题出现的大模型集体错误，大部分行业人士都会第一时间想到Tokenizer（分词器）的数字切分问题。在大语言模型中，Tokenizer会将输入文本拆分转换成更小的部分（词元tokens）供模型处理。而Tokenizer并没有专门为数学设计，这导致数字在分割时可能被拆成不合理的部分，破坏了数字的整体性，使得模型难以理解和计算这些数字。