正如 Tremblay 所指出的，ChatGPT 和 Bard 等 AI 聊天机器人的一个主要问题是它们会一本正经的胡说八道。这些系统经常「产生幻觉」—— 即编造信息 —— 因为它们本质上是自动生成系统。
当前的 AI 不是查询已证实事实的数据库来回答问题，而是接受大量文本语料库的训练并分析模式，以推定任何给定句子中的下一个单词出现的概率。换句话说，它们是统计性的，而不是确定性的 —— 这一特征导致一些 AI 学者将它们称为「废话生成器」。
当然，互联网上已经充斥着虚假和误导性信息，但微软和谷歌希望将这些工具用作搜索引擎，这可能会使问题更加复杂。在搜索引擎上，聊天机器人的回答几乎会被认为是全知机器的权威答案。