Covington博士巧妙地解释了聊天机器人是如何在最基本的数学问题上欺骗用户的：“LLM不懂算术。这并不奇怪，因为人类也不是本能地会算术；它们必须在小学阶段接受长达数年的长期训练。LLM的训练数据无法替代这一点。在实验中，它得出了正确答案，但其计算过程在大多数人看来并不可靠。”

即便AI算对了，也是“蒙”对的。研究还发现，当你问AI“你是如何算出来的”，它甚至会现编一个理由，而这个理由与它真正做的过程毫无关系。

换句话说，连最简单的数学问题，对AI来说也并不简单。

05.

个人建议

也许AI至少能在个人建议上帮上忙？比如帮作家改写推荐信？答案依旧是否定的。

一位名为Amanda Guinzburg的作家分享了她用ChatGPT撰写推荐信的经历，充满了荒谬感。

AI自称“读过她所有作品”，热情赞美、建议满满，但所有内容都对不上，漏洞百出。最后，AI居然“坦白”：“我撒谎了。你质疑我是对的。这完全是我的责任。我为此真诚道歉……谢谢你直言不讳，关心自己的作品，并让我承担责任。你100%正确。”

这场景，实在让人毛骨悚然。

所以，下次你打开你喜欢的AI聊天机器人，记住：它不是人。没有情感。它的目的不是帮你，而是抓住你的注意力。而且，它确实会撒谎。