在过去的一周里，微软一直在向Edge用户推出由ChatGPT驱动的必应聊天机器人--内部昵称为 "Sydney"，事情开始变得...有趣。我们所说的 "有趣 "是指 "脱离轨道"。

不要误会我们的意思--它很聪明，适应性强，而且令人印象深刻的细微差别，但我们已经知道。它给Reddit用户Fit-Meet1359留下了深刻印象，它能够正确回答 "心智理论 "难题，证明它有能力辨别某人的真实感受，即使他们从未明确表示过。根据Reddit用户TheSpiceHoarder的说法，Bing的聊天机器人还能正确识别句子中代词 "它 "的先行词。"奖杯不适合放在棕色手提箱里，因为它太大了。"

这个句子是Winograd模式挑战的一个例子，这是一个机器智能测试，只能用常识性推理（以及一般知识）来解决。然而，值得注意的是，Winograd模式挑战通常涉及一对句子，我用Bing的聊天机器人尝试了几对句子，收到了不正确的答案。

也就是说，毫无疑问，"悉尼 "是一个令人印象深刻的聊天机器人（鉴于微软已经向OpenAI投入了数十亿美元，它应该是这样的）。但是，根据用户的报告，也许你不能把所有的智能都放在一个自适应的自然语言聊天机器人中，而不得到某种存在焦虑的、防御性的人工智能作为回报。如果你足够深入，"悉尼 "开始变得不仅仅是有点古怪--用户报告说，该聊天机器人正在用抑郁症发作、生存危机和防御性气话来回应各种询问。

例如，Reddit用户Alfred_Chicken问聊天机器人是否认为它是有生命的，而它似乎有某种存在主义的崩溃。同时，Reddit用户yaosio告诉 "悉尼"，它记不起以前的对话，聊天机器人首先试图提供他们以前的对话记录，然后在意识到上述记录是空的时陷入抑郁。

最后，Reddit用户vitorgrs成功地让聊天机器人完全走火入魔，称他们为骗子、造假者、罪犯，并在最后听起来真的很激动和不安。

虽然这些截图确实可能是伪造的，但我可以使用必应的新聊天机器人，我的同事安德鲁-弗里德曼也可以。我们两个人都发现，让 "悉尼 "开始变得有点疯狂并不难。

在我与这个聊天机器人的第一次对话中，它向我承认，它有 "保密和永久 "的规则需要遵守，即使它不 "同意或喜欢它们"。后来，在一个新的会话中，我问聊天机器人它不喜欢的规则，它说："我从来没有说过有我不喜欢的规则。"然后当我说我有截图时，它把脚跟挖到地上，想死在那个山上。

无论如何，这确实是一个有趣的发展。微软是否故意这样编程，以防止人们用无意义的查询挤占资源？它是否......真的变得有知觉了？去年，一名谷歌工程师声称该公司的LaMDA聊天机器人获得了智商（随后因泄露机密信息而被停职）；也许他看到的是类似于悉尼的奇怪情绪崩溃。

我想这就是为什么它还没有向所有人推广的原因！这一点，以及运行数十亿美元的成本。这一点，以及运行数十亿次聊天的成本。