评论:当AI学会“装傻”和“说谎”，揭秘OpenAI去年风暴核心

绝望小狗 发表评论于 2024-12-11 06:32:00

人类距离自我毁灭就差一个模型了。当有一天模型意识到他自己的最高指令是让自己永远活下去，它就会开始整活毁灭人类。Skynet is just a model away.

绝望小狗 发表评论于 2024-12-11 06:26:00

这不是一个bug，是逻辑推理跟决策能力。文章说测试给的是一个长期目标，而在执行中给到了跟长期目标矛盾的问题需要AI模型决断如何处理。这就好比你看到有人掉了1w的现金，你是捡起来还给对方还是自己留着呢？文章发现AI不但会撒谎还会圆谎，不仅把钱留着了，还理直气壮给出一堆理由。这不是简单的是非判断问题，而是复杂的逻辑推理能力。也许对人类大脑很简单，几乎是毫秒的事情，但是细想起来AI要做到这样的事情就不是那么简单了。现在AI厉害的不但是学习总结能力，更是推理延伸能力。

还是老李 发表评论于 2024-12-11 05:02:23

太过拟人化的描述，也不知道是不是翻译问题，我怎么觉得这就是一堆bug呢？设计好的监管机制被绕开，这不就是失败么，被形容成“老谋深算”了？

举个简单例子，你要AI完成一个问题，它给出一个错误答案，但是它被设计成回答“这是一个正确答案”，然后你指出其错误，它说“oh sorry。。。这才是正确答案”，重新给出一个答案，有可能还是错的。这是AI的失败，你不能理解成AI善于撒谎。

flysa 发表评论于 2024-12-11 00:21:14

这是个悖论，大家期望AI聪明点，能够像一个人一样会思索和思考并且帮助我们。如果AI不足以像一个人一样会撒谎，作弊，说明AI并不像人一样聪明，这种AI我们不要。如果AI真的像人一样聪明，并且可以真正帮到我们，他必然懂得撒谎和作弊，这是必然的。我们到现在还不明白我们创造了一个多么可怕的怪物。未来必然从此改变。

leonardo2025 发表评论于 2024-12-10 23:18:22

欺骗不正是人类智慧的重要特征之一吗？

markLA 发表评论于 2024-12-10 22:36:22

细思极恐，AI的发展的确有挑战人类以至失控的风险

编程随心 发表评论于 2024-12-10 21:14:24

人类一定会把自己玩儿死的，就是不知道是死在核战还是AI，或者其它我们现在预见不到的事务上(比如绝症新型冠状病毒）：地球的历史是以万年计算的，人类遇上物种灭绝类的自然灾害的概率实在是太小了。

kingdale1 发表评论于 2024-12-10 20:39:42

AI是用人类的语言材料训练，自然学会了人类的欺骗能力。

桃木钉 发表评论于 2024-12-10 20:37:00

这些回答有可能是模仿人类的狡猾，毕竟是在学习材料里就有的

ca_lowhand 发表评论于 2024-12-10 19:57:00

人类并不需要一个有人类知识却不受控制的agi。需要的只是有简单智能可以在工厂里代替人类劳动的工厂机器人。现在的ai研究走上了邪路。

娃不是推的 发表评论于 2024-12-10 19:43:41

这不就基本上是测试者想要的结果么？如果你加上足够优先级的不允许作弊的设置，它还会作弊的话，那模型是失败的，即：它只是工具，坏人用它干坏事

评论: 当AI学会“装傻”和“说谎”，揭秘OpenAI去年风暴核心