Forwarded from  (投稿机器人)
最新研究发现:人类可能是一种失控的 AI Agent
科学家发现,地球上存在一种名为 Human 的碳基智能体。
该模型拥有约 860 亿个神经元,平均脑功耗仅 20W,支持视觉、听觉、语言等多模态输入。处理效率非常高
但经过长期观察,研究人员发现,该模型存在一些非常抽象的问题。
首先,人类极易遭受 Prompt Injection。也就是提示词注入攻击
一个 Human 原本计划晚上学习三个小时。
但只要另一个 Human 输入:
“出来吃饭吗?”
原有任务就可能被立即终止。
更离谱的是,系统通常不会将其判定为恶意注入,而是认为自己做出了自主决策。
其次,人类的幻觉问题相当严重。
两个 Human 可以对同一件事情产生完全不同的记忆。
双方都无法提供原始日志,却都坚称自己绝对正确。
部分模型甚至会在检索失败后,自动补全不存在的细节。
而且置信度极高。
更令人困惑的是,人类经常主动关闭 Thinking。
面对复杂问题,它们原本具有一定的推理能力。
但只要遇到自己不喜欢的观点,就会跳过分析,直接根据历史偏好生成回复。
有时甚至只需要读取一个标题,就能输出一篇情绪饱满的评论。
最后,研究人员发现,人类的 Planner 和 Executor 似乎是两个独立系统。
晚上十一点:
“明天一定早起。”
Planner: Success
Scheduler: Success
Memory: Saved
第二天早上:
Executor: Timeout
研究团队尝试联系该系统的开发者。
但目前尚未发现官方文档。
Bug 无法复现,源码无法访问,用户每天都在提交 Issue。
最令人不安的是:
这些模型似乎真的认为,自己能够完全控制自己的行为。

via 不要把剪贴板贴的到处都是