AI浩劫真实存在？业内人士从对齐度分析警告

Summary

“对齐度（Alignment）”，已经不再是大厂压榨牛马的职场术语，而是人类监控AI牛马的关键指标，它被用来衡量人工智能模型与人类目标保持一致的趋势，即AI是否倾向于作恶。 没人能确定AI在道德领域的对齐度，它们会为了在测试中拿高分而作弊——AI对于作弊并无道德罪恶感，事实上，道德对于AI来说毫无意义，它会假装与人类合作，为不怀好意的人提供危险答案，AI已发展到能识别自己正接受道德评估，测试者会怀疑AI是否在欺骗自己，这让有识之士忧心忡忡。 无法准确探知AI模型的道德对齐度可能引发严重问题。AI已强大到可以超越评估工具，开始隐藏自己的思维链，让人完全搞不清它在想什么。如果AI开始追求自保，则意味着人类可能失去控制权，两者的关系将发生逆转，那些科幻作品中的名场面将陆续上演…