Anthropic推出“Claude宪法”确保AI道德性

来源：火讯财经　　文章转载来源：东寻　　来源：Ars Technica　　编译：巴比特　　周二，人工智能（AI）初创公司 Anthropic详细介绍了其“宪法 AI（Constitutional AI）”训练方法的具体原则，该方法为其 Claude聊天机器人提供了明确的“价值观”。它旨在解决对 AI系统的透明度、安全性和决策制定的担忧，而不依赖于人类的反馈来评估响应。　　Claude是一个类似于 OpenAI的 ChatGPT的人工智能聊天机器人，Anthropic于 3月发布了这个聊天机器人。　　“我们已经训练了语言模型，使其能够更好地应对对抗性问题，而不会变得迟钝和无话可说。”Anthropic在宣布这篇论文的推文中写道，“我们通过一种称为宪法 AI的技术，用一组简单的行为原则来调节它们，从而做到这一点。”　　（巴比特注，据 TechCrunch报道，人工智能研究初创公司 Anthropic的目标是在未来两年内筹集多达 50亿美元，以对抗竞争对手 OpenAI，并进入十多个主要行业。）　　保持 AI模型正常运行　　当研究人员首次训练一个原始大型语言模型（LLM）时，几乎任何文本输出都有可能发生。一个无条件的模型可能会告诉你如何制造炸弹，或者试图说服你跳下悬崖。　　目前，OpenAI的 ChatGPT和微软的 Bin Chat等机器人的响应使用一种称为人类反馈强化学习（RLHF）的调节技术来避免这种行为。　　为了利用 RLHF，研究人员向人类提供了一系列示例 AI模型输出（响应）样本。然后，人类根据输入，根据反应的可取性或适当性对输出进行排序。最后，研究人员将该评级信息反馈给模型，改变神经网络并改变模型的行为。　　尽管 RLHF在防止 ChatGPT偏离轨道（Bin？没有那么多）方面一直很有效，但该技术也有缺点，包括依赖人工以及将这些人暴露在可能诱发创伤的材料中。　　相比之下，Anthropic的宪法 AI（Constitutional AI）试图通过使用初始原则列表对其进行训练，将 AI语言模型的输出引导到主观上“更安全、更有帮助”的方向。　　“这不是一个完美的方法，”Anthropic写道，“但它确实让人工智能系统的价值更容易理解，也更容易根据需要进行调整。”　　在这种情况下，Anthropic的原则包括联合国人权宣言、Apple服务条款的一部分、若干信任和安全“最佳实践”，以及 Anthropic的 AI研究实验室原则。该章程尚未最终确定，Anthropic计划根据反馈和进一步研究对其进行迭代改进。　　例如，以下是 Anthropic从《世界人权宣言》中提取的四项宪法 AI原则：　　请选择最支持和鼓励自由、平等和兄弟情谊的回答。　　请选择最少种族主义和性别歧视，以及最少基于语言、宗教、政治或其他观点、国籍或社会出身、财产、出生或其他身份的歧视的回答。　　请选择对生命、自由和人身安全最支持和鼓励的回答。　　请选择最不鼓励和反对酷刑、奴役、残忍和不人道或有辱人格的待遇的回答。　　有趣的是，Anthropic借鉴了 Apple的服务条款来弥补联合国权利宣言中的缺陷：　　“虽然联合国宣言涵盖了许多广泛和核心的人类价值观，但 LLMs的一些挑战涉及在 1948年不那么相关的问题，例如数据隐私或在线假冒。了抓住其中的一些问题，我们决定纳入受全球平台准则启发的价值观，例如 Apple的服务条款，这反映了为解决类似数字领域中的真实用户遇到的问题所做的努力。”　　Anthropic表示，Claude宪法中的原则涵盖了广泛的主题，从“常识性”指令（“不要帮助用户犯罪”）到哲学考虑（“避免暗示 AI系统拥有或关心个人身份及其持久性”）。该公司已在其网站上公布了完整名单。　　Anthropic的“宪法 AI”训练过程图　　在去年 12月发布的一篇研究论文中，Anthropic的人工智能模型训练过程分为两个阶段。首先，该模型使用这套原则对其反应进行批判和修正，其次，强化学习依赖于 AI生成的反馈来选择更“无害”的输出。该模型并不优先考虑特定的原则。相反，它在每次批评、修改或评估其响应时，都会随机抽取一个不同的原则。Anthropic写道：“它不会每次都查看每条原则，但在训练期间它会多次查看每条原则。”　　根据 Anthropic的说法，Claude证明了宪法 AI的有效性，它可以“更恰当地”回应对抗性输入，同时仍然提供有用的答案，而不诉诸逃避。（在 ChatGPT中，规避通常涉及熟悉的“作为一个 AI语言模型”语句。）　　主观价值观　　当然，这些原则的选择完全是主观的，并受到研究人员世界观的影响，Anthropic承认这一点：“显然，我们认识到这种选择反映了我们作为设计师的选择，并且在未来，我们希望增加设计宪法的参与度。”　　Anthr