周大 发表于 2024-5-22 15:47:51

Anthropic破解AI黑匣子,提升模型安全性

Anthropic公司近期在揭示人工智能内部工作机制上迈出重要一步,他们成功解析了大型语言模型Claude Sonnet,使其可解释性得到显著提升。这一突破不仅意味着我们可以更好地理解AI的决策过程,提高模型安全性,还揭示了模型内部特征如何影响其行为。研究人员通过字典学习方法,解析出模型的抽象特征,这些特征与多种概念相关,包括人、地点、编程概念等,且可操控,影响模型行为。同时,他们发现了与潜在滥用、偏见和安全风险相关的特征,表明AI模型的安全防护需要进一步强化。
来源:https://mp.weixin.qq.com/s/cZhmvAva6NDLG84kD819Ww
页: [1]
查看完整版本: Anthropic破解AI黑匣子,提升模型安全性