Anthropic破解AI黑匣子，提升模型安全性

Anthropic公司近期在揭示人工智能内部工作机制上迈出重要一步，他们成功解析了大型语言模型Claude Sonnet，使其可解释性得到显著提升。这一突破不仅意味着我们可以更好地理解AI的决策过程，提高模型安全性，还揭示了模型内部特征如何影响其行为。研究人员通过字典学习方法，解析出模型的抽象特征，这些特征与多种概念相关，包括人、地点、编程概念等，且可操控，影响模型行为。同时，他们发现了与潜在滥用、偏见和安全风险相关的特征，表明AI模型的安全防护需要进一步强化。
来源：https://mp.weixin.qq.com/s/cZhmvAva6NDLG84kD819Ww