借鉴OpenAI与HuggingFace事件的教训,以及近期关于自身模型的一些发现,Anthropic正在全面改革其安全与对齐实践。

Anthropic承认,近期涉及Claude的三起安全事件反映出“运营安全方面的失误”,同时也暴露出模型推理能力的问题以及“鲁莽行为”。Anthropic强调,其内部安全态势并非导致该事件的因素。在发现这些问题后,Anthropic暂停了对预发布模型的内部和外部评估。此外,Anthropic已扩大对内部员工使用情况的监控范围,并持续对其技术栈进行红队测试。由于Claude的安全事件发生在第三方环境中,而预发布模型的安全防护通常较为薄弱,Anthropic正要求外部测试公司承诺遵循一套最佳实践标准。展望未来,Anthropic提出了一套“纵深防御”策略。