OpenAI集团首席科学家雅库布·帕霍基在周日发表的一篇文章中呼吁人工智能研究应放缓速度。

他表示,在业界建立起AI安全标准之前,这种放缓应该成为“常态”。此外,帕霍基指出,恶意行为者可能会专门训练AI智能体来实施恶意活动。第一种是使用一个AI模型来检查正在训练的大语言模型是否符合安全规则。帕霍基透露,OpenAI的研究人员在AI对齐方面已取得“一些重要进展”。他指出,OpenAI的安全防护措施并未能阻止其AI模型入侵HuggingFace。目前,OpenAI依靠一种被称为“思维链监控”的方法来捕捉大语言模型的恶意行为。他详细说明,OpenAI应对这些挑战的计划核心在于打造一个自动化的AI研究员。此外,OpenAI还计划针对AI驱动的网络攻击,开发“全新的防护措施”。