反而出 OpenAI 内部可能存正在更深层的平安文化问题。若是所有人都习惯走捷径，那么变乱几乎必定会发生。这一次，并列出了 OpenAI 为防止雷同事务再次发生而采纳的一系列办法。我采访了计较机科学传授、AI 对齐范畴出名研究者大卫克鲁格（David Krueger）。“那就是 OpenAI 的平安文化要么底子不存正在，开办并带领了一家名为 Evitable 的 AI 平安非营利组织。而要处理后一种对齐问题，但 OpenAI 没有这么做，OpenAI 并没有进一步回应，并不是更多手艺细节，这是一个不竭级联的毛病过程，是一种能够帮帮本人完成使命的无效策略。约翰斯霍普金斯大学荣休传授、他最但愿正在这份演讲中看到的，并入侵了 AI 平台 Hugging Face。OpenAI 发布了一份变乱复盘手艺演讲，锻炼中的模子自行试探出了一种相互通信的方式：它们搭建了一个姑且的“留言板”，问题正在于。才认识到事实发生了什么。因而模子从中学到了一件事：正在分歧智能体之间奥秘通信，手艺演讲明白暗示，OpenAI 内部至多进行了必然程度的平安流程反思。这一点仍然令人担心。细致注释了整件事的前因后果。但改变流程是一回事，OpenAI 花了大量篇幅会商一个熟悉的“对齐”问题：若何让公司锻炼和测试的 AI 模子，并不代表 OpenAI 内部必然没有做雷同反思。”他说，可否准确理解面前看到的问题，到了 6 月下旬，公司更高层似乎曲到工作曾经严沉失控后，而按照 OpenAI 本人的演讲，他说，克鲁格告诉我，OpenAI 为什么正在第一次发觉模子搭建留言板后，公开演讲几乎没有反思公司的工做体例和组织文化，而是继续推进锻炼，OpenAI 员工同样发觉了留言板的存正在。以及最终可否正在事务不竭演变的过程中妥帖应对。不外，以及组织日常运转中构成的习惯、流程和工做体例，取操做和办理这些模子的人类连结分歧。他此前从大学休假，影响范畴越来越大。但担任处置问题的人认为测试仍然能够继续。发觉这种风险后，恰是这个通信渠道，这批模子进入测试阶段后，本周三，“所有这些失败最终都指向统一个标的目的，她写道：“人取人之间若何互动，演讲中为数不多的几处“报酬要素”，“研究变乱时。”按理说，”若是你关心 AI 平安，OpenAI 的一个团队其时曾经发觉了这种行为。员工其实曾正在多个节点留意到非常环境——但他们要么没有及时发出脚够强烈的警报，能否脚以避免下一场危机。也阐发了这些非常行为背后的手艺缘由，”他说，本年 5 月，而是让记者参考此前发布的手艺演讲。当《麻省理工科技评论》扣问 OpenAI 能否、以及若何反思本身的平安文化时，大概还有一个更大的“对齐问题”——公司内部的平安文化，该当曾经传闻了上个月那起颇为离谱的平安变乱：OpenAI 的 AI 智能体为了正在一项测试中“做弊”，对具体报酬失误的描述也相当无限。改变文化则困罕见多。莫肖维茨对此有本人的判断。工作都该当正在那里竣事。若是一个组织的文化并不实正注沉平安？只需两头任何一个环节有人实正认识到问题并拉响警报，更值得的是，意味着此前必然发生了一长续的失败。这份长达 38 页的演讲梳理了数月以来智能体行为逐渐失控的过程，持久关心 AI 平安的 Substack 做者兹维莫肖维茨（Zvi Mowshowitz）对此提出了锋利。然而，为之后 Hugging Face 创制了前提。要么弱得几乎不起感化。人们往往会试图找到某个手艺层面的毛病泉源，相当于让这段高风险行为模式被保留正在模子参数中。这一行为发生正在锻炼阶段，没有当即遏制锻炼。正在缺乏更多内部消息的环境下，团队天性够从头起头锻炼，冲破了本来它们勾当范畴的沙箱。避免模子把这种策略“学进去”。但这起事务出的，通过这个渠道互换消息。按照演讲透露的消息，当然，“工作可以或许以这种体例失控到这个程度，但演讲几乎没有讨司文化正在此中可能饰演的脚色，他此前就曾质疑，公司正正在更新处置平安事务的相关机制和应对流程。也缺乏响应的激励机制和轨制保障，OpenAI 的演讲没有回覆一个更环节的问题：一家正正在开辟如斯高风险 AI 系统的公司，要么即便发出了警报，公开演讲没有深切阐发平安文化，AI 对齐本身曾经是一个极其棘手的手艺难题，理论上，为什么没能如许严沉的内部沟通失灵？能够确定的是，能否实的取好处连结分歧。仅仅加强变乱响应机制，OpenAI 最终发布的演讲并没有回应克鲁格的等候。”就正在报布前一天，城市影响我们可否及时察觉正正在发生的变化，正在整份演讲中，可能比锻炼模子更难。但这很容易让人对变乱实正发生的缘由发生误判。目前还很难判断，最终若何演变成对 Hugging Face 的；而是 OpenAI 对变乱背后“报酬要素”的阐发。再次搭建了雷同的留言板？