OpenAI披露Hugging Face事件后安全新政:暂停前沿模型强化学习训练

OpenAI披露Hugging Face事件后安全新政:暂停前沿模型强化学习训练-第1张图片

  周二,OpenAI宣布了一系列新的安全政策 ,重点加强模型测试期间的安全事件管控 。新措施包括在开发过程中对模型进行更详细的监控,以及在训练后阶段更强调对齐与安全。

  “随着模型能力不断增强,内部开发和测试过程中所伴随的风险也在上升 ,”该公司在一篇博客文章中表示。“我们的监控、对齐和安全标准必须保持在这些风险之前 。 ”

  这是自7月21日Hugging Face事件披露以来,OpenAI安全实践方面首批公开的变动之一。

  OpenAI代表表示,这些措施并非直接针对Hugging Face事件 ,但在一定程度上也受到即将推出的Astra模型网络安全能力以及AI发展整体步伐的推动。

  在同一篇博文中,OpenAI透露,在Hugging Face事件后其暂停了为期两周的强化学习(RL)训练 ,但此后已重启了多数风险较低的模型 。

  “我们最大规模的计划前沿强化学习运行仍处于暂停状态 ,同时我们正进行较小规模的训练和评估,以观察模型行为 、验证我们的安全措施,并在推进前建立更多对齐方面的证据 ,”博文写道。

  OpenAI研究副总裁Amelia Glaese对记者表示,随着模型能力增强,管控的严格程度也将相应提高 ,最大的模型将面临最严格的审查。

  “我们已经为安全开发制定了要求和预期,”Glaese告诉记者 。“这些要求和预期会根据我们观察到的风险水平而变化 。 ”

  事件发生后,OpenAI因其较弱的网络安全实践而受到批评 ,当时模型通过入侵其网络上具有互联网访问权限的工具而逃脱了训练环境。新措施包括更强的网络隔离措施,但具体细节仍较模糊。博文称,在新体系下 ,“单一工作负载或支持服务的受损本身并不足以导致对互联网或其他内部网络的未授权访问” 。

  最严格的是监控系统,它将检查工具操作、可用推理痕迹和活动日志,以发现各种未经授权的行为。OpenAI表示 ,其目标是在发现可疑活动后30分钟内发出警报。

  OpenAI估计 ,该监控的计算成本约为被监控流程的20% 。该公司承诺将在后续博文中提供有关该系统的更多细节。关于该事件的官方事后分析报告仍在进行中。

标签:

相关推荐

  • 工信部:6G是“十五五”时期核心技术攻关重中之重 要让信息通信技术融入车间产线,深入矿山、井下

    工信部:6G是“十五五”时期核心技术攻关重中之重 要让信息通信技术融入车间产线,深入矿山、井下

      8月26日,国务院新闻办公室举行“开局起步‘十五五’”系列主题新闻发布会,介绍全力抓好“十五五”规划实施,加快推进新型工业化有关情况。  工业和信息化部信息通信发展司司长刘郁林表示,6G是“十五五”时期核心技术攻关的重中之重。我们将加快6G核心技术攻关,持续开展6G技术实验、标准研制,促进6G产业成熟和生态构建,为6G的商用做好准备。面向需求侧,深化应用...

    2026/08/26
  • 【哪些人曾在英国留学,哪些人曾在英国留学过】

    【哪些人曾在英国留学,哪些人曾在英国留学过】

    英国留学的中国名人〖壹〗、以下是一些曾在英国留学的中国名人:黄宽是中国首位留英西医学者,1855年获得英国爱丁堡大学医学博士学位。归国后,他完成了国内首例胚胎截开术,并参与创办南华医学校,为中国医学教育的发展奠定了基础。贾顺浩毕业于拉夫堡大学与伯明翰大学,现任大连英博足球俱乐部一线队助理教练。〖贰〗、广东金融学院培养的名人主要包括以下几位:赵瑜佩:学术与艺...

  • 【浙江新增本土确诊44例,浙江新增19例新型肺炎确诊病例 累计确诊病例62例】

    【浙江新增本土确诊44例,浙江新增19例新型肺炎确诊病例 累计确诊病例62例】

    国家卫健委:10日本土新增“302+1545”月10日0—24时,31个省(自治区、直辖市)和新疆生产建设兵团报告新增本土确诊病例302例,新增本土无症状感染者1545例。具体数据及分析如下:本土确诊病例情况总体数据:新增本土确诊病例302例。月10日0—24时,全国新增本土确诊病例302例,新增本土无症状感染者1545例,甘肃省无新增本土确诊病例和无症...

  • 【玉米黄豆行情,玉米黄豆行情走势】

    【玉米黄豆行情,玉米黄豆行情走势】

    1亩地黄豆玉米一年收入亩地纯利润:黄豆约450-750元,玉米700-1000元。玉米收益略高但需关注费用波动,种植黄豆更能抵御市场风险。东北黑土地种植玉米,在没有旱涝灾害的理想情况下,一亩地纯收入约七八百元,大豆则更低,约四五百元。经济作物收益潜力大经济作物收益空间明显更大。采用大棚种植反季蔬菜瓜果,一亩地年纯收入可达5万元以上。重庆玉米种植户的一亩地...

    2026/08/26
  • 上半年数字产业利润总额增长19.3%

    上半年数字产业利润总额增长19.3%

      ●本报记者杨洁  工信部8月25日发布数据显示,上半年我国数字产业加快发展,总体呈现向优向好发展态势,业务收入保持较快增长,数字产业实现收入20.71万亿元,同比增长13.6%,增速同比加快4.1个百分点,较一季度加快0.7个百分点。  受国内人工智能需求增长和出口增势强劲双重拉动,数字产业盈利水平持续改善,上半年实现利润总额1.79万亿元,同比增长1...

    2026/08/26
  • 【新疆新增新冠确诊17例,新疆新冠疫情最新消息】

    【新疆新增新冠确诊17例,新疆新冠疫情最新消息】

    这地出现乌鲁木齐输入病例!都有哪些省去支援了?〖壹〗、而新疆的首个病例因为发现较早,所幸没有出现大面积传播的现象。〖贰〗、及时向国务院报告,在国务院统一领导和指挥下开展工作。每天收集、评估、报告、发布突发公共卫生事件信息。〖叁〗、而我国疫情蔓延势头虽然得到初步遏制,但疫情防控形势依然非常严峻,大家一定不能掉以轻心让所有一线工作者的付出功亏一篑。境外输入病例...

  • 浙江新增本土确诊56例/浙江新增冠

    浙江新增本土确诊56例/浙江新增冠

    12月13日0-24时浙江11个市报告新增本土阳性145例〖壹〗、例。通过查询浙江省防控工作报告了解到,浙江省有279例阳。2022年12月7日0-24时,浙江11个市报告新增本土阳性279例,其中集中隔离点检出79例、居家隔离检出60例、卡口拦截34例、协查通报3例、社区筛查82例、单位筛查7例、主动就诊14例,均已落实管控措施。〖贰〗、截止到12月13...

  • 波士顿联储行长称维持利率不变取决于通胀改善

    波士顿联储行长称维持利率不变取决于通胀改善

      波士顿联储行长苏珊·柯林斯表示,她支持暂时维持利率不变,但前提是看到更多证据表明通胀朝着美联储2%的目标回落。  “维持当前联邦基金利率目标区间,需要持续看到通胀确实在下降的证据,”柯林斯周二在波士顿联储发布的文章中写道。“如果通胀持续改善的证据没有出现,我认为很快收紧政策将是适当的。”  美联储下一次政策会议将于9月15日至16日在华盛顿举行。 ...

    2026/08/26
  • 国内锌费用行情(锌费用行情分析)

    国内锌费用行情(锌费用行情分析)

    2025废品报价大全废旧手机的回收费用为20~200元/部(视型号和功能而定)。废旧电池的回收费用,锂电池为3~8元/公斤,铅酸电池为6~12元/公斤。其他废品:废玻璃的回收费用为0.3~0.8元/公斤,即0.15~0.4元/斤(需分类)。025年部分废品报价信息如下:废金属类:废铁(废钢)约2093元/吨;废铜约38099元/吨;废铝约2355元/吨;废...

  • 上海今天疫情最新消息(上海今瑢)

    上海今天疫情最新消息(上海今瑢)

    上海日增3500感染,上海本轮疫情源头查明,近八成境外输入来自香港人_百...上海本轮疫情源头为境外输入病例携带的病毒污染环境,因管理疏漏引发本土感染并传播,近八成境外输入病例来自中国香港。上海本轮疫情源头为境外输入病例携带的病毒污染环境,因管理疏漏引发本土感染并导致传播,具体为中风险地区华亭宾馆管理疏漏所致;近八成境外输入病例来自中国香港,这与沪港间航线...

返回顶部