安全政策再遭质疑!OpenAI解散AGI筹备团队,主管离职

admin admin
1
2024-10-25
  来源:华尔街见闻   媒体报道,AI领头羊OpenAI正在解散其“AGI(通用人工智能)筹备”团队,团队主管将离职,希望在外部继续该领域的研究。  OpenAI的AGI筹备团队负责建议公司如何处理越来越强大的AI技术,以及当今世界是否准备好管理这些技术。CNBC报道,OpenAI的AGI筹备...

  来源:华尔街见闻 

安全政策再遭质疑!OpenAI解散AGI筹备团队,主管离职

  媒体报道,AI领头羊OpenAI正在解散其“AGI(通用人工智能)筹备”团队,团队主管将离职,希望在外部继续该领域的研究。

  OpenAI的AGI筹备团队负责建议公司如何处理越来越强大的AI技术,以及当今世界是否准备好管理这些技术。CNBC报道,OpenAI的AGI筹备团队负责人Miles Brundage在周三通过Substack发布的帖子中宣布了这一消息,并表示他将离职。

  Brundage表示,他离职的主要原因是机会成本变得太高,他认为在外部进行研究会更具影响力,并且他希望减少偏见。他还表示,OpenAI及世界在AGI筹备方面“尚未准备好”。而Brundage计划创建自己的非营利组织,或者加入现有的组织,专注于AI政策研究和倡导。他补充说,

“AI不太可能在没有共同努力确保其安全和有益的情况下达到最佳状态。”

  根据帖子内容,原AGI准备团队的成员将被重新分配到其他团队。

  OpenAI发言人向媒体表示:

“我们完全支持Brundage决定在业界之外继续他的政策研究,并对他所做的贡献深表感谢。他全身心投入AI政策独立研究的计划,让他有机会在更大范围内产生影响,我们期待从他的工作中学习并看到其影响。在他的新角色中,我们相信他将继续提升行业和政府制定政策的质量。”

  今年5月,OpenAI决定解散其刚刚成立一年的“超级对齐”团队(Superalignment team),该团队专注于AI的长期风险。

  正值公司改组、高层动荡之际

  AGI准备团队的解散消息也正值OpenAI董事会可能计划将公司重组为营利性企业之际。上个月,包括该公司首席技术官Mira Murati、研究主管Bob McGrew和研究副总裁Barret Zoph在内的三位高管宣布同日离职。

  今年10月初,OpenAI完成了一轮估值1570亿美元的融资,其中包括从多家投资公司和大科技公司筹集的66亿美元。公司还获得了一笔40亿美元的循环信贷额度,使其总流动资金超过100亿美元。公司预计今年的收入将达到37亿美元,但亏损约为50亿美元。

  今年9月,OpenAI宣布,该公司在5月份成立的“安全与安保委员会”(Safety and Security Committee)将成为一个独立的董事会监督委员会。该委员会最近结束了为期90天的审查,评估了OpenAI的流程和保障措施,并向董事会提出了建议,这些建议还在公司博客中公开发布。

安全政策再遭质疑!OpenAI解散AGI筹备团队,主管离职

  AI安全问题的处理遭质疑

  目前,有关OpenAI安全问题以及相关争议的关注度越来越高。今年夏天,OpenAI、谷歌、微软、Meta等公司在生成式AI领域激烈竞争,目前预计这一市场在未来十年内将产生超过1万亿美元的收入。

  今年7月,OpenAI将其顶级安全高管之一Aleksander Madry调整岗位,让他专注于AI推理的工作。Madry曾是OpenAI的“AI风险预防小组”筹备团队负责人,该团队的任务是“跟踪、评估、预测并帮助防范与前沿AI模型相关的灾难性风险”。

  而在6月,一名民主党联邦参议员致信OpenAI首席执行官Sam Altman发送信函,询问OpenAI如何应对新出现的安全问题。信中提到:

“我们希望了解更多关于OpenAI为履行其在安全方面的公开承诺所采取的步骤,公司如何在内部评估其对这些承诺的进展情况,以及公司如何识别和减轻网络安全威胁的额外信息。”

  微软于7月放弃了其在OpenAI董事会的观察席位,并对媒体表示,由于对OpenAI的董事会构成感到满意,微软决定退位。此前,OpenAI董事会经历了一次重组,这次变动导致Altman短暂被罢免,同时也威胁到了微软对OpenAI的大量投资。

  但在今年6月,一群现任和前任OpenAI员工发布了一封公开信,表达了对人工智能行业快速发展的担忧,特别是在缺乏有效监督和没有“吹哨人”保护机制的情况下。信中写道:

“AI公司有强大的财务动机来避免有效的监督,我们不相信为此更改的公司治理结构足以改变现状。”

  而在信件发布几天后,一位知情人士向媒体证实,美国联邦贸易委员会(FTC)和司法部正准备对OpenAI、微软和英伟达展开反垄断调查,重点关注这些公司的行为。

  内部人士批评:过于追求产品 对AI风险披露不足

  这些员工在6月的信件中还写道,AI公司拥有大量非公开的信息,了解其技术的能力、已采取的安全措施的程度,以及这些技术在不同层面带来的潜在风险。

“我们也意识到这些技术带来的严重风险,但AI公司目前仅对政府有微弱的分享义务,几乎没有义务与公众分享这些信息。我们不认为AI公司能够自愿分享这些信息。”

安全政策再遭质疑!OpenAI解散AGI筹备团队,主管离职

  OpenAI于去年成立的“超级对齐”团队,专注于“科学和技术突破,以引导和控制比人类更智能的AI系统”。该团队在5月份被解散,领导人Ilya Sutskever和Jan Leike宣布离职。Leike在X上发帖称,OpenAI的“安全文化和流程,已经让位于光鲜的产品”。

  Altman当时在X上表示,看到Leike离开感到难过,并承认OpenAI还有很多工作要做。不久之后,OpenAI联合创始人Greg Brockman在X上发表了一份声明,强调公司已经“提高了对AGI风险和机遇的认识,以便世界能够更好地为此做好准备”。

  Leike当时在X上写道:“我加入OpenAI,是因为我认为OpenAI是世界上进行这类研究的最佳场所。”然而,他表示自己与公司领导层在核心优先事项上存在分歧,最终不得不分道扬镳。Leike认为,公司应该更多地关注安全、监控、风险应对工作以及对社会的影响。

  他表示:

  AI教父:Altman更关心利润,而不是安全

  质疑OpenAI安全政策的不只是政府和内部人士。华尔街见闻此前文章称,2024诺贝尔物理学奖获得者、“AI教父”Geoffrey Hinton在获奖后接受多伦多大学校长Meric Gertler采访时表示,Altman更关心利润,而不是安全,AI技术如果不加以控制可能会带来灾难性的后果。马斯克此前也表示,不希望世界上最强大的AI被不值得信赖的人控制。

  作为“AI教父”,Hinton最广为人知的学生之一是前OpenAI联合创始人兼首席科学家Ilya Sutskever,他于去年11月领导公司董事会解雇了Altman,但随后又迅速重新聘用Altman成为公司CEO。Hinton表示:

“我的学生之一,Ilya Sutskever曾是OpenAI的首席科学家。随着时间的推移,事实证明,Altman更关心利润,而不是安全。”

“我非常幸运,有很多非常聪明的学生,他们比我优秀得多。他们后来都做了伟大的事情。我特别为我的一个学生解雇了Sam Altman而感到自豪。”

  近年来,Hinton一直在警告,如果不加以控制,AI系统可能会带来灾难性的后果。

  事实上,不止是Hinton,越来越的人也开始表达对Altman行为的不满。近日,马斯克也表示,他“不希望世界上最强大的AI被不值得信赖的人控制。”

  马斯克在接受媒体人Tucker Carlson采访时表示,他不信任OpenAI或Sam Altman。

“OpenAI原本是一个开源公司,但现在不是了,并且正在实现利润最大化。

显然Sam Altman会得到100亿美元股票或类似的东西,所以我不信任他,我认为我们不想让世界上最强大的AI被一个不值得信任的人控制。”

其他相关 RELEVANT MATERIAL

隔夜要闻:美股涨跌互现 特斯拉业绩强劲股价飙升 英伟达将向印度提供最先进的AI芯片 OpenAI解散AGI筹备团队

admin admin
1
2024-10-25
  欲览更多环球财经资讯,请移步7×24小时实时财经新闻  市场  收盘:标普指数三连跌后反弹特斯拉飙升逾20%  10月24日美股成交额前20:特斯拉业绩强劲股价飙升22%  周四热门中概股涨跌不一WSP控股涨10.6%,小鹏跌6.2%  美国WTI原油周四收跌0.8%市场继续关......

OpenAI劲敌Anthropic升级AI助手,Claude可写网页代码,更像数据分析师

admin admin
1
2024-10-25
  新分析工具类似一个内置的代码沙盒。有了它,Claude不再仅仅依赖抽象的分析,可以系统地计算并分析电子表格和PDF等文件中的数据,呈现交互式的可视化结果。比如用户可以上传全球销售数据,让Claude提供特定国家地区的绩效分析。  本文作者:李丹  来源:硬AI  OpenAI的劲敌An......

OpenAI转型之路向前迈进:前白宫官员变身其首位首席经济学家

admin admin
2
2024-10-23
财联社10月23日讯(编辑马兰)OpenAI的管理层迎来新的变化。周二,该公司宣布,已经任命美国前白宫官员AaronChatterji为公司历史上首位首席经济学家,负责领导人工智能对经济影响的研究。Chatterji现任美国杜克大学商业与公共政策教授,曾经是美国总统拜登政府商务部的首席经济学家......

OpenAI前CTO米拉•穆拉蒂被曝创立新AI公司 拟募资1亿美元

admin admin
6
2024-10-21
【TechWeb】10月20日消息,据外媒报道,上个月宣布离职的OpenAI首席技术官(CTO)米拉•穆拉蒂(MiraMurati)正在为一家新的人工智能初创公司筹集资金。报道称,这家新AI公司将专注于打造基于专有模型的人工智能产品,本轮融资可能超过1亿美元。目前关于该公司披露的信息有限。离......

OpenAI商业化运营遇坎 初创团队“分崩离析”

admin admin
8
2024-10-19
  来源:中国经营报  本报记者秦枭北京报道  OpenAI凭借新推出的推理模型o1和ChatGPT高级语言模式,估值一度高达1500亿美元,成为全球最吸睛的明星公司后,也迎来了自己的“多事之秋”。今年以来,包括首席科学家、首席技术官、首席研究官、Sora视频生成模型负责人、GPT-4o多模......

OpenAI转型盈利性企业 微软近140亿美元投资如何转股?谈判已开启

admin admin
6
2024-10-19
  来源:华尔街见闻  微软和OpenAI双方都已聘请投资银行来为这次谈判提供建议,足见其重要性。分析认为,在公司转型为盈利性企业时,如何分配股权是其面临的最大挑战之一。而作为OpenAI迄今为止最大的投资者,微软可能会获得该公司大量股权。  为防范敌意收购并保护首席执行官奥特曼免受外部干涉,A......
年度爆文