首頁|必讀|視頻|專訪|運營|制造|監(jiān)管|大數(shù)據(jù)|物聯(lián)網(wǎng)|量子|元宇宙|博客|特約記者
手機|互聯(lián)網(wǎng)|IT|5G|光通信|人工智能|云計算|芯片報告|智慧城市|移動互聯(lián)網(wǎng)|會展
首頁 >> 人工智能 >> 正文

OpenAI成立“防備”預警團隊:董事會有權阻止新AI模型發(fā)布

2023年12月19日 13:11  IT之家  作 者:遠洋

開發(fā)了 ChatGPT 的 OpenAI 公司日前宣布成立新的“防備(Preparedness)”團隊,旨在監(jiān)控旗下技術可能帶來的潛在威脅,防止其落入壞人之手,甚至被用于制造化學和生物武器。

該團隊由麻省理工學院人工智能教授亞歷山大 馬德里 (Aleksander Madry) 領導,將招募人工智能研究人員、計算機科學家、國家安全專家和政策專家等,對 OpenAI 開發(fā)的技術進行持續(xù)監(jiān)測和測試,一旦發(fā)現(xiàn)任何危險苗頭,及時向公司發(fā)出警告。

OpenAI 周一發(fā)布了名為“防備框架”(Preparedness Framework)的指導方針,并強調這套指南仍處于測試階段。

據(jù)悉,防備團隊每月將向一個新的內部安全咨詢小組發(fā)送報告,該小組隨后將對其進行分析,并向 OpenAI 首席執(zhí)行官薩姆 阿爾特曼和董事會提交建議。阿爾特曼和公司高層可以根據(jù)這些報告決定是否發(fā)布新的 AI 系統(tǒng),但董事會有權撤銷這一決定。

防備團隊將反復評估 OpenAI 最先進、尚未發(fā)布的 AI 模型,根據(jù)不同類型的感知風險評為四個等級,從低到高依次是“低”、“中”、“高”和“嚴重”。根據(jù)新的指導方針,OpenAI 將只推出評級為“低”和“中”的模型。

OpenAI 的“防備”團隊介于兩個現(xiàn)有團隊之間:負責消除 AI 系統(tǒng)中種族偏見等現(xiàn)有問題的“安全系統(tǒng)”團隊,以及研究如何確保 AI 在超越人類智能的未來場景中不會傷害人類的“超級對齊(Superalignment)”團隊。

ChatGPT 的火爆以及生成式 AI 技術的快速發(fā)展引發(fā)了科技界關于該技術潛在危險性的激烈討論。來自 OpenAI、谷歌和微軟的知名 AI 專家今年警告稱,該技術可能對人類構成與流行病或核武器相當?shù)纳嫱{。其他 AI 研究人員則認為,過度關注這些遙遠的巨大風險,忽視了 AI 技術目前已經(jīng)造成的潛在危害。也有一些 AI 商業(yè)領袖認為,關于風險的擔憂被夸大了,公司應該繼續(xù)推進技術發(fā)展,造福社會并從中獲益。

OpenAI 在這場辯論中采取了較為折中的立場。首席執(zhí)行官薩姆 阿爾特曼 (Sam Altman) 承認該技術存在嚴重的長期風險,但也呼吁人們關注解決現(xiàn)有問題。他認為,監(jiān)管不應該阻礙小型公司在 AI 領域的競爭。同時,他也推動公司實現(xiàn)技術商業(yè)化,籌集資金加快發(fā)展。

馬德里是資深 AI 研究人員,曾在麻省理工學院負責可部署機器學習中心,并共同領導麻省理工學院 AI 政策論壇。今年他加入了 OpenAI,但在阿爾特曼被董事會解雇后,曾與少數(shù) OpenAI 高管一道辭職,五天后當阿爾特曼復職時,馬德里回到了公司。OpenAI 由一個非營利董事會管理,其使命是促進 AI 發(fā)展并使其造福全人類。在阿爾特曼復職后,三名解雇他的董事會成員辭職,目前該組織正在遴選新的董事會成員。

盡管領導層經(jīng)歷了“動蕩”,馬德里表示,他仍然相信 OpenAI 董事會認真對待 AI 的風險。

除了 AI 領域的人才,OpenAI 的“防備”團隊還將招募來自國家安全等領域的專家,幫助公司了解如何應對重大風險。馬德里表示,團隊已經(jīng)開始與美國核安全局等機構進行接觸,確保公司能夠適當?shù)匮芯?AI 的風險。

該團隊的重點之一是監(jiān)控 OpenAI 的技術何時以及如何引導人們進行計算機入侵或制造危險的化學、生物和核武器,超出人們通過常規(guī)研究可以在網(wǎng)上找到的內容。馬德里正在尋找這樣的人才:“他們會深入思考,‘我如何突破這些規(guī)則?我如何成為最機智的反派?’”

OpenAI 在周一的一篇博客文章中表示,公司還將允許來自 OpenAI 之外的“合格的獨立第三方”測試其技術。

馬德里表示,他既不同意那些擔心 AI 已經(jīng)超越人類智能的“末日論者”,也不同意那些希望移除所有 AI 發(fā)展障礙的“加速主義者”。

他說:“我真切地認為,將發(fā)展和抑制截然分開是一種非常簡單的劃分方式。AI 擁有巨大的潛力,但我們也需要努力確保這些潛力得以實現(xiàn),并且最大程度避免負面影響!

編 輯:章芳
聲明:刊載本文目的在于傳播更多行業(yè)信息,本站只提供參考并不構成任何投資及應用建議。如網(wǎng)站內容涉及作品版權和其它問題,請在30日內與本網(wǎng)聯(lián)系,我們將在第一時間刪除內容。本站聯(lián)系電話為86-010-87765777,郵件后綴為#cctime.com,冒充本站員工以任何其他聯(lián)系方式,進行的“內容核實”、“商務聯(lián)系”等行為,均不能代表本站。本站擁有對此聲明的最終解釋權。
相關新聞              
 
人物
工信部張云明:大部分國家新劃分了中頻段6G頻譜資源
精彩專題
專題丨“汛”速出動 共筑信息保障堤壩
2023MWC上海世界移動通信大會
中國5G商用四周年
2023年中國國際信息通信展覽會
CCTIME推薦
關于我們 | 廣告報價 | 聯(lián)系我們 | 隱私聲明 | 本站地圖
CCTIME飛象網(wǎng) CopyRight © 2007-2024 By CCTIME.COM
京ICP備08004280號-1  電信與信息服務業(yè)務經(jīng)營許可證080234號 京公網(wǎng)安備110105000771號
公司名稱: 北京飛象互動文化傳媒有限公司
未經(jīng)書面許可,禁止轉載、摘編、復制、鏡像