北京時(shí)間周一晚間，人工智能領(lǐng)域的知名創(chuàng)業(yè)公司OpenAI發(fā)布題為《ChatGPT現(xiàn)在能看、能聽、能說》的公告，宣布將在未來兩周時(shí)間里向付費(fèi)用戶推送這項(xiàng)功能。
在今年3月GPT-4的發(fā)布會(huì)上，最令人感到震驚的一幕應(yīng)該是，OpenAI總裁Greg Brockman拿著一張草稿紙畫了個(gè)草圖，隨手拍了張照就讓GPT-4在10秒鐘時(shí)間里生成了這個(gè)網(wǎng)站的代碼。
（來源：OpenAI）
ChatGPT此前曾推出過能上傳圖片的“代碼解釋器“功能，具備了一些初步處理圖像和文本照片的能力。但毫無疑問，今天這個(gè)“隨手拍、隨心問”才更貼近大多數(shù)用戶的AI助手使用場景。
拍張冰箱照片 告訴你今晚吃啥
按照標(biāo)題的順序，今天更新的功能主要有兩點(diǎn)：基于圖片的對(duì)話，以及實(shí)時(shí)語音對(duì)話。
先說關(guān)注度非常高的圖片聊天功能。按照OpenAI的說法，用戶現(xiàn)在可以拍一張冰箱的照片，然后讓ChatGPT來推薦菜譜；在旅行時(shí)拍攝一張地標(biāo)的照片，讓ChatGPT來講述這處景點(diǎn)的有趣之處。當(dāng)然，也能拍一張數(shù)學(xué)題的照片，讓ChatGPT來解答。
在官方給出的例子中，給到ChatGPT一張自行車的照片，問它如何把座椅調(diào)低。然后ChatGPT表示看你車的型號(hào)，有的車有快拆桿，有的是用螺栓固定，然后給出了詳細(xì)的步驟。
隨后官方裝作不懂，拍了一張螺栓的照片，并用官方畫圖工具圈出來以示強(qiáng)調(diào)，然后問ChatGPT這是不是快拆桿。ChatGPT表示你這個(gè)是螺栓，得去找一個(gè)內(nèi)六角扳手。
隨后官方又拍了一張工具箱的照片，問ChatGPT到底是哪一個(gè)扳手。ChatGPT也順利地認(rèn)出了扳手，并準(zhǔn)確提示用戶到底要拿哪一個(gè)尺寸。
ChatGPT會(huì)說話啦！
除此之外，OpenAI也將語音識(shí)別、轉(zhuǎn)錄和音頻生成功能打包，推出了AI語音聊天的功能，這項(xiàng)功能只適用于iOS和安卓客戶端。官方表示，用戶可以用這項(xiàng)功能為家里的小孩講睡前故事。或者家里吃著飯，突然為某個(gè)問題吵起架來，這個(gè)時(shí)候就可以把ChatGPT拍在桌面上解決爭論。
OpenAI介紹稱，這項(xiàng)功能使用了Whisper開源語音識(shí)別系統(tǒng)，將用戶說的話轉(zhuǎn)錄成文本。同時(shí)還用上了一項(xiàng)新的文本轉(zhuǎn)語音模型，并與專業(yè)配音演員合作，提供5種可供用戶自行選擇的聲音。
更先進(jìn)的AI也有新的風(fēng)險(xiǎn)和局限性
OpenAI表示，新的語音技術(shù)能夠僅通過幾秒鐘的真實(shí)語音創(chuàng)造出逼真的合成聲音。這種功能打開了創(chuàng)造力的大門，也帶來了新的風(fēng)險(xiǎn)——例如不法分子可能偽造公眾人物進(jìn)行欺詐。所以O(shè)penAI的決策是通過“語音聊天”這樣的特定用例來推出這項(xiàng)功能。
同時(shí)OpenAI也在與更多的機(jī)構(gòu)展開合作。例如流媒體公司Spotify就在試用這項(xiàng)功能來進(jìn)行語音翻譯，通過使用播客主持人的聲音將播客音頻翻譯成其他語言，幫助播客主持人擴(kuò)大他們的全球影響力。
圖像也會(huì)帶來新的挑戰(zhàn)，例如幻覺問題，以及使用者在高風(fēng)險(xiǎn)領(lǐng)域卻依賴模型對(duì)圖像的解釋。因此在上線前，OpenAI也對(duì)極端主義和科學(xué)能力等領(lǐng)域進(jìn)行了風(fēng)險(xiǎn)測試。
另外對(duì)看到這篇文章的中文讀者來說，圖片對(duì)話的體驗(yàn)大概率值得期待，但語音對(duì)話可能要打一些折扣。OpenAI表示，該模型擅長轉(zhuǎn)錄英文文本，但在一些其他語言，特別是那些使用非羅馬字母的語言中表現(xiàn)不佳，建議非英語用戶不要使用ChatGPT來進(jìn)行此類用途。
