開源百億美金做出來的大模型,是商業戰略。
對英偉達來說,如果非要有什么比其年會 GTC 更重要的會,就是 SIGGRAPH 大會,世界上最重要的圖形研究和發現的孵化點。對英偉達來說,「在許多方面,SIGGRAPH 幫助英偉達成為今天的樣子?!?/p>
今年的 SIGGRAPH 大會在今日凌晨拉開帷幕,這是 SIGGRAPH 的 50 周年,特別的時刻,老黃為此請來了特別的客人——扎克伯格。第一次來到 SIGGRAPH 的扎克伯格并不怯場,他對老黃說,「比你們我們是嫩點,但 Meta 參加 SIGGRAPH 也有 8 年了?!?/p>
在大會上,扎克伯格在和黃仁勛的爐邊談話中,從做元宇宙建立 FAIR(Meta 內部的 AI 研究部門)談起,細數了 Meta 在 AI 上的一切過往和未來。他痛批了多年來受制于蘋果的閉源生態,承認了部署大模型做晚了所以選擇開源,此外,他回應了開源如何賺錢的質疑。
二人的同臺,其實并不意外,Meta 幾乎是英偉達最大的金主,占據了英偉達年營收的 1/5。早些時候,扎克伯格承諾,到今年年底,Meta 將擁有 35 萬個英偉達 H100。
但從這場爐邊談話中,英偉達朝著 AI 軟件的第二增長曲線愈演愈烈,Meta 則親手寫下億萬個智能體的未來。二人勢必將 AI 的蛋糕做得更大,在當下也成為了最佳盟友。
SIGGRAPH 2024 計算機圖形盛會:英偉達 CEO 黃仁勛與 Meta 創始人扎克伯格同臺擁抱。|來源:視覺中國
以下是對話全文,由極客公園整理。
01 訓大模型很貴,Meta 如何賺回本錢?
Meta 的印鈔機業務——信息流和推薦系統,正在被大模型「動搖」
黃仁勛:Mark,歡迎你第一次來到 SIGGRAPH。你能相信嗎?作為計算機領域的先驅之一,現代計算的推動者,我居然要邀請你來 SIGGRAPH,很高興你能來。
扎克伯格:是啊,應該會很有趣。你已經講了大約五個小時了吧?
黃仁勛:是的,這就是 SIGGRAPH,這里 90% 都是博士。SIGGRAPH 最棒的地方在于,這是一個結合了計算機圖形學、圖像處理、人工智能和機器人技術的展會。多年來,許多公司在這里展示和揭示了令人驚嘆的東西,比如迪士尼、皮克斯、Adobe、Epic Games,當然還有英偉達。
今年在這里做了很多工作:我們在人工智能和仿真(simulation)的交叉領域發表了 20 篇論文;我們正在使用AI來幫助仿真或者說模擬(simulation)這件事以更大規模、更快速度運行。例如,可微分物理(differentiable physics),我們正在使用仿真來為人工智能創建模擬環境,用于合成數據生成,這兩個領域正在真正融合。
Meta,其實在AI方面做了令人驚嘆的工作。我覺得有趣的是,當媒體寫到 Meta 在過去幾年突然投入 AI 時,好像不知道 FAIR(Facebook AI Research,Meta 的人工智能研究部門,成立于 2013 年)過往的成就。事實上,我們都在使用來自 Meta 開源的深度學習框架 PyTorch(人工智能研究和開發中不可或缺的工具),并且,Meta 在計算機視覺、語言模型、實時翻譯方面的工作都是開創性的。
我想問你的第一個問題是,你如何看待 Meta 在生成式AI的進展?它將如何增強你們的業務或引入新的能力?
扎克伯格:相比你們,我們還是新手。但是,Meta 參加 SIGGRAPH 已經有八年了。在 2018 年,我們最早展示了一些手部追蹤工作,用于我們的 VR 和混合現實頭顯。我們也已經討論了很多在編解碼器化身(codec avatars)方面取得的進展,用以在消費級頭顯里展示的逼真化身(avatar)。
還有我們在顯示系統方面所做的大量工作,一些未來的原型和研究,讓混合現實頭顯能夠變得非常薄。我想要的是,非常先進的光學堆棧、顯示系統和集成系統。
所以很高興能來到這里,今年,不僅僅是談論元宇宙,還有關于 AI 的一切。如你所說,我們在開始 Reality Labs(Meta 元宇宙研發部門)之前,就成立了 FAIR,那時候我們還叫 Facebook,現在當然叫 Meta。所以在 AI 上,我們有多年的積累。
關于生成式 AI,這是一場有趣的革命,我認為它最終會徹底改變我們所做的所有產品。比如,Instagram 和 Facebook 的信息流和推薦系統,我們已經演化了數十年,AI 還將進一步改變它。
最初的信息流只是有關朋友的聯系,在這種情況下,信息流的排序是關鍵。因為如果有人做了非常重要的事情,比如你表弟生了孩子之類的,你希望它出現在頂部。如果我們把它埋在你的信息流的某個角落,你會非常生氣。
但過去幾年,信息流已經發展到另一個階段,你需要的內容展示更多是關于公共內容。在這種情況下,推薦系統變得超級重要。因為不僅僅是來自朋友的幾百、幾千個帖子等著被展示到你面前,而是有數百萬條內容,這變成了一個非常有趣的推薦問題。
而有了生成式AI,我們很快會進入一個新階段。今天你在 Instagram 上看到的大部分內容都是推薦給你的、世界上有人寫下的、與你興趣相匹配的內容,無論你是否關注了這些人。但在未來,其中一些將是創作者使用工具創建的新內容,甚至有些內容將是為你即時創建的,或者是通過綜合現有的不同內容而產生的。
這只是一個例子,說明我們正在做的核心業務將如何演變,它已經演變了 20 年了,但很少有人意識到。
圖片來源:視覺中國
揭秘 Llama4,讓 AI 助手在 Meta 全家桶中「解鎖」智能體
黃仁勛:不過,人們意識到,世界上最大的計算系統之一就是推薦系統。
扎克伯格:這是一個完全不同的路徑,它不完全是人們現在談論的生成式 AI。盡管它都是 Transformer 架構,都在構建越來越通用的系統,將非結構化數據嵌入到特征中。
但兩種方式產生了質的差別,過去我們為不同類型的內容訓練不同的模型,比如一個模型用于 Meta 短視頻 APP Reels 的排序和推薦,另一個模型用于長視頻的排序和推薦。然后,你需要做一些產品工作,使系統能夠內聯顯示任何內容。
隨著你創建越來越多的通用推薦模型,它就變得越來越好,因為你可以從更廣泛的內容池子中抽取,而不是像從不同池子里抽取一樣低效率。
現在,隨著模型變得更大更通用,它會變得越來越好。我夢想有一天,Facebook 或 Instagram 的全部內容,就像一個單一的AI模型在驅動,它統一了所有這些不同的內容類型和系統。在現實中,不同的時間段 APP 有不同的推薦目標,其中一些只是為了向你展示你今天想看的有趣內容,但有些是幫助你建立你的長期人脈網絡,在這種情況下,這些多模態模型往往更擅長識別模式、弱信號等。
黃仁勛:原來AI在你的公司中用得如此深入。你們一直在構建GPU基礎設施,運行這些大型推薦系統已經有很長時間了。
扎克伯格:實際上在使用 GPU 方面有點慢。
黃仁勛:是的,你好像承認錯誤一樣,不必主動提出來(哈哈)。
現在,用AI真正酷的地方在于,當我使用 WhatsApp 時,我感覺我在與 WhatsApp「合作」。想象我在打字,它順著我打字的意思接著生成圖像。當我改變我的用詞,它又生成其他圖像。比如我輸入,一個老中國人在日落時享受一杯威士忌,旁邊有三只狗;它就生成一張相當不錯的圖片。
扎克伯格:一方面,我認為生成式 AI 將成為我們長期以來所有工作流程和產品的一個巨大升級。
但另一方面,所有這些全新的東西可以被創造、生成出來。就像 Meta AI 這樣的 AI 助手,可以幫助你完成不同的任務。在我們的世界里,它將會是非常具有創造性的,它將能夠隨著時間的推移回答任何問題。
未來,當我們從 Llama 3 的模型切換至 Llama 4 及以后的版本,我認為 Meta AI 就不再只像一個聊天機器人,你問一句他答一句了。取而代之地,他會在理解你的意圖后,在多個時間框架內自主工作。比如,你一開始給了他一個意圖,它會啟動,在幾周或幾個月的計算任務后,他會回來告訴你結果,我認為這將非常強大。
黃仁勛:就像你說的,今天的AI,是一來一回、有問有答的方式,但顯然,人類的思考不是這樣。當我們被給予一個任務或一個問題時,我們會考慮多個選項,可能會想出一個決策樹,我們在腦海中模擬運行,每個決定的不同結果是什么。像這樣的規劃、決策,未來 AI 也能做類似的事情。
當你談到對創作者AI的愿景時,我聽了非常興奮,不妨告訴大家你的計劃。
扎克伯格:我們已經談論過一點,但我們今天正在更廣泛地推出它。我不認為只會有一個 AI 模型,這是行業中一些其他公司的做法,建立一個中心化的智能體。
我們不一樣,我們會有 Meta AI 助手供你使用,但我們想讓所有使用 Meta 產品的人都有自己創建智能體的能力。無論是,平臺上的數百萬創作者,還是數億小企業,都能快速建立一個業務智能體,能夠與你的客戶互動,比如銷售和服務客戶等。
所以 Meta 現在開始推出更多的是,我們稱之為AIStudio,它是一套工具,最終將使每個創作者都能建立某種 AI 版本的自己,作為一種代理或助手,社區成員可以與之互動。
如果你是一個創作者,想與你的社區有更多的互動,你其實是受到時間、精力限制的。更好的選擇是能讓人們創建這些 AI,它可以基于你的語料把它訓練成你想要的方式,來代表你。你非常清楚,不是在與創作者本人互動,但這是另一種有趣的方式,就像真人創作者在這些社交系統上發布內容一樣,能夠有代理來做這件事。
同樣,我認為人們會為不同的用途創建自己不同的代理或者助手,有些將是為了完成特定任務,有些將是娛樂性的。
我們看到的一個有趣的用例是,人們使用 Meta AI 來角色扮演他們將面臨的社交困難情況,以獲得幫助,比如,我想問我的經理,如何獲得晉升或加薪?或者我正在與我的朋友吵架,或者我與我的女朋友有一個困難的情況,這個對話應該如何進行?
當然,也有很多人不只是想與通用的代理互動,還想要創建自己的、特定的代理。這大致就是我們的 AI Studio 要去做的方向??傮w上,我們認為不應該只有一個 AI 供人們互動,如果有多樣性,世界會變得更好、更有趣。
黃仁勛:很酷,如果你是一個藝術家,你有自己的風格。你可以用你的作品,可以微調一個你的模型,可以讓它按照你的藝術風格創作一些東西,作為草圖、作為靈感。未來每一家餐廳,每一個網站可能都會有這些AI。
扎克伯格:是的,就像每個企業都有一個電子郵件地址、一個網站和社交媒體賬號一樣,我認為在未來,每個企業都會有一個與客戶對接的 AI 代理,這在過往的組織里很難實現。
黃仁勛:而且這些所有的「客戶支持」互動,尤其是他們的投訴,都可以進入分析,從而改進AI,這將使你的公司變得更好。
扎克伯格:所以我認為會有更多的集成,我們仍然處于相當早期的階段,但 AI Studio 能夠讓人們創建他們的 UGC 代理和不同的東西,并開始這個讓創作者創建它們的數據飛輪。我對此相當興奮。
黃仁勛:我可以通過AIStudio 用我的圖像集合來微調嗎?
扎克伯格:會的。
黃仁勛:然后我可以給它,加載我寫過的所有東西,以便將其用作我的 RAG。每次我交互時,它都會再次加載它的記憶,記得上次停留的上下文,繼續我們的對話,就像沒有中斷一樣。
扎克伯格:像任何產品一樣,它會隨著時間變得更好。訓練它的工具會變得更好。這不僅僅是關于你想讓它說什么。隨著時間的推移,你基本上幾乎能夠像與代理進行視頻聊天一樣。隨著時間的推移,我們會實現的,飛輪正在快速旋轉。
我認為我們會有大約五年的產品創新時間,弄清楚如何最有效地使用到目前為止已經構建的所有東西。同時,基礎模型和基礎研究的進展也正在加速,所以這是一個相當瘋狂的時期。
黃仁勛:在上次咱倆的對話中,我們是CEO,我們是脆弱的花朵,我們需要很多支持,到這個時候已經很堅強了。
扎克伯格:我認為我們是行業中兩個最長期的創始人。你的頭發變灰了。我的只是變長了(哈哈)。
黃仁勛:是的,如果我知道成功需要這么長時間,
扎克伯格:你永遠不會開始。
黃仁勛:不。我會像你一樣輟學,提前開始(哈哈)。
02 Meta 開源如何讓老黃受益
扎克伯格:受夠了蘋果等閉源平臺
黃仁勛:我喜歡你的愿景,每個人都可以擁有一個AI,每個企業都可以擁有一個 AI。在我們公司,我希望每個工程師和每個軟件開發人員都有一個 AI,而且有很多 AI。
并且,你也相信每個人和每個公司都應該能夠制作自己的 AI。所以當你開源 Llama 時,我覺得很棒。順便說一下,我認為 Llama 2 的開源可能是去年 AI 領域最大的事件,而原因是。
扎克伯格:我以為是 H100。
黃仁勛:但這是一個先有雞還是先有蛋的問題。
扎克伯格:Llama 2 實際上不是 H100 訓練來的,而是 A100。
黃仁勛:是的,謝謝。我說它是去年的最大事件,是因為它的出現激活了每個公司、每個企業和每個行業。突然間,每個醫療保健公司都在構建AI,每個公司都在構建 AI,每個大公司、小公司都在構建 AI。它使每個研究人員能夠再次重新參與 AI,因為他們有一個起點可以做一些事情。
現在 Llama 3.1 已經出來了,我們一起合作部署 Llama 3.1,將它推向世界各地的企業,興奮程度簡直是空前的。我認為它將能夠實現各種應用。
你的開源哲學從哪里來?過去你們開源了 PyTorch,現在它是被廣泛使用的 AI 框架?,F在你開源了 Llama 3.1,并圍繞它建立了一個完整的生態系統。我認為這很棒。但這一切的想法是從哪里來的?
扎克伯格:我們一直在做很多開源工作。坦率地說,我們在構建像分布式計算基礎設施和數據中心這樣的東西時,是在其他一些科技公司之后開始的,而且,因為這個原因,當我們構建這些東西時,已經不是競爭優勢了。
那么我們不妨開放出來,然后從圍繞它的生態系統中受益,所以我們有一堆這樣的項目。
我認為最有潛力的可能是 Open Compute,我們把服務器設計和網絡設計,最終還有數據中心設計都公開了。通過讓它成為某種行業標準,所有的供應鏈基本上都圍繞它組織起來,這帶來了為每個人節省資金的好處。所以通過公開和開放,我們基本上已經節省了數十億美元。
黃仁勛:Open Compute 也使得部署 Nvidia HGX 成為可能,適用于每個數據中心。
扎克伯格:那是很棒的經歷。我們對一些基礎設施工具也這樣做了,比如從 React 到 PyTorch。所以到了 Llama 出現時,我們對于開源是積極的。
我看待這個問題有幾個角度。一方面,Meta 在過去 20 年構建的東西真的很有趣。一直以來必須面對的最困難的事情之一,就是要通過競爭對手(蘋果)的移動平臺發布我們的應用。
我成長的那個時代,Facebook 的第一個版本是在網絡上開放的。當它在手機上運行時,好處是每個人口袋里都可以有一臺電腦,但可以實現的功能受到了更多限制。在移動端,蘋果靠封閉系統基本上贏了比賽、設定了規則。雖然安卓手機在技術上有很多優勢,但蘋果擁有幾乎整個市場和所有的利潤,安卓基本也跟隨蘋果的策略。
所以蘋果很明顯贏得了手機側的發展,但也并不總是這樣。
如果回到上一代,蘋果做封閉系統,但微軟是很開放的公司。與蘋果相比,Windows 在所有不同的 OEM 上運行,不同的軟件和硬件構成一個更加開放的生態系統。在 PC 這一代中,開放的生態系統 Windows 贏了。
我希望,在下一代的計算機發展中,我們回到一個開放生態系統獲勝并領先的局勢。封閉的和開放的系統總會共存,我認為兩者都有理由存在,都有好處。我不是開放系統的狂熱分子,我們也做閉源的東西,并不是發布的所有東西都開放。
但總的來說,對于整個行業正在構建的計算平臺,如果軟件源碼開放,將有很大的價值,這是我在這個問題上的哲學。在 Llama AI 和在 AR/VR 領域,我們都在構建一個開放操作系統,像 Android 或 Windows 一樣能夠與硬件公司合作,制造各種各樣的設備。
我對下一代的開放系統將獲勝持樂觀態度。對我們來說,未來 10 或 15 年的一件事就是構建基礎技術,提升社交體驗。過去我試圖構建太多事情,但被平臺拒絕了,所以我對下一個技術周期的目標是從頭構建所有東西。
黃仁勛:你們做的 Llama 3.1 真的很棒,有 405 、也有 70 B 的API,可以用于生成合成數據、或者通過蒸餾來教小模型。
你們構建模型的方式是透明的,還有世界級的安全團隊、倫理團隊,可以用所有人都知道的方式正確構建它,我真的很喜歡。
扎克伯格:我們這樣做是因為我們希望這種東西存在,不希望被某個封閉的模型排除在外,而且希望這不僅僅是可以構建的軟件,而是一個生態系統。如果我們不開放源代碼,它幾乎不會運作得很好。
我們這樣做不是因為利他主義,而是因為我們認為這會形成一個強大的生態系統使我們構建的東西更好。
黃仁勛:有多少人為 PyTorch 生態系統做出了貢獻,數以百計的工程師啊。僅英偉達可能就有幾百人專門致力于使 PyTorch 變得更好、更可擴展、性能更好等等。
扎克伯格:而且當某些東西成為行業標準時,其他人會圍繞它做工作,這將使每個人受益,同時它也會與我們正在構建的系統很好地協同工作。
我認為開源策略會是一個好的商業戰略。
黃仁勛:我們非常喜歡它。我們圍繞它建立了一個生態系統。
扎克伯格:你們真是太棒了。每當我們發布新的東西時,你們總是第一個發布、優化并讓它運作起來的。我很感激,你們總是能迅速地投入到這些事情上。
AI Foundry(AI 工廠)——老黃的 token 工廠夢
黃仁勛:我是個老年人,但我很敏捷,這是CEO必須做的。我認識到一件重要的事情——Llama,圍繞它構建了「AI工廠」的概念,這樣我們就可以幫每個人構建 AI。
很多人都有構建AI的愿望,對他們來說,擁有 AI 非常重要,因為一旦他們把 AI 放到他們公司的數據飛輪中,他們的業務信息就被嵌入到 AI 里了。他們無法讓 AI 飛輪、數據飛輪、經驗飛輪在別的地方(閉源模型API)運行,開源允許他們這樣做。但,他們其實不知道怎么實現整個東西。
所以我們創造了叫「AI工廠」的東西。我們提供工具、專業知識、Llama 技術,幫他們把整個東西轉變為 AI 服務。當我們完成之后,由用戶/客戶接管它。這就是叫 NIM 的東西,英偉達推理微服務,只需下載它,就可以用它,在任何用戶喜歡的地方運行它,包括在本地。
我們也有一整個生態系統的合作伙伴,從可以運行 NIM 的 OEM(原始設備制造商) 到 GSI(全球系統集成商)?,F在我們正在幫助世界各地的企業做這件事。這是一件令人興奮的事,它們都是由 Llama 的開源觸發的。
扎克伯格:對,特別是這種幫人們從大模型中提煉出自己的模型的能力(蒸餾),會是一個非常有價值的新事物。但就像我們在產品方面聊到的,至少我不覺得會有一個中心化的 AI Agent,我也不認為會有一個人人都在用的模型。
圖片來源:視覺中國
黃仁勛:我們有芯片來設計AI,有編寫代碼的 AI 軟件,這個軟件可以理解 USD,來為 Omniverse 編碼。還有一個理解 Verilog 的 AI 軟件,一個理解我們的錯誤數據庫的 AI,知道如何幫助我們分類 bug,還會把它們發送給正確的工程師。這些 AI 里的每一個都是基于 Llama 微調的。
我們還給它們裝上「護欄」,因為如果有一個用于芯片設計的AI,那我們對它的政治、宗教之類的觀點不感興趣。因此,我認為每個公司本質上都會為他們的每一個功能專門打造一個 AI,想做到這一點的話,他們就需要幫助。
扎克伯格:是的。我是想說,我認為未來的一個大問題會是,在多大程度上,人們只是用上了更大、更復雜的模型,而不是為了特定的功能訓練自己的模型。我打賭,最起碼,各種不同模型肯定會大規模增加。
黃仁勛:我們用的是最大的模型,現在我們正在為了更好的性能優化 Llama 3 405B。405B 的模型無法在單個GPU運行,英偉達的互聯產品 NVLink 就很重要了,GPU 通過 NVLink 連接,形成集群來運行 405B 模型。
這樣做是因為工程師的時間對我們來說真的非常寶貴,我們想用最好的模型,其實它在成本效益上可能只差幾分錢。
扎克伯格:我認為 405B 的模型大約是 GPT-4 模型推理成本的一半。在這個水平上,它已經相當不錯了。人們在端側設備上做事,或者想用更小的模型的時候,他們會做減法。像是完全不一樣的兩套服務。
黃仁勛:我們來假設一下,假設我們雇AI設計芯片,時薪大概是 10 美元。如果你一直在用它,而且在一大群工程師之間共享那個 AI,每個工程師可能都有一個跟他們一起工作的 AI,成本其實并不高。但我們付給工程師很多錢。所以對我們來說,每小時幾美元就能放大某個人的能力,這真的很有價值。
如果你還沒有雇AI,馬上去做。
03 扎克伯格:每個戴眼鏡的人最終都會升級到智能眼鏡
黃仁勛:我還很喜歡你們團隊做的計算機視覺相關的事。我們內部有一個大規模使用的模型,是 Meta 的 Segment Anything。現在我們現在正在訓練能處理視頻的AI模型,這樣我們就可以更好地理解世界,為機器人和工業數字化建模我們的用例,把這些 AI 模型連接到 Omniverse,更好地模擬和表現物理世界,讓機器人在這些 Omniverse 世界中運行得更好。
先從你們的應用,Ray-Ban Meta 智能眼鏡講講,將AI帶入虛擬世界真的很有趣。
扎克伯格:你提到的 Segment Anything Model(SAM)模型,我們其實正在今天的 SIGGRAPH 大會上展示它的下一個版本,名叫 Segment Anything 2。它現在運行得更快了,而且現在也能處理視頻了,能用來制作很多有意思的視覺效果。
而且因為它是開放的,在整個行業中也會有更多嚴肅的應用。比如說,科學家們可以用它來研究珊瑚礁和自然棲息地、景觀的演變等等。他們在視頻中就能做到這一點,能夠零樣本學習,能跟它交互,告訴它想跟蹤什么。這是相當酷的研究。
Meta 在 RayBan 眼鏡中 AI 功能|圖片來源:Meta 官網
黃仁勛:舉個例子,比如說你有一個倉庫,里面有很多攝像頭,倉庫的AI正在觀察發生的一切。假設一堆箱子倒下了,或者有人在地上灑了水,或者任何即將發生的事故,AI 識別出來,生成文本,發送給某人,這對我們會很有幫助,這是使用它的一種方式。
而不是在發生事故時記錄所有內容,記錄每一秒的視頻,然后再回去檢索。AI只記錄重要的東西,因為它知道它在看什么。所以擁有一個視頻理解模型和視頻語言模型對所有這些應用來說真的很有幫助。
除了 Ray-Ban 眼鏡之外,你們還打算做什么?
扎克伯格:還有所有的智能眼鏡。當我們考慮下一個計算平臺時,我們把它拆解為 MR 頭戴設備和智能眼鏡。我認為現在幾乎每個戴眼鏡的人最終都會升級到智能眼鏡。全世界有超過十億人,這將是一個相當大的市場。
至于 MR 頭戴設備,有些人對它在游戲以及其他場景用途很感興趣,但其他人還不這么認為。
我的觀點是,這兩種設備都會存在于世界上,智能眼鏡將成為下一個計算平臺的移動電話,并且始終在線。而 MR 頭戴設備將更像是你的工作站或游戲機,當你坐下來進行更沉浸式的會話,并想要使用更多計算能力時使用。眼鏡因為形狀的問題,它們會有很多性能的限制,就像你不能在手機上進行同樣級別的計算一樣。
黃仁勛:這些恰好在生成式AI突破發生的時候出現了。
扎克伯格:對于智能眼鏡,我們從兩個不同的方向著手解決問題。
一方面,我們一直在構建理想的全息 AR 眼鏡所需的技術,準備所有需要的定制硅片、定制顯示配件等。眼鏡畢竟不像其他頭戴設備,看起來看起來和用起來像眼鏡,現在仍然距離大眾日常佩戴的眼鏡還有些距離,主要是厚度方面。即使是我們現在制造的 Ray-Ban 眼鏡,暫時也沒辦法將全息 AR 需要的技術都塞進去。但接下來的幾年里,我認為我們會越來越接近目標,可能仍然會昂貴一顆,但我認為它已經開始成為流行品了。
我們解決這個問題的另一個思路是,通過與世界上最好的眼鏡制造商 Essilor Luxottica 合作,從好看的眼鏡開始。他們基本上擁有你使用的所有大品牌。Ray-Ban 或 Oakley 或 Oliver Peoples 或只是少數其他品牌,基本上都是 Essilor Luxottica 的。我們一直在與他們合作開發 Ray-Ban?,F在已經是第二代。我們的目標是,在外形受限的基礎上,盡可能多地放入技術,我們可能不會達到我們想要在技術上達到的理想狀態,但最終它會是很棒的眼鏡。
現在,我們有攝像頭傳感器,可以拍照和錄像??梢栽?Instagram 上拍照和錄像。你可以在 WhatsApp 上進行視頻通話,并向其他人直播你正在看到的。我的意思是,它有麥克風和揚聲器。揚聲器實際上非常好。它是開放式的,很多人覺得它比耳塞更舒適??梢月犚魳?,可以用它接電話。
但后來發現,這個傳感器恰好是用戶與 AI 交談所需要的。這有點意外,如果你五年前問我,我們是否會在 AI 之前實現全息 AR,我可能會說,是的,可能吧。我的意思是,這似乎就是顯示技術的進展,對吧?在所有虛擬和混合現實的東西上,我們正在不斷地朝著那個方向取得進展。
然后大語言模型的突破發生了。結果發現,我們現在有了相當高質量的 AI,而且在快速提高,這發生在我們擁有全息 AR 之前。這是一個我沒有預料到的逆轉。我們幸運地處于有利位置,因為我們一直在研究所有這些不同的產品。但我認為我們最終會得到一系列不同價位、不同技術水平的眼鏡產品。
基于我們現在看到的 Ray-Ban 眼鏡,我猜測在 300 美元價位的無顯示屏 AI 眼鏡將成為一個真正暢銷的產品,最終會有數千萬或數億人擁有。而且。
黃仁勛:所以你將擁有可以互動的AI,還有剛剛展示的視覺語言理解。還有實時翻譯。你可以用一種語言和我說話,我用另一種語言聽。
扎克伯格:顯示屏顯然也會很棒,但它會給眼鏡增加一些重量,而且會使它們更貴。所以我認為會有很多人想要那種全息顯示頭顯。但也會有很多人,他們想要最終會像真正薄的眼鏡一樣的東西。
黃仁勛:對于工業應用和一些工作應用,我們需要那個頭顯設備。
扎克伯格:我認為消費者方面也是。
黃仁勛:你這么認為?
扎克伯格:是的,我在 Covid 期間經常想這個問題,當每個人都遠程工作一段時間,感覺所有時間都花在 Zoom 上。很高興我們有這個設備,感覺我們離能夠進行虛擬會議不遠了,我不是真的在這里,只是我的全息影像。但就像我們真的在那里一樣,大家可以一起工作,一起合作。但我認為這對于人工智能來說很重要。
黃仁勛:我可以接受一個我不經常佩戴的設備。
扎克伯格:但我認為我們會達到實際上的那個理想目標。在眼鏡中,有更薄的框架和更厚的框架,還有所有這些風格。我認為我們還需要一段時間才能在眼鏡的外形尺寸中擁有全息眼鏡,但我認為把它放在一副時尚的、更厚實的框架眼鏡里并不遙遠。
黃仁勛:注意到太陽鏡現在還是臉型大小。
扎克伯格:這是一個非常有幫助的風格趨勢。就像我在嘗試成為一個時尚達人一樣,這樣我就能在眼鏡進入市場之前,引領市場的潮流。
黃仁勛:你的時尚影響力如何?
扎克伯格:還很早。
我覺得如果未來業務的一大部分是建造人們愿意佩戴的時尚眼鏡,我可能應該開始多關注時尚。沒錯,我們將不得不退休那個每天穿同樣衣服的我的版本。
但我的意思是,這就是眼鏡的特點,它不像手表或手機,人們真的不想都看起來一樣,而且,而且就像是一個平臺,成為一個開放的生態系統,我認為人們喜歡的形式和風格將是巨大的,不是每個人都想要像別人設計的那一種眼鏡。
黃仁勛:我認為你說得對。
Mark,我們正在經歷的這個時代真是不可思議,整個計算堆棧正在被重新發明。我們如何思考軟件?Andrej Karpathy之前說過 software 1.0 和 2.0,感覺我們現在正處于 3.0 階段。
現在我們計算的方式,從通用計算到神經網絡處理的計算方式,我們現在可以開發的能力和應用在過去是不可想象的。對于生成式AI,我不記得有其他技術能以如此快的速度影響消費者、企業、行業和科學,能夠跨越所有這些不同的科學領域,從氣候技術到生物技術再到物理科學。在我們遇到的每一個領域,生成式 AI 都處于這個基礎范式轉變的中心。
而且,除了我們剛才談論的東西,生成式AI將對社會產生深遠的影響。
有人早些時候問我,是否會有一個 JensenAI?那正是你所說的 Creator AI,我們構建了我們自己的 AI,把我寫過的所有東西都加載進去,并用我回答問題的方式對它進行微調。希望隨著時間的推移,使用的累積,它會成為一個真正偉大的助手和伙伴,對于很多只想問問題或交流想法的人來說。它將是 Jensen 的一個版本,所以你可以一直來和它互動。
我認為這些都是非常不可思議的事情。你知道,我們一直需要寫很多東西?,F在只需給它三四個主題,就可以從我的角度出發來創作,這聽起來太不可思議了。
我知道建立一家公司并不容易,你把你的公司從桌面轉向移動,再到VR,再到AI,所有這些設備。真是非常了不起,NVIDIA 自己也多次轉型,我完全知道這有多難。而且,你知道,我們兩個人多年來都被狠狠地打擊過很多次,但這就是想要成為先驅和創新所需要的。
扎克伯格:如果你繼續做之前在做的事情,這不算是轉型。但你增加了更多新的支線,我認為同樣的事情適用于你們??粗銈兊穆贸陶娴暮苡腥?。你們經歷了一個時期,每個人都在說,一切都將轉移到這些設備上——超級便宜的計算設備。而你們只是繼續堅持下去,開發這些可以并行計算的大系統。
黃仁勛:我們走了另一條路。我們現在不再制造越來越小的設備,而是制造計算機。
扎克伯格:有一段時間不太流行。
黃仁勛:超級不流行。但現在它很酷。
我們開始制造圖形芯片——GPU?,F在當你部署 GPU 時,你仍然稱它為 Hopper H100。Mark 的數據中心里有數百個 H100,我想你們快到 60 萬個了。你們構建的這些系統,非常難以協調,非常難以運行。而且,你說你比大多數人晚進入 GPU 領域,但你的運營規模比幾乎任何人都大,這真是令人難以置信。
祝賀你所做的一切?,F在你真的一位時尚偶像了。
扎克伯格:還剛開始,正在為之努力。