OpenAI「大管家」8000 字深度對話:生成式 AI 的下一步是什么?

摘要

OpenAI 下一步要做什么?

英偉達 GTC 大會第二天,OpenAI 首席運營官 Brad LightCap 與 NVIDIA 企業計算副總裁 Manuvir Das 進行了一場名為「What』s Next in Generative AI」(生成式 AI 的下一步是什么?)的深度討論。

事實上,隨著一舉一動越發被監管和外界關注,最近 Altman 的公開發言越來越公關化、套路化。相比之下,Lightcap 的這場對談更加務實,也分享了更多干貨。

在這場近 50 分鐘的對話中,LightCap 講到了全球企業客戶使用 GPT 的共性問題,具體地給出對中小企業部署 AI 戰略的建議,比如「從有限的問題開始」「讓每個員工平等地有機會自由使用 GPT 是最好的方法」「GPTs 和定制化模型怎么選?」「從人力資源的角度考慮部署 AI」……

他提到 OpenAI 的最終愿景,這項技術最終的使命是什么。OpenAI 怎么看待自己在大眾消費者、開發者和企業中間不同的角色。他還透露了 openAI 接下來的部分計劃,包括模型能力和應用團隊。

這位 COO 是 OpenAI 名副其實的「大管家」。在開場,Manuvir Das 介紹說,「Brad Lightcap 是 Sam Altman 的秘密武器,是他非常依賴的人?!箯?Brad LightCap 的履歷來看,他對 OpenAI 的業務和戰略有相當的發言權。他出生于 1991 年,畢業于杜克大學,16 年到 18 年在 YC(Y Combinator 美國著名創業孵化器)做人工智能和機器學習領域的投資人。18 年底開始任職 OpenAI 的 CFO(首席財務官)。2020 年,Brad LightCap 晉升為 COO(首席運營官),負責 OpenAI 商業戰略,管理財務、法務、人事、應用 AI 以及創業基金。

以下是對話實錄,由極客公園整理:

OpenAI 怎么讓企業為 AI 付費?

Manuvir Das: 告訴我們一些關于你在 Open AI 的角色,你日常的工作內容,以及有什么事情讓你夜不能寐?

Brad Lightcap:這是我第一次參加 GTC,可以看看明年我們是否會回來,會帶來什么。

OpenAI 首席運營官 Brad Lightcap |圖片來源:NVIDIA GTC

我是 OpenAI 的 COO。我花費了很多時間思考,如何將我們在研究實驗室中開發的技術讓客戶、用戶和合作伙伴應用。我會說我的工作包括研究之外的一切。他們不讓我碰電腦,我只用花錢。我大部分時間都花在與客戶一起,努力弄清楚這項技術將如何融入世界。

讓我夜不能寐的事情?除了 Slack,我沒什么讓我焦慮的事情。但是,我認為未來幾年將會非常有趣。我認為我們仍處于技術發展曲線的平坦階段,就像在比賽第一局邊緣。隨著技術發展,以及系統規模的擴大,會有很多可能性。

Manuvir Das:有趣的是,好像很多人認為 OpenAI 就是 ChatGPT,認為它是普通消費者去體驗技術。但其實你們現在都與我們 NVIDIA 的大多數客戶合作了。讓他們打電話給 OpenAI 想用這項技術的事,你們是如何做到的?

Brad Lightcap:當我們推出ChatGPT時,使用量起飛了,顯然它不是一個為企業推出的產品。我們花了大約六個月的時間試圖弄清楚到底發生了什么,并試圖確保我們有足夠的 GPU。但是去年最后六個月,我們開始意識到企業中有一套合法且不斷增長的應用程序在使用 GPT-4,這就是為什么我們推出了 ChatGPT 企業版。 需求不僅來自中小型企業和市場,甚至來自財富 500 強。目前有超過 90% 的財富 500 強企業以某種形式使用 ChatGPT。我們正試圖將他們全部使用企業版本,因為這對他們具有真正的吸引力和適用性,而且驚人地普適。據我們所知,每個智能部門都找到了使其有用的方法。其實我們不必構建很多真正的垂直應用,它是一種工作方式。 如果你在財務團隊,正在分析大量數據,進行對賬和稅務統計,你就可以將大型電子表格放入 ChatGPT,問它問題,要求對賬,它就會這樣做。它會把你的 HR 變成數據科學家。人們自然而然地找到了它的適用性,我們也正在努力構建更好的工具版本。

Manuvir Das:你很擅長讓人們驚訝技術有多好。我們與企業交談時,最受歡迎的是助手,就像擁有一個免費實習生。無論你在哪個崗位,你都可以構建一個聊天機器人來幫助你工作,你能得到 80% 的答案,這也是你們所看到的嗎?

Brad Lightcap:是的,在一些關鍵用例,我們有一個團隊手把手地幫助客戶,負責「最后一公里」工程。我認為隨著模型的改進,其中一些問題將逐漸消失。

我們看到了兩件事情,一部分是解決模型能力的缺陷。另一部分是構建模型所需的所有上下文,以便能夠完成工作。我不知道第二部分是否會消失,因為世界非常龐大和混亂。但我認為第一部分會逐漸消失,人們會真正感到模型加速。

Manuvir Das:你們有這些偉大的模型為 GPT 提供動力,OpenAI 構建了一個完整的工具生態系統。我很好奇,你們是否認為成為「開發人員使用技術的完整平臺」,是你的使命和角色的一部分?還是你只是想成為服務或者模型的提供者?

Brad Lightcap:我認為兩者都有。我們認為一切都只是對智能的提取,任何可以加速世界將技術和智能引每個角落的東西,我們都會去建造。 一個我認為需要謙遜的部分,是你開始意識到世界有多大,有多少地方可以應用這項技術。我花費的每一分精力去思考是否應該構建第一方應用程序時,我都會提醒自己,有人比我們更關心這個特定的問題,而他們花費的精力是 99%。那么,我們要思考如何構建一個工具集,使他們能構建想要的技術、工具和應用。這些原始的基礎層將使這些人受益,并創造出偉大的用戶體驗。

Manuvir Das:某種程度上,你們正在經歷與 NVIDIA 相同的旅程,在過去幾年,我們喜歡花時間讓別人做到他們做不到的事情,因為責任感。你的工作是使工具盡可能好,盡可能廣泛,讓其他人圍繞這個工具構建一切。我相信你也感受到了責任感,就像你說的,你可以影響整個世界,這是一件非常強大的事情。

Jensen 昨天在他的演講中提到,在 100 萬億美元的行業中,科技界一直是成本導向的,「技術感冒」是很多公司離開的原因,一切都有預算,一切都關于如何降低成本。而新技術的顛覆性是因為它能使某些事更便宜。我相信我們所處的位置,是為公司創造新的機會、新的價值。你們有同樣的看法嗎?

Brad Lightcap:我認為對我們來說,令人興奮的部分是從企業的角度來看,你會想到大型企業有多復雜,有多少低垂的果實可以說。對于這個特定的事情,我們實際上可以將工作流程的一部分外包給一個 AI,不僅可以在基線水平上完成,而且還會隨著時間的推移做得更好,并逐漸掌握整個價值鏈。它只是讓人們專注于其他事情。這就是我們在實踐中看到的,你不必花兩個小時坐在那里急到薅頭發,試圖把收入對賬。AI 可以為你解決。你只是把問題扔到計算機上,突然間它就解決了。那個本來會花時間的人可以思考更重要的事情。我這么說是因為我也管理財務部門。

Manuvir Das:今天這個房間里有很多來自企業背景的人。我想很多人心中都有這個問題,你們的模型已經非常出色地吸收了世界和互聯網上的各種知識。而每家公司也都有自己存儲在各種地方的知識庫。顯然,不同的人對于如何利用這些數據有不同的角度和方法。我很好奇,對于 OpenAI 來說,你們如何讓這些公司真正將他們擁有的所有數據納入到流程中?

Brad Lightcap:這是我們被問最多的問題之一,也是目前最不成熟的問題,不過是可以預期的。我們正處于范式轉變的早期階段,已經有了挖掘和使用的核心技術,但將所有基礎設施和系統與之掛鉤還需要一些時間。

現在能看到的是,人們能夠將有趣的數據庫與明確的用例相結合,并讓模型應用于這兩者。你把這三個事情聯系在一起,你就可以獲得非常好的效果。

最近我們與 Klarna 合作開發的一個例子是客戶支持用例。Klarna(財務公司)是一家非常具有前瞻性的 AI 公司。所以他們已經做了一段時間了,他們采取了正確的方法,即他們真正從一個非常具體的技術入手,限制問題在一個小范圍內。在工作流非常小的一部分,有一個非常具體的數據集,一個非常具體的模型進行微調。他們先讓這部分工作起來,從此擴展。

現在已經處理了大量的工作,節省了大量時間。這是我們的策略,不要試圖吞下海洋,也不要缺乏野心。從有限的問題的開始,讓它發揮作用,再擴大規模。

把 AI 納入人力資源部門考慮

Manuvir Das:我看你在很多采訪里提到這一點,你和一些公司開會時,他們似乎認為 GenAI 能夠奇跡般地讓公司變好,改變市場地位。但事實上,更好的做法是從具體的用例入手,從中獲取價值,然后再推廣。對那些剛開始嘗試這項技術的公司,你有何建議?當然像英偉達這樣,有上百個聊天機器人在內部運行于不同場景,已經是一種有機生長模式。但對于新手來說,你會建議他們先花些時間思考一下如何統籌規劃,選擇初始路線,還是廣泛嘗試,讓其自然發展?

Brad Lightcap:在 2023 年我常對我們團隊說,我們其實不是在做銷售,我們是在做「心理治療」。有的公司進來坐在我們會議室里,五分鐘后就會開始傾訴他們擔心的事情,比如「董事會希望我下個季度推出哪些新品,AI 能為我解決所有這些問題嗎?」這時候我們得先聊一聊,給他們一點水喝,讓他們冷靜下來。

Manuvir Das:這個治療環節你們收費嗎?

Brad Lightcap:那倒沒有哈哈。一旦我們進入真正的談話部分,我們的觀點是,真正地思考你的業務中哪些地方有機會讓得到改進,比如運營方式、管理方式。對很多人來說,最糟糕的是客戶反饋,我們聽到的最頻繁的抱怨是:「客戶體驗的品質糟糕、他們這上面花了很多錢但不奏效,這部分收到最多的客戶投訴?!共贿^這也恰好是一個可以改善的地方。

NVIDIA 企業計算副總裁 Manuvir Das(左)與 OpenAI 首席運營官 Brad LightCap(右)|圖片來源:NVIDIA GTC

Manuvir Das:這恰好是一個非常橫向的領域對嗎?因為它涉及許多行業。

Brad Lightcap:沒錯。所以我們傾向于推薦多管齊下的方法。首先要確定兩三個確實存在棘手問題的領域,但同時又能對問題范圍進行一定限制。以客戶支持為例,這是一個由多任務組成的工作流程,涉及不同的人和不同的參與程度,有大量數據和上下文信息會有所幫助。所以你可以回顧之前提到的數據、流程和模型能力這三個層面,找出最初的實施方案是什么樣的,然后從那里開始,不斷擴展,再選擇幾個這樣定制化、基于平臺的項目來推進。

然后我們真正建議的是,回到 ChatGPT 本身,讓你的整個團隊接觸它。這雖然不是我們去年年中真正積極思考的事情,但是隨著我們部署 ChatGPT,和使用它的公司交談,才意識到使工具民主化,給人們平等地接觸和使用這項技術的機會是很重要的。

無需過于復雜,而是給人們一個機會說,「我知道我的工作內容,我可以用這個東西四處探索,我會想辦法找到它的價值?!惯@會非常自然地發生。公司有時會過于追求規范的 AI 戰略,比如做專屬聊天機器人并大規模推廣。但我認為至少目前,90% 的價值都來自于簡單地讓員工接觸和使用這些工具,而不必過多思考。

Manuvir Das:我非常同意,因為當你第一次嘗試時,價值是如此明顯,你愿意通過它來工作。在與企業客戶合作并為他們提供不同使用場景的過程中,你們現在也推出了 GPTs 的自定義模型,人們可以輕松構建。為什么要走這條路線,目前的進展如何?

Brad Lightcap:我嘗試將其置于我們戰略的更廣泛的背景中解釋。我們在擁有 GPT-4 中以及下一代非常核心的通用智能模型容。我們花費了大量精力思考如何讓人們能夠根據自身需求對這些技術或模型進行個性化定制,使其更加專注于特定任務,提高在特定領域的表現。我們在過去幾個月中所做的許多工作,包括 GPTs、定制模型,都是朝著這個方向發展的。 你可以將 GPTs 和定制模型看作是光譜的兩端:GPTs 就是一種非常簡單、輕松的方式。從 ChatGPT 的功能中裁剪出一小部分,專注于給定任務的使用。比如,如果你想讓模型記住某些信息、調用外部數據、訪問 PDF 或電子表格、擁有特定個性、以可預測和可重復的方式使用某些工具……你只需描述一下需求,GPTs 就能相應地自動配置出來。

我們發現企業對此有巨大需求,因為人們開始意識到,可以將這種技術應用到哪些工作流中,所以他們只需對每個需求進行正確編碼并調用即可。

而定制模型則是光譜的另一端,是一種全方位的定制化服務。我們會針對特定使用場景,充分調整和優化 GPT-4 或其他模型,以最大限度發揮性能。這種服務我們提供的范圍相對有限,因為它對我們來說是資源和時間密集型的?,F在早期階段仍在不斷探索和試驗,但已成功提高了定制模型在大量領域的能力表現。

Manuvir Das:顯然你們已經開始了整個旅程。這個非常大的通用模型在很多方面都非常出色,與此同時,如果回顧過去一年,就會發現這個模型生態系統已經涌現出眾多其他模型。雖然它們的能力可能并不像 OpenAI 內部的模型那樣強大,但在某些特定領域,它們也在不斷進步。所以你認為在企業內部,是否大型模型和小型專業模型都將扮演角色?或者你認為只需要一個大型模型就可以用于不同場景?Brad Lightcap :是的,我們看到了所有人的角色,所有規模的模型都將發揮作用。我認為,你知道,就像我的思維模型一樣,順便,關于如何思考企業的AI部署,我盡可能地將其映射到如何從人力資本的角度構建現代企業。就像你不會聘請 25000 名博士來運營公司,你可能只需要 5 到 10 個。同樣,你也不會將「GPT-X」或最新的大模型應用于每個單一的問題。你可能需要一系列在不同領域具有專業化的多樣化模型,它們針對不同的使用場景經過了微調和優化。我猜想,隨著時間推移,這些模型的整體性能將越來越好,因此對它們進行迭代、微調并努力使之在任何特定領域表現出色的需求將會減弱。

但你當然不需要一個一體化模型來解決所有問題。所以我們目前正在努力的一件事,是設法讓人們能夠根據具體使用場景動態調用不同的模型,這樣就可以更好地分配智能資源。但是,我認為你可以將這種多樣化的模型想象成公司內不同級別和角色的人,有實習生級別的模型、中層管理者級別的模型、高級管理者級別的模型、以及某些專門領域的專家級模型,每個級別和角色都有其存在的位置和價值。這種多樣化是必要的。

「模型能力還遠不到天花板」

Manuvir Das:如果模型能力在 1 到 10 分,你認為我們現在處于什么水平?是 1 分嗎,還是 7 分?

Brad Lightcap :我想對剛剛說的再補充一點,我們如何在企業部署 AI 的挑戰中有趣的一點是,我們需要將模型能力映射到人力資本的結構上,但不斷變化的是模型能力本身,基本每 6 個月就會獲得提升。所以曾經被視為實習生級別的模型,6 個月后就開始看起來有點像中層副總裁級別的模型了;而之前的中層副總裁級別模型也開始像高級總監級別模型。

Manuvir Das:你剛剛是不是 diss 了一大批副總裁?現場有副總裁嗎?Brad Lightcap:只是粗略類比哈哈。但這確實是一種有趣的現象,企業需要動態管理。我認為這是件好事,是富余的情況。

我們花了大量時間思考,什么問題上應該投入什么資源?隨著模型能力的提高,是否應該重新整合?

Manuvir Das:這是一種新形式,讓我想起 iPhone 問世時有一種觀點認為,iPhone 對消費者來說很好,但公司將很難采用,因為它缺乏控制?,F在回頭看似乎也很可笑。

讓我們談談接下來的事情。我在與一些已經走在前沿的客戶交談時注意到,他們開始從過去用AI作為某種形式的信息檢索,轉變到想要使用 AI 技術作為助手,并試圖在公司內部執行操作、運行流程、調用功能等。你認為目前的這樣的技術水平如何?如果我有一個助手,只是確認它的輸出可以,但如果我讓它為我執行操作,我就必須更加信任它對嗎?

Brad Lightcap:這就是我感到興奮的地方,這在很大程度上也體現了我們OpenAI是如何看待這項技術的應用的。

在某些方面,我們會嘲笑用 AI 工作的方式是基于信息檢索,它們在某些方面是世界上最糟糕的數據庫,因為它們非常慢,非常昂貴,不 100% 準確。雖然它們正在變得更好。但是為什么要將它們用作數據庫?為什么要將它們用于某種高精度召回?如此使用這些系統似乎有點奇怪。

我并非在批評,但我們期望看到這些系統向著推理智能體的方向發展。因此,關鍵在于如何利用模型從某種數據源中提取信息的核心能力,思考這些信息,然后基于這些見解采取行動。要實現這一點,需要滿足兩個條件:一是提高模型的推理能力,二是賦予它某種執行器,使其能夠在現實世界中采取行動。我認為這將成為未來的兩個發展趨勢。

我們預計,推理能力將成為模型改進的下一個重點領域,提升將會加速進行。同時,我們還需要考慮如何賦予模型解決多步驟問題的能力。我給你舉一個醫療保健領域的例子。如果讓一個模型查看病歷,目前它可以提取出病歷信息,執行一些基本操作,比如總結信息、根據輸入更新信息。但是否能讓它進一步思考這些信息呢?如果可以思考,它是否能夠從中得出某些見解,為之后的第二步或第三步行動提供啟示?它可以幫助后續隨訪患者、協助疾病診斷、協助開具處方、實際與患者溝通并告知何時何地取藥、給出用藥劑量和服用時間,并在數周后再次提醒患者服藥。這是我們對未來幾年內這些系統發展的看法方式。

Manuvir Das:那你認為這種情況會發生嗎,是因為核心模型在這方面的能力會變得更強?還是看到一種方法,即會有一個獨立的模型或系統專門用于推理,以補充現有模型?

Brad Lightcap:如果你詢問 GPT-4 關于你所設想的情景,并要求它逐步解釋其思考過程,它就會解釋。模型已經了解了行動路徑,現在的問題在于它是否能夠執行每個行動步驟,識別應執行的具體操作,并且是否能夠獲取執行所需的資源。

Manuvir Das:聽你這樣說真令人振奮,因為我們確實開始看到這種趨勢的出現。很顯然,你們在 OpenAI 為此工作越多,對所有人來說就越好。我們剛才談到了智能體的概念,如果從你的角度來看,在接下來的一年、三年和五年內,OpenAI 會有哪些重大轉變,你們在做的工作,能真正改變人們使用這項技術的方式是什么?

Brad Lightcap:有些是我不能透露的,我可以回答一部分。我們并不認為模型的核心能力提升已經接近天花板,我們認為未來的擴展空間還很大。OpenAI 正努力推動模型在除了純粹智力之外的其他維度上取得進步,我們覺得這方面的工作進展很好。

我們之前提到的一個問題是,有一部分工作是構建系統本身,另一部分則是確保我們有途徑來部署這項技術,使其在生產環境中真正發揮作用。

OpenAI 使命:讓世界分享技術

Manuvir Das :這確實是一個不太容易的問題,但你處理得很好。作為一家公司,你們可以專注于整體提升技術,也可以專注于企業客戶、全球各行業以及整個商業領域,因為那里有很多機會。那么你們的思路和重點是什么呢?你們認為自己的使命是要幫助全球所有企業實現民主化,讓他們都能獲得進步嗎,還是你們更多關注個人消費者的用例,因為這對世界來說也是一大利益?

Brad Lightcap :是的,我們的使命就是要確保這項技術的益處能夠被廣泛分享。那么落實起來,一方面是確保人們能夠在這個基礎上進行建設。界面會發生變化,數據提取層次也會發生變化,但核心是我們將努力為人們提供有效使用這些工具的途徑,無論他們想在哪里使用。

我們的聯合創始人 Greg Brockman 有一個很好的比喻,那就是我們可以以這種方式去思考世界:人工智能被烘焙進了經濟之中。「烘焙進去」的意思是,你需要將各種原料混合在一起,等待一段時間后,開始發揮作用。我們也經常這樣想,即我們如何部署這項技術,融入其他「原料」,可以讓它們一旦混合在一起,就會以不同的方式運作。這就是我們花費大量時間來實現使命的方式。

從消費者的角度來看,ChatGPT 只是對我們自己 API 的一種提取。我們只是讓模型更擅長與人對話,并將其作為一種服務提供,而不之是通過 API 的方式讓人們訪問它。

Manuvir Das:我想 2022 年 11 月 30 日左右,當時你們發布了 ChatGPT,結果超出了你們的預期對吧? 人們對它的興趣和采用程度令人驚訝。這確實是一個新事物,人們一下子就明白到了它的作用?,F在回顧,距離發布一年多,你有何看法?如果可以重新來過,你們是否會做出一些不同的選擇?

Brad Lightcap:或許當時我們應該加大 GPU 的配置?確實出乎我們的意料。我在這里只代表一下我自己,而非整個公司。我們實際上并沒有認為 GPT-3 這個模型系列已經跨越了將其應用于消費者或企業應用的門檻。

我們本以為 GPT-4 將會成為第一個跨越這一門檻的模型,所以我們的很多計劃和預測都是圍繞 2023 年 3 月發布 GPT-4 來安排的。回想起來,我們在那之前的幾個月就已經完成了 GPT-4 的訓練,大約是在 2022 年中期開始訓練 GPT-4 的。所以從那時起已經過去將近兩年了。所以我們原本認為 GPT-4 將會成為一個關鍵時刻,但我們不得不為更早的需求做出一些調整。

但看到人們的熱情確實令人振奮。這也證明了一點,無論是企業開發者還是個人用戶,這項技術都具有一種與生俱來的人性化特質——你可以把它交給 5 歲或 95 歲的人使用,他們都能自然地使用。我們應該繼續推動系統朝著提高可及性的方向發展,并降低獲取門檻,確保全球人民都能接觸到它。我們認為 ChatGPT 免費使用就是正確方向。我們聽到了一些偏遠地區的人利用它的故事。

Manuvir Das:你提到它具有人性化的一面,這一點與 NVIDIA 的理念也非常貼近。我們不僅做人工智能,我們也是一家圖形公司。我們看到了很多機會,首先是文本界面比編寫代碼更加人性化;而且音頻界面、視覺界面,以及我們所說的虛擬化身,讓你感覺就像是在與另一個實體對話。當然,最終還是要通過其他 AI 將之轉化為文本輸入到常規對話框中。但你認為這種以更加自然的方式讓人類與之交互的能力,能否給這項技術帶來機會,真正實現全球范圍內的擴展?你認為這是否應該成為一個值得研究和推進的好領域?

Brad Lightcap:我認為,今天出生的孩子與計算機的關系將與此刻這房間里的任何人都完全不同,難以預測。他們根本不會知道必須瀏覽圖形用戶界面、漢堡菜單、下拉列表,要填寫文本框、點擊提交,然后等待確認郵件被發送到收件箱的那些令人痛苦的情景。當然,我理解這只是在用現有工具做出權宜之計,但對于今天出生的孩子來說,這些都將成為完全陌生的體驗。10 年后、20 年后, 他們將完全改變與計算機交互的方式。

Manuvir Das:這讓我想起了我的孩子們,他們出生時正值 iPad 時代的到來。我的大男孩們,我記得有這么一個時刻,他們還很小,坐在我腿上時,我操作電腦,他們就會用手按鍵盤上的按鍵。但當我女兒兩歲大時,做的動作卻是用手在我的筆記本電腦屏幕上滑動,她根本不知道鍵盤的作用。所以我想未來的界面必將與現在完全不同。

Brad Lightcap:十年后,給你的孩子一臺 2020 年左右的筆記本電腦,你看著他們對著它說話,等待回應,卻一無所獲,那將是一個全新的場景。

Manuvir Das:令人振奮的是,到那時你的公司和我的公司都覺得自己為這一變革做出了貢獻,這真是太不可思議了。我想代表在場的每一個人,由衷感謝 OpenAI 為世界所做的一切。我們都迫切期待看到你們接下來將為世界帶來什么。我們隨時在這里,以任何方式為你們提供幫助。我會給我的老板發信息,看看能否為你們提供更多 GPU。再次感謝您的時間,非常感謝。

 

最新文章

極客公園

用極客視角,追蹤你不可錯過的科技圈.

極客之選

新鮮、有趣的硬件產品,第一時間為你呈現。

張鵬科技商業觀察

聊科技,談商業。

国产精品揄拍一区二区,欧美aⅴ精品一区二区三区,久久九九99这里有精品10,999精品在线