投資OpenAI兩個(gè)原因；關(guān)于企業(yè)AI堆棧；AI的變與不變！

編者按：本文來(lái)自微信公眾號(hào) 有新Newin（ID：NewinData），創(chuàng)業(yè)邦經(jīng)授權(quán)轉(zhuǎn)載

(資料圖片僅供參考)

本期，為大家?guī)?lái) Kevin Scott的專訪，對(duì)話 Elad Gil 和 Sarah Guo。

本期內(nèi)容分為以下話題：

追逐理想，人生無(wú)法復(fù)制

投資OpenAI，1+1>

Satya無(wú)悔投資理論，勝負(fù)與收獲

開(kāi)源 or 閉源，企業(yè) AI 堆棧

AI的變與不變，愚蠢的增量

AI 時(shí)代，給人們的最好建議

AI 領(lǐng)域感興趣的方向

AI的安全性；擁抱監(jiān)管，建立信賴

追逐理想，人生無(wú)法復(fù)制

Sarah Guo

可以從你的故事開(kāi)始嗎？從弗吉尼亞農(nóng)村社區(qū)，你的父母沒(méi)有上過(guò)大學(xué)，到成為微軟首席技術(shù)官，這是一個(gè)怎樣的過(guò)程？

Kevin Scott

我認(rèn)為這是一段非常不可能的旅程，絕對(duì)不是我能夠想象的事情，部分原因是我非常幸運(yùn)地天生具備了某種能力。當(dāng)我成長(zhǎng)的時(shí)候，也就是上世紀(jì)八十年代的十幾歲時(shí)，個(gè)人計(jì)算機(jī)正在發(fā)展，而我碰巧對(duì)此著迷。盡管我們相對(duì)貧窮，但我設(shè)法籌集到足夠的錢(qián)購(gòu)買(mǎi)了一臺(tái)個(gè)人電腦，可以一直進(jìn)行調(diào)試和 Tinkering（通常是一種具有試錯(cuò)性質(zhì)的活動(dòng)，通過(guò)不斷地調(diào)整和實(shí)驗(yàn)，以解決問(wèn)題或?qū)崿F(xiàn)目標(biāo)），那是一臺(tái) Radio Shack（美國(guó)早期的一家電子零售商）售賣(mài)的彩色電腦，它有一些像雞蛋一樣的按鍵，可以連接到電視機(jī)上。

我將它連接到了一臺(tái)13英寸的電視上，它還有一個(gè)磁帶錄音機(jī)，可以存儲(chǔ)和加載程序；那是我癡迷的事物。從那時(shí)起，我一直對(duì)計(jì)算機(jī)癡迷不已，我只是試圖找到每一步上的路徑，能讓我從事某些有趣的事情，讓別人愿意讓我去做。

再次強(qiáng)調(diào)，這其中有很多運(yùn)氣，從處于弗吉尼亞州中部農(nóng)村到成為微軟首席技術(shù)官，你無(wú)法計(jì)劃出這樣的道路，但是我認(rèn)為擁有一個(gè)心中的高層次理想總是有所幫助的，你知道自己的目標(biāo)是什么，這總是有益的。

Sarah Guo

除了對(duì)計(jì)算機(jī)著迷和想要從事計(jì)算機(jī)工作之外，你的理想是什么？

Kevin Scott

我十幾歲的時(shí)候就有了第一個(gè)理想，我想成為一名計(jì)算機(jī)科學(xué)教授，我看了看計(jì)算機(jī)科學(xué)家在做什么，覺(jué)得這是我見(jiàn)過(guò)的最令人驚嘆的東西。

我上了一所科技高中，在我所生活的地方，位置非常中心，每所高中都可以選派兩名學(xué)生前去學(xué)習(xí)，所以我是我所在高中選派出去的兩名學(xué)生之一。在那里，我的計(jì)算機(jī)科學(xué)教授是一個(gè)叫Tom Morgan的人，我覺(jué)得他為我打開(kāi)了一個(gè)全新的世界，學(xué)習(xí)所有這些東西真的讓我興奮不已，我想成為像Morgan博士那樣的人。

對(duì)我來(lái)說(shuō)，很多事情都與生活中有影響力的榜樣有關(guān)。所以，一旦我遇到Morgan博士，我就想，哦，我應(yīng)該去做計(jì)算機(jī)科學(xué)教授，這就是我一直走的道路，直到我30歲的時(shí)候，我從事編譯器優(yōu)化和計(jì)算機(jī)體系結(jié)構(gòu)、編程語(yǔ)言等方面的工作，對(duì)于實(shí)際的計(jì)算機(jī)科學(xué)教授而言，與我想要的東西相比，我變得非常失望，我只是想要有很大的影響力。

當(dāng)時(shí)我做這些決定時(shí)的感覺(jué)是，作為計(jì)算機(jī)科學(xué)教授，你可以有很大的影響力。的確，你可以產(chǎn)生很大的影響力，但這并不是系統(tǒng)所認(rèn)可的影響力。你實(shí)際上可以產(chǎn)生的影響力是激發(fā)學(xué)生去從事這些職業(yè)，并且他們會(huì)取得比你自己更大的成就。

對(duì)我來(lái)說(shuō)，這是最大的影響力，但作為一名計(jì)算機(jī)科學(xué)教授，這是最不被重視的部分。那時(shí)我做出這些重大決定的時(shí)候，我就決定離開(kāi)。當(dāng)時(shí)，我并不知道接下來(lái)該做什么，這一直是我差不多15年的使命，我有點(diǎn)迷茫，我看到我的一些學(xué)術(shù)朋友都在一個(gè)叫做谷歌的初創(chuàng)公司工作，我不明白他們?yōu)槭裁匆诠雀韫ぷ?，谷歌只是一個(gè)小盒子，你在里面鍵入關(guān)鍵詞，它會(huì)給你提供10個(gè)鏈接。

Oris Holtslow是一個(gè)編譯器專家，Jeff Dean也是一個(gè)編譯器專家，Alan Yates也是一個(gè)編譯器專家，所有這些人我都在會(huì)議上見(jiàn)過(guò)，讀過(guò)他們的論文，于是我說(shuō)，好吧，也許我應(yīng)該遞交我的簡(jiǎn)歷，于是我遞交了我的簡(jiǎn)歷，并接到了一些面試邀請(qǐng)。

這是我經(jīng)歷過(guò)的最好的面試體驗(yàn)，因?yàn)樗麄冄?qǐng)了那時(shí)公司里可能是所有編譯器專家的人參加我的面試，我當(dāng)時(shí)感到非常驚喜，我在那里度過(guò)了最美好的一天面試，我得到了這份工作的報(bào)價(jià)，我可以選擇。他們剛剛在紐約開(kāi)設(shè)了谷歌紐約辦公室，這是山景城外的第一個(gè)辦公室，他們說(shuō)你可以來(lái)山景城，也可以去紐約辦公室，成為其中的第十個(gè)人。

我和妻子比起在山景城生活更愿意在紐約生活。所以我們選擇了紐約。在我到達(dá)那里之后，新的使命就出現(xiàn)了。我們當(dāng)時(shí)正在招聘這些聰明的人，我們的招聘方式有點(diǎn)瘋狂。

我們說(shuō)，好吧，如果你聰明，就來(lái)這里工作吧，我們根本不知道你到底要做什么，你來(lái)了之后會(huì)自己找到位置。我們有這些非常優(yōu)秀而聰明的人，他們會(huì)來(lái)，但他們選擇從事一些毫無(wú)影響力的事情，盡管在智力上很有趣，但它們只是有些愚蠢，因?yàn)樗鼈冇肋h(yuǎn)無(wú)法與推動(dòng)公司發(fā)展的任何事物相連接，這正是我試圖擺脫的問(wèn)題，我想成為一名研究計(jì)算機(jī)科學(xué)家。

于是我找到了一個(gè)務(wù)實(shí)的事情去做，我們團(tuán)隊(duì)的整個(gè)項(xiàng)目贏得了谷歌創(chuàng)始人獎(jiǎng)，這是解決一個(gè)非常不起眼但涉及到一堆非常高級(jí)計(jì)算機(jī)科學(xué)的問(wèn)題，我認(rèn)為這是谷歌做得非常好的事情之一，然后我說(shuō)，好吧，我應(yīng)該幫助更多的人找到自己的方向，然后我成為了一名經(jīng)理，從那時(shí)起，一切都是關(guān)于，嘿，我想盡可能幫助更多的工程師，確保他們的工作與有趣和有意義的事物相吻合。

投資OpenAI，1+1>2

Elad Gil

很少有人討論過(guò)早期谷歌，實(shí)際上有很多學(xué)術(shù)界人士在管理重要部門(mén)，我覺(jué)得直到最近 OpenAI才有更多的學(xué)術(shù)界人士，所以你覺(jué)得學(xué)術(shù)界重新興起了，這種情況已經(jīng)過(guò)去了十年或二十年了。

Kevin Scott

這個(gè)觀察真的很好，當(dāng)我坐在OpenAI時(shí)，它真的讓我想起了谷歌早期的日子，規(guī)模也差不多。所以我有一段時(shí)間無(wú)法理解，然后我說(shuō)，哇，這真的讓我有種回到谷歌早期的懷舊感，從中可以得出的結(jié)論并不是說(shuō)它們是相同的公司或者它們?cè)噲D解決相同的問(wèn)題，而是這個(gè)地方的能量以及他們選擇雇傭誰(shuí)，很像。

Elad Gil

這是我第一次看到弦理論學(xué)家再次被聘用到計(jì)算機(jī)科學(xué)職位上（弦理論，即String Theory，現(xiàn)代理論物理學(xué)中的一種物理理論，旨在描述宇宙中基本粒子的行為和相互作用，它提出了一個(gè)全新的觀點(diǎn)，即將基本粒子不再看作是點(diǎn)狀的，而是將它們看作是細(xì)小的、振動(dòng)的弦，這些弦可以以不同的方式振動(dòng)，從而產(chǎn)生不同的粒子性質(zhì)和相互作用模式）。

Kevin Scott

你和我可能都和Jonathan Zunger一起工作過(guò)，他現(xiàn)在在微軟工作，我記得Jonathan當(dāng)時(shí)正在做這個(gè)大規(guī)模分布式文件系統(tǒng)的工作，他是研究弦理論的。

Sarah Guo

所以在過(guò)去的幾十年里，你的使命的重要組成部分之一是幫助弦理論學(xué)家和其他工程師弄清楚如何在自己的組織中發(fā)揮作用，另一部分似乎是實(shí)際的技術(shù)方向，對(duì)于決定什么值得投資，你長(zhǎng)期以來(lái)一直從事機(jī)器學(xué)習(xí)產(chǎn)品的開(kāi)發(fā)，例如谷歌的廣告拍賣(mài)、LinkedIn的推薦等，有沒(méi)有一個(gè)時(shí)刻，你個(gè)人意識(shí)到或決定 AI 對(duì)微軟來(lái)說(shuō)應(yīng)該是一個(gè)關(guān)鍵的技術(shù)賭注？

Kevin Scott

我在微軟工作已經(jīng)有六年多了，差不多六年半。很快就明顯， AI 對(duì)公司的未來(lái)非常重要。我認(rèn)為在我到達(dá)之前，微軟已經(jīng)意識(shí)到了這一點(diǎn)。然后問(wèn)題就是如何將公司所有的精力聚焦在正確的事情上？

因?yàn)槲覀冊(cè)?AI 方面投入了很多，也有很多 AI 的精力，當(dāng)我到達(dá)時(shí)，這種投入非常分散，并不是缺乏智商，也不是缺乏資本支出和其他方面，只是將花生醬涂抹在一大堆東西上；然后真正推動(dòng)我們的東西是，也許這有點(diǎn)技術(shù)性，但是在我到達(dá)之前，有一個(gè)很有趣的技術(shù)現(xiàn)象是遷移學(xué)習(xí)開(kāi)始起作用了。

從我在谷歌的第一個(gè)項(xiàng)目中研究的統(tǒng)計(jì)機(jī)器學(xué)習(xí)的角度來(lái)看，你有特定領(lǐng)域的數(shù)據(jù)，你有特定的機(jī)器學(xué)習(xí)模型架構(gòu)，以及一種特定的部署和測(cè)量方式，這一切都是你為一個(gè)用例、領(lǐng)域或應(yīng)用程序準(zhǔn)備的。但是現(xiàn)在，我們開(kāi)始看到，你可以訓(xùn)練一個(gè)數(shù)據(jù)集，然后用于多個(gè)目的。

我們可以在Deepmind的一些令人興奮的工作中看到這種現(xiàn)象，他們使用強(qiáng)化學(xué)習(xí)在一些游戲應(yīng)用中實(shí)現(xiàn)了遷移，但真正令人興奮的是，當(dāng)它在語(yǔ)言領(lǐng)域開(kāi)始起作用時(shí)，如Elmo、Bert、Roberta和Touring等，我們可以想象在這些基礎(chǔ)上構(gòu)建許多基于語(yǔ)言的應(yīng)用，只要它繼續(xù)變得越來(lái)越好，我們就能夠看到更多的應(yīng)用。

所以我們只是在尋找它會(huì)繼續(xù)變得越來(lái)越好的證據(jù)。一旦我們找到了這個(gè)證據(jù)，我們就全力以赴，從與OpenAI的合作開(kāi)始，有一段時(shí)間我甚至占用了整個(gè)公司的GPU預(yù)算，我說(shuō)我們不再在這些資源上涂抹花生醬了，我們會(huì)專注于那些有強(qiáng)有力證據(jù)支持的路徑，增加更多的資本規(guī)模將產(chǎn)生更好的效益。

Sarah Guo

我記得大概是五年前，我們?cè)谕聿蜁r(shí)討論，現(xiàn)在GPU容量成為技術(shù)界的熱門(mén)話題，今年會(huì)如何在GPU上投資，以及如何分配這些GPU呢？

Kevin Scott

這一直以來(lái)都很困難，而且現(xiàn)在也沒(méi)有變得更容易。你問(wèn)的問(wèn)題是關(guān)于我們?nèi)绾螞Q定與OpenAI合作的，我們之所以選擇合作有兩個(gè)原因。

首先，隨著遷移學(xué)習(xí)的實(shí)際應(yīng)用，你可以想象構(gòu)建一個(gè)平臺(tái)來(lái)支持所有這些東西，這樣你就可以構(gòu)建單個(gè)組件，并將成本分?jǐn)偟礁鞣N不同的應(yīng)用上，由于我們擁有超大規(guī)模的云服務(wù)，我非常感興趣的一件事情，而且不僅僅是感興趣，對(duì)我而言幾乎就像是一種存在感，那就是如何確保從計(jì)算基礎(chǔ)設(shè)施、網(wǎng)絡(luò)、軟件框架等各個(gè)方面構(gòu)建云服務(wù)時(shí)，能夠真正為其他各方提供服務(wù)？

因此，我們覺(jué)得除了我們公司內(nèi)部正在進(jìn)行的高度雄心勃勃的事情之外，我們還需要一些高度雄心勃勃的合作伙伴，當(dāng)我們四處尋找時(shí)，OpenAI顯然是該領(lǐng)域雄心最大的合作伙伴。我認(rèn)為他們的雄心依然令人嘆為觀止，以及他們?cè)噲D實(shí)現(xiàn)的目標(biāo)，這就是一個(gè)原因。

第二個(gè)原因是他們的愿景與我的愿景非常相似，即這些技術(shù)正在發(fā)展成為平臺(tái)，并且我們能夠因?yàn)閷?duì)未來(lái)愿景的一致而合作，盡管有許多困難的事情，但是因?yàn)槲覀冊(cè)谖磥?lái)愿景上非常一致，我們可以找到合作的方式，即使有壓力也是為了實(shí)現(xiàn)共同的目標(biāo)。

Satya無(wú)悔投資理論，勝負(fù)與收獲

Elad Gil

我認(rèn)為合作伙伴關(guān)系在某種程度上的驚人之處在于時(shí)機(jī)。因?yàn)槿绻矣浀脹](méi)錯(cuò)，微軟在GPT-2發(fā)布之后或者就在GPT-2發(fā)布之際進(jìn)行了第一次重大投資。而這還是在GPT-3出現(xiàn)之前。兩者之間存在著巨大的差異。但是我認(rèn)為在GPT-2時(shí)代，這種重要性還不是那么明顯。

所以我有點(diǎn)好奇，是什么跡象使你們決定與OpenAI建立這種良好的合作關(guān)系，而不是自己內(nèi)部孵化，我很好奇你們是如何決定在這個(gè)時(shí)刻與他們建立合作關(guān)系的，因?yàn)楫?dāng)時(shí)情況并不明顯，并且你們還投入了大量的資金。

Kevin Scott

我不想修正歷史，事實(shí)比實(shí)際情況更好。在微軟內(nèi)部，關(guān)于是否進(jìn)行這項(xiàng)合作的智慧性，存在著不同的意見(jiàn)。

薩提亞（Satya）有一個(gè)理論，他談到“無(wú)悔投資”，也就是說(shuō)，有一些投資有多種贏的方式，即使你輸了，你也能贏一點(diǎn)，所以這是一種無(wú)悔的投資，最壞的情況是，我們會(huì)在計(jì)算基礎(chǔ)設(shè)施上花費(fèi)大量資金，并且我們將了解如何以非常高的規(guī)模構(gòu)建這些AI訓(xùn)練環(huán)境，而且你必須對(duì)AI世界有一種非常奇怪的看法，才會(huì)認(rèn)為你需要先進(jìn)的計(jì)算基礎(chǔ)設(shè)施。

此外，還有多種方式，我們有一些自己收集的證據(jù)，OpenAI也提供了一些證據(jù)，不幸的是我不能談?wù)摚@些證據(jù)使我們有了相當(dāng)合理的信心，即規(guī)模擴(kuò)大確實(shí)有效。你可能已經(jīng)看到了著名的OpenAI計(jì)算規(guī)模論文，在這篇論文中，他們以對(duì)數(shù)比例的方式繪制了他們使用的計(jì)算總量，該圖表顯示了從2012年開(kāi)始使用GPU訓(xùn)練模型的方式，到2018年左右結(jié)束，每年的計(jì)算量都增加了10倍，用于訓(xùn)練最先進(jìn)的模型。我對(duì)我們永遠(yuǎn)不會(huì)達(dá)到的程度充滿了極高的信心，例如“好了，我們有足夠的計(jì)算資源了”。

這是一個(gè)大膽的舉動(dòng)。我認(rèn)為微軟在過(guò)去幾年中所做的一切都非常驚人，從戰(zhàn)略上看，這些舉措在當(dāng)時(shí)可能看起來(lái)并不明顯，但現(xiàn)在回過(guò)頭來(lái)看，真的非常聰明。就像你剛剛宣布與英偉達(dá)合作，共同構(gòu)建一個(gè)由Azure基礎(chǔ)設(shè)施和英偉達(dá)GPU驅(qū)動(dòng)的超級(jí)計(jì)算機(jī)。你可以告訴我們更多關(guān)于你們的超級(jí)計(jì)算工作以及與英偉達(dá)和OpenAI的合作的情況嗎？

我們建造了我們稱之為AI超級(jí)計(jì)算機(jī)的第一個(gè)系統(tǒng)，我認(rèn)為我們是在2019年開(kāi)始研發(fā)的，并在那一年年底部署了它，這是GPT-3訓(xùn)練所使用的計(jì)算環(huán)境，之后我們一直在構(gòu)建越來(lái)越強(qiáng)大的一系列超級(jí)計(jì)算環(huán)境。由于資本密集型的性質(zhì)，最大的環(huán)境通常只用于特定目的。

但是，我們的系統(tǒng)設(shè)計(jì)使我們能夠構(gòu)建更小型的環(huán)境，并且這些環(huán)境可以供許多人使用。因此，我們有大量的人在Azure計(jì)算基礎(chǔ)設(shè)施上進(jìn)行大規(guī)模的模型訓(xùn)練，包括公司內(nèi)部的人員和合作伙伴。這在過(guò)去是不可能的，你可以說(shuō)：“嘿，我想要一個(gè)這樣大小、具有這種強(qiáng)大網(wǎng)絡(luò)的計(jì)算網(wǎng)格，以完成我的任務(wù)?！?/p>

英偉達(dá)一直是我們的計(jì)算和網(wǎng)絡(luò)合作伙伴，因?yàn)樗麄儙啄昵笆召?gòu)了Mellanox，合作的關(guān)鍵在于，隨著時(shí)間的推移，你會(huì)從這些系統(tǒng)中獲得更好的性價(jià)比，我們與他們密切合作，確定未來(lái)幾代GPU的硬件要求，因?yàn)槲覀儗?duì)模型的發(fā)展方向和架構(gòu)有一個(gè)相當(dāng)清晰的認(rèn)識(shí)；這種合作關(guān)系非常好，我們現(xiàn)在正在大規(guī)模部署一臺(tái)名為Hopper的超級(jí)計(jì)算機(jī)，其中包括8位浮點(diǎn)算術(shù)等許多特性，這些特性我們?cè)缇陀?jì)劃好了。

開(kāi)源 or 閉源，企業(yè) AI 堆棧

Elad Gil

關(guān)于閉源和開(kāi)源模型以及兩者之間的混合模式，你是如何看待世界的轉(zhuǎn)變的？畢竟，從Azure的角度來(lái)看，現(xiàn)在很多人正在其上運(yùn)行開(kāi)源模型。

Kevin Scott

我認(rèn)為人們把這個(gè)問(wèn)題框定為一種二元的東西，這是一個(gè)有趣的現(xiàn)象。我認(rèn)為兩者都會(huì)有很多。我們?nèi)匀粵](méi)有理由相信你不會(huì)想要構(gòu)建更大的模型。但是，根據(jù)我們自己的部署情況，如果你看一下像 BingChat、Microsoft 365 Copilot 或 Github Copilot 這樣的東西，你會(huì)發(fā)現(xiàn)你最終會(huì)使用一系列模型來(lái)完成工作，這是為了性能和成本優(yōu)化的原因，有時(shí)也是為了準(zhǔn)確性和質(zhì)量的原因。因此，總是有一些你正在做的混合事情，而不是非此即彼。

實(shí)際上，我對(duì)開(kāi)源社區(qū)目前的發(fā)展非常興奮。我最大的疑問(wèn)是關(guān)于如何解決所有的安全和隱私問(wèn)題。但是，如果你看一下開(kāi)源社區(qū)的技術(shù)創(chuàng)新，真的令人激動(dòng)。我們現(xiàn)在正在做一些很酷的事情。就像昨天我剛剛在玩 DataBricks的 12 億參數(shù)的Dolly 2.0模型，它可以在一臺(tái)單機(jī)上很好地運(yùn)行，作為一個(gè)喜歡玩弄運(yùn)行在單機(jī)上的東西的人，我覺(jué)得這真的很令人印象深刻。

Elad Gil

關(guān)于企業(yè)客戶，如何看待提供核心產(chǎn)品以外的 AI 能力？是否會(huì)出現(xiàn)特定的企業(yè) AI 堆棧？是否會(huì)有特定的工具出現(xiàn)？你提到了安全性、分析性、微調(diào)等等，可能提供的潛在功能非常多，我只是好奇你是如何思考的。

Kevin Scott

我不想把這變成奇怪的營(yíng)銷演講，但我們有這樣的觀點(diǎn)，我們始于這樣一個(gè)假設(shè)，即AI將成為一個(gè)平臺(tái)，人們將通過(guò)構(gòu)建輔助人們工作的工具來(lái)最有用地使用該平臺(tái)；因此，它不完全是完全自主的場(chǎng)景，更多的是輔助技術(shù)。

我們建造的第一件事是Github Copilot ，它是一種編碼工具。你可以用自然語(yǔ)言描述你希望代碼執(zhí)行的功能，它會(huì)生成代碼，然后你作為開(kāi)發(fā)者可以像接受來(lái)自一位編程伙伴的建議一樣仔細(xì)審查和代碼審查，并決定是否符合你的應(yīng)用程序的要求。這就是 Github Copilot 的第一個(gè)版本，現(xiàn)在它有很多其他功能。

我們觀察到這種合作伙伴關(guān)系實(shí)際上是相當(dāng)通用的。我們之后構(gòu)建了一系列合作伙伴關(guān)系，構(gòu)建它們的方式幾乎就像是OSI網(wǎng)絡(luò)圖中的一個(gè)堆棧；首先是一系列用戶界面模式，現(xiàn)在有新興的插件生態(tài)系統(tǒng)，用于擴(kuò)展合作伙伴關(guān)系的能力，用于無(wú)法從模型本身獲得的功能；然后是一整套協(xié)作機(jī)制，像Lang hain是一個(gè)流行的開(kāi)源協(xié)調(diào)器之一，但也有其他一些開(kāi)源協(xié)調(diào)器，我們開(kāi)發(fā)了一個(gè)名為語(yǔ)義內(nèi)核（semantic kernel）的開(kāi)源協(xié)調(diào)器。

現(xiàn)在存在著一個(gè)令人著迷的世界，這在九個(gè)月前還不存在，它與提示構(gòu)建和提示工程有關(guān)。因此，你有一整套工具和藝術(shù)形式，可以為模型設(shè)計(jì)一個(gè)元提示（meta prompt），它是一種針對(duì)特定應(yīng)用上下文的固定指令，讓模型能夠適應(yīng)該上下文。

你有像“檢索增強(qiáng)生成”（retrieval-augmented generation）這樣的新型軟件開(kāi)發(fā)模式。在這之前，我們已經(jīng)在這方面進(jìn)行了一些嘗試，盡管沒(méi)有一個(gè)明確的名稱，它實(shí)際上是一種將來(lái)自應(yīng)用程序的提示注入到模型中，以幫助模型更好地響應(yīng)的方法；然后，你還有一整套安全裝置，就像對(duì)下行的過(guò)濾一樣，從提示經(jīng)過(guò)整個(gè)堆棧一直到模型，以及對(duì)上行的過(guò)濾，因?yàn)樗鼤?huì)使錯(cuò)誤的響應(yīng)通過(guò)。有時(shí)，在將響應(yīng)傳遞回用戶之前，你需要進(jìn)行多次循環(huán)。

我們對(duì)整個(gè)堆棧的形式有一個(gè)觀點(diǎn)，微軟的工具將幫助人們構(gòu)建這些東西，以及在企業(yè)環(huán)境中需要在安全性、數(shù)據(jù)隱私、數(shù)據(jù)流向和啟用哪些插件方面進(jìn)行特殊處理；我認(rèn)為所有這些東西現(xiàn)在都在構(gòu)建中，另外我要說(shuō)的是，我們會(huì)構(gòu)建其中一些東西，但社區(qū)也將構(gòu)建大量的東西，因?yàn)閺膩?lái)沒(méi)有一個(gè)平臺(tái)或生態(tài)系統(tǒng)是由一個(gè)人構(gòu)建所有有用的東西的，這純粹是胡說(shuō)，從來(lái)沒(méi)有發(fā)生過(guò)；對(duì)我來(lái)說(shuō)，看到現(xiàn)在正在發(fā)生的所有能量是一件非常令人興奮的事情。

我剛剛在與微軟研究部門(mén)的一次評(píng)審結(jié)束不久，看到微軟研究部門(mén)，許多研究人員已經(jīng)將他們的研究轉(zhuǎn)向了與AI相關(guān)的領(lǐng)域，或與AI相關(guān)的事物；對(duì)我來(lái)說(shuō)，這有點(diǎn)像2001年我在那里實(shí)習(xí)時(shí)的微軟研究部門(mén)，那時(shí)有很多非常聰明的人們對(duì)未來(lái)的樣子有了一瞥，其他人都沒(méi)有，因?yàn)槟鞘怯?jì)算機(jī)通往普及的時(shí)刻。他們的研究都圍繞著那個(gè)小小的一瞥展開(kāi)，那個(gè)早期的預(yù)見(jiàn)。這感覺(jué)真的很神奇。

AI的變與不變，愚蠢的增量

Elad Gil

現(xiàn)在學(xué)術(shù)界正在進(jìn)行實(shí)時(shí)的巨大重新調(diào)整，這是非常令人興奮的。

Kevin Scott

就像我們從這個(gè)角度來(lái)看，對(duì)我來(lái)說(shuō)最大的驚喜是，我根本沒(méi)有意識(shí)到 GPT-4 和 ChatGPT 會(huì)引發(fā)這么大的影響，我們有點(diǎn)期待會(huì)發(fā)生很多這種事情。

ChatGPT 是一個(gè)10個(gè)月大的模型，然后加了一點(diǎn)RLHF。坦白說(shuō)，它并不是一個(gè)漂亮的用戶界面，它只是一種讓一些東西出現(xiàn)在那里的方式，因?yàn)樵贕PT-4的大規(guī)模發(fā)布之前，你需要在一些事情上進(jìn)行一些練習(xí)。而且沒(méi)有人真正知道它會(huì)以這種方式迅速發(fā)展起來(lái)。

Elad Gil

它只有5個(gè)月的歷史，這只是五個(gè)月前的事，這令人震驚，每個(gè)人都忘記了時(shí)間過(guò)得有多快。

Kevin Scott

這是開(kāi)源社區(qū)和大型科技社區(qū)，我認(rèn)為它們最好的一面是，每個(gè)人都在重新調(diào)整，適應(yīng)這種我認(rèn)為與過(guò)去幾年發(fā)生的一些充滿熱情的事情不同的東西，我不認(rèn)為這是一種時(shí)尚，這是真實(shí)的。

Sarah Guo

大約6個(gè)月前，我啟動(dòng)了我的新基金，重點(diǎn)是 AI ，幾周后， ChatGPT 出現(xiàn)了。我想說(shuō)，即使是那些非常有準(zhǔn)備、希望跟上或成為這場(chǎng)巨大變革一部分的人，也感覺(jué)一直處于不穩(wěn)定之中。但這是目前幾十年來(lái)科技領(lǐng)域最有趣的時(shí)候。

Kevin Scott

這也是令人不安的時(shí)刻，很多事情都在變化。它們以一種你可能無(wú)法掌控的速度變化。所以對(duì)那些試圖跟上正在發(fā)生的一切的人來(lái)說(shuō)，這一定會(huì)讓他們感到非常不安。在某些情況下，它們甚至迫使人們改變他們長(zhǎng)期以來(lái)對(duì)事物的世界觀。

我認(rèn)為對(duì)于一些機(jī)器學(xué)習(xí)的人來(lái)說(shuō)，這實(shí)際上比對(duì)一個(gè)正在尋找有趣事物去做的全新企業(yè)家來(lái)說(shuō)更加困難，因?yàn)閷?duì)于一個(gè)機(jī)器學(xué)習(xí)團(tuán)隊(duì)來(lái)說(shuō)，他們的工作方式是非常不同的，甚至對(duì)于微軟的一些人來(lái)說(shuō)，他們已經(jīng)有足夠的時(shí)間來(lái)思考過(guò)渡問(wèn)題，但仍然很難適應(yīng)這種新的工作方式。

Sarah Guo

微軟擁有令人難以置信的廣泛產(chǎn)品組合，現(xiàn)在你負(fù)責(zé)解決所有基礎(chǔ)架構(gòu)問(wèn)題，確定如何將所有這些能力整合到產(chǎn)品組合中；我經(jīng)常與經(jīng)營(yíng)大公司或創(chuàng)辦大公司的朋友交談，他們也在努力解決這個(gè)問(wèn)題。你是如何組織這方面的工作的？你有什么建議？

Kevin Scott

我認(rèn)為你必須要記住，有些事情發(fā)生了變化，有些事情一點(diǎn)也沒(méi)變。有一件讓很多人搞混的事情是，模型不等于產(chǎn)品，基礎(chǔ)架構(gòu)也不等于產(chǎn)品。你需要非?？焖俚乩斫膺@種新型基礎(chǔ)架構(gòu)和新平臺(tái)的能力，但這并不意味著你不需要努力去理解什么是一個(gè)使用它的好產(chǎn)品；我告訴很多人的一件事情是，最有趣的產(chǎn)品很可能是從不可能到困難的轉(zhuǎn)變階段。所以，那些以前根本無(wú)法做到的東西，現(xiàn)在變得困難了。因?yàn)閺牟豢赡艿饺菀椎氖虑榭赡懿⒉荒敲从腥ぁ?/p>

我的一個(gè)無(wú)關(guān)緊要的例子是，當(dāng)15、16、17年前智能手機(jī)進(jìn)入市場(chǎng)時(shí)，也就是2007年，我想，是iPhone發(fā)布的時(shí)候，差不多是15年前吧，然后一年后有了應(yīng)用商店，所以最初的應(yīng)用程序就是那些從不可能到容易的事情，我們幾乎都忘記了它們。

我曾經(jīng)在手機(jī)上安裝過(guò)的一個(gè)應(yīng)用程序，叫做woo按鈕，按下它就會(huì)發(fā)出一聲woo，就像Rick Flair那樣，這些都不是商業(yè)模式，它們只是一些人在探索的東西，真正有趣的事情是那些已經(jīng)變得困難的事情，人們?cè)诳赡艿那闆r下去構(gòu)建，這些甚至不是平臺(tái)的建造者們所想象的東西，我們甚至不再考慮最初在這些平臺(tái)上推出的應(yīng)用程序，就像平臺(tái)剛開(kāi)始推出時(shí)那些東西，那些東西現(xiàn)在已經(jīng)不再有趣了。

你的智能手機(jī)遠(yuǎn)不止于一個(gè)短信應(yīng)用、一個(gè)瀏覽器和一個(gè)郵件客戶端，讓它變得有趣的是TikTok、Instagram、WhatsApp和Doordash，這些都是人們?cè)谶@些東西成為可能之后不得不構(gòu)建的困難的事情。我認(rèn)為這是你作為企業(yè)家或試圖采納這些技術(shù)的企業(yè)所需要記住的第一件事情。

不是說(shuō)我該如何在我現(xiàn)有產(chǎn)品上添加一些LLM神奇，做一些愚蠢的增量事情，我甚至不應(yīng)該稱之為愚蠢，也許增量的事情還可以，但真正有趣的事情并不明顯，而且非常非增量的，這對(duì)我們來(lái)說(shuō)是個(gè)難題，因?yàn)槲覀冇幸蝗郝斆鞯娜?，他們能看到所有可能的事情?/p>

因此，挑戰(zhàn)是引導(dǎo)他們朝著那些困難的、有意義的、有趣的、非明顯的事情前進(jìn)，而不是那些只會(huì)消耗大量GPU運(yùn)算時(shí)間、阻止你做真正重要的事情的增量事情。

AI 時(shí)代給人們的最好建議

Elad Gil

我一直在思考一個(gè)問(wèn)題，即在AI繼續(xù)積累能力的情況下，你如何思考未來(lái)20年人類最佳的角色。尤其是我在考慮到我的孩子時(shí)，我在想，好吧，兩年前，我本來(lái)會(huì)告訴我的孩子們?nèi)W(xué)習(xí)計(jì)算機(jī)科學(xué)，因?yàn)樗俏磥?lái)的語(yǔ)言。你認(rèn)為在這個(gè)即將到來(lái)的變革中，對(duì)人們來(lái)說(shuō)最好的建議是什么？哪些將是相對(duì)持久的事物？

Kevin Scott

我認(rèn)為20年是一個(gè)很長(zhǎng)的時(shí)間范圍。如果我們對(duì)自己誠(chéng)實(shí)一點(diǎn)，回顧20年前，想象一下你當(dāng)時(shí)可能會(huì)做出的預(yù)測(cè)，你會(huì)到達(dá)今天嗎？沒(méi)有人會(huì)想到。但我認(rèn)為有一些顯而易見(jiàn)的事情。比如，我的女兒決定要成為一名外科醫(yī)生。我認(rèn)為外科醫(yī)生是一個(gè)相當(dāng)不錯(cuò)的職業(yè)。目前我們還沒(méi)有機(jī)器人的指數(shù)級(jí)增長(zhǎng)。我們擁有認(rèn)知潛力。

因此，我認(rèn)為整個(gè)世界充滿了這樣的工作崗位，你知道，在物理系統(tǒng)上產(chǎn)生影響，就像在現(xiàn)實(shí)世界中做某些事情一樣。我們可能會(huì)需要比現(xiàn)在更多的這樣的崗位，特別是在醫(yī)學(xué)領(lǐng)域，比如護(hù)士、外科醫(yī)生、物理治療師、在養(yǎng)老院工作的人員，因?yàn)槲覀兊娜丝谡谘杆倮淆g化。因此，醫(yī)療系統(tǒng)的負(fù)擔(dān)將會(huì)更重。我確實(shí)認(rèn)為AI將會(huì)對(duì)生產(chǎn)力產(chǎn)生一些相當(dāng)大的影響，但也許這種影響只是足夠大，以為我們提供其他全新事物的空間。

因此，我認(rèn)為在美國(guó)，我們對(duì)像我父親從事的工作這樣的工作分配的尊嚴(yán)和尊重遠(yuǎn)遠(yuǎn)不夠。我在德國(guó)住了一段時(shí)間，德國(guó)在這方面有些不同。你可以成為一名機(jī)械師，這是一份非常好的職業(yè)，你的父母會(huì)為此感到自豪。

我認(rèn)為所有這些職業(yè)，比如電工、機(jī)械師和太陽(yáng)能安裝技術(shù)員等等，我們都將需要，特別是因?yàn)槲覀兊淖优簧形覀儗⒉坏貌恢亟ㄕ麄€(gè)電力發(fā)電和分配系統(tǒng)。我認(rèn)為所有這些工作都非常重要。此外，我認(rèn)為在創(chuàng)造性的工作方面，未來(lái)可能需要的更多，而不是更少，盡管我們用于進(jìn)行創(chuàng)造性工作的工具，無(wú)論是編碼還是制作播客等，將幫助我們做得更好。我之所以這樣說(shuō)，是因?yàn)槿祟惙浅Ｉ瞄L(zhǎng)將人類置于他們的故事的中心。

現(xiàn)在，我們可以制作像《后翼?xiàng)壉罚═he Queen"s Gambit）這樣Netflix的節(jié)目，但不是女王的智力，而是機(jī)器的智力，講述一群計(jì)算機(jī)之間進(jìn)行國(guó)際象棋比賽，因?yàn)樗鼈兌急茸顑?yōu)秀的人類棋手更強(qiáng)，但沒(méi)有人愿意看那個(gè)。

技術(shù)現(xiàn)在可能足夠好了，你可以擁有超人類的F1賽車和可以做出人類無(wú)法做到的事情的F1賽車手。但沒(méi)有人想看那個(gè)。甚至在計(jì)算機(jī)出現(xiàn)之前，如果叉車比人類更強(qiáng)壯，你可以舉辦一個(gè)強(qiáng)壯的人比賽，看看哪臺(tái)叉車能舉起最重的重量，但沒(méi)人在意。人們關(guān)心的是人類。我們?cè)谡f(shuō)什么？我們關(guān)心什么？我們?cè)噲D向其他人灌輸什么？而這些都不會(huì)改變，沒(méi)有任何改變。

有些人可能會(huì)說(shuō)這還沒(méi)有發(fā)生，是因?yàn)橄到y(tǒng)不希望發(fā)生。但我認(rèn)為很大程度上是因?yàn)槲覀兿矚g做事情。

AI 領(lǐng)域感興趣的方向

Elad Gil

關(guān)于這一點(diǎn)，你對(duì)未來(lái)AI的哪些領(lǐng)域最感興趣？或者其它你覺(jué)得樂(lè)觀的事情？

Kevin Scott

我認(rèn)為首先，我認(rèn)為這可能是基于基礎(chǔ)模型的部署的第一個(gè)偉大的一年，你將會(huì)看到許多公司的推出，許多人嘗試各種想法。所有的大型科技公司都將有重要的產(chǎn)品正在開(kāi)發(fā)。關(guān)于其他公司會(huì)做些什么，我有一些預(yù)測(cè)，但這將涉及到Microsoft整個(gè)產(chǎn)品組合。到今年年底，你與我們的軟件互動(dòng)的方式將與之前大不相同。

我認(rèn)為這對(duì)每個(gè)人都是如此。它改變了大型科技公司之間的競(jìng)爭(zhēng)性質(zhì)。而且，它為小型科技公司提供了新的機(jī)會(huì)，可以來(lái)推動(dòng)局勢(shì)，并做一些有趣的事情。我和Sam Altman經(jīng)常討論的一件事是，我猜想今年將會(huì)有一家價(jià)值一萬(wàn)億美元的公司成立。我們不知道是哪一家，但我們?cè)缇蛻?yīng)該有了。

技術(shù)上，我認(rèn)為你將會(huì)看到一些像 Red Pajama 這樣的項(xiàng)目，還會(huì)有其他許多類似的項(xiàng)目，它們將在構(gòu)建更具能力的開(kāi)源模型方面取得很大進(jìn)展，希望社區(qū)能夠幫助構(gòu)建一些安全解決方案，以便在部署這些模型時(shí)配套使用。

但從技術(shù)上來(lái)說(shuō)，你會(huì)看到驚人的進(jìn)步。然后，邊界會(huì)不斷擴(kuò)大。OpenAI還沒(méi)有廣泛分發(fā)，但它最終會(huì)被廣泛分發(fā)，我對(duì)遙遠(yuǎn)的未來(lái)有一些看法。

因此，你將會(huì)看到這些非常強(qiáng)大的多模型，就像GPT-4帶來(lái)了許多新的令人興奮的事情一樣，具有視覺(jué)輸入和對(duì)其進(jìn)行推理的模型也將帶來(lái)許多令人興奮的新事物，但這還不夠。

我認(rèn)為今年的主題將是進(jìn)步和活動(dòng)，幾乎無(wú)法追蹤。我可能需要一個(gè)副駕駛員來(lái)關(guān)注所有這些事情，并確保我不會(huì)錯(cuò)過(guò)重要的事情。因?yàn)槲矣X(jué)得我現(xiàn)在就像投資者和密切關(guān)注這些事情的人們一樣。

AI的安全性：擁抱監(jiān)管，建立信賴

Sarah Guo

節(jié)目即將結(jié)束，還有其他什么想和大家分享么，Kevin？

Kevin Scott

我認(rèn)為，隨著事情的迅速發(fā)展，你真的需要科技界共同努力，在監(jiān)管尚未出臺(tái)之前，就某些明智的事情達(dá)成一致；這一切都很重要，不是什么都不做，而是我們都不應(yīng)該在這一點(diǎn)上看待監(jiān)管前景，說(shuō)：“哦，天哪，這太痛苦了，我不想處理這個(gè)?！?/p>

事實(shí)上，有這樣的渴望是一個(gè)非常好的信號(hào)，表明我們正在努力的事情實(shí)際上是重要的，因?yàn)闆](méi)有人試圖監(jiān)管無(wú)謂的事情。

監(jiān)管的目的是確保你可以為可能在社會(huì)中廣泛普及的事物建立堅(jiān)實(shí)可信賴的基礎(chǔ)。例如，如果你把它看作是電力，你希望在允許技術(shù)發(fā)展和取得進(jìn)展的同時(shí)，確保你的電力發(fā)電機(jī)是安全的，不允許人們隨意走進(jìn)來(lái)，把手放在電極上，讓自己消失。你希望確保電力的分配是協(xié)調(diào)的，當(dāng)它進(jìn)入你的房子時(shí)，它不會(huì)燒毀你的房子，當(dāng)你把電器插入墻上時(shí)，它們能夠按預(yù)期工作。因此，我認(rèn)為在某種程度上類似，不會(huì)有一種適合所有情況的方法。

我認(rèn)為大多數(shù)人應(yīng)該考慮的是部署問(wèn)題，確保在部署技術(shù)時(shí)，滿足要求并對(duì)期望有正確的認(rèn)識(shí)是最重要的事情。然后，對(duì)于我們正在構(gòu)建的這些龐大的基礎(chǔ)模型，確保它們周圍有一套安全措施。但我們構(gòu)建這些東西的方式，它們并不會(huì)自己分發(fā)到世界上。在它們上面還有一整套東西，使它們安全。然后，根據(jù)每個(gè)應(yīng)用、每個(gè)部署的情況，我們還會(huì)采取一整套措施來(lái)確保部署的安全。

因此，我認(rèn)為每個(gè)人，包括所有的初創(chuàng)公司、開(kāi)源社區(qū)的所有人，都應(yīng)該思考這些問(wèn)題，我在為確保我們?yōu)檫@些樂(lè)觀的用途創(chuàng)造盡可能多的空間方面做了什么，我們?cè)诒M可能多地阻止那些有害的用途方面又做了什么。

Elad Gil

我對(duì)社區(qū)在早期階段對(duì)AI安全性以及對(duì)待這個(gè)領(lǐng)域的方法的自我行動(dòng)感到印象深刻。我知道OpenAI、Anthropic、Google、Microsoft等主要參與者在這個(gè)領(lǐng)域都非常周到，他們都希望確保事情做得正確。

Kevin Scott

我的意思是，我們與這些公司激烈競(jìng)爭(zhēng)，但我不擔(dān)心你剛提到的這些公司會(huì)做一些不安全的事情。我將自己從微軟的首席技術(shù)官的角色中抽離出來(lái)，只是作為這個(gè)世界的一位普通公民來(lái)思考，作為一位普通公民，我不擔(dān)心我的競(jìng)爭(zhēng)對(duì)手會(huì)做一些不安全的事情。

Reference：

https://www.youtube.com/watch?v=BbAnzpeGFrA

本文為專欄作者授權(quán)創(chuàng)業(yè)邦發(fā)表，版權(quán)歸原作者所有。文章系作者個(gè)人觀點(diǎn)，不代表創(chuàng)業(yè)邦立場(chǎng)，轉(zhuǎn)載請(qǐng)聯(lián)系原作者。如有任何疑問(wèn)，請(qǐng)聯(lián)系editor@cyzone.cn。

關(guān)鍵詞：