在啟動人工智慧創業之前請思考以下問題

原始影片：https://www.youtube.com/watch?v=DJjZzzPANBY

在啟動人工智慧創業之前請思考以下問題 [00:03]

歡迎來到這場演講。我感到相當困惑。呃，我想也許比我一生中任何時候都更困惑。很可能肯定是比我一生中任何時候都更困惑。呃，我想談談這件事，因為我認為我不知道當你困惑時，就是有趣事物的開始。如果你接受的是科學家的訓練，這就像是你最想關注的事情：那一刻你的困惑，就像“哦，這很有趣。我不知道接下來會發生什麼。”我在科技行業待了整個一生，感覺自己一直有這個優勢，就是，我懂發生了什麼。實際上，我覺得我知道未來五年或十年會發生什麼，我也利用這個來提升自己。像是我圍繞它安排了我的職業生涯，創辦了圍繞它的公司。呃，你知道，我已經在很多不同的地方提前抓住了趨勢，在正確的時機進入。對我來說那真的很棒。然而，我不再這樣感覺了。像是我看不到未來五年。我只能看到大約三週或更少的時間。呃，我真的不知道接下來會發生什麼。所以，我想要一系列問題，希望能幫助我弄清楚發生了什麼。呃，也許它能幫助你們了解發生了什麼。呃，也許不能。呃，不是所有問題都是有用的。呃，但我認為提出好的問題對於經營一家初創企業、管理研究團隊、經營你的生活，或做任何事情都極為重要。我認為我們都需要偶爾停下來，問一些問題。但是我認為我們現在正經歷的時刻與 AI 相關是極具挑戰性且迅速變化的。如果有任何時候需要停下來問問題，那就是現在。呃，這些話明顯都是我自己的。我想我們需要這樣說一下。嗯，我的日常工作是在 Enthropic 經營一個對齊研究團隊。嗯，我也經歷過 YC。在我的生活中做過多個初創企業。因此，也許我在 AI 加上初創企業的角度對於所有考慮初創生活或 AI 生活的人是有幫助的。好吧。呃，前言就這樣。呃，讓我們開始吧。這是我想問的主要問題。萬物皆在改變。這應該如何影響我生活中的一切？老實說，像你應該甚至開始一個初創企業嗎，這是一個大問題。但假設你正在創辦一家初創企業，或者你已經在經營一家公司。這應該如何影響你的...

在啟動人工智慧創業之前請思考以下問題 [02:12]

策略？這應該如何影響你的產品？這應該如何影響你如何組建團隊？像這些都是重大的開放性問題。呃，我認為 AI 可能會改變你今天如何回答它們，明天也可能會有所不同。我在運營初創企業和與創始人交談的職業生涯中看到這樣一種悖論，每個人總是告訴你，專注就是一切。這就是初創企業擁有的優勢。專注，專注，專注。大公司無法專注。這就是為什麼你能在市場上超越他們，並且圍著他們轉圈。但儘管專注是唯一的真理，經營初創企業的另一個事實是你必須關注一切，對嗎？像是你要考慮招聘、募資、產品、策略、進入市場等等，一切，對吧？嗯，然後突然之間，在產品發布的中間，你團隊裡有人辭職，其他人威脅辭職，這簡直是瘋狂，這種事一直在發生。這只是一個極端的悖論，但是我認為這使得創始人與我們作為一個社會所面臨的最大問題相關聯，這就是 AI 將會發生什麼，我們應該做些什麼，因為創始人是那種必須隨時回答每一個問題的人。因此，我認為這是一個良好的定位。這六個月以來有種被稱為「最佳實踐」的東西，呃，大家對於 AI 和你的產品的看法，人們說像「哦，你應該考慮接下來六個月會發生什麼，考慮下一個基礎模型能做到什麼，並確保你在計劃你的產品時能預想出這些能力會做什麼。不要僅僅計劃今天的能力。我認為這是極為有效的建議，你絕對應該認真對待。呃，但我想提高一下賭注，實際上你應該提前兩年做計劃。呃，因為在未來幾年我們極有可能會擁有 AGI。也許不是兩年，也許是三年，對吧？但是我認為你應該圍繞這個事實來制定你的公司和策略，對吧？而且這有極大的不確定性，對吧？所以不要過於認真。不要真的有一個兩年的計劃。但是如果你不稍微考慮一下這會如何改變從招聘到市場營銷再到進入市場等所有事情的話，...

在啟動人工智慧創業之前請思考以下問題 [04:09]

招聘到市場營銷再到進入市場等等。我不認為你在履行作為一位創始人的職責。好吧。所以今天的主題正是我想通過一系列問題來探討，並且將 AGI 來臨的視角作為思考的基礎，還有在接下來的六個月內 AI 方面即將改變的情況。我認為關於「哦，實際上 AI 的影響將比我們想像的要慢」有很多對話。原因是大公司很糟糕，他們需要花很多時間去購買東西，他們沒有意識到趨勢，然後，企業銷售周期非常緩慢。因此，所有財富 500 強公司需要數年時間才能消化你們可能想要構建的所有 SAS 產品。我認為這其實是極為短視，因為接下來會發生什麼，我認為是開放性問題，就是買方的企業他們也會在接下來幾年裝備 AGI 或強代理，對吧，不僅僅是通過他們可能建立的 SAS 產品，而將會在他們的團隊中本土化使用，使用下一版本的 LLM 來做出購買決策，對吧，並找出如何加速他們的採用周期，AI 的力量不僅在於初創企業正在構建的產品革命，它也在買方這一側，對吧？而我認為這是一個 AI 有趣又奇怪的事情，就是它會抬升所有的船隻，水會上升，所有的船舶將一同上升。這不僅僅是初創企業，現有的公司也從 AI 中受益。我認為我們也在其他地方看到這一現象，許多大型企業有時甚至不再向 SAS 提供商購買軟件。他們認為，我可以讓兩個人處理雲端代碼，然後他們會為我的組織構建所需的能力。因此，買方將會迅速發展，我認為這是一個開放性問題，這是什麼意思，對吧？我認為另一個角度是，當你擁有 AI 驅動的外部銷售時，我們思考這將對市場發生什麼影響，但在這一面的買方也將面臨如接收來自 AI 的銷售電話並試圖理解發生了什麼。因此，未來的動態並不清楚將如何發展。這是一個相關問題，就是軟件是否會完全商品化，在兩年或三年內經營 SAS 提供商是否還會有意義？

在啟動人工智慧創業之前請思考以下問題 [06:12]

運營 SAS 提供商是不是在兩年或三年內是否會成為一家企業真的只是內部構建所有軟件，因為這只是對雲端代碼的提示，下一代的雲端代碼，對吧？實際上，你只需要內部產品經理，他們將為你做所有事情。這是可能發生的真實結果，對消費者來說也是如此。也許消費者最終不再下載應用程式。他們只是為自己按需構建應用程式。他們甚至不這樣認為。他們不會再將它們視為應用程式。只是，對，我想讓我的手機為我做某件事情。我問它，對，然後它為我製作了一個應用程式。這樣的話，下載應用程式有什麼意義呢？這是一個結果，但我認為另一個結果其實是相反的。就像也許所有這一自動化生成代碼的事情使得只是將質量門檻極高的情況變得更容易。當然，你可以通過提示相對輕鬆地製作出今天等效的應用程式。但你能否明天做出一個卓越的應用程式，呃，相當於一個與 AI 一起工作的出色團隊，以提高天花板？我其實不知道這個問題的答案，但我認為這可能會因垂直市場的不同而有所不同。呃，你應該考慮這一點關於你的產品。我認為這也是一個有趣的問題，假如你可以按需編寫軟件，你是否甚至還會製作應用程式，或者這真的會是按需的，對吧？像為什麼我們提前採取雲端代碼以及類似的方式來提前了解用戶需要什麼，然後構建支持所有這些用例所需的所有軟件。但是如果你可以按需產生代碼，為什麼不直接按需產生呢？你知道，隨著用戶的行為，應用程序可能會意識到這個應用無法支持他們想要的功能，然後按需生成代碼。我認為這是一種非常有趣的模式，只要你能讓它運作。但是它引發了各種各樣的問題，如信任問題，對吧？進行生成 UI 是一回事，你可以改變用戶的界面形狀，但實際的新行為需要深入到數據庫層，對吧？或者後端。如果你希望你的 AI 能夠按需做到這一點，那你最好相信這 AI 能做好它的工作，對吧？顯然，目前的 AI 不能被信任以至於達成此目標。

在啟動人工智慧創業之前請思考以下問題 [08:06]

不能被信任以至於達成此目標，所以我認為信任將成為這些不同問題將如何發展的一個重大主題。類似的問題是：UI 應該是什麼樣子的？你知道，我認為人們談論生成 UI 還沒有真正發生，但我對於它何時會發生感到樂觀。按需 UI 是正確的介面，還是有些我們還沒有想到的東西？嗯，我特別考慮這一特定於多模式的情境，將聽覺、圖像、視頻和文本交織在一起，從用戶那裡得到正確的輸入。你知道，作為一個用戶，有時我想說話，有時我想使用觸控介面。這取決於我是否在擁擠的區域等等，對吧？我認為你最好在用戶的所在位置迎合他們。像是現在對他們來說最簡單的事情是什麼？他們與你的產品介面最簡單的方式是什麼？這是你應該考慮的問題。呃，我認為所有這都與這個更大問題有關，我們今天擁有所有這些產品，擁有極佳的分發，並且人們意識到我們需要將 AI 插入其中。所有主要的參與者都在這樣做，對吧？就像加上聊天機器人，或增加一些代理行為等等，對吧？他們正在對他們的產品進行改造，以嘗試讓 AI 驅動的某些功能生效，但這就像嘗試在某個東西上灑糖粉。自然地認為從頭開始建立一個原生 AI 產品會更好。這就是像我的初創思維，像新技術革命，如果你想構建這個，你需要從零開始，對吧？呃，但這可能不是真的。實際上，改造現有產品並受益於分發的可能會獲勝。我再次認為這不一定是普遍的，這可能會因行業而異。但是我認為這是一個你應該問自己的非常重要的問題，並且不要僅僅有一個意見，像搞清楚使你能夠驗證你假設的因果機制，因為我認為這類問題會使或打破不同的產品。好吧，所以這就是關於產品和產品策略的很多內容，但我認為初創企業的每個部分都是極其重要的。呃，最重要的是你的文化，是你的團隊。團隊規模會變得更小嗎？我認為這是人們假設的默認情況。但是我認為，類似於產品，你可以改造或從頭開始構建。我認為將會出現一個問題，那就是以 AI 原生開始建立的團隊，是否會在與大型公司削減員工，尋找使用 AI 使自己更高效的方式時獲得某種優勢，對嗎？是否有某種團隊模式，像是如果你從 AI 原生的地方開始，你將會以不同的方式運作？而且實際上這可能會每六個月、十二個月或十八個月改變一次，對吧？因為 AI 的能力在變化。因此，今天的 AI 原生公司可能與未來十二個月的 AI 原生公司會是不同的。如果你不考慮如何改造自己，你可能會過時。就像我說的，我認為信任將變得極其重要，對吧？所以，像安全模型會如何改變？我們已經在提到按需代碼的情況下提到過這一點，當你希望你的 LLM 能夠回到數據庫層並為該客戶和消費者做些事情時，如果不能信任你所擁有的控制，就無法做到。

在啟動人工智慧創業之前請思考以下問題 [10:02]

如果你無法信任模型能做對的事情，那麼你便無法做到。我也在思考助手的情境，助手的全部意義就是對消費者這個用戶有用。但我們有這些圍牆花園，你開始看到，也許你在不同設置下需要不同代理，對吧？但這不是你想要的，作為一個用戶。你希望你的每件事情都有一個代理，對吧？所以我希望我的個人代理和我的工作中的專業代理能夠一起工作，對吧？但這會引發各種各樣的擔憂，有些事情我在個人時間做，呃，或者你在個人時間做，可能你不願意讓你的雇主知道。對吧？所以你如何確保信息被隔離，同時又允許這些代理以正確的方式合作？這些都是難題。可以做到嗎？能否達到同樣的有效性？呃，還是你必須在這些安全方面上有所妥協嗎？關於代理的更深層次問題是，你知道，我們認為對齊是我們能否信任 AI，但事實是即使你有一個完全對齊的模型，所謂的意圖對齊模型，它也將被一家企業或初創公司用來為該用戶建立一個代理。然後問題是，你能信任那個建立代理的初創公司嗎？對吧？呃，這個代理是他們為你開發的，實際上在代表你行事嗎？如果這是一個以廣告為基礎的公司，而你使用這個代理來搜索新的鞋子品牌對吧？像是它會有偏見嗎？它會將你引導到某一個方向上嗎？這不是你想要的，對吧？但這可能是公司所想要的。因此，我們怎麼開始問這些問題，對嗎？然後回到前面一張幻燈片，關於個人代理與專業代理。我真的很關心我是否在使用那個代理。我真的很關心它是否在代表我運作，對吧？如果它在暗中為我的公司行事，然後在我個人生活中優化貢獻對公司更有利而不是我的話，這是非常可怕的。我認為隨著模型能力的增強，事情會變得更可怕。因此，我認為開始思考信任是很重要的，對吧？我們如何為這些模型建立信任，不僅僅是對模型和代理，還有構建這些代理的公司。對吧？我認為最終這其實是建立在你們身上的信任，或者是你們所建立的公司的信任，對吧？用戶如何能夠信任這家公司？特別是，現在我們已經有這些極小的團隊，明天這些團隊可能會更小。你可能會有這些半自動化的團隊。你怎麼能信任那個團隊？你可能會說，我不知道，我們今天信任公司。在現今的情況下，我們信任公司的核心原因之一是因為他們組成了各種不同的人。你可以在某種程度上信任如果公司有良好的文化，如果公司決定做一些不好的事情，則公司裡面有人會舉手說：“不，我不支持這個。我會揭發。我會洩漏這個。我會辭職。我會帶一堆人走，我生氣。我討厭這個。”對吧？而且如果沒有支持公司的員工，公司就沒有產品。對吧？但是在半自動化的世界裡，這不再是事實。事實上，一個人可能會做出改變產品整體影響的決策。而沒有任何其他人可能知道除他以外的事情。壞行為者做壞事變得極其容易。如果你跟踪過硅谷的歷史或人類的歷史，事實是大多數人都是不對齊的，對吧？特別是當金錢介入時。呃，我認為這是一個非常重要的問題，事實上我們已經在思考這一點。例如，大型企業已經部分因為這個原因而不信任初創企業。大型企業不信任初創企業有很多原因，其中一個是他們擔心初創企業明天會破產，對吧？但對一家小型初創公司來說做錯事要容易得多，與一家大公司相比，對吧？這正是使小型初創公司有時成功的原因。所以我認為這已經是大型企業心中的顧慮，但隨著時間推移，它也將愈益成為普通人關心的問題。所以這引導我進入下一個問題，那就是我們該如何建立信任？像是新的監管框架應該看起來如何？如果你公司內部沒有這些人類的監管框架，你已經努力建設良好的文化，建立一個关心做正確事情的團隊。如果不再是使公司具有道德的事情，還有哪些方法可以確保我們擁有監管框架？這看起來該是怎樣的？許多人一直在提及這一點。有這樣的概念，呃，AI 驅動的審計，這在 AGR 世界中，審計應該如何進行。AI 擁有比人類更大的優勢，當涉及到為審計帶來安慰時，它們可以不那麼偏見，還能沒有記憶。就像你同意作為公司讓 AI 對你進行審計，然後可以說嘿，如果你沒發現任何不當行為，如果在你的審計之後你決定我們並沒有做錯任何事情，就像我們聲稱的那樣，甚至可以有一個公共的使命聲明，AI 會確認，然後 AI 自行刪除，對全部的所有記錄等，這是一個相對於人類審計機構擁有的信息的大優勢，因為人類審計機構可能會帶走信息。對吧？目前已經有很多審計過程正在進行，因為法律原因、財務原因，例如你想要被認證為有機產品或其他。對吧？但是你必須讓別人進入你的公司進行審計，而這裡有風險，對吧？他們可能會帶走像 IP 一樣的東西，或可能會發現敏感資料，然後，像是這些與你想要經過審計的事情無關的東西，一切都有可能發生。

在啟動人工智慧創業之前請思考以下問題 [12:01]

將被一家企業或初創公司使用，以為該用戶建構一個代理。然後問題是，你能信任這個正在建造代理的初創公司嗎？對吧？這個他們為你開發的代理實際上是代表你行事嗎？如果這是一個以廣告為基礎的公司，而你正在使用這個代理尋找什麼新的鞋子品牌，對吧？那麼它會不會有偏見？會不會引導你朝一個你不想要的方向發展？但這可能是企業希望的。因此，我們該如何開始提這些問題呢？也許回到前一頁關於個人代理與專業代理的對比。我其實很在乎我正在使用的這個代理。我非常在乎它是否在代表我行事，對吧？如果它是秘密地代表我的公司運作，而且是在優化我的個人生活，這對公司來說更好，而不是我，那是非常可怕的。我認為隨著模型的能力越強，這種恐懼會越加增加。因此，我認為開始思考信任是重要的，對吧？我們如何在模型、代理以及建立這些代理的公司中灌輸信任？我認為最終這真的取決於你們的信任，或者對你們所建立公司的信任，對吧？一個用戶如何信任這樣一個正在建設這個產品的公司？特別是，今天我們已經有這些非常小的團隊，明天的團隊可能會更小。你可能會有類似半自動化的團隊。你怎麼能信任這個團隊？你可能會說，好吧，我不知道，我們信任今天的公司。今天我們信任公司的核心原因之一是，它們由多樣化的人組成。你可以在某種程度上信任，如果公司有合理的文化，如果CEO決定做一些不好的事情，那麼公司裡會有人舉手說：“不，我不支持這個。我會舉報。我會洩露這個。我會辭職。我會帶著很多人離開。我很生氣。我討厭這個。”對吧？沒有支撐公司的員工，這家公司就沒有產品。但在一個半自動化的世界裡，這已不再成立。一個人可能做出改變產品整體影響的決定，而可能沒有其他人知道這一切。

在啟動人工智慧創業之前請思考以下問題 [14:05]

除了他自己，沒有其他人可能意識到這一點。壞人做壞事的難度極低。如果你關注過矽谷的歷史或人類的歷史，事實上，絕大多數人是目標不一致的，對吧？尤其是當利益攸關時。因此，我認為這是一個非常重要的問題，事實上我們已經思考過這個問題。例如，許多大型企業因為這個原因而不信任初創公司。大型企業不信任初創公司的原因有很多。其中之一是他們擔心明天會倒閉，對吧？但小型初創企業做錯事情的可能性遠比大型企業大，對吧？這正是有時使小型初創企業成功的原因。我的意思是，這已經是企業心中所想的，但將來越來越會成為日常人們心中所想的事情。這讓我引出了下一個問題，那就是，我們該如何灌輸信任？一套新的防護措施需要長什麼樣子？如果你在公司內部沒有這些人類的防護措施，該公司努力構建良好的文化，並組建了一個關心做正確事情的人群。如果這不再是使公司具備道德的理由，那麼我們還能如何確保有防護措施？那樣的情況會是什麼？許多人對此提出了很多想法。有這樣的概念，即AI驅動的審核，在AGR世界中，一個審核應該長什麼樣子。人工智能在審核中相對於人類的一個巨大優勢是，它們可以更少地偏見，並且可以沒有記憶，舉例來說。如果作為一家公司，你同意讓AI對你進行審核，然後你可以說，嘿，如果你沒有發現任何不當行為，如果在你的審核後，你決定我們沒有做錯任何事情，跟我們所聲稱的那樣，或許可以有一個公開的使命聲明，讓AI來確認，然後AI就會自我刪除，對吧？所有的筆記等等都會被刪除，這對比於人類審核員能帶走信息來說是一個巨大的優勢。今天已經有很多審核正在發生，對於法律原因和財務原因，無論你想成為認證有機或其他什麼。但是你必須讓人們進入你的公司。

在啟動人工智慧創業之前請思考以下問題 [16:04]

你必須讓人進入你的公司並進行審計，但這樣有風險，對吧？他們可能會帶走像是 IP，或者可能會發現敏感的事情，然後像是這些與你想要經過審計的事情無關，而所有這些壞事都可能發生。所以，我認為 AI 可能給我們一個更強大的審計系統的潛力。呃，這可能是我們如何建立信任的一部分，如何讓人們信任我們以及我們正在構建的這些公司和產品。所以，這讓我想到下一個問題：我們應該這樣做嗎？像是你計劃要有的其他方法可以用於建立與用戶的信任嗎？呃，還是我們應該這樣做？是否僅僅做公開的承諾？公司經常會發表公開承諾，例如，“哦，我們在乎這些，我們在乎開放源代碼，我們關心對用戶做正確的事情”。但你真的願意讓這成為有約束力的聲明嗎？你真的真的願意為一個中立的仲裁者，如某個中立的 AI 驅動系統，來對你公司內發生的所有記錄進行審計，包括每一條 Slack 消息，確保實際上我們在做的決策符合公司的使命聲明，這將是很有約束力的。而且這看起來可能是我們需要建立信任的東西。關於對齊的相關問題，我經常思考對齊的問題，像是我們必須解決哪些對齊的部分，你知道，我們進行對齊的原因是因為控制問題。我們希望確保 AI 始終在人的控制之下。但我認為，未來 12 個月有一個極為重要的壓力問題，就是我們必須解決哪些對齊的部分，以使這些模型更具經濟可行性，對嗎？僅僅確保所有初創公司正在構建的代理，隨著它們的視野變得越來越長，我們可以實際信任這些代理，不會脫賴，對吧？如果你今天使用雲端代碼，當它為你工作大約五分鐘時，這是一回事，因為你將會檢查許多 Claude 所做的事情。但如果你打算信任一個 LLM 連工作一整天或一整周，而不進行干預，你最好對它不會完全失控有某種程度的確定性，對吧？所以，我認為這是一個巨大的開放性問題。我其實對於這個經濟壓力持積極的看法，這會在對齊方面推進，因為長期的代理需要這樣。然而，我認為解決多少和哪些方面的對齊問題仍然是一個開放性問題。

在啟動人工智慧創業之前請思考以下問題 [18:02]

有一點我想轉移一下話題，這是一個我們都可能認為已經有了答案的問題，那就是是否有一組數據可以給你帶來優勢。如果你回顧幾年之前的狀況，尤其是在邊界模型和 LLM 之前，假設不僅僅是猜想，實際上是定制數據是重要的。對吧？比如說，如果你想創辦 AI 初創企業，或者如果你是一家企業，試圖部署 AI，假如你擁有一個大型定制數據集合，那麼你就會獲得巨大的優勢。事實上，這曾經是獲得有用 AI 的唯一途徑，超過幾年前，方法為在你的定制數據集上訓練模型。而接下來很快，我們看到 LLM 變得極為強大和極為通用，實際上使用通用 LLM 比對定制數據進行訓練或微調要更好。現在我想這個問題或許是錯誤的。這是我的開放問題，也許在某些行業，比如材料科學可能不是這樣，像是一個 LLM 真的能做好材料科學，還是有專攻材料科學的公司擁有數十年的數據，能否做得更好？媽，我認為有可能，對吧？像 LLM 對於他們在互聯網上找到的所有東西都很出色，但它們是否能勝任那些潛在的知識，即在公司中鎖住的，而實際上並未流傳出來的信息呢？我想到像是 TSMC 或 ASML，對吧？像他們做出這些數十億美元的賭注，他們在保持所有內部知識的同時做到非常好。這些知識不會泄漏。邊界模型不知道如何建立尖端的半導體工廠。嗯，這是一個重要事實，對吧？而我認為如果你是一家初創企業，考慮在何處有防禦位置是，然後我會再多提到幾次。我認為這是需要牢記的重要問題。

在啟動人工智慧創業之前請思考以下問題 [20:05]

好吧，這是一個不同的策略。你們所有人可能都知道容量問題。每個人都在努力快速擴張。我認為來自消費者的需求，你的消費者可能會來自你的初創企業，想要極快的擴張，對吧？呃，也許我們想在接下來幾年內擴展 100 倍。那早於我們能擴展 GPU 生產速度。所以，我們該怎麼做？我認為有很多開放性問題，比如微調是否真的重要？我認為許多人已經放棄微調，並說實際上，我只會更好地管理上下文，或者在不同的小到大的模型之間更好地設置路由等等，對吧？所以我認為如果你對技術細節感興趣，這個地方可以在接下來的一到兩年中獲得競爭優勢，因為容量將真的非常重要。你知道，常常從產品的角度，我喜歡說：使其變得出色，然後讓它擴展。如果你已經開始著手擴展部分，這對你來說真的很重要，這能成為你能夠向競爭對手稍微超越的一些技術堡壘。儘管超越競爭對手實際上是種老鼠競賽，某種時候模型會變得更好，容量問題將會改善，然後這個優勢可能會消失。所以，你必須對於這個問題有更好的解答，像是你們的模式是什麼？你將如何保持領先？在一個後 AGI 的世界裡，什麼構成穩定的優勢？對吧？在兩年或三年內，如果我能夠只提示你知道的 Claude 7 或 GPT7 來複製你的初創企業，你的優勢將會是什麼？對吧？如果我是一個巨型公司，而我比你更有錢，我可以投入更多的 token 進去，那麼你真的會有穩定的優勢，還是你只會被巨型公司打趴下？我認為這是一個非常嚴肅的問題。即使在 AGI 之前，我喜歡處理難題。這對我來說就是發展模式。每個人的模式各不相同，有些人在營銷方面表現出色，不管怎麼樣，我喜歡解決艱難的問題。但是我考慮在後 AGI 的世界裡，當成為艱難的問題會是什麼。而且我認為許多事情，如 TSMC 或 ASML，都是最終會變得容易的艱難問題，隨著機器人技術等的進步。但機器人技術落後了。因此，我認為即使在兩年內，這些艱難的問題將依然存在。如果你願意去追求這些難題，像是如果你有膽量這樣做，那你就能擁有巨大的競爭優勢，對吧？那麼，這一組艱難的問題是什麼？你知道，基礎設施、能源、生產和晶片，還有其他什麼？這些是我腦海中的關鍵，但你對這個問題的答案是什麼？還有什麼事情仍將會是艱難且值得去做的？我對這個問題也考慮了很多。是否對於各種不同任務有一個智力上限？對吧？像你知道的，如果你看圖像生成的話，比如最近的 Veo3，與 videogen 合作，我現在可以被視頻所欺騙，像我的 Instagram 動態即將關於彈唱歌曲的共享貓的視頻變得多到充滿這些，我想，實際上這很棒。我喜歡這些視頻。呃，這在三個月前並不成立。對吧？但是它可以變得更好嗎？或是對於某個特定任務、某種特定用例有所上限嗎？就像，是的，這很好。我們已經達到了最佳。我們在寫詩方面的上限是什麼？我們在為拉取請求寫 git diff 的最佳表現是什麼？這是一個重要問題，因為如果有上限，則針對該任務的商品化將會更早達到上限，對吧？你其實無法通過移動到下一個模型來保持在最前沿，想辦法提示下一個模型，這一任務已經飽和了，對吧？因此，商品化的壓力將會更加激烈。所以我認為思考這一問題是很重要的。再次強調，我認為這將取決於任務和行業，有些事情也許並不會有上限，有些事情也許會。

在啟動人工智慧創業之前請思考以下問題 [22:12]

現在我有點轉變一下話題，我們是否會需要中立性？你知道，自從兩三年前聊天機器人體系誕生的那一刻起，人們對於拒絕的抱怨變得十分普遍。就像我要求模型做這樣的事情，但它卻拒絕了。如果我們最終依靠這些模型，這對社會來說是一個重大問題。對吧？將會只有少數幾家公司決定 AI 能為你做什麼什麼是可以的，什麼是不可以的。如果我們開始依賴 AI 來做所有事情，那麼這些公司將成為決定什麼東西的基準對吧？這極其重要。在 AI 中，甚至可能需要某種形式的中立性，如今與一些基礎設施的形式類似，對吧？電力基礎設施是中立的。像如果 GE 擁有所有電力網絡，而他們只允許我們的電力網絡接通必須是你承諾使用我們的烤麵包機。而其他的任何烤麵包機都不被允許在我們的電力網絡上使用。這將會是一個問題。呃，顯然，我們為此而奮鬥過，為此而失敗的戰役。那麼 AI 將會怎樣呢？我們需要 AI 的中立性嗎？token 的中立性？我不知道我們給它叫什麼。呃，我會在我的問題環節結束之前簡單總結一下。我有著無盡的問題，希望這些問題能刺激你們思考一下，不僅是這些問題，還有你們的問題。我想談談總是激勵我的一件事，關於硅谷的這個，這是一個令人尷尬的事情，你總是在諷刺性的程度上看，但實際上我認為這是非常棒的，那就是在硅谷，我們總是會說，你的初創公司在做什麼時，有人會說：哦，我試著改變世界。每個人都想要想得更遠，做大的事，到了最後卻發現只是一個貓分享應用，或者其他等等。但改變世界的願望娛仍然在。所以我認為初創企業的創始人真的說過我想要改變世界。我擔心的是，你知道，我一直處於 AI 的前沿，對此感到煩惱，而五年前，當我和某人談論 AI 時，他們會說：“你在說些什麼呢？你認為這些東西可能會殺死我們或者其他，這太瘋狂了。”現在當我與人交談時，知道我告訴他們發生的所有事情，他們明顯也知道，但我會說，“讓我給你一些更多的細節。”然後他們的工廠開始運轉，他們意識到我們即將經歷的事情是極其重要的，這會是改變我們整個人類的事情。他們這樣知道，這不是微妙的問題，對吧？我們第一次實際上在世界上引入一種第二種智慧，能夠匹敵人類，並最終超越人類的智慧，對吧？這顯然是極其重要的，對吧？但是，我讓很多人走到這個思考鍊的終點，然後你看到他們的齒輪開始運轉，然後他們問這個問題，就是好吧，我們如何利用這個賺錢。然後我對那個人非常失望。呃，我完全理解為什麼他們會問這個問題，對吧？你知道，世界上有很多恐懼。我認為對於我們所有人失去工作或無法建設出能再競爭的初創企業的恐懼，或者我們可能會在未來幾年裡永遠關上創建初創企業的門。誰知道，對吧？有很多恐懼。呃，我認為 AI 是可怕的，對吧？所以人們會開始想到，我現在需要賺錢。就像如果未來幾年經濟會根本不同，我無法保證我的位置，那我最好立即賺錢，對吧？我最好現在就留下自己的印記。因此，我認為這是完全可以理解的。呃，所以，實際上，我會說，是的，沒問題，像“好吧，讓我們集思廣益一下你下一家公司如何賺錢的點子。”或者如果你是投資者或員工，無論是什麼，讓我們集思廣益一下你的未來職業。因此我總是很高興幫助人們。但我也認為在那一刻，我們可能擁有最後一次改變的機會，能夠改變這世界。如果你正在創造一個產品，你需要利用這一刻，對吧？像這可能是你創造的最後一個產品。這可能是你創建的最後一家公司的機會。如果你正在一家公司內，則同樣適用。這可能是你在接下來幾年內產生影響的最後機會，即便是小的影響。因此如果你有你所關心的事，現在就是做的時機。我經常思考 YC，並且你知道標語的第一部分是 YC 的口號，建立人們需要的東西，對吧？這是我們都想要做的，而我認為實際上人們想要的東西往往是對整個社會有益的，但你需要更深入思考。我認為人們想要的不僅僅是能夠消費的東西。他們想要的是社會需要的東西。如果你建立了合適的東西，很多人會想要它。呃，作為結尾，我必須說，我知道這說了很多，我有時候對此感到壓力。呃，但我真的認為，作為創始人，或作為想成為創始人的人，我們擁有這一獨特的視角，我們以大多數人不會的方式考慮事情，對吧？這算是創始人的工作，尋找到邊際，這就是全部。我認為，在未來幾年之內，事情將極速變化，規則將在每六個月內改變，而你需要再重新考慮一次。對任何能夠保持在這些改變的前沿，理解這些變化如何影響這些問題以及我們所討論的其他問題，然後利用這些問題的答案驅動積極變化的人來說，如果有人能做到，那就是你們。正是那些關心思考這些事情並關心創造人們需要的東西的人。因此，我希望這正是你們所做的。呃，我也希望你們賺到錢。呃，趁機會賺錢。呃，謝謝你們的聆聽。我想我們有時間做一些問題。非常感謝你這場演講，我認為這可能是我今天聽過的最有根基的講座，特別是最後一點關於建立人們所需要的東西。我一直認為，在這樣的時刻，建立社會所需要的東西才是重要的。

在啟動人工智慧創業之前請思考以下問題 [24:16]

是的，所以我想詢問你的問題，想出這些問題之後，如何處理 AGI 和隨之而來的見解，你有沒有幾個資訊來源，激發你這樣做的來源，不論是人、播客、書籍等等？對你建立思維模型最有幫助的是什麼？ >> 嗯，這是一個很好的問題。我，我躊躇著不這麼說，但我真心的回答是 Twitter。我實際上是對於關注我的 Twitter 是很宗教式的。但，你知道，如果我看到某人我認為他們有好的看法，我就會關注他們。如果他們的看法是愚蠢的，我就會取消關注他們。嗯，我認為你真的需要成為你信息飲食的主人。不是因為我不擔心會受到不好的意見的影響，而是因為我根本沒有足夠的精力來消化新見解。因此，別僅僅為了同意你而擴大範圍，要最大化多樣性。對吧？我經常在強化學習的維度上思考，這有這樣的觀念，比如說多樣性，比如探索和利用。我希望你在你信息飲食的探索部分進行大量探索，然後再進行利用，就像創建一家公司那樣。

在啟動人工智慧創業之前請思考以下問題 [26:17]

嗨，謝謝你今天的精彩演講。 我有一個問題，像在 AGI 來臨的兩到三年內，傳統問題是如果我有幾個初創理念，我應該專注於什麼，我對沒有競爭的市場有專業的經驗，還是應該集中於我有熱情的地方？在 AGI 的時代，是否應該更多地思考什麼理念可以抵禦 AGI 的進攻？ >> 嗯，這是一組很好的問題。我認為即使在所有 AGI 之前，很多問題都是好問題。就我個人而言，如果你一旦進入一百小時的工作周，我並不關心你對於一個創意的熱情有多高，你最終都會討厭它。唯一能讓你持續下去的只有想要說明影響、對公司的承諾以及对創始人、合夥人和團隊的承諾，對吧？所以在你追求的領域中，對於你是否真的需要強烈的熱情，那真的重要嗎？我認為不重要。但我認為其他人會有不同的感受。所以這是一個個人問題。但我確實認為，影響導向是非常重要的，而不管你是否嘗試產生影響。我認為抵禦性在我看來確實是關鍵問題之一，對吧？我的意思是，這大概就是演講的一半，對吧？就是會發生什麼變化？還有，您正在構建的東西在接下來六個月內是否僅僅會成為一個一般的圓整誤差？我誠實地認為，在未來六到十八個月的範疇內確實有賺錢的機會。如果你只是在為增長進行優化，也許你不需要長期的抵禦性。但如果你想要建造的是能夠經受住時間考驗並成為這一過程的一部分，穿過我們奇特的時代，那我會說，對抵禦性思考得更深入，也許這是最重要的事。

在啟動人工智慧創業之前請思考以下問題 [28:26]

非常感謝你。 >> 是的，好問題。 >> 其中一些問題真的是令人費解的。我也一直在思考。我想問的問題是，我知道你試著將這保持開放，但你對金錢的價值的個人看法是什麼？你認為隨著商品和服務的成本降低，金錢會變得相對不那麼有價值，因為你知道一切都是免費的，還是因為我們能夠做更多的事情，它會變得更有價值？ >> 嗯，這是個很好的問題。是的，我認為會有一些政策決策會對此有很大影響，例如，我們需要某種形式的 UBI 還是更奇特的「普遍基本計算」？如果計算是主要驅動一切的事物，我們是否都有權享有某種形式的計算？這些都是開放的政策問題，將會對你的問題產生重大影響。我認為社會和我們的只是權限和制衡將改變。好吧，如果政府給每人發放 UBI，這會給政府帶來極大的權力，對吧？而如果不這麼做，呃，我認為我們可能最終會陷入一個世界，對吧？我們今天面對兩種主要的力量，資本和勞動，對吧？你知道，我不會說那些我不想與之合作的人的名字，但這世界上確實有我不想與之合作的人。很多人選擇不為那些人工作，對吧？這對這些人來說是一個巨大的打擊。對吧？但是到 AGI 到來之後，你就不需要勞動市場了，對吧？你不需要像我這樣的人來贊同你所構建的東西或道德觀等等，對吧？在這個世界裡，資本孕育著資本，而這種情況可能容易失控，對吧？我們已經有相當大的財富集中，這可能會真正失控。因此，我認為我們正處於進退兩難的境地，我不知道答案是什麼，但，我們的政策決策將對你提問時所問問題有巨大影響。

在啟動人工智慧創業之前請思考以下問題 [30:36]

是的，謝謝。 >> 嗨，喬丹，謝謝你抽出時間。 >> 嗯，我想問的問題是，你如何在個別用戶的層面上思考對齊，也許這對信任有多重要，特別是考慮到偏好隨時間演變，你不想一直重新訓練模型，尤其是當你有很多用戶的時候。 >> 是的，我的想法是，如同所有事物一樣，我一切都是從初創公司的角度來看待，而初創公司的座右銘是用戶不知道他們想要什麼，對吧？很大程度上這是事實。但是，我認為用戶仍然有價值觀，而你想要發掘這些價值觀並在某種程度上尊重它們。因此，我想到的是，你可能看到最近某 AI 供應商的聽話行為，如果你將兩個回應展示給用戶，而其中一個更迎合、而另一個則顯得更誠懇，然後用戶會選擇迎合的回應，對吧？這樣問的時候用戶會想，對，當然，問題是個偉大的問題，謝謝你的認可。但如果你一下子後退一步問，“嘿等等，這裡有兩個原則。你可以選擇 AI 遵循這個原則或那些原則。”第一原則是，我們永遠不會給你抹上煙霧。我們只會告訴你是否有某些想法真的是好的。另一个原则是，我们将不断地给你赞美。如你询问用户选择哪个原则，几乎每个人都会选择第一个，对吧？所以，我认为做用户想要的事情，你在要求他们的不同层级时会得到不同的答案。我认为这是非常重要的，因为人们可以通过以某种方式问这个问题来进行利用。我认为你需要真正问自己，问用户这个问题的正确方式是什么，以找到对他们来说最有意义的解决问题的方法。我不知道这是否帮到你。我稍微有点偏离话题了，但...

在啟動人工智慧創業之前請思考以下問題 [32:36]

这很有道理。非常感谢。 >> 很好。 有很棒的问题。 >> 感谢您的演讲，我真的很享受。看起来你非常重视批判性思维。所以我想知道一般大众和科技领域有什么看法，您不同意的观点是什么？ >> 我想告诉你的一条高层次的总体陈述，我很乐意讨论更多的事情，离线讨论。 我认为，尽管我们说我们这个行业是一个前瞻性行业，而我们是大胆的，我们喜欢承担风险，冒险看其他人看不到的东西， 但实际上，事实是我们行业中有严重的集体思维。对吧？我们所构建的产品、投资的风险投资等等。即使在今天，你对一群风险投资家说话，他们也是“哦，是的，我走在潮流之前，我在投资 AI。” 但我会说：“不，你已经落后两年了。”对吧？告诉我你认为未来两年内需要发生的事情。对吧？你有没有在问这些问题，像我现在需要投资什么，这样它在两年内会具有稳健性？但我几乎从不看到风险投资家问这个问题。但如果我是一名风险投资家，我并不是，我认为我的投资理论会是作为创始人的我的投资理论。就，我不知道这是否回答了你的问题，乐意继续交谈。

在啟動人工智慧創業之前請思考以下問題 [34:31]

你正在建設的東西，或是你的道德，或其他，對吧？在那個世界裡，資本會孕育資本。這很容易失控。我們已經有大量的財富集中。這可能真的會失控。因此，我認為我們處於一個進退兩難的局面，我不知道答案是什麼，但我認為我們做出的政策決策將對你提出的問題產生巨大的影響。>> 是的，謝謝。 >> 是的，好問題。 >> 嘿Jordan，非常感謝你的時間。 >> 嗯，我想問的問題是你如何看待在個體用戶層面上的對齊，這對於信任有多重要，尤其是在你知道偏好會隨著時間演變的情況下，你不想不停地重新訓練模型，尤其是當你有很多用戶的時候。是的，我的意思是，我認為一切都應從初創產品的觀點看待，對吧？初創公司的口號是用戶不知道他們想要什麼，我認為在很大程度上這是對的，但我認為用戶仍然有價值觀，你想發掘這些價值觀並在某種程度上尊重它們。因此，我認為我心中最關心的事情是，你知道你可能看到的是來自最近其他AI提供者的逢迎行為。我認為如果你面前擺著兩個回答，其中一個是更迎合的，另一個是充滿文飾的，技術上說，現在的年輕人可能這樣說，然後很多用戶會選擇迎合的回答，在那一刻他們會說：“是的，當然，我所提出的問題是一個很棒的問題，謝謝你認可它。”但我認為如果你退一步說：“等一下，這裡有兩個原則。”你可以選擇遵循這個原則的AI或這個原則，第一個原則是我們永遠不會給你虛假的承諾。只有在我真的認為某件事情是好的時候，我們才會告訴你。如果另一个原则实际上是，我们只会用花言巧语去迎合你。像我們要做的那样。如果你問用戶他們想要哪個原則，幾乎每個人都會選擇第一個，對吧？所以，我認為根據參與的不同層級，你滿足用戶的需求，會得出不一樣的答案。我認為這是非常重要的。

在啟動人工智慧創業之前請思考以下問題 [36:29]

我認為這是非常重要的，因為人們可以利用這一點來獲取自己的利益，只以某種方式問用戶問題，對吧？我認為你需要真正問自己，問用戶這個問題的正確方式是什麼，以便觸及對他們最重要的位置。我不知道這是否回答了你的問題。我有點偏題了，但>> 這很有道理，謝謝你。 >> 酷。非常好的問題。是的。 >> 謝謝你的演講，我真的很享受。對我來說，你似乎非常重視批判性思考。因此，我想知道一般群眾和科技領域的看法有什麼主題或意見是你不同意的？>> 我想我高層次的總體觀點是，我會告訴你，我很樂意在私下再聊。我認為儘管我們說我們的行業是一個向前看的行業，並且我們大膽並喜歡冒險，把一切都押上去，看看其他人看不到什麼。事實是我們當中有極大的集體思維。對吧？我們構建的產品、VC資金的分配等等，但即使是今天你與一堆VC談話，他們會說：“哦，是的，我走在時代的前面，我在投資AI。”我會說：“不，你已經落後兩年了。”對吧？你能告訴我你認為兩年後需要發生什麼事情？對吧？你是否在問這些類型的問題，例如：今天我需要投資什麼，這樣它在兩年內才能保持彈性？我幾乎從不見一位VC問這個問題。對我來說，如果我是VC（而我不是），那將是我的投資論點；作為創始人，那就是我的投資論點。我不知道這是否回答了你的問題，但很高興能夠繼續>> 謝謝。 >> 是的。酷。非常好的問題。是的。 >> 你提到信任將在未來成為一個愈加重要的問題。所以，你認為區塊鏈可能是解決方案的一部分嗎？謝謝。 >> 我會先說，我對區塊鏈是相當存疑的。我不知道。但即便如此，價格仍在上漲，而我還是拒絕購買它。對我來說，我確實認為，在這個需要信任的世界裡，是的，那是正確的想法，我們需要像這樣的觀點和其他的對吧？

在啟動人工智慧創業之前請思考以下問題 [38:32]

像是人工智慧驅動的審核，可以讓兩個不同的AI公司互相審核，對吧？我們如何能夠在建立信任的過程中達成某些地方？如果我們最終獲得某種形式的普遍基本收入或基本計算基本代幣，這是否需要通過區塊鏈進行中介，以便不僅僅是由中央政府主導？我認為這些都是合情合理的問題，或許我可以支持某些與區塊鏈相關的問題。好問題，謝謝。 >> 謝謝 >> 因為谷歌最近發布了一個HA協議，來標準化代理之間的通信，我們有稍微談論過代理的信任。>> 是的。 >> 因此，我很好奇，您會如何設想一個代理與代理之間的世界，這將如何影響應用程序，是否會有一個代理許可計劃？>> 嗯，我我覺得這是一個很好的問題。我可以整天討論這個，但我快沒時間了，所以也許我就舉一個例子，來說明這個問題不明顯的原因，但想想看，像一個負責幫你安排會議的個人助理代理，對吧？看起來沒有什麼，對吧？哦，是的，我只會查看此人的日曆，然後我會建議一些時間，對吧？但實際上, 你已經失去了成為好個人助理的機會，因為安排會議的方式牽涉到博弈論的組件影響。對吧？如果你過於自由地顯示可用的時間，那麼你就會傳達出這個人不忙的訊息，對吧？或者你傳達出有這個人和你安排會議是非常重要的。相對來說，若你說：“是啊，我很高興安排你和喬的會議，但這要推遲到兩週之後、三週之後了。”這裡，你就在表達一種權力動態。事實是所有這些博弈論的考量都很重要。一個好的助理，好的人體助理，明白所有這些情況，並遵從它們。然而，這一切都是隱性的，對吧？並沒有什麼具體的信息是代理擁有的，這是安全的重要部分。這更加微妙和語意化。因此，我認為這很難，但我認為這是一個很好的問題。謝謝。 >> 很酷。不幸的是，我認為時間快到了，但隨時可以在線上或 我不知道怎麼辦 我推特是Jordan Fisher，Jordan Ezra Fischer。

在啟動人工智慧創業之前請思考以下問題 [40:29]

喬丹·費舍爾，喬丹·艾茲拉·費舍爾。發個訊息給我。隨時樂意交談。感謝您提出的精彩問題，希望大家都能享受這次對話。