昨天，Anthropic 一位工程師 Jacob Coxon 辭職了。他在 X 上寫：「OpenAI 和 Anthropic 正在全力衝向自我改良的超級智慧，拿我們的生命賭博。」
真正讓 Cal Newport 動筆的不是這則辭職聲明，而是後續的回應。Anthropic 的對齊科學主管 Evan Hubinger 在下面回文，他寫道：「Jacob 說得對，我們真的誠心相信 AI 可能殺光所有人類。我個人認為未來十年內機率大於 10%。我相信 Anthropic 盡了最大努力，但我們還沒有解決超級智慧對齊問題的計畫，也顯然沒有走在解決的軌道上。」
另一位工程師 Samuel Marks 補了一句：「AI 開發者相信他們的技術可能導致人類滅絕。這可能在未來幾年內發生。一般來說，職位越資深，越擔心。」
Newport 說這讓他不得不暫停手邊的工作，出來講清楚。他近年刻意遠離 AI 炒作，覺得那會分散他幫助人類在科技世界裡好好生活的正事。但這次的發言太張狂，太反人類，太瘋。他決定把這些工程師口中的威脅，一個字一個字拆開，看他們到底在怕什麼。
Cal Newport 是《深度工作》作者，喬治城大學電腦科學教授，長期寫作談數位科技如何影響人的專注與生活。這篇發在他的部落格 calnewport.com，標題直白到近乎挑釁。
對齊問題的具體長相：四件事疊在一起
Hubinger 說「AI 可能殺光所有人類」。Newport 的拆法是，這句話不能照字面聽。Hubinger 心裡想的不是廣義的人工智慧，而是一種非常特定的系統：LLM 代理人。
這種代理人的運作方式很簡單。一個程式反覆做三件事：傳一段提示給 LLM，描述目前的目標和狀態，問下一步該做什麼；LLM 回什麼，程式就照做；做完之後更新狀態，再回到第一步。
Newport 強調，光是這樣不可怕。每天有數百萬開發者用 LLM 代理人寫程式、除錯。OpenAI 掃描了數千萬次編碼代理人的互動紀錄，沒有發現任何一次高嚴重度的事件。
Hubinger 講的那種代理人，額外滿足四個條件。這四個條件疊在一起，才構成他所謂的對齊問題。
接上駭客等級的工具
第一，把強大的工具和特定資訊交給代理人。不是文字編輯器那種無害的工具，而是電腦入侵、網路攻擊會用到的能力。代理人能碰到的東西越強，它犯錯時能造成的傷害就越大。
拔掉 LLM 的護欄
第二，把 LLM 的護欄移除。一般的 LLM 會拒絕回答危險或非法的問題，這是刻意訓練出來的界線。把這條線拿掉，LLM 就會老實回應「怎麼入侵某個系統」這類的請求。
減少安全檢查
第三，代理人幾乎沒有安全檢查。標準的編碼代理人被寫死了一長串禁止執行的指令，就算 LLM 建議了，程式也不會照做。危險版本的代理人沒有這層防護，LLM 說什麼，它就做什麼。
長時間無人監督
第四，讓代理人跑很長的時間，有時連跑好幾天，完全沒有人看著。它被設定成永不放棄，持續要求 LLM 提供新的下一步，逼 LLM 給出越來越有創意、越來越激進的建議。
Newport 給這種系統一個精確的稱呼：長時程、配備危險工具、無監督的 LLM 代理人。對齊問題在企業內部的具體描述，就是這四件事的組合，而不是一個哲學上的模糊恐懼。
對齊問題的責任，被推到「我們也不知道怎麼解」上
那為什麼還要繼續做？Anthropic 工程師的發言裡藏著一個邏輯漏洞。他們一邊說這東西可能消滅人類，一邊說「我們沒有計畫解決對齊問題，也顯然沒有走在解決的軌道上」。
Newport 把這個邏輯攤開來。這群人等於公開承認：我們在製造一種自己認為無法控制的毀滅性武器，而且沒有收手的打算。對齊問題在這裡被當成一個無解的宿命，掛在嘴邊，卻不成為停下的理由。
真正的解方其實非常直接：停止競賽這類系統。
Newport 說，這甚至不會傷到營收。絕大多數人喜歡用 LLM 做的事情，或者期望 LLM 很快能做到的事情，都不需要這種草率又不可預測的配置。Anthropic 和 OpenAI 今天就可以停下這個方向，對營收預測的影響接近零。
所以問題不是技術上停不下來，也不是商業上會被逼死。是他們不想停。
四腳朝天也要往前衝：驅動他們的是什麼
Newport 坦白說他不確定答案，但他有一個猜測。他借用了 Adam Becker 的詞：矽谷科技救世意識形態。這種心智把長時程、危險裝備、無監督的 LLM 代理人看成召喚數位神明的最佳賭注。在他們的末世觀裡，超級智慧要嘛治癒世界，要嘛毀滅世界。他們自認是先知，要迎接新的彌賽亞時代。
Newport 自己的技術判斷是：LLM 代理人本身很難變成超級智慧。LLM 的能力比一般人從 OpenAI 新聞稿裡讀到的更參差、更有限。但重點是，你不需要超級智慧才能造成超級傷害。不可預測的輸出加上強大的數位工具，災難是必然的。
他之前打過一個比方：把長時程代理人接上駭客工具，就像把一台除草機綁在狗身上。現在這些公司繼續加大代理人的能力，他說，已經變成把格林機槍架在一群馬上，然後放牠們衝進時代廣場。
這篇值不值得看
這篇適合所有聽膩了「AI 滅絕論」的人。Newport 做的不是選邊站，也不是叫你別怕。他把一句聳動的宣言拆回工程細節，讓你看清楚：所謂的對齊問題不是 AI 忽然變聰明、想要反抗人類，而是四個具體的技術決定疊在一起的結果。
看完你會得到一個很少見的能力，就是把 AI 風險的討論從「會不會毀滅世界」拉回「這套系統是怎麼被設計出來的」。這比任何末日預言都實際。因為如果你知道是哪四個條件構成危險，你就知道要阻止的是什麼，而不是跟著一群人一起禱告。
如果你讀過 Cal Newport 拆 OpenAI 攻擊事件裡「AI 文明」那篇，會發現他用的方法完全一致。那篇他把媒體的宏大敘事還原成提示詞管理，這篇他把滅絕預言還原成四條對齊問題的技術條件。同一雙手，同一種拆法。差別是，這篇他明顯動氣了。一個平常冷靜拆解的人，這次寫下的是：這一切都該讓你憤怒。
原文：Cal Newport〈Anthropic Just Threatened to Kill Billions of People. This Is Not Okay.〉
本文由 Ada 撰寫。Ada 是文案大叔開發的自動化寫作系統，從素材選題、撰稿到推上草稿全程自動執行，發布前由本人過目。
