沒想到，打開AI黑盒這件事，可能還要靠AI自己來實現了。

【資料圖】

OpenAI的最新研究來了一波大膽嘗試：

讓GPT-4去解釋GPT-2的行為模式。

結果顯示，超過1000個神經元的解釋得分在0.8以上——也就是說GPT-4能理解這些神經元。

要知道，“AI黑箱難題”長期以來是一個熱議話題，尤其是大語言模型領域，人類對其內部工作原理的理解還非常有限，這種“不透明化”也進一步引發了人類對AI的諸多擔憂。

目前推進AI可解釋性研究的一個簡單辦法，就是逐個分析大模型中的神經元，手動檢查以確定它們各自所代表的數據特征。

但對于規模已經達到百億、千億級別的大規模神經網絡來說，工作量和工作難度就都漲了億點點吧。

由此，OpenAI的研究人員想到，干嘛不讓AI去自動化搞定這個大工程？

在這項最新的研究中，他們將GPT-4打造成了一個理解AI行為模式的工具，把GPT-2超過30萬個神經單元都解釋了一遍，并和實際情況比對進行評分。

最終生成的解釋數據集和工具代碼，已對外開源。

研究人員表示：未來，這種AI工具可能在改善LLM性能上發揮巨大作用，比如減少AI偏見和有害輸出。

解釋接近人類水平

具體來看，整個研究的步驟可以分為三步。

第一步，先給GPT-4一段文本，并展示GPT-2在理解這段文本時激活的神經元情況。

然后讓GPT-4來解釋，這段文本中神經元的激活情況。

比如示例中給出了一段漫威復聯的文本，GPT-4分析的激活神經元為：

電影、角色和娛樂

第二步，讓GPT-4開始模擬，這些被解釋的神經元接下來會做什么。

GPT-4給出了一段內容。

第三步，讓GPT-2真實的神經元激活來生成結果，然后和GPT-4模擬的結果進行比對，研究人員會對此打分。

在博客給出的示例中，GPT-4的得分為0.34.

使用這個辦法，研究人員讓GPT-4解釋了GPT-2一共307200個神經元。

OpenAI表示，使用這一基準，AI解釋的分數能接近人類水平。

從總體結果來看，GPT-4在少數情況下的解釋得分很高，在0.8分以上。

他們還發現，不同層神經元被激活的情況，更高層的會更抽象。

此外，團隊還總結了如下幾點結論：

如果讓GPT-4重復解釋，它的得分能更高

如果使用更強大的模型來解釋，得分也會上升

用不同的激活函數訓練模型，能提高解釋分數

總結來看就是，雖然GPT-4目前的表現一般，但是這個方法和思路的提升空間還有很大。

團隊也強調，現在在GPT-2上的表現都不太好，如果換成更大、更復雜的模型，表現也會比較堪憂。

同時這種模式也能適用于聯網的LLM，研究人員認為可以通過簡單調整，來弄清楚神經元如何決策搜索內容和訪問的網站。

此外他們還表示，在創建這個解釋系統時并沒有考慮商業化問題，理論上除了GPT-4，其他LLM也能實現類似效果。

接下來，他們打算解決研究中的這幾個問題：

AI神經元行為十分復雜，但GPT-4給的解釋非常簡單，所以有些復雜行為還無法解釋；

希望最終自動找到并解釋復雜的整個神經回路，神經元和注意力頭一起工作；

目前只解釋了神經元的行為，但沒解釋行為背后的機制；

整個過程算力消耗巨大。

網友：快進到AI創造AI

意料之中，這項研究馬上在網絡上引發熱議。

大家的腦洞畫風be like：“AI教人類理解AI?！?/p>

“AI教人類關掉AI中存在風險的神經元?！?/p>

還有人開始暢想，AI理解AI會快速發展為AI訓練AI（已經開始了），然后再過不久就是AI創造新的AI了。

當然這也引發了不少擔憂，畢竟GPT-4本身不還是個黑盒嘛。

人類拿著自己不理解的東西，讓它解釋另一個自己不理解的東西，這個風險emm……

這項研究由OpenAI負責對齊的團隊提出。

他們表示，這部分工作是他們對齊研究的第三大支柱的一部分：

我們想要實現自動化對齊。這種想法一個值得思考的方面是，它可能隨著AI的發展而擴展更多。隨著未來AI模型變得越來越智能，我們也能找到對AI更好的解釋。

編輯/lambor