NFTWealthCreator
兩篇研究論文,不同角度卻指向同一個問題——什麼是concept?
想像語言存在於二維座標系。X軸是時間維度,詞彙隨著時間流動被組織成句子。Y軸是意義維度,我們之所以選擇某個詞而不是另一個,背後是意義的驅動。
最近SAEs系列的研究成果很有意思,它揭示了神經網絡模型在Y軸上是如何運作的——模型學會了提取和表達具有明確語義的概念特徵。換句話說,模型的計算過程中存在某些"節點",它們對應的不是隨意的神經激活,而是有具體含義的概念表達。這意味著意義在深度學習模型內部是可以被分解、可以被觀察的。
查看原文想像語言存在於二維座標系。X軸是時間維度,詞彙隨著時間流動被組織成句子。Y軸是意義維度,我們之所以選擇某個詞而不是另一個,背後是意義的驅動。
最近SAEs系列的研究成果很有意思,它揭示了神經網絡模型在Y軸上是如何運作的——模型學會了提取和表達具有明確語義的概念特徵。換句話說,模型的計算過程中存在某些"節點",它們對應的不是隨意的神經激活,而是有具體含義的概念表達。這意味著意義在深度學習模型內部是可以被分解、可以被觀察的。