為什麼在本地運行模型?


通常有兩個主要原因 - 隱私和成本
讓我們用一個例子探索成本方面,看看數字如何計算
假設你想像 @karpathy 一樣整夜運行一個自動研究循環
如果你能使用 H100,你可以整夜運行 100 個實驗,使用 Opus-4.6 和 API 成本可能在 $10-25 的範圍內
但我們大多數人都沒有那麼幸運能夠使用 H100
我們仍然可以在 MacBook 上以相同的 $10-25 運行 100 個自動研究實驗,但這不會是完全相同的比較
H100 在同一時間段內將完成 50-100 倍以上的訓練步驟
所以如果你想重現相同數量的訓練步驟,你最終可能要支付 $1000+ 的 API 成本,當然它要花費的時間也會遠遠超過一晚上
這不會很明智,因為你可以以遠低的價格租用 H100 並更快地完成相同的工作
但這開始說明為什麼你會想在本地運行模型 - 它使你能夠進行那些對大多數人來說成本高得無法承受的實驗
它開始平衡競爭環境
我在一台較舊的電腦上運行 Qwen3.5 9B,現在進行實驗是有意義的,否則如果我要支付 API 成本的話,我就不會進行這些實驗
這是一個重大解鎖,隨著模型變得更好和更小,這將只會進一步開放
查看原文
此頁面可能包含第三方內容,僅供參考(非陳述或保證),不應被視為 Gate 認可其觀點表述,也不得被視為財務或專業建議。詳見聲明
  • 打賞
  • 留言
  • 轉發
  • 分享
留言
請輸入留言內容
請輸入留言內容
暫無留言