GM TO EVERYONE ☀️
ジェンセン・黄(Jensen Huang)が分散型AIトレーニングについて言及したとき、注目はすぐにBittensorに向かいました。
しかし、これはその前にすでに十分に研究されていました。
2025年6月、@0G_labsはarXivにDiLoCoX論文を公開し、分散ノード間での大規模モデル訓練がはるかに効率的であることを示しました。
彼らは、標準的なハードウェアと一般的なインターネットを用いて1000億以上のパラメータ訓練を行い、従来の方法と比較して通信効率を357倍向上させました。
また、よく見落とされがちな重要な違いもあります。Bittensorは特定の訓練済みネットワークに焦点を当てていますが、DiLoCoXはあらゆるモデルを訓練できるフレームワークとして設計されています。
さらに、計算、ストレージ、データの可用性、チェーンを組み合わせたより広範なスタックの一部でもあります。
次の目的地:2025年4月1日に開催されるEthCC Cannes 📍
原文表示