Google releases TurboQuant algorithm: 3-bit KV cache quantization with no precision loss, inference speed boosted up to 8 times

Gate Newsの報告によると、2023年3月25日、Googleリサーチは量子圧縮アルゴリズムTurboQuantを発表しました。これにより、大規模言語モデルのKVキャッシュを3ビットに圧縮でき、メモリ使用量を少なくとも6倍削減します。訓練や微調整は不要で、モデルの精度も損ないません。4ビットモードでは、NVIDIA H100 GPU上での注意力計算速度が32ビット未量子化の基準と比べて最大8倍向上します。研究チームはLongBench、Needle In A Haystack、ZeroSCROLLSなどの長文コンテキストベンチマークでGemmaやMistralモデルを用いて検証し、TurboQuantはすべてのテストで最良の結果を示しました。このアルゴリズムは二つのサブアルゴリズムから構成されます。PolarQuantは極座標変換を用いて従来の量子化手法のメモリ負荷を排除し、QJLは1ビットだけで残留誤差を補正します。この研究はGoogleリサーチのAmir Zandiehと副社長兼GoogleフェローのVahab Mirrokniが主導し、韓国KAISTやニューヨーク大学と協力して行われ、2026年のICLRで発表される予定です。Googleは、この技術の主要な応用の一つとして、GeminiなどのモデルのKVキャッシュのボトルネック解消を挙げています。

免責事項:このページの情報は第三者から提供される場合があり、Gateの見解または意見を代表するものではありません。このページに表示される内容は参考情報のみであり、いかなる金融、投資、または法律上の助言を構成するものではありません。Gateは情報の正確性または完全性を保証せず、当該情報の利用に起因するいかなる損失についても責任を負いません。仮想資産への投資は高いリスクを伴い、大きな価格変動の影響を受けます。投資元本の全額を失う可能性があります。関連するリスクを十分に理解したうえで、ご自身の財務状況およびリスク許容度に基づき慎重に判断してください。詳細は免責事項をご参照ください。

関連記事

ステーブルコインが中核的な金融インフラとして台頭、ローカライズ傾向が加速:a16zレポート

ゲートニュースメッセージ、4月26日—a16zの暗号研究者ロバート・ハケット氏とジェレミー・チャン氏によるレポートによれば、ステーブルコインは初期段階の取引インストゥルメントおよび貯蓄ビークルから、主要な金融インフラへと進化している。米国のGENIUS法は

GateNews2時間前

米国に設置された世界の暗号資産(クリプト)ATMの79%

ゲートニュース、4月25日—Cointelegraphによると、世界の暗号資産(クリプト)ATMの79%は米国に設置されています。

GateNews10時間前

JPモルガンETFトレンドレポート:API化、自動運用が83%、トークン化は合成とネイティブの2つのパスに分かれる

JPMorgan(モルガン・スタンレー)レポートでは3つの主要なトレンドを指摘しています。1つ目:APのAPI自動化取引が一級市場の流量の約50%を占める。2つ目:2025年のアクティブ型ETFは新規発行の83%を占め、2026〜27年には主流になる見込み。3つ目:トークン化は、合成型(デリバティブで価格をミラーリングする)とネイティブ型(ブロックチェーンで発行する)の2つのルートに分かれる。レポートは、Athenaなどのツールで透明性とガバナンスを高めることを強調し、今後の追随と正式な商品化のスケジュールを観察している。

ChainNewsAbmedia13時間前

a16zレポート:ステーブルコインはQ1の取引で$4.5Tに到達、ローカル決済へシフト

ゲートニュース、4月25日――新しいa16zレポートによると、ステーブルコインは暗号資産の決済ツールからグローバルな金融インフラへと進化しており、アジア、ブラジル、その他の新興市場で導入が加速しています。注目点の転換は、規制の明確化とブロックチェーン性能の向上により、より幅広い現実世界での統合が可能になったことで、国境を越えた取引からローカル決済へと移っています。

GateNews19時間前

Kelp DAO の脆弱性救済:Mantle は擬似レンディングでAaveに3万ETH、DeFi連合は43,500ETH超を約束

Kelp DAO クロスチェーンブリッジがハッキングされた後、DeFi United は Aave などのプロトコルを結集し、債務不履行の救済に 43,500 ETH(約 1.01 億米ドル)を使用することを約束した。Mantle は MIP-34 を提出し、最大 30,000 ETH を Aave DAO に貸し出し、130,000 AAVE の議決権を付与する;Stani Kulechov は個人として 5,000 ETH を出資し、Lido 等も同様に出資した。この取り組みは、危機下における「融資とガバナンス権の交換」実験と見なされており、投票待ちだ。

ChainNewsAbmedia04-24 15:28

モルガン・スタンレーがGENIUS Act準拠ステーブルコイン準備金ファンドの初号「MSNXX」を発表:年会費0.15%、最低投資額1,000万米ドル

モルガン・スタンレー・インベストメント・マネジメントは本日、MSNXX ステーブルコイン準備金ファンドを立ち上げ、ステーブルコイン発行体に対して資産運用を提供します。このファンドの資産投資は、現金、93日米国財務省証券、および翌日物レポで行われます。NAVは固定で1.00ドル、年会費は0.15%、最低出資基準は1000万ドルです。このファンドは GENIUS Act の要件を満たし、ステーブルコイン資金を米国政府マネーマーケットファンド体系に組み入れます。ステーブルコインの基盤インフラが伝統的な金融に接続されていることを示しています。

ChainNewsAbmedia04-24 15:24
コメント
0/400
コメントなし