Google veröffentlicht TurboQuant-Algorithmus: 3-Bit-Quantisierung von KV-Cache ohne Genauigkeitsverlust, Inferenzgeschwindigkeit um bis zu 8-fach erhöht

Gate News Nachrichten, 25. März: Das Google Research Institute hat den quantitativen Komprimierungsalgorithmus TurboQuant veröffentlicht, der die KV-Caches großer Sprachmodelle auf 3 Bit komprimieren kann. Der Speicherverbrauch wird mindestens um das Sechsfache reduziert, ohne dass Training oder Feinabstimmung erforderlich sind und ohne Verlust der Modellgenauigkeit. Im 4-Bit-Modus ist die Berechnung der Aufmerksamkeit auf NVIDIA H100 GPUs bis zu achtmal schneller als die unquantisierte 32-Bit-Baseline. Das Forscherteam hat die Wirksamkeit auf LongBench, Needle In A Haystack, ZeroSCROLLS und anderen Benchmark-Datensätzen mit den Modellen Gemma und Mistral bestätigt. TurboQuant erzielt in allen Tests die besten Ergebnisse. Der Algorithmus besteht aus zwei Unteralgorithmen: PolarQuant, das durch eine Polarkoordinatentransformation den Speicherbedarf traditioneller Quantisierungsmethoden eliminiert, und QJL, das nur 1 Bit verwendet, um verbleibende Fehler zu korrigieren. Die Studie wurde von Amir Zandieh vom Google Research Institute und Vahab Mirrokni, Vice President und Google Fellow, geleitet, in Zusammenarbeit mit KAIST in Südkorea und der New York University. Die Veröffentlichung ist für ICLR 2026 geplant. Google betont, dass eine der Hauptanwendungen dieser Technik die Lösung des KV-Cache-Flaschenhalses bei Modellen wie Gemini ist.