Google představil TurboQuant, průlomový kompresní algoritmus, který snižuje paměť key-value cache u AI modelů šestinásobně a přináší až osminásobné zrychlení na GPU H100 — to vše bez nutnosti přetrénování nebo dolaďování existujících modelů. Technika kvantizuje KV cache na pouhé 3 bity bez jakékoli ztráty přesnosti a může snížit náklady na podnikovou AI infrastrukturu o více než 50 %.
TurboQuant funguje ve dvou fázích: PolarQuant náhodně rotuje datové vektory a převádí je do polárních souřadnic, čímž odstraňuje nákladnou normalizaci. Následně QJL aplikuje 1bitovou opravu chyb a redukuje každou hodnotu na jediný znaménkový bit s minimální režií. Google testoval algoritmus na modelech Gemma, Mistral a Llama-3.1-8B s perfektními výsledky v benchmarcích needle-in-haystack a lepším vybavováním ve vektorovém vyhledávání oproti stávajícím metodám.
Oznámení okamžitě otřáslo polovodičovými trhy. Akcie hlavních výrobců paměťových čipů včetně Micronu, SK Hynix, Samsungu a Western Digital klesly poté, co analytici přehodnotili projekce poptávky po AI paměťových čipech. Google plánuje představit výsledky na konferencích ICLR 2026 a AISTATS 2026.
