Moonshot AI 27. července zveřejní kompletní soubory vah modelu Kimi K3, čímž se stane největším kdy vydaným AI modelem s otevřenými váhami. Model, který byl přes API spuštěn 16. července, obsahuje 2,8 bilionu parametrů v architektuře mixture-of-experts, přičemž na jeden token se aktivuje jen 16 z 896 expertů — přibližně 50 miliard aktivních parametrů na krok.
Vydání má ale háček: při čtyřbitové kvantizaci MXFP4 dosahují váhy zhruba 1,4 terabajtu, takže k pouhému uložení modelu do paměti — ještě před zpracováním jakéhokoli vstupu — je potřeba přibližně osmnáct 80gigabajtových akcelerátorů nebo odpovídající hardware. Kimi K3 také přináší vlastní mechanismus pozornosti nazvaný Kimi Delta Attention, který podle Moonshotu umožňuje až 6,3krát rychlejší dekódování oproti standardním přístupům, spolu s kontextovým oknem o velikosti 1 milionu tokenů.
V nezávislých testech se Kimi K3 umístil na 4. místě v žebříčku Artificial Analysis Intelligence Index mezi 189 testovanými modely a na 1. místě v žebříčku Frontend Code Arena v testech se zaslepenými vývojáři. Moonshot zatím nezveřejnil licenci, se kterou budou váhy vydány, takže možnost komerčního využití zůstává nepotvrzená. Vydání korunuje nabitý týden AI modelů s otevřenými váhami po stabilním vydání DeepSeek V4 24. července.