Google TurboQuant на AMD-видеокартах: тесты подтверждают эффективность сжатия KV-кеши до 3 бит

Практические испытания алгоритма Google TurboQuant на GPU AMD показали, что сжатие KV-кеша больших языковых моделей до 3 бит позволяет реализовать контекст в 256 тысяч токенов, однако метод требует применения патчей и сопряжен с потерей точности при генерации. Несмотря на необходимость модификаций, технология демонстрирует работоспособность, позволяя уместить модели, превышающие объем видеопамяти, в доступные 32 ГБ VRAM.

Перевод ИИ

Текст статьи доступен на языке оригинала.

Нажмите кнопку «Перевести статью» выше, чтобы сгенерировать перевод с помощью ИИ.

Оригинальный контент

Источник

Googles TurboQuant-Verfahren: Praxistest auf einer AMD-GPU Googles TurboQuant komprimiert den KV-Cache großer Sprachmodelle auf 3 Bit. Tests auf einer AMD-Karte zeigen: Das Kernversprechen stimmt — mit Nebeneffekten. - Kai Bennett Wer Gemma-4-31B auf einer GPU mit 32 GByte VRAM startet, rechnet auf den ersten Blick nicht mit Platzproblemen. Das Modell belegt in der Q4-Quantisierung mit rund 17 GByte gut die Hälfte des Grafikspeichers. Allerdings fehlt hier noch der Kontext. Ein Sprachmodell erzeugt seinen Antworttext Token für Token und sagt dabei immer nur das jeweils nächste voraus; diese Phase heißt Decode, das anfängliche Einlesen des Prompts Prefill. Damit es die vorherigen Token nicht bei jedem Schritt neu durchrechnen muss, speichert es deren Key- und Value-Vektoren zwischen. Das ist der KV-Cache, und seine Größe ist abhängig von der Kontextlänge. - Googles TurboQuant-Verfahren verspricht Speicherquantisierung ohne Genauigkeitsverluste. - Auf AMD-GPUs ist es grundsätzlich verwendbar, erfordert jedoch Aufwand. - Um TurboQuant-KV und die HIP Graphs der GPU gemeinsam zum Laufen zu bringen, war ein Patch notwendig, der mittlerweile in llama-cpp-turboquant eingeflossen ist. - In der Praxis ergibt sich eine einfache Wahl: q8_0/turbo4 bietet die höchste Treue und fehlerfreies Retrieval bei einer Kontextlänge von 128.000 Token. - turbo3 für Keys und Values ermöglicht einen vollen 256K-Token-Kontext und einen schnellen Long Context Decode, kommt aber mit einem hohen Per-Token-Drift. Allerdings reserviert llama.ccp schon beim Laden Speicher für die volle eingestellte Kontextlänge. Eine Konfiguration mit 256.000 Token belegt im voreingestellten unkomprimierten Cache mit 16-Bit-Fießkommazahlen (f16) gut 40 GByte. Das übersteigt den Platz auf der GPU, und das Betriebssystem lagert einen Teil des Cache in den geteilten GPU-Speicher aus, also ins System-RAM. Darauf greift die GPU über den PCIe-Bus zu; der liefert aber nur einen Bruchteil der Bandbreite des lokalen Grafikspeichers (rund 60 gegenüber 640 Gigabyte pro Sekunde). Sobald das Modell den ausgelagerten Teil lesen muss, bricht die Generierungsgeschwindigkeit stark ein. Die Modellgewichte nutzt man lange schon in komprimierter Form. Auch der KV-Cache lässt sich quantisieren, in llama.cpp bis hinunter zu 4 Bit, wobei sich Keys und Values getrennt und sogar unterschiedlich stark komprimieren lassen. Beim Laden mit reserviertem 256.000-Token-Kontext passen die quantisierten Varianten auf die Karte: q4_0, llama.cpps 4-Bit-Format, belegt rund 24,8 GByte. Googles Verfahren TurboQuant komprimiert den KV-Cache großer Sprachmodelle auf 3 Bit, nach Herstellerangaben fast ohne Qualitätsverlust. Damit belegt Gemma-4-31B 23,4 GByte. Das war die Leseprobe unseres heise-Plus-Artikels "Googles TurboQuant-Verfahren: Praxistest auf einer AMD-GPU". Mit einem heise-Plus-Abo können Sie den ganzen Artikel lesen.