183 - FreeToken

Episode von Prompt und Antwort von KI-Gilde · 31. August 2026 · 11 min

Ein Mixture-of-Experts-Modell mit 284 Milliarden Parametern rechnet je Token nur mit 13 Milliarden davon. Klingt sparsam — nur muss das ganze Modell trotzdem irgendwo liegen, und auf die Grafikkarte passt es nicht. Also wandern die Experten für jedes neue Wort über die PCI-Express-Leitung, und die Recheneinheiten warten die meiste Zeit auf Daten.

FreeToken dreht das um: Statt das Modell einmal fest auf Grafikkarte und Hauptprozessor zu verteilen, benutzt es die Grafikkarte als Cache für die gerade heißen Experten. In dieser Folge schauen wir uns an, wie das unter der Haube funktioniert — und was die Messwerte dazu sagen.

Die Bibliothek, aus der du immer nur drei Seiten brauchst — und warum eine feste Aufteilung des Modells zu über 50 Prozent am Bedarf vorbeigeht

Double Buffering beim Prefill: die Großküche, in der der Assistent die Zutaten für den nächsten Bon schon bereitlegt, während der Koch noch brät

Die Q-Star-Strategie beim Cache-Miss: Grafikkarte und Hauptprozessor teilen sich die fehlende Rechnung so, dass beide zur selben Millisekunde fertig sind

Ein eigenes Gewichtsformat, das das Umpacken beim Laden spart, und ein Cache, der im laufenden Betrieb wächst und schrumpft

Die Zahlen: von 58 auf 132 Token pro Sekunde, knapp 40 Token pro Sekunde auf einem Laptop mit 8 GB Grafikspeicher — und für wen sich das Ganze überhaupt lohnt

Die Stimmen in diesem Podcast sind künstlich erzeugt. Die Inhalte stammen von uns.

Weitere Episoden von „Prompt und Antwort“

Alle Episoden von Prompt und Antwort · Mehr Technologie-Podcasts