So läuft KI auf deinem PC - Quantisierung von LLMs erklärt

Episode von KI - kurz und informativ, Klartext "to Go" in unter 5 Minuten von Marc Benesch · 9. Juli 2026 · 6 min

Large Language Models (LLMs) wie GPT auf dem eigenen PC oder Smartphone laufen lassen? Ja, das geht!

Quantisierung ist eine Schlüsseltechnik, mit der das funktioniert. Damit können riesige KI-Modelle drastisch verkleinern lassen, ohne dabei komplett auf Qualität zu verzichten.

Du erfährst in der Folge:

Warum LLMs so viel Speicherplatz brauchen (und was FP32, FP16 und INT8 damit zu tun haben).

Wie Quantisierung den Speicherbedarf eines Modells

reduziert.

Was die Vor- und Nachteile sind und wie du dank Quantisierung, ein LLM theoretisch lokal auf deinem PC, Mac oder Home-Server betreiben könntest.

Weitere Episoden von „KI - kurz und informativ, Klartext "to Go" in unter 5 Minuten“

Alle Episoden von KI - kurz und informativ, Klartext "to Go" in unter 5 Minuten · Mehr Bildung-Podcasts