#05 - Kleine Modelle, große Wirkung

Episode von Lokale KI – kurz erklärt von JULITH GmbH · 27. Oktober 2026 · 7 min

Ein Modell mit vier Milliarden Parametern läuft auf jedem Laptop – und ist so gut wie ein Modell, das vor zwei Jahren noch achtzehnmal so groß war. In Folge 5 geht es darum, warum kleine Sprachmodelle so stark geworden sind, für welche Aufgaben sie reichen und wo sie an Grenzen stoßen. Dazu der Größen-Test für Ihre eigenen Aufgaben.

Der Größen-Test

Gleiche drei Aufgaben (eine E-Mail, eine Zusammenfassung, eine Fachfrage) mit qwen3:4b, gemma4:12b und qwen3.8:27b – das kleinste Modell, das besteht, gewinnt.

Die Tempo-Werte in der Folge sind eigene Abschätzungen, keine Messungen.

Grafik zur Folge: Tempo auf gleicher Hardware

Kapitel

00:00 Cold Open · 00:28 Begrüßung · 00:57 Was ein kleines Modell ist · 02:04 Warum kleine Modelle so gut geworden sind · 03:32 Wofür kleine Modelle reichen · 04:37 Wo sie an Grenzen stoßen · 05:23 Praxis-Tipp: Der Größen-Test · 06:03 Ausblick auf #06

Links und Quellen

Qwen3: Qwen3-4B auf dem Niveau von Qwen2.5-72B-Instruct

Small Language Models in 2026: 10 to Know (Turing Post)

NVIDIA DGX Spark: 273 GB/s Speicherbandbreite

Ollama-Bibliothek: neueste Modelle

Weitere Episoden von „Lokale KI – kurz erklärt“

Über den Podcast

Lokale KI – kurz erklärt ist der Podcast für alle, die künstliche Intelligenz im eigenen Unternehmen betreiben wollen – auf eigener Hardware, unter eigener Kontrolle, DSGVO-konform. Jeden Dienstag erklärt Thomas RIEHN, Geschäftsführer der JULITH GmbH, in wenigen Minuten ein Thema rund um lokale…

Lokale KI – kurz erklärt

Ähnliche Episoden

Alle Episoden von Lokale KI – kurz erklärt · Mehr Technologie-Podcasts