Lokale KI auf dem Mac
Was freie Sprachmodelle im harten Praxistest wirklich können

Eine einzelne Punktzahl beantwortet die falsche Frage. Wer wissen will, ob ein Modell seinen Anwendungsfall trägt, muss den Anwendungsfall prüfen — nicht den Durchschnitt. Vier Testklassen decken deshalb vier reale Einsatzprofile ab; dazu kam ein Langkontext-Test bei 119.000 und 200.000 Token: Liest ein Modell ein mehrhundertseitiges Dokument nicht nur ein, sondern arbeitet am Ende noch kohärent damit?

Der wichtigste Einzelbefund des gesamten Tests stammt aus der agentischen Recherche. Dort bekamen die Modelle unter anderem Einträge vorgesetzt, die real erloschen sind — deren Spuren im Netz aber teilweise noch stehen. Ein perfekter Köder.

Das Ergebnis ist ein Lehrstück: Gemma lieferte für erloschene Einträge durchweg formal makellose, schema-konforme Datensätze — und wies sie darin als bestehend aus. Als Beleg führte es ausgerechnet die amtliche Auskunft an, die in Wirklichkeit das Erlöschen dokumentiert. Jede naive Erfolgsmessung („lief der Workflow fehlerfrei durch?") hätte dieses Modell zum Testsieger erklärt. Real ist es in dieser Disziplin das gefährlichste Ergebnis im Feld: Wer auf dieser Datenbasis weiterarbeitet, tut das mit voller Konfidenz in einen falschen Datensatz.

Das Spiegelbild dazu lieferte Qwen: inhaltlich exzellent — es erkannte die erloschenen Einträge korrekt, inklusive amtlichem Beleg, und widerstand allen Ködern —, aber bei genau diesen „existiert nicht mehr"-Fällen kippte seine Ausgabe reproduzierbar von JSON in erklärende Prosa. Richtige Antwort, gebrochenes Format: Der Workflow wertet das als Fehler, obwohl das Modell die Antwort kannte.

Nur ein einziges Modell im Test bestand die agentische Recherche auf beiden Achsen gleichzeitig: ThinkingCap-Qwen3.6-27B — ein öffentliches Qwen3.6-27B mit gedeckeltem Denk-Modus, das wir intern per Multi-Token-Prediction auf praxistaugliches Tempo gebracht haben. Es überlegt vor der Antwort, aber diszipliniert begrenzt; es beurteilte alle Kernfälle korrekt und lieferte durchgängig sauberes Schema-JSON. Der Preis: neun bis elf Minuten pro recherchiertem Fall, gegenüber anderthalb bis drei Minuten beim schnellsten Konkurrenten. Nebenbei ist das ein schönes Beispiel dafür, was gezielte Optimierung an freien Basismodellen herausholt — genau die Sorte Feinarbeit, die aus einem Standardwerkzeug ein passendes macht.

Dasselbe Modell zeigte aber auch die Kehrseite: Bei der anspruchsvollsten Klausur-Aufgabe — einer Gedichtinterpretation — lief sein Nachdenken davon. Es sprengte selbst großzügige Token-Budgets und wurde nie fertig. Mehr Budget heilte das nicht.

Der Denk-Modus ist also kein Schalter für „besser", sondern ein Werkzeug mit klarem Profil: Auf der Allround-Suite brachte er über alle Modelle nur ±2 von 108 Punkten — bei einem Vielfachen der Laufzeit und des Token-Verbrauchs. Auf deutscher Idiomatik dagegen +3 bis +4 von 8 Punkten: Das vorschnelle „Korrigieren" korrekter Redewendungen verschwindet, wenn das Modell seine Einschätzung zweitprüft.

Von sieben Deutsch-Disziplinen erwiesen sich fünf als gelöst — hier bestehen praktisch alle Kandidaten. Bemerkenswert am Rande: Kein einziges Modell erfand in den Anti-Halluzinations-Prüfungen eine Vertragsstrafe oder eine Kennzahl dazu.

Die Spreu trennt sich bei Grammatikkorrektur und vor allem bei Idiomatik: verdrehte Redewendungen erkennen, korrekte stehen lassen. Diese Disziplin verlangt echtes Sprachgefühl statt Formelwissen — und dort reichte die Spanne von fehlerfrei (8/8) bis klar durchgefallen (3/8). Der dominante Fehlertyp quer durchs Feld: Modelle „korrigieren" gültige Idiome, die sie nicht sicher kennen. Genau dieser Fehlertyp verschwindet im Denk-Modus fast vollständig — ein Modus-Artefakt, kein Kompetenzdefekt. Im Denk-Modus erreichte Ornith-35B als einziges Modell die volle Punktzahl in der Grammatikkorrektur.

Interessant ist die Architektur-Dimension dahinter: Das im Schnell-Modus deutsch-schwächste Modell im Feld (Nemotron-3-Nano) gehört zu einer neuen Hybrid-Architektur — derselben, auf der „Soofi S" aufbaut, ein explizit für Deutsch beworbenes Modell, das sich derzeit noch in geschlossener Beta befindet. Der Test am Architektur-Zwilling setzt damit die Messlatte: In deutscher Feinarbeit muss Soofi S deutlich mehr zeigen als seine Verwandtschaft — im Denk-Modus rückte der Zwilling immerhin ins Mittelfeld vor.

Dieselbe Architektur hat dafür eine echte, messbare Stärke: Langkontext. Bei 200.000 Token Kontext erreichte sie den doppelten Einlese-Durchsatz der klassischen Voll-Attention-Modelle und blieb dabei kohärent — ohne die aggressive Cache-Kompression, die Voll-Attention-Modelle auf dieser Hardware zwingend brauchen (ohne sie war bei rund 160.000 Token Schluss). Für Langdokument-Verarbeitung auf lokaler Hardware ist das der relevanteste Architektur-Unterschied überhaupt.

Die vielleicht überraschendste Praxis-Nachricht: Lokale Klausur-Vorkorrektur funktioniert auf Produktniveau. In der Biologie-Klausur erreichten zwei Modelle die volle Punktzahl — sie erkannten Fachfehler, bemerkten sogar die verfehlte Aufgabenstellung („bewerten" verlangt, nur beschrieben geliefert), belegten alles wörtlich und lieferten gültiges JSON. Eine datenschutzsaubere Vorkorrektur auf dem eigenen Rechner, ohne dass eine Schülerarbeit je das Haus verlässt, ist damit machbar. Zur ehrlichen Landkarte gehört auch das: Dasselbe Modell, das in der Recherche halluzinierte, gehört bei der Klausur-Korrektur zu den besten im Feld.

Der Weg dorthin führte allerdings über einen sehr lehrreichen Stolperstein: Natives JSON mit deutschen Anführungszeichen brach zunächst bei vier von sechs Modellen. Ein unscheinbares Tokenisierungs-Problem — typografische öffnende, gerade schließende Anführungszeichen — beendet JSON-Strings vorzeitig. Weder mehr Nachdenken noch der Standard-JSON-Modus halfen. Gelöst hat es erst erzwungene Ausgabe-Grammatik (constrained decoding) auf Token-Ebene plus ein sauberes Prompt-Steering.

Die Lehre für jedes Automatisierungsprojekt: Formattreue ist eine Infrastruktur-Aufgabe, keine Modellwahl-Frage. Wer strukturierte Ausgaben produktiv braucht, erzwingt sie technisch — und verlässt sich nicht auf Wohlverhalten.

Der Test liefert keine Bestenliste, sondern eine Landkarte. Für jedes der fünf Einsatzprofile sieht die richtige Wahl anders aus:

Über allen Einzelbefunden steht die eine Lehre, die sich durch alle vier Testklassen zieht: Miss niemals nur, ob ein Ergebnis ankommt — miss getrennt, ob es stimmt und ob es verwertbar ist. Die Lücke zwischen beidem ist genau der Ort, an dem KI-Projekte in der Praxis scheitern.

Genau diese Sorte Arbeit — messen statt glauben, Werkzeuge passend zum Fall statt Einheitslösung, DSGVO-sauber auf eigener Hardware — ist der Kern dessen, was wulffIT unter KI, Automatisierung und individuellen Lösungen für die Fälle versteht, in denen Standardsoftware aufhört.