Übersicht und Bewertung lokaler Modelle für Gen-AI

rating.at | 01/2026

Zur Übersicht finden Sie hier die relevanten Systeme der generativen KI in den beliebten Segmenten mit Informationen zur Auswahl und den Links zum Download der Modelle. Wir haben lokale KI-Modelle für den eigenen Computer (oder eigene Server) bevorzugt, weil hier Datenschutz und Kosten für die Anwender vorteilhaft sind.

Wir haben die Daten gesammelt und soweit möglich auf unseren eigenen Rechnern getestet, um nur zuverlässige Systeme hoher Qualität zu zeigen. Natürlich kann das immer nur den Stand des Tests zeigen und kaum vollständig sein – über Hinweise auf Fehler freuen wir uns natürlich.

Lokal installierte KI ist insbesondere auch für Unternehmen, die auf Datenschutz und Sicherheit für interne Informationen wert legen müssen, besonders interessant. KI-Weiterbildung in Seminar.at und KI-Dienste aus unserem Haus sind hier vielleicht auch interessant, vielleicht auch multimediale Ergebnisse basierend auf KI-Technik.

Basis für lokale KI ist meist eine Python-Lösung mit diversen Modulen und darauf zugreifenden lokalen Webdiensten, die wiederum auf die großen KI-Modelle zugreifen. All das klingt kompliziert und kann es für unerfahrene User auch werden. Deshalb werden diese Dinge in der Regel hinter Paketen versteckt, die man nur installieren und nutzen muss. Solche Basis-Pakete helfen beim Einstieg und der Nutzung enorm.

Wir empfehlen für Bild- und Video-Modellen in der Regel ComfyUI-Schnittstellen, die zwar sehr vielfältig sind (und damit optisch manchmal unnahbar wirken), aber durch Vorlagen auch besonders einfach sind – es gibt auch viel Material dazu, selbst die AI-Modelle sind hier oft Lieferant für Vorlagen, die man nur noch laden muss.

Dazu kann man auch Pinokio empfehlen, das als Paketmanager für ganz unterschiedliche Umgebungen dient. Insbesondere für Sprach-KI verwenden wir diese Basis häufig.

Für Text-KI, also die klassischen LLMs, ist wiederum Ollama spannend. Die typischen Chat-KI-Systeme sind hier zumindest genauso einfach zu nutzen wie auf den Websites von ChatGPT und Co. – Alternativ wäre auch GPT4all eine Option.

KI braucht Rechenleistung und Speicher – und das nicht zu knapp. Alleine die Modelle brauchen Speicher, nicht selten 20 GB für das Haupt-Modell, also das gespeicherte KI-Gehirn. Das braucht es auf der Festplatte (schnelle SSD empfehlenswert!), im RAM-Speicher (64GB empfehlenswert) und vor allem in der Grafikkarte (hier sind Modelle mit möglichst viel Speicher sind besonders wichtig – ab 16 GB, besser 24 oder 32 GB als Basis).

Die CPU ist dabei nicht einmal so wichtig, denn die Berechnungen macht man besser (und schneller) auf optimierten Recheneinheiten, die man in Grafikkarten findet. Die KI-Systeme nutzen heute vorwiegend die Standards von Nvidia, eine RTX-Grafikkarte von dort ist die beste Wahl. Nimmt man dort jene Einheiten mit viel Speicher landet man automatisch auch bei von der GPU her starken Systemen. Wenn es das Budget zuläßt, sind RTX 4090 oder 5090 eine gute Wahl am eigenen Rechner. In Server-Systemen greift man zu entsprechend größeren Rechnern.

Nicht-Windows-Rechner sind manchmal etwas außen vor, dabei sind gerade die letzten Apple-Rechner mit den neuesten M-Prozessoren durchaus leistungsfähig. Apple selbst ist zwar bei KI hinterher, die kleineren Modelle für M4 sind aber durch geringen Bedarf an Speicher und Energie trotzdem einen Blick wert.

„Open Weights“ sind offene Modelle, deren „Gewichte“ (also die trainierten KI-Gehirne) frei verfügbar sind. „Open Source“ jene, wo man die Quellen der Trainingsdaten verfügbar gemacht hat. In der Regel sind lokale Systeme vom ersteren Typ, da man die Modelle laden und nutzen kann.

„Quantized“ Modelle sind heruntergerechnete Varianten eines Modells, wo durch reduzieren der Genauigkeit und durch das Entfernen nicht wichtiger Teile des Bereiche im Modell schnellere und kleinere Systeme erhalten kann. „Lora“-Modelle sind zusätzliche „Anleitungen“ für KI, die Ergebnisse beeinflussen können – also zB. besondere Fähigkeiten liefern oder die Ausgabe in eine gewünschte Richtung lenken.

Bei den Bildgeneratoren gibt es Text-to-Image oder Text-to-Video (T2I, T2V), wo durch Beschreibung ein Ergebnis generiert wird (Prompten). Bei Image2Video (I2V) wird auf Basis eines Standbildes ein Video gerechnet, oft auch mit Textprompt zusätzlich.