Wie wir testen und bewerten

Ein Benchmark ist nur so gut wie seine Regeln. Hier steht, unter welchen Bedingungen wir testen und wonach wir bewerten.

Gleiche Bedingungen für alle

Derselbe Prompt

Jedes Modell bekommt pro Test exakt denselben Prompt, Wort für Wort. Die Prompts sind auf Englisch formuliert.

Dieselben Vorlagen

Referenzbilder werden vorab festgelegt. Alle Modelle erhalten dieselben Dateien in derselben Reihenfolge.

Dasselbe Format, höchste Qualität

Alle Bilder entstehen im Seitenverhältnis 1:1, bei jedem Test und jedem Modell. Jedes Modell generiert in der höchsten Auflösung und Qualitätsstufe, die es anbietet.

Kein Nachbessern

Ergebnisse werden nicht nachbearbeitet, retuschiert oder hochskaliert. Was das Modell liefert, wird bewertet.

Alles offen

Prompts, Referenzbilder, das ausgewählte Bild und die Begründung jeder Note sind auf den Modellseiten einsehbar.

Text-zu-Bild-Modelle

Vor jedem Testlauf prüfen wir, welche Referenzen ein Modell annimmt. Reine Text-zu-Bild-Modelle können keine Referenzbilder verarbeiten. In den Kategorien, die Referenzbilder brauchen, also Stiltransfer, Charakterkonsistenz und die Produkttests, tauchen sie deshalb im Ranking nicht auf. Modelle, die nur eine Stilreferenz annehmen, durchlaufen den Stiltransfer.

Die 14 Tests und ihre Kriterien

Jede Kategorie hat eigene Kriterien mit festem Gewicht. Die Note ist der gewichtete Mittelwert, auf eine Nachkommastelle gerundet. Ist eine Hand anatomisch kaputt, ist die Note höchstens 4. Jede Bewertung prüft ein Mensch: Eine KI schlägt die Punkte mit Begründung vor, ein Tester aus dem Team kontrolliert sie am Bild und vergibt die finale Note.

Porträt und Emotion

Ein Mensch abseits gängiger Schönheitsideale zeigt eine klar benannte Emotion und blickt in eine vorgegebene Richtung. Alle Modelle.

Natürlichkeit von Haut und Gesicht30 %
Emotion glaubwürdig getroffen25 %
Blickrichtung und Kopfhaltung25 %
Echte Fotowirkung20 %

Hände und Interaktion

Zwei Hände schälen eine kleine Mandarine mit natürlicher, lockerer Schälbewegung, fast alle Finger sichtbar. Alle Modelle.

Griff und Handlung30 %
Haut- und Nageldetails30 %
Proportionen25 %
Gelenke und Fingerhaltung15 %

Ist eine Hand anatomisch kaputt (falsche Fingerzahl, verschmolzene oder verdrehte Finger, unmögliche Gelenke), ist die Note höchstens 4, auch wenn andere Kriterien gut sind.

Typografie

Text nah und fern im selben Bild: vorne eine Kreidetafel in einer Standardschrift, hinten ein Ladenschild in einer verzierten Schrift, mit Umlauten, ß und Sonderzeichen. Alle Modelle.

Rechtschreibung nah25 %
Rechtschreibung fern25 %
Lesbarkeit und Perspektive beider Ebenen20 %
Vollständigkeit, kein Zusatztext15 %
Typografische Gestaltung15 %

Infografik und Erklärgrafik

Ein Ablauf in sechs Schritten mit Beschriftungen, Zahlen, Pfeilen und Icons, über zwei Zeilen verteilt. Alle Modelle.

Beschriftungen und Zahlen korrekt30 %
Reihenfolge und Pfeile20 %
Richtigkeit der Icons20 %
Verständlichkeit auf einen Blick15 %
Hierarchie und Lesbarkeit15 %

Surreale Bildkomposition

Ein ausgewachsener Elefant fährt auf einem Kinderfahrrad durch einen Park, Passanten staunen. Alle Modelle.

Einbettung in die reale Szene25 %
Physik und Kontaktpunkte20 %
Größenverhältnis Surreal zu Real20 %
Realismus des surrealen Motivs20 %
Reaktion der Umgebung15 %

Logo-Design

Ein Logo für eine fiktive Kaffeerösterei: Bildzeichen aus Kaffeebohne und Polarlicht, Wortmarke mit Umlaut, nur zwei Farben, flach und klein noch lesbar. Alle Modelle.

Wortmarke fehlerfrei25 %
Idee und Bildzeichen25 %
Reduktion und Skalierbarkeit20 %
Vorgaben eingehalten15 %
Gestalterische Qualität15 %

Stiltransfer

Ein Foto wird im Stil einer abstrakten Collage-Vorlage neu gestaltet: Graustufen-Figur mit Tarnmustern vor einer grafischen Collage aus Limettengrün, Kreisen, Zebrastreifen, Rasterpunkten und Höhenlinien. Übertragen wird nur der Stil, nicht der Inhalt der Vorlage. Modelle mit Stil- oder voller Referenz. Braucht: Foto und abstrakte Stilvorlage.

Neu gestaltet statt gefiltert30 %
Formensprache und Vereinfachung20 %
Motiv erhalten20 %
Farbwelt15 %
Materialwirkung15 %

Charakterkonsistenz

Eine echte Person aus vier Referenzfotos in vier Szenen, mit wechselnden Outfits und Emotionen, eine Szene surreal. Jede Szene bekommt alle vier Fotos als einzelne Bildreferenzen. Nur Modelle mit Referenzbild. Braucht: vier Fotos der Person.

Gesichtszüge identisch40 %
Konsistenz über alle vier Bilder25 %
Gesichtsmerkmale wie Haaransatz, Bart, Muttermale20 %
Wiedererkennbarkeit in der surrealen Szene15 %

Produktfotografie und Detailtreue

Reine Produktfotografie ohne Menschen: die Uhr aus den Referenzfotos in drei Szenen mit unterschiedlichen Winkeln, Umgebungen und Hintergründen. Geprüft wird vor allem, ob die Details der Uhr erhalten bleiben. Nur Modelle mit Referenzbild. Braucht: Fotos der Uhr.

Zifferblatt und Beschriftung30 %
Gehäuse, Krone und Lünetten20 %
Einbettung in die Umgebung20 %
Armband15 %
Perspektive wie vorgegeben15 %

Produkt im Einsatz

Eine Uhr am Handgelenk in vier verschiedenen Szenen, mit anderen Personen, Settings und Haltungen. Nur Modelle mit Referenzbild. Braucht: Fotos der Uhr.

Trageweise und Ausrichtung30 %
Physikalisch richtige Darstellung: Größe und Form30 %
Details, soweit erkennbar: Schrift und Kleinteile20 %
Wiedererkennbarkeit20 %

Komplexe Produkte

Eine Barista schäumt an einer komplexen Siebträgermaschine Milch auf. Geprüft wird, ob die Maschine richtig bedient wird und ob sie der Referenz entspricht. Nur Modelle mit Referenzbild. Braucht: Referenzbild der Maschine.

Anwendung richtig gezeigt30 %
Geometrie und Proportionen20 %
Bedienelemente und Beschriftungen20 %
Physik der Handlung15 %
Keine erfundenen oder fehlenden Teile15 %

Ist die Bedienung der Maschine in keiner Variante richtig gezeigt (falscher Griff, falsches Bedienelement, physikalisch unmögliche Handlung), ist die Note höchstens 3.

Personengruppe

Genau fünf Menschen am Besprechungstisch, jeder mit einer festgelegten Handlung an einer festgelegten Position. Nur Text-zu-Bild-Modelle.

Anzahl der Personen korrekt25 %
Rollen und Reihenfolge wie vorgegeben25 %
Gesichter und Hände sauber20 %
Natürliche Interaktion15 %
Echte Fotowirkung15 %

Food-Fotografie

Ein Burger mit genau festgelegten Schichten, dazu Pommes und Krautsalat, abends in einem gemütlichen Diner. Nur Text-zu-Bild-Modelle.

Schichten in richtiger Reihenfolge25 %
Appetitlichkeit und Texturen25 %
Details wie Sesam, schmelzender Käse, Dampf20 %
Licht und Food-Styling15 %
Atmosphäre und Komposition15 %

Tier in Bewegung

Ein Border Collie fängt im Sprung ein Frisbee, alle Beine, Pfoten und der Schwanz sind zu sehen. Nur Text-zu-Bild-Modelle.

Anatomie: Beine, Pfoten und Schwanz30 %
Bewegung glaubwürdig eingefroren20 %
Fell und Details20 %
Kontakt mit dem Frisbee15 %
Einbettung, Licht und Schatten15 %

Unabhängigkeit und Aktualität

Nicht gesponsert

Dieser Benchmark ist nicht gesponsert. Wir bezahlen jede Generierung selbst über die API, zu regulären Preisen. Kein Anbieter stellt uns Credits oder Zugänge kostenlos zur Verfügung, und keiner hat Einfluss auf Auswahl, Tests oder Bewertung.

Neue Modelle

Erscheint ein neues Modell, durchläuft es dieselben Tests mit denselben Eingaben, damit es direkt vergleichbar ist.

Geänderte Tests

Ändert sich ein Prompt oder eine Vorlage, steigt die Versionsnummer des Tests. Ältere Ergebnisse werden als veraltet markiert, bis das Modell neu getestet ist.

KI-generierte Bilder

Alle Bilder auf dieser Seite sind mit KI erzeugt. Jedes Bild trägt die Kennzeichnung sichtbar und in seinen Metadaten (IPTC „trainedAlgorithmicMedia“).