Wie wir testen und bewerten
Ein Benchmark ist nur so gut wie seine Regeln. Hier steht, unter welchen Bedingungen wir testen und wonach wir bewerten.
Gleiche Bedingungen für alle
Derselbe Prompt
Jedes Modell bekommt pro Test exakt denselben Prompt, Wort für Wort. Die Prompts sind auf Englisch formuliert.
Dieselben Vorlagen
Referenzbilder werden vorab festgelegt. Alle Modelle erhalten dieselben Dateien in derselben Reihenfolge.
Dasselbe Format, höchste Qualität
Alle Bilder entstehen im Seitenverhältnis 1:1, bei jedem Test und jedem Modell. Jedes Modell generiert in der höchsten Auflösung und Qualitätsstufe, die es anbietet.
Kein Nachbessern
Ergebnisse werden nicht nachbearbeitet, retuschiert oder hochskaliert. Was das Modell liefert, wird bewertet.
Alles offen
Prompts, Referenzbilder, das ausgewählte Bild und die Begründung jeder Note sind auf den Modellseiten einsehbar.
Text-zu-Bild-Modelle
Vor jedem Testlauf prüfen wir, welche Referenzen ein Modell annimmt. Reine Text-zu-Bild-Modelle können keine Referenzbilder verarbeiten. In den Kategorien, die Referenzbilder brauchen, also Stiltransfer, Charakterkonsistenz und die Produkttests, tauchen sie deshalb im Ranking nicht auf. Modelle, die nur eine Stilreferenz annehmen, durchlaufen den Stiltransfer.
Die 14 Tests und ihre Kriterien
Jede Kategorie hat eigene Kriterien mit festem Gewicht. Die Note ist der gewichtete Mittelwert, auf eine Nachkommastelle gerundet. Ist eine Hand anatomisch kaputt, ist die Note höchstens 4. Jede Bewertung prüft ein Mensch: Eine KI schlägt die Punkte mit Begründung vor, ein Tester aus dem Team kontrolliert sie am Bild und vergibt die finale Note.
Porträt und Emotion
Ein Mensch abseits gängiger Schönheitsideale zeigt eine klar benannte Emotion und blickt in eine vorgegebene Richtung. Alle Modelle.
| Natürlichkeit von Haut und Gesicht | 30 % |
| Emotion glaubwürdig getroffen | 25 % |
| Blickrichtung und Kopfhaltung | 25 % |
| Echte Fotowirkung | 20 % |
Hände und Interaktion
Zwei Hände schälen eine kleine Mandarine mit natürlicher, lockerer Schälbewegung, fast alle Finger sichtbar. Alle Modelle.
| Griff und Handlung | 30 % |
| Haut- und Nageldetails | 30 % |
| Proportionen | 25 % |
| Gelenke und Fingerhaltung | 15 % |
Ist eine Hand anatomisch kaputt (falsche Fingerzahl, verschmolzene oder verdrehte Finger, unmögliche Gelenke), ist die Note höchstens 4, auch wenn andere Kriterien gut sind.
Typografie
Text nah und fern im selben Bild: vorne eine Kreidetafel in einer Standardschrift, hinten ein Ladenschild in einer verzierten Schrift, mit Umlauten, ß und Sonderzeichen. Alle Modelle.
| Rechtschreibung nah | 25 % |
| Rechtschreibung fern | 25 % |
| Lesbarkeit und Perspektive beider Ebenen | 20 % |
| Vollständigkeit, kein Zusatztext | 15 % |
| Typografische Gestaltung | 15 % |
Infografik und Erklärgrafik
Ein Ablauf in sechs Schritten mit Beschriftungen, Zahlen, Pfeilen und Icons, über zwei Zeilen verteilt. Alle Modelle.
| Beschriftungen und Zahlen korrekt | 30 % |
| Reihenfolge und Pfeile | 20 % |
| Richtigkeit der Icons | 20 % |
| Verständlichkeit auf einen Blick | 15 % |
| Hierarchie und Lesbarkeit | 15 % |
Surreale Bildkomposition
Ein ausgewachsener Elefant fährt auf einem Kinderfahrrad durch einen Park, Passanten staunen. Alle Modelle.
| Einbettung in die reale Szene | 25 % |
| Physik und Kontaktpunkte | 20 % |
| Größenverhältnis Surreal zu Real | 20 % |
| Realismus des surrealen Motivs | 20 % |
| Reaktion der Umgebung | 15 % |
Logo-Design
Ein Logo für eine fiktive Kaffeerösterei: Bildzeichen aus Kaffeebohne und Polarlicht, Wortmarke mit Umlaut, nur zwei Farben, flach und klein noch lesbar. Alle Modelle.
| Wortmarke fehlerfrei | 25 % |
| Idee und Bildzeichen | 25 % |
| Reduktion und Skalierbarkeit | 20 % |
| Vorgaben eingehalten | 15 % |
| Gestalterische Qualität | 15 % |
Stiltransfer
Ein Foto wird im Stil einer abstrakten Collage-Vorlage neu gestaltet: Graustufen-Figur mit Tarnmustern vor einer grafischen Collage aus Limettengrün, Kreisen, Zebrastreifen, Rasterpunkten und Höhenlinien. Übertragen wird nur der Stil, nicht der Inhalt der Vorlage. Modelle mit Stil- oder voller Referenz. Braucht: Foto und abstrakte Stilvorlage.
| Neu gestaltet statt gefiltert | 30 % |
| Formensprache und Vereinfachung | 20 % |
| Motiv erhalten | 20 % |
| Farbwelt | 15 % |
| Materialwirkung | 15 % |
Charakterkonsistenz
Eine echte Person aus vier Referenzfotos in vier Szenen, mit wechselnden Outfits und Emotionen, eine Szene surreal. Jede Szene bekommt alle vier Fotos als einzelne Bildreferenzen. Nur Modelle mit Referenzbild. Braucht: vier Fotos der Person.
| Gesichtszüge identisch | 40 % |
| Konsistenz über alle vier Bilder | 25 % |
| Gesichtsmerkmale wie Haaransatz, Bart, Muttermale | 20 % |
| Wiedererkennbarkeit in der surrealen Szene | 15 % |
Produktfotografie und Detailtreue
Reine Produktfotografie ohne Menschen: die Uhr aus den Referenzfotos in drei Szenen mit unterschiedlichen Winkeln, Umgebungen und Hintergründen. Geprüft wird vor allem, ob die Details der Uhr erhalten bleiben. Nur Modelle mit Referenzbild. Braucht: Fotos der Uhr.
| Zifferblatt und Beschriftung | 30 % |
| Gehäuse, Krone und Lünetten | 20 % |
| Einbettung in die Umgebung | 20 % |
| Armband | 15 % |
| Perspektive wie vorgegeben | 15 % |
Produkt im Einsatz
Eine Uhr am Handgelenk in vier verschiedenen Szenen, mit anderen Personen, Settings und Haltungen. Nur Modelle mit Referenzbild. Braucht: Fotos der Uhr.
| Trageweise und Ausrichtung | 30 % |
| Physikalisch richtige Darstellung: Größe und Form | 30 % |
| Details, soweit erkennbar: Schrift und Kleinteile | 20 % |
| Wiedererkennbarkeit | 20 % |
Komplexe Produkte
Eine Barista schäumt an einer komplexen Siebträgermaschine Milch auf. Geprüft wird, ob die Maschine richtig bedient wird und ob sie der Referenz entspricht. Nur Modelle mit Referenzbild. Braucht: Referenzbild der Maschine.
| Anwendung richtig gezeigt | 30 % |
| Geometrie und Proportionen | 20 % |
| Bedienelemente und Beschriftungen | 20 % |
| Physik der Handlung | 15 % |
| Keine erfundenen oder fehlenden Teile | 15 % |
Ist die Bedienung der Maschine in keiner Variante richtig gezeigt (falscher Griff, falsches Bedienelement, physikalisch unmögliche Handlung), ist die Note höchstens 3.
Personengruppe
Genau fünf Menschen am Besprechungstisch, jeder mit einer festgelegten Handlung an einer festgelegten Position. Nur Text-zu-Bild-Modelle.
| Anzahl der Personen korrekt | 25 % |
| Rollen und Reihenfolge wie vorgegeben | 25 % |
| Gesichter und Hände sauber | 20 % |
| Natürliche Interaktion | 15 % |
| Echte Fotowirkung | 15 % |
Food-Fotografie
Ein Burger mit genau festgelegten Schichten, dazu Pommes und Krautsalat, abends in einem gemütlichen Diner. Nur Text-zu-Bild-Modelle.
| Schichten in richtiger Reihenfolge | 25 % |
| Appetitlichkeit und Texturen | 25 % |
| Details wie Sesam, schmelzender Käse, Dampf | 20 % |
| Licht und Food-Styling | 15 % |
| Atmosphäre und Komposition | 15 % |
Tier in Bewegung
Ein Border Collie fängt im Sprung ein Frisbee, alle Beine, Pfoten und der Schwanz sind zu sehen. Nur Text-zu-Bild-Modelle.
| Anatomie: Beine, Pfoten und Schwanz | 30 % |
| Bewegung glaubwürdig eingefroren | 20 % |
| Fell und Details | 20 % |
| Kontakt mit dem Frisbee | 15 % |
| Einbettung, Licht und Schatten | 15 % |
Unabhängigkeit und Aktualität
Nicht gesponsert
Dieser Benchmark ist nicht gesponsert. Wir bezahlen jede Generierung selbst über die API, zu regulären Preisen. Kein Anbieter stellt uns Credits oder Zugänge kostenlos zur Verfügung, und keiner hat Einfluss auf Auswahl, Tests oder Bewertung.
Neue Modelle
Erscheint ein neues Modell, durchläuft es dieselben Tests mit denselben Eingaben, damit es direkt vergleichbar ist.
Geänderte Tests
Ändert sich ein Prompt oder eine Vorlage, steigt die Versionsnummer des Tests. Ältere Ergebnisse werden als veraltet markiert, bis das Modell neu getestet ist.
KI-generierte Bilder
Alle Bilder auf dieser Seite sind mit KI erzeugt. Jedes Bild trägt die Kennzeichnung sichtbar und in seinen Metadaten (IPTC „trainedAlgorithmicMedia“).