Kontrastives Lernen: Wie Modelle durch Vergleiche lernen

Ein Modell ohne gelabelte Daten lernen zu lassen, klingt unmöglich – genau das ist aber die Idee hinter dem kontrastiven Lernen.

Wie du weißt, ist das Labeln von Daten langsam und teuer. Allein für ein Bildklassifikations-Dataset fallen oft Tausende Stunden menschlicher Annotation an – ganz zu schweigen von Fehlern und Inkonsistenzen.

Kontrastives Lernen umgeht dieses Labeling-Problem, indem es Modelle vergleichen lässt. Anstatt einem Modell zu sagen, was etwas ist, zeigst du ihm, was sich ähnelt und was sich unterscheidet – und lässt es den Rest selbst herausfinden.

In diesem Artikel führe ich dich durch die Intuition hinter kontrastivem Lernen, wie es unter der Haube funktioniert, wo es in der Praxis eingesetzt wird – von Bilderkennung bis NLP-Embeddings – und wie du es in PyTorch implementierst.

Was genau ist Computer Vision? Lies unseren Einstieg in die Bildanalyse.

Was ist kontrastives Lernen?

Kontrastives Lernen ist ein Trainingsansatz, bei dem ein Modell durch Vergleiche statt durch Klassifikation lernt.

Anstatt dem Modell „Das ist eine Katze“ oder „Das ist ein Hund“ zu sagen, zeigst du ihm Beispielpaare und lässt es herausfinden, was zusammengehört und was nicht. Das Modell lernt, indem es entscheidet, ob zwei Dinge ähnlich sind oder nicht.

Mit anderen Worten: Du gibst dem Modell jeweils zwei Datenpunkte. Sind sie verwandt – etwa zwei Fotos desselben Hundes aus unterschiedlichen Blickwinkeln – ist das ein positives Paar. Sind sie nicht verwandt – ein Hundefoto und ein Auto – ist das ein negatives Paar.

Die Aufgabe des Modells ist es, Repräsentationen (numerische Vektoren) zu erzeugen, die dieser Struktur folgen. Positive Paare sollen im Vektorraum nah beieinander liegen. Negative Paare sollen weit auseinander liegen.

Die Intuition hinter kontrastivem Lernen

Am einfachsten verstehst du kontrastives Lernen anhand von Bildern.

Nimm ein Foto von einem Hund. Erzeuge zwei Varianten – eines zugeschnitten, eines mit angepasster Helligkeit. Der Inhalt ist derselbe, aber die Pixel unterscheiden sich. Ein kontrastives Modell sieht diese beiden Versionen als positives Paar und lernt, sie auf ähnliche Positionen im Vektorraum abzubilden.

Zeigst du dem Modell neben dem Hundefoto ein Autfoto, entsteht ein negatives Paar. Das Modell lernt, ihre Repräsentationen auseinanderzuschieben.

Du musst nicht manuell eingreifen und angeben „Das ist ein Hund“ oder „Das ist ein Auto“. Das Modell baut sein Verständnis aus der Struktur von Ähnlichkeit und Unterschied auf.

Genau das macht kontrastives Lernen so stark.

Das Signal kommt aus dem Vergleich. Mit genügend Paaren kann das Modell Repräsentationen entwickeln, die erfassen, was Dinge ähnlich macht und was sie voneinander unterscheidet.

Diese Repräsentationen sind enorm nützlich. Ein so auf Bildern vortrainiertes Modell lässt sich mit sehr wenig gelabelten Daten für Klassifikation, Detektion oder Retrieval feinabstimmen, weil es bereits ein sinnvolles Verständnis der visuellen Welt gelernt hat.

Anwendungen des kontrastiven Lernens

Kontrastives Lernen taucht in vielen Domänen auf – hier siehst du es am häufigsten.

Computer Vision

Hier hat kontrastives Lernen seine Stärke zuerst bewiesen.

So trainierte Bildmodelle lernen Repräsentationen, die visuelle Ähnlichkeit verstehen, ohne je ein Label gesehen zu haben. Zwei Fotos derselben Szene, aus verschiedenen Winkeln oder mit unterschiedlicher Beleuchtung, sollten auf nahe Punkte im Vektorraum abgebildet werden. Zwei unabhängige Szenen sollten weit auseinanderliegen.

Ein kontrastiv vortrainiertes Modell kannst du mit einem Bruchteil der sonst nötigen gelabelten Daten für Klassifikation oder Objekterkennung feinjustieren.

Natural Language Processing

Im NLP wird kontrastives Lernen genutzt, um Satz-Embeddings zu trainieren – Vektorrepräsentationen, die die Bedeutung eines Satzes als Ganzes erfassen.

Sätze mit ähnlicher Bedeutung sollten im Vektorraum nahe beieinander liegen, nicht verwandte Sätze weiter auseinander. So trainierte Modelle können Aufgaben wie semantische Suche und Satzähnlichkeit bewältigen – ohne große Mengen gelabelter Satzpaare.

Empfehlungssysteme

Empfehlungssysteme nutzen kontrastives Lernen, um Nutzer-Item-Ähnlichkeit zu modellieren.

Ein Nutzer und ein Item, mit dem er interagiert hat, bilden ein positives Paar. Ein Nutzer und ein zufälliges, unbekanntes Item bilden ein negatives Paar. Mit genügend solcher Beispiele lernt das Modell einen gemeinsamen Raum, in dem relevante Nutzer und Items zusammenclustern.

Multimodale Modelle

Hier wird es besonders spannend.

Modelle wie CLIP richten Text und Bilder in einem gemeinsamen Vektorraum aus. Ein Hundefoto und der Satz „a dog playing in the park“ sollten nahe beieinander liegen. Ein Hundefoto und der Satz „a red sports car“ nicht. Dadurch können multimodale Modelle Bilder Textbeschreibungen zuordnen und Bildunterschriften generieren.

Wie kontrastives Lernen funktioniert

Kontrastives Lernen folgt immer denselben vier Schritten – egal ob du mit Bildern, Text oder Audio arbeitest.

Schritt 1: Paare erstellen

Jedes Trainingsexemplar startet als Paar. Du ziehst zwei Datenpunkte und labelst die Beziehung als ähnlich (positiv) oder unähnlich (negativ). In der Praxis stammen positive Paare oft aus zwei unterschiedlichen Augmentierungen derselben Eingabe, negative Paare aus zufällig gezogenen, unabhängigen Beispielen.

Schritt 2: In Embeddings enkodieren

Beide Datenpunkte laufen durch einen Encoder, der sie in Vektoren umwandelt. Diese Vektoren, Embeddings genannt, sind numerische Repräsentationen in einem gemeinsamen Vektorraum. Ziel ist, dass dieser Raum semantische Bedeutung widerspiegelt – nicht rohe Pixel- oder Tokenwerte.

Schritt 3: Ähnlichkeit berechnen

Sobald du zwei Embeddings hast, misst du ihre Nähe. Kosinus-Ähnlichkeit ist hier die häufigste Wahl. Sie liefert einen Score zwischen -1 und 1, wobei 1 für dieselbe Richtung steht und -1 für komplett entgegengesetzt.

Schritt 4: Modell aktualisieren

Das Modell vergleicht seine Ähnlichkeitsscores mit dem, was sie sein sollten. Für positive Paare sollte der Score hoch sein, für negative niedrig. Eine Loss-Funktion misst die Abweichung, und Backpropagation passt die Encoder-Gewichte an, um sich beim nächsten Mal zu verbessern.

Wiederholst du diese Schritte über genügend Paare, lernt der Encoder, Embeddings zu erzeugen, die Ähnliches clustern und Unterschiedliches auseinanderziehen.

Positive und negative Samples

Die Qualität deines kontrastiven Modells hängt davon ab, wie du deine Paare erzeugst.

Positive Paare sind zwei Datenpunkte, die als ähnlich gelten sollen. In der Computer Vision sind das meist zwei augmentierte Versionen desselben Bildes. Im NLP können es zwei Paraphrasen desselben Satzes sein oder ein Satz und seine Übersetzung. Das Modell lernt, dass die Unterschiede zwischen ihnen unwichtig sind. Entscheidend ist nur, was sie teilen.

Negative Paare sind zwei Datenpunkte, die als verschieden gelten sollen. Die meisten Implementierungen ziehen Negative zufällig aus dem restlichen Datensatz. Bei Bildern bilden beliebige Bilder unterschiedlicher Objekte ein gültiges negatives Paar.

Hier wird es knifflig.

Nicht alle Negative sind gleich nützlich. Ein zufälliges Negativ, das offensichtlich verschieden ist – etwa ein Hundefoto gepaart mit einem Flugzeug – fordert das Modell kaum. Das sind einfache Negative, und zu viele davon bremsen das Lernen aus.

Auf der anderen Seite sind schwierige Negative Datenpunkte, die dem Ausgang ähnlich sehen, aber zu einer anderen Klasse gehören – z. B. zwei Hunderassen oder zwei Sätze mit ähnlicher Formulierung, aber unterschiedlicher Bedeutung. Das Modell muss feinere Repräsentationen entwickeln, um sie zu unterscheiden – das führt insgesamt zu besseren Embeddings.

Dasselbe gilt für positive Paare. Sind deine Augmentierungen zu subtil, lernt das Modell wenig. Sind sie zu aggressiv, ist das Paar nicht mehr sinnvoll ähnlich.

Kontrastive Loss-Funktionen

Die Loss-Funktion verwandelt Paarvergleiche in ein Lernsinal.

Jede Loss funktioniert etwas anders, doch alle verfolgen dasselbe Ziel: Das Modell belohnen, wenn Ähnliches im Vektorraum nah beieinanderliegt, und es bestrafen, wenn nicht.

Contrastive Loss

Die Contrastive Loss wurde zusammen mit frühen Arbeiten zum kontrastiven Lernen eingeführt.

Sie arbeitet auf Paaren. Bei einem positiven Paar bestraft sie das Modell, wenn deren Embeddings weit auseinanderliegen. Bei einem negativen Paar bestraft sie, wenn deren Embeddings zu nah beieinanderliegen – genauer, wenn sie innerhalb eines definierten Margins fallen. Negative, die bereits weit genug entfernt sind, tragen nicht zur Loss bei.

Formel der Contrastive Loss

Dabei ist d der Abstand zwischen zwei Embeddings, y ist 1 für negative und 0 für positive Paare, und m ist das Margin. Das Margin ist ein manuell gesetzter Hyperparameter, was diese Loss empfindlich für Tuning macht.

Triplet Loss

Die Triplet Loss arbeitet mit drei Datenpunkten gleichzeitig: Anker, Positiv und Negativ.

Formel der Triplet Loss

Das Modell wird bestraft, wenn der Anker-zu-Positiv-Abstand d(a, p) nicht mindestens um das Margin m kleiner ist als der Anker-zu-Negativ-Abstand d(a, n). Ist die Bedingung erfüllt, ist die Loss null.

Diese Formulierung gibt dem Modell pro Update mehr Kontext als die Contrastive Loss, da beide Beziehungen gleichzeitig verglichen werden – nicht nacheinander.

InfoNCE Loss

InfoNCE ist die Loss hinter den meisten modernen kontrastiven Methoden, darunter SimCLR und CLIP.

Formel der InfoNCE Loss

Für jeden Anker z_i muss das Modell dessen Positiv z_j unter allen anderen N Beispielen im Batch identifizieren. Der Temperatur-Parameter τ steuert, wie scharf die Verteilung ist – niedrigere Werte machen das Modell selbstsicherer, höhere Werte glätten den Kontrast zwischen Paaren.

So erhältst du pro Update mehr Negative, was dem Modell ein stärkeres Lernsinal gibt. Größere Batches konfrontieren das Modell zudem mit schwierigeren Negativen und liefern meist bessere Repräsentationen.

Kontrastives Lernen im Self-Supervised Learning

Kontrastives Lernen und Self-Supervised Learning ergänzen sich gut – und wenn du verstehst, warum, verstehst du auch, wohin sich modernes ML bewegt.

Self-Supervised Learning ist ein Trainingsansatz, bei dem das Modell seine Labels selbst aus den Daten generiert – ohne menschliche Annotation. Statt tausende Bilder als „Katze“ oder „Hund“ zu labeln, liefert die Datenstruktur selbst das Supervisionssignal.

Kontrastives Lernen macht genau das. Wenn du aus einem Bild zwei augmentierte Ansichten erzeugst und dem Modell sagst, dass sie ein positives Paar sind, hast du gerade ein Label geschaffen.

Das ist wichtig, weil gelabelte Daten in den meisten ML-Pipelines der Engpass sind. Das Sammeln ist langsam, Annotation teuer, und in manchen Domänen, etwa der medizinischen Bildgebung, gibt es schlicht zu wenig davon.

Die Ergebnisse sind vielversprechend. Mit kontrastiven Self-Supervised-Zielen auf großen ungelabelten Datensätzen vortrainierte Modelle erreichen nach Feintuning mit wenig gelabelten Daten oft die Leistung überwacht trainierter Baselines – oder kommen nahe heran.

Der Trend geht weg von aufgabenspezifischem Supervised Training hin zu allgemeinen Repräsentationen, die aus Rohdaten in großem Maßstab gelernt werden. Methoden wie SimCLR, MoCo und BYOL folgen diesem Trend – und die schauen wir uns als Nächstes an.

Beliebte Methoden des kontrastiven Lernens

Das sind die drei einflussreichsten Frameworks hinter kontrastivem Lernen im Jahr 2026.

SimCLR

SimCLR, vorgestellt von Google Research, ist eine der klarsten Umsetzungen der kontrastiven Idee.

Für jedes Bild im Batch erzeugt es zwei augmentierte Ansichten und behandelt sie als positives Paar. Jedes andere Bild im Batch wird zum Negativ. Das Modell, ein CNN mit kleinem Projektion-Head, lernt mithilfe der InfoNCE Loss, positive Paare nahe beieinander zu platzieren.

Auffällig an SimCLR war der Einfluss der Batch-Größe. Größere Batches bedeuten mehr Negative pro Update – und damit bessere Repräsentationen. Der Trade-off ist der Speicherbedarf. Weil SimCLR große Batches benötigt, brauchst du gute Hardware, um das Maximum herauszuholen.

MoCo

MoCo (Momentum Contrast) von Meta AI Research wurde genau zur Lösung dieses Problems entwickelt.

Anstatt für Negative auf große Batches zu setzen, hält MoCo eine Queue vor – einen laufenden Puffer kodierter Repräsentationen aus früheren Batches. Dadurch wird die Anzahl der Negative von der Batch-Größe entkoppelt. Du kannst mit deutlich weniger Speicher trainieren und das Modell dennoch einer großen Vielfalt an Negativen aussetzen.

Außerdem nutzt es einen Momentum-Encoder – eine langsam aktualisierte Kopie des Hauptencoders –, um die Repräsentationen in der Queue über die Zeit konsistent zu halten.

BYOL

BYOL (Bootstrap Your Own Latent) ist hier erwähnenswert, obwohl es gar keine negativen Paare verwendet.

Statt Negative auseinanderzuschieben, lernt bei BYOL ein Netzwerk, die Repräsentationen eines anderen – eines langsam aktualisierten Zielnetzwerks – vorherzusagen. Es gibt keine Negative und keine kontrastive Loss. Das funktioniert überraschend gut und stellt die Annahme infrage, dass negative Paare für kontrastiv-ähnliches Lernen nötig sind.

BYOL bewegt sich am Rand des kontrastiven Lernens, ist aber ein guter nächster Schritt, sobald du die Kernmethoden verstanden hast.

Kontrastives Lernen vs. Supervised Learning

Beide Ansätze lösen dasselbe Problem, starten aber mit unterschiedlichen Annahmen – und die solltest du kennen.

Supervised Learning erfordert gelabelte Daten. Jedes Trainingsexemplar braucht ein menschlich vergebenes Label, und das Modell lernt, Eingaben auf diese Labels abzubilden. Der Ansatz ist direkt und funktioniert gut, wenn du genügend gelabelte Beispiele hast. Das Modell weiß, was die Eingabe ist und was die richtige Antwort ist.

Kontrastives Lernen erzeugt seine Aufsicht aus der Datenstruktur – Ähnlichkeit und Unterschied – und lernt Repräsentationen, ohne je ein Label zu sehen.

Hier ist eine visuellere Gegenüberstellung der beiden:

Kontrastives Lernen im Vergleich zu Supervised Learning

Der größte Unterschied zeigt sich im großen Maßstab. Supervised Learning hängt von gelabelten Daten ab – und mehr davon zu labeln ist teuer. Kontrastives Lernen kann sich weiter verbessern, je mehr ungelabelte Daten du fütterst – und die sind meist reichlich vorhanden.

Wichtig ist allerdings: Die Repräsentationen eines kontrastiven Modells sind allgemein, nicht aufgabenspezifisch. Du brauchst daher in der Regel einen Fine-Tuning-Schritt, um auf einer konkreten Aufgabe gute Leistung zu erzielen. Überwachte Modelle benötigen diesen Schritt nicht, weil sie direkt auf das Ziel trainiert sind.

Die Wahl hängt von deiner Datensituation ab. Hast du gelabelte Daten und eine konkrete Aufgabe, ist Supervised Learning oft schneller. Arbeitest du mit großen Mengen ungelabelter Daten oder brauchst Repräsentationen, die über Aufgaben hinweg transferieren, lohnt sich der Mehraufwand für kontrastives Lernen.

Kontrastives Lernen in der Praxis (Python-Beispiel)

Lass uns nun eine minimale PyTorch-Implementierung bauen. Das folgende Beispiel deckt die drei Kernideen von oben ab: ein Embedding-Modell, Kosinus-Ähnlichkeit und NT-Xent-Loss – die in SimCLR verwendete, auf InfoNCE aufbauende Loss-Funktion.

Das Embedding-Modell

Der Encoder ist ein einfaches Feedforward-Netz, das Eingabevektoren in einen niederdimensionalen Embedding-Raum abbildet.

import torch
import torch.nn as nn
import torch.nn.functional as F

class Encoder(nn.Module):
    def __init__(self, input_dim, embedding_dim):
        super().__init__()
        self.network = nn.Sequential(
            nn.Linear(input_dim, 128),
            nn.ReLU(),
            nn.Linear(128, embedding_dim)
        )

    def forward(self, x):
        return self.network(x)

In der Praxis würdest du das durch ein CNN für Bilder oder einen Transformer für Text ersetzen. Die Architektur ist weniger entscheidend als das, was danach kommt.

Ähnlichkeitsberechnung

Sobald du zwei Embeddings hast, misst du ihre Nähe mit der Kosinus-Ähnlichkeit. Vorheriges Normalisieren hält die Scores zwischen -1 und 1.

def cosine_similarity(z1, z2):
    z1 = F.normalize(z1, dim=-1)
    z2 = F.normalize(z2, dim=-1)
    return torch.matmul(z1, z2.T)

Das Ergebnis ist eine Matrix, in der jeder Eintrag [i, j] die Ähnlichkeit zwischen Embedding i und Embedding j im Batch repräsentiert.

NT-Xent-Loss

NT-Xent (Normalized Temperature-scaled Cross Entropy) ist die auf InfoNCE basierende Loss. Für jeden Anker behandelt sie die gepaarte Ansicht als Positiv und alle anderen Beispiele im Batch als Negative.

def nt_xent_loss(z1, z2, temperature=0.5):
    batch_size = z1.shape[0]

    z = torch.cat([z1, z2], dim=0)
    z = F.normalize(z, dim=-1)
    sim_matrix = torch.matmul(z, z.T) / temperature

    mask = torch.eye(2 * batch_size, dtype=torch.bool)
    sim_matrix = sim_matrix.masked_fill(mask, float("-inf"))

    labels = torch.arange(batch_size)
    labels = torch.cat([labels + batch_size, labels])

    return F.cross_entropy(sim_matrix, labels)

Der Parameter temperature steuert die Schärfe der Verteilung. Niedrigere Werte machen das Modell selbstsicherer, welche Paarung positiv ist; höhere Werte glätten den Kontrast.

Alles zusammenführen

encoder = Encoder(input_dim=64, embedding_dim=32)
optimizer = torch.optim.Adam(encoder.parameters(), lr=1e-3)

# Simuliere einen Batch positiver Paare
x1 = torch.randn(32, 64)
x2 = torch.randn(32, 64)

# Training
optimizer.zero_grad()
z1, z2 = encoder(x1), encoder(x2)
loss = nt_xent_loss(z1, z2)
loss.backward()
optimizer.step()

print(f"Loss: {loss.item():.4f}")

Ausgabe der kontrastiven Trainingsschleife

Das ist die komplette kontrastive Schleife in ihrer einfachsten Form. In einer echten Implementierung wären x1 und x2 zwei augmentierte Ansichten derselben Eingabe statt Zufallsrauschen – die Struktur bleibt jedoch identisch.

Fazit

Kontrastives Lernen ist eine einfache Idee mit großer Wirkung.

Es bringt Modellen bei, Struktur über Vergleiche zu verstehen – statt sich auf gelabelte Daten zu stützen. Ähnliches zusammenziehen, Unterschiedliches auseinanderschieben – das ist der Kern. Und der reicht aus, um Repräsentationen zu lernen, die gut auf andere Aufgaben übertragbar sind.

Das Feld bewegt sich weg von annotationslastigen Pipelines, und kontrastives Lernen ist ein wesentlicher Treiber. Algorithmen wie SimCLR, MoCo und CLIP haben es in reale Produkte geschafft – ein starkes Signal dafür, wie gut der Ansatz funktioniert.

Wenn du tiefer einsteigen willst, hilft eine echte Implementierung am meisten. Das PyTorch-Beispiel in diesem Artikel ist ein Startpunkt, aber SimCLR auf einem echten Bilddatensatz – selbst einem kleinen – zu trainieren, bringt dir mehr als jede Erklärung.

Und wenn du die ultimative Ressource zu fortgeschrittenen Machine-Learning-Themen suchst, melde dich für unseren Machine Learning Scientist in Python Track an.