Datenkontamination / verunreinigte Vergleichstests
Die Quellen sind über 18 Monate alt.
Veröffentlichungsdaten und Alter der Quellen
Anzahl der Quellen: 2
Neueste datierte Quelle: 2023-11-16
Bewertet zum Quellenstichtag dieser Ausgabe: 2026-09-15. Grenze von 18 Monaten: 2025-03-15.
Das Alter einer Veröffentlichung sagt nicht, ob eine Aussage noch zutrifft. Erneutes Lesen macht eine alte Veröffentlichung nicht neuer. Ein Aktualisierungsdatum belegt nicht, dass auch die von uns verwendete Passage überarbeitet wurde.
Im Glossar öffnen Lesenotizen · Strukturierter Dateneintrag
Einfach erklärt
Wenn Testmaterial in Trainingsdaten vorkommt, kann ein scheinbar neuer Test dem Modell teilweise bereits bekannt sein. [1]
Diese Erklärung zitieren oder eine Korrektur vorschlagen
Link zu dieser Erklärung · Korrektur vorschlagen · So funktionieren Korrekturen
Grenzen und Unterschiede
Eine Überschneidung beweist weder, dass das Modell eine Antwort auswendig gespeichert hat, noch dass es dadurch einen Vorteil hatte. Brown und Kollegen fanden unterschiedliche Auswirkungen; auch ihr Erkennungsverfahren hatte Grenzen. [2]
Diese Erklärung zitieren oder eine Korrektur vorschlagen
Link zu dieser Erklärung · Korrektur vorschlagen · So funktionieren Korrekturen
Ausführlicher erklärt
Überschneidungen zwischen Trainingsmaterial und Testfragen oder Antworten können die Aussagekraft eines Tests mit unbekanntem Material verringern. Die Prüfung solcher Überschneidungen hilft, ein gemeldetes Ergebnis einzuordnen. [1]
Diese Erklärung zitieren oder eine Korrektur vorschlagen
Link zu dieser Erklärung · Korrektur vorschlagen · So funktionieren Korrekturen
Wie das zur Karte passt
Lesefrage im Atlas: Wie wurde geprüft, ob Test und Training hinreichend getrennt waren? [1]
Diese Erklärung zitieren oder eine Korrektur vorschlagen
Link zu dieser Erklärung · Korrektur vorschlagen · So funktionieren Korrekturen
Diese Seite teilen
https://theaiatlas.org/ideas/data-contamination/
Bild zum Teilen herunterladen · Vektorgrafik
Vorschaubilder sind Zusammenfassungen. Teile den Seitenlink mit, damit andere die Belege prüfen können.
Quellen und Umfang unserer Lektüre
1. Investigating Data Contamination in Modern Benchmarks for Large Language Models
Die Quelle ist über 18 Monate alt.
Veröffentlichungsdaten und Alter der Quellen
Anzahl der Quellen: 1
Neueste datierte Quelle: 2023-11-16
Bewertet zum Quellenstichtag dieser Ausgabe: 2026-09-15. Grenze von 18 Monaten: 2025-03-15.
Das Alter einer Veröffentlichung sagt nicht, ob eine Aussage noch zutrifft. Erneutes Lesen macht eine alte Veröffentlichung nicht neuer. Ein Aktualisierungsdatum belegt nicht, dass auch die von uns verwendete Passage überarbeitet wurde.
Zusammenfassung und Versionsverlauf gelesen. Die Arbeit untersucht suchbasierte Überschneidungsprüfungen und ein Verfahren zum Erraten verdeckter Testteile. Ihre Ergebnisse betreffen bestimmte Modelle und Benchmarks; das Glossar behandelt eine erratene Antwort allein nicht als Beweis für einen Eintrag in den Trainingsdaten.
2. Language Models are Few-Shot Learners
Die Quelle ist über 18 Monate alt.
Veröffentlichungsdaten und Alter der Quellen
Anzahl der Quellen: 1
Neueste datierte Quelle: 2020-05-28
Bewertet zum Quellenstichtag dieser Ausgabe: 2026-09-15. Grenze von 18 Monaten: 2025-03-15.
Das Alter einer Veröffentlichung sagt nicht, ob eine Aussage noch zutrifft. Erneutes Lesen macht eine alte Veröffentlichung nicht neuer. Ein Aktualisierungsdatum belegt nicht, dass auch die von uns verwendete Passage überarbeitet wurde.
Zusammenfassung, Abschnitt 2 zu Zero-Shot- und Few-Shot-Verfahren sowie Abschnitt 4 zu Überschneidungen mit Trainingsdaten gelesen. Version 4 stammt vom 22. Juli 2020. Die Ergebnisse betreffen GPT-3 und sind keine aktuelle Modellrangliste; festgestellte Überschneidungen erhöhten die Werte nicht durchgängig.
Ausgabe und maschinenlesbare Belege
Inhaltsversion 0.20.0. Quellenstichtag 2026-09-15; das bedeutet nicht, dass jede Quelle an diesem Tag gelesen wurde.
Festgehaltenes vollständiges Datenpaket · Vollständige Quellennotizen · Anleitung für KI-Agenten