Vortraining
Die datierten Quellen sind über 18 Monate alt; bei anderen Quellen fehlt das Datum.
Veröffentlichungsdaten und Alter der Quellen
Anzahl der Quellen: 2
Neueste datierte Quelle: 2024-07-31
Bewertet zum Quellenstichtag dieser Ausgabe: 2026-09-15. Grenze von 18 Monaten: 2025-03-15.
Einige Veröffentlichungsdaten fehlen. Die neueste datierte Quelle ist daher nicht unbedingt die neueste Quelle insgesamt.
Das Alter einer Veröffentlichung sagt nicht, ob eine Aussage noch zutrifft. Erneutes Lesen macht eine alte Veröffentlichung nicht neuer. Ein Aktualisierungsdatum belegt nicht, dass auch die von uns verwendete Passage überarbeitet wurde.
Im Glossar öffnen Lesenotizen · Strukturierter Dateneintrag
Einfach erklärt
Eine erste Trainingsphase, die ein Ausgangsmodell für spätere Nutzung oder Anpassung liefert. [1]
Diese Erklärung zitieren oder eine Korrektur vorschlagen
Link zu dieser Erklärung · Korrektur vorschlagen · So funktionieren Korrekturen
Grenzen und Unterschiede
Ein vortrainiertes Sprachmodell ist nicht automatisch ein Assistent, der Anweisungen befolgt. Vortraining und spätere Anpassung verfolgen unterschiedliche Ziele. [2]
Diese Erklärung zitieren oder eine Korrektur vorschlagen
Link zu dieser Erklärung · Korrektur vorschlagen · So funktionieren Korrekturen
Ausführlicher erklärt
Bei einem Sprachmodell werden dabei oft Gewichte anhand großer Textsammlungen angepasst, um fehlende oder nächste Textbausteine vorherzusagen. Späteres Training kann den Umgang mit bestimmten Aufgaben verändern. [1]
Diese Erklärung zitieren oder eine Korrektur vorschlagen
Link zu dieser Erklärung · Korrektur vorschlagen · So funktionieren Korrekturen
Wie das zur Karte passt
Diese Unterscheidung hilft bei Vorschlägen, die sich ausdrücklich auf das Training neuer Basismodelle beziehen. [1]
Diese Erklärung zitieren oder eine Korrektur vorschlagen
Link zu dieser Erklärung · Korrektur vorschlagen · So funktionieren Korrekturen
Diese Seite teilen
https://theaiatlas.org/ideas/pretraining/
Bild zum Teilen herunterladen · Vektorgrafik
Vorschaubilder sind Zusammenfassungen. Teile den Seitenlink mit, damit andere die Belege prüfen können.
Quellen und Umfang unserer Lektüre
1. How do Transformers work?
Veröffentlichungsdaten und Alter der Quellen
Anzahl der Quellen: 1
Die Veröffentlichungsdaten sind nicht bekannt.
Bewertet zum Quellenstichtag dieser Ausgabe: 2026-09-15. Grenze von 18 Monaten: 2025-03-15.
Einige Veröffentlichungsdaten fehlen. Die neueste datierte Quelle ist daher nicht unbedingt die neueste Quelle insgesamt.
Das Alter einer Veröffentlichung sagt nicht, ob eine Aussage noch zutrifft. Erneutes Lesen macht eine alte Veröffentlichung nicht neuer. Ein Aktualisierungsdatum belegt nicht, dass auch die von uns verwendete Passage überarbeitet wurde.
Selbstüberwachtes Sprachmodelltraining und Transferlernen gelesen. Verwendet zur Abgrenzung des Vortrainings. Historische Daten, Leistungsvergleiche und Aussagen über Verständnis auf dieser Lehrseite werden nicht übernommen.
2. The Llama 3 Herd of Models
Die Quelle ist über 18 Monate alt.
Veröffentlichungsdaten und Alter der Quellen
Anzahl der Quellen: 1
Neueste datierte Quelle: 2024-07-31
Bewertet zum Quellenstichtag dieser Ausgabe: 2026-09-15. Grenze von 18 Monaten: 2025-03-15.
Das Alter einer Veröffentlichung sagt nicht, ob eine Aussage noch zutrifft. Erneutes Lesen macht eine alte Veröffentlichung nicht neuer. Ein Aktualisierungsdatum belegt nicht, dass auch die von uns verwendete Passage überarbeitet wurde.
Die zwei Trainingsphasen, Methoden des Nachtrainings und Grenzen in Abschnitt 5.4.8 der Version 2 gelesen. Daten folgen dem arXiv-Versionsverlauf. Ein dokumentierter Ansatz, kein allgemeingültiges Trainingsrezept.
Ausgabe und maschinenlesbare Belege
Inhaltsversion 0.20.0. Quellenstichtag 2026-09-15; das bedeutet nicht, dass jede Quelle an diesem Tag gelesen wurde.
Festgehaltenes vollständiges Datenpaket · Vollständige Quellennotizen · Anleitung für KI-Agenten