Latenz / Antwortverzögerung
Veröffentlichungsdaten und Alter der Quellen
Anzahl der Quellen: 1
Neueste datierte Quelle: 2025-09
Mindestens eine Quelle wurde innerhalb des 18-Monats-Zeitraums veröffentlicht.
Bewertet zum Quellenstichtag dieser Ausgabe: 2026-09-15. Grenze von 18 Monaten: 2025-03-15.
Das Alter einer Veröffentlichung sagt nicht, ob eine Aussage noch zutrifft. Erneutes Lesen macht eine alte Veröffentlichung nicht neuer. Ein Aktualisierungsdatum belegt nicht, dass auch die von uns verwendete Passage überarbeitet wurde.
Im Glossar öffnen Lesenotizen · Strukturierter Dateneintrag
Einfach erklärt
Die Wartezeit auf die Antwort eines Systems. Bei erzeugtem Text unterscheiden sich die Wartezeit auf das erste sichtbare Wort und auf die vollständige Antwort. [1]
Diese Erklärung zitieren oder eine Korrektur vorschlagen
Link zu dieser Erklärung · Korrektur vorschlagen · So funktionieren Korrekturen
Grenzen und Unterschiede
Durchsatz beschreibt, wie viel Arbeit ein System in einer Zeitspanne verarbeitet. Ein System, das insgesamt viele Anfragen bewältigt, beantwortet nicht zwangsläufig jede einzelne schnell. [1]
Diese Erklärung zitieren oder eine Korrektur vorschlagen
Link zu dieser Erklärung · Korrektur vorschlagen · So funktionieren Korrekturen
Ausführlicher erklärt
Latenz ist eine Zeitspanne. Tests von Sprachmodellen können die Zeit bis zum ersten Ausgabetoken und die Dauer weiterer Tokens messen. Diese Werte beschreiben verschiedene Teile des Wartens. [1]
Diese Erklärung zitieren oder eine Korrektur vorschlagen
Link zu dieser Erklärung · Korrektur vorschlagen · So funktionieren Korrekturen
Wie das zur Karte passt
Einordnung in der Karte: Antwortgeschwindigkeit ist ein Leistungsmaß für Produkte. Sie ist von der Kartenachse zum Entwicklungstempo leistungsfähigerer KI getrennt. [1]
Diese Erklärung zitieren oder eine Korrektur vorschlagen
Link zu dieser Erklärung · Korrektur vorschlagen · So funktionieren Korrekturen
Diese Seite teilen
https://theaiatlas.org/ideas/latency/
Bild zum Teilen herunterladen · Vektorgrafik
Vorschaubilder sind Zusammenfassungen. Teile den Seitenlink mit, damit andere die Belege prüfen können.
Quellen und Umfang unserer Lektüre
1. MLPerf Inference 5.1: Benchmarking Small LLMs with Llama3.1-8B
Veröffentlichungsdaten und Alter der Quellen
Anzahl der Quellen: 1
Neueste datierte Quelle: 2025-09
Mindestens eine Quelle wurde innerhalb des 18-Monats-Zeitraums veröffentlicht.
Bewertet zum Quellenstichtag dieser Ausgabe: 2026-09-15. Grenze von 18 Monaten: 2025-03-15.
Das Alter einer Veröffentlichung sagt nicht, ob eine Aussage noch zutrifft. Erneutes Lesen macht eine alte Veröffentlichung nicht neuer. Ein Aktualisierungsdatum belegt nicht, dass auch die von uns verwendete Passage überarbeitet wurde.
Der Abschnitt zu Leistungsmaßen wurde gelesen. Er unterscheidet die Zeit bis zum ersten Textteil, die Dauer weiterer Ausgaben und den Durchsatz. Konkrete Testvorgaben werden nicht als allgemeine Anforderungen aller Nutzer dargestellt.
Ausgabe und maschinenlesbare Belege
Inhaltsversion 0.20.0. Quellenstichtag 2026-09-15; das bedeutet nicht, dass jede Quelle an diesem Tag gelesen wurde.
Festgehaltenes vollständiges Datenpaket · Vollständige Quellennotizen · Anleitung für KI-Agenten