Anthropic beschleunigt langlaufende KI-Agenten mit neuen "Message Threads"
Anthropic führt Message Threads für die Messages-API ein, sodass Agenten nur noch neue Nachrichten statt der gesamten Konversation übermitteln müssen. Bei Anfragen mit 500.000 bis einer Million Token sinkt die Wartezeit bis zum ersten Token um rund 35 Prozent.
Einordnung
Das Modell von Anthropic kann jetzt neue Nachrichten separat speichern, statt jedes Mal den kompletten Gesprächsverlauf von vorne zu lesen. Das ist so, als müsste ein Kollege bei einer langen E-Mail-Kette nicht jedes Mal alle alten Mails lesen, sondern nur die letzte Antwort. Bei sehr langen Texten mit bis zu einer Million Token sinkt die Wartezeit dadurch um rund 35 Prozent.
Originalquelle: The Decoder.