Ai2 veröffentlicht StateBench, eine Evaluation, bei der Spitzenmodelle auf 13 % oder weniger bei langen Zustandsverfolgungsproblemen fallen
Das Allen Institute for AI (Ai2) hat StateBench eingeführt, eine neue Evaluation, ob LLMs Zustandsänderungen über lange Texte verfolgen können, wie ein Objekt, das den Besitzer wechselt, oder eine Variable, die neu zugewiesen wird. Ai2 sagt, dass Spitzenmodelle einschließlich GPT-6 Sol und Claude Opus 5.5 auf den schwierigsten, längsten Problemen auf 13 % Genauigkeit oder weniger fielen.
Originalquelle: AlignedNews.