Frontier-AI tættere på realtid

OpenAI har introduceret en preview-version af Ultrafast til GPT-5.6 Sol. Tjenesten er drevet af Cerebras og kan ifølge OpenAI generere op mod 750 outputtokens i sekundet.

Det interessante er ikke kun, at svar bliver vist hurtigere. Når en AI-agent gennemfører mange handlinger efter hinanden, akkumuleres ventetiden mellem hvert modelkald. Her kan lav latenstid ændre, hvilke opgaver der overhovedet er praktiske.

Faktaboks
• Op til 14× hurtigere end Standard
• Op til 750 outputtokens/sekund
• Først tilgængelig via API
• Begrænset preview

OpenAI fremhæver blandt andet voice-AI, kundeservice, programmering og research som områder, hvor Ultrafast kan være særlig interessant.

Der er benyttet AI til at skrive denne artikel.