Startup voor kunstmatige intelligentie Anthropic heeft vandaag aangekondigd dat zijn populaire Claude Sonnet 4 LLM-model nu tot 1 miljoen contextuele tokens ondersteunt. Na Google Gemini wordt Anthropic de tweede grote modelaanbieder die 1 miljoen contextuele tokens levert.
Voorheen ondersteunde de Claude Sonnet 4 API slechts 200.000 contextuele tokens. Met deze vijfvoudige uitbreiding kunnen ontwikkelaars hun volledige codebasis van meer dan 75.000 regels code in één verzoek verzenden.
Uitgebreide contextondersteuning wordt nu openbaar getest op de Anthropic API en Amazon Bedrock, en binnenkort komt Google Cloud Vertex AI. Ondersteuning voor lange contexten is momenteel echter beperkt tot Tier 4-ontwikkelaars en vereist aangepaste tarieflimieten. Anthropic merkt op dat deze functie de komende weken voor meer ontwikkelaars beschikbaar zal worden gemaakt.
Omdat grotere tokenvensters meer rekenkracht vereisen, heeft Anthropic speciale prijzen geïntroduceerd. Voor prompts onder de 200.000 tokens kost Sonnet 4 $3 per miljoen inputtokens en $15 per miljoen outputtokens. Voor prompts met meer dan 200.000 tokens bedragen de kosten $6 per miljoen invoertokens en $22,50 per miljoen uitvoertokens.
Ontwikkelaars kunnen de kosten verlagen door gebruik te maken van snelle caching en batchverwerking. Batchverwerking kan bijvoorbeeld een korting van 50% bieden op de prijzen voor contextvensters van 1 miljoen.
Tijdens een recente Reddit AMA-sessie bespraken OpenAI-leiders het ondersteunen van lange contextvensters voor hun modellen. OpenAI CEO Sam Altman zei dat OpenAI geen sterke vraag van gebruikers naar lange contextlengtes heeft gezien, maar als er voldoende interesse is, zijn ze bereid dit te ondersteunen. Met beperkte rekenkracht willen ze zich op andere prioriteiten richten.
Michelle Pokrass van het OpenAI-team schreef dat ze graag een langere context hadden willen bieden in GPT-5, tot 1 miljoen tokens, vooral voor API-gebruiksscenario's, maar dat ze dit niet deden vanwege de grote GPU-vraag.
De 1M-contextondersteuning van Anthropic plaatst het in directe concurrentie met Google Gemini voor lange contextmogelijkheden, waardoor OpenAI onder druk wordt gezet om zijn routekaart te heroverwegen.
