Tijdens de GTC-conferentie van gisteren heeft NVIDIA een aantal AI-systemen uitgebracht en officieel een nieuwe LPU-chip gelanceerd: Groq 3 LPU, die het product is van de overname van Groq-technologie ter waarde van 20 miljard dollar vorig jaar. Vergeleken met AI GPU-chips die zich richten op zware modeltraining, is Groq 3 LPU ontworpen voor AI-inferentie en heeft het de voordelen van lage latentie en lange context. Het kan in combinatie met Vera Rubin worden gebruikt om het hele AI-proces te ondersteunen.

Het goede nieuws is dat deze LPU-chip naar verwachting ook in China zal worden gebruikt.Buitenlandse media citeerden bronnen die zeiden dat NVIDIA zich voorbereidt op de lancering van een Groq-chip die op de binnenlandse markt kan worden verkocht.

In tegenstelling tot eerdere GPU-chips, waarvan de prestaties moesten worden verminderd voordat ze konden worden geëxporteerd,Dit keer heeft de Groq-chip geen gecastreerde specificaties en is het geen speciale binnenlandse versie zoals de H20.

Zonder castratie of speciaal aanbod zullen dergelijke Groq-chips uiteraard veel weerstand verminderen als ze op de binnenlandse markt worden verkocht. Het grootste probleem is echter of het de Amerikaanse beoordeling kan doorstaan. Het hangt ervan af hoe Huang Renxun de Amerikaanse president overtuigt.

Maar dat gezegd hebbende, zelfs als NVIDIA geen Groq-chips specifiek aan China levert, is het moeilijk te zeggen dat de Groq-chips die in de toekomst in China worden gelanceerd de Groq 3 LPU zullen zijn die gisteren is uitgebracht, omdat de huidige prestaties en specificaties van laatstgenoemde ook erg sterk zijn.

De enkele chip van dit product heet LPU30, vervaardigd door Samsung OEM, met 500 MB SRAM-cache, 98 miljard transistors, FP8-teken 1.2PFLOPS. De AI-computerprestaties zijn veel minder dan die van de Rubin GPU, maar de bandbreedte van 150 TB/s is veel hoger dan de 22 TB/s van HBM4.

De Groq 3 LPU-chip verschijnt in de vorm van het Groq 3 LPX-rack, waarin 256 LPU30-chips kunnen worden geïntegreerd met een cachecapaciteit van 128 GB.De totale geheugenbandbreedte is verhoogd naar 40 PB/sbedraagt ​​de interconnectiebandbreedte eveneens 640TB/s.

Over het algemeen kan LPU qua AI-rekenkracht niet worden vergeleken met GPU, maar de bandbreedte van SRAM verslaat ongetwijfeld HBM4 en de latentie is lager. De twee chips zijn geschikt voor verschillende situaties. Het gaat er niet om wie de ander vervangt. De verkoop van LPU zal in de toekomst exploderen.