Op 26 februari, op de derde dag van de Open Source Week, kondigde DeepSeek de opening aan van de efficiënte FP8GEMM-bibliotheek DeepGEMM. De releases van DeepSeek van de afgelopen drie dagen hebben allemaal betrekking op algoritmen en zijn meer technisch.

Chen Ran, oprichter van de grote ecologische modelgemeenschap OpenCSG (Open Expression), gaf een voorbeeld aan China Business News: "In het verleden gaf DeepSeek rechtstreeks een auto en vertelde iedereen dat de auto een bereik van 900 kilometer heeft, maar nu graaft DeepSeek dieper om erachter te komen hoe hij tot 900 kilometer kan rijden." Waarom het model van DeepSeek betere resultaten kan behalen, zijn er enkele algoritmen en bijbehorende raamwerken, en de open source van deze "steigers" is bevorderlijk voor toekomstige ecologische constructie.


Specifiek voor de trefwoorden die deze keer zijn uitgebracht, is GEMM (General Matrix Multiplication) een basisbewerking in de lineaire algebra, terwijl FP8GEMM een berekeningsbewerking is die 8-bit drijvende-kommagetallen gebruikt voor matrixvermenigvuldiging. FP8 is een drijvende-komma-indeling met lage precisie, geschikt voor deep learning en high-performance computing. Het kan het geheugengebruik en de bandbreedtevereisten verminderen, terwijl de hoge computerefficiëntie behouden blijft.

Volgens DeepSeek ondersteunt DeepGEMM zowel traditionele dichte modellen als GEMM-bewerkingen van MoE-modellen (Mixed Expert). Deze code biedt efficiënte training en ondersteuning voor gevolgtrekkingen voor hardware uit de V3/R1-serie, gebaseerd op NVIDIA Hopper-architectuur (zoals H100GPU).

DeepSeek vermeldde dat op basis van deze codebasis de prestaties van 1350+FP8TFLOPS (floating point operations per second) kunnen worden bereikt op de NVIDIA Hopper-architectuur GPU, waarbij volledig gebruik wordt gemaakt van de rekenkracht. Tegelijkertijd is het codebasisontwerp heel eenvoudig, met slechts één kernkernelfunctie en een codegrootte van ongeveer 300 regels, maar het presteert beter dan door experts afgestemde kernels op de meeste matrixgroottes.

Wat is de impact van open source DeepGEMM? De verslaggever stelde deze vraag aan DeepSeek, die antwoordde dat DeepGEMM de pijnpunten van de computerefficiëntie en het verbruik van hulpbronnen bij grote modellen oploste via FP8 en optimalisatie op hardwareniveau, en vooral belangrijke ondersteuning bood voor de implementatie van het MoE-model. Het open source-gedrag ervan versnelt niet alleen de democratisering van technologie, maar kan ook de ‘infrastructuur’ van het AI-computing-ecosysteem worden en de ontwikkeling van de industrie in een efficiëntere en goedkopere richting bevorderen.

FP8 is een opkomende standaard voor AI-computing. De hoge efficiëntie ervan kan de training van honderden miljarden parametermodellen versnellen en de vereisten voor videogeheugen verminderen. Bij implementatie op edge-apparaten of in de cloud kunnen de uiterst nauwkeurige berekeningen van FP8 de doorvoer aanzienlijk verbeteren en de kosten verlagen. Daarom kan open source DeepGEMM de popularisering van de FP8-ecologie bevorderen, de drempel verlagen voor ontwikkelaars om te gebruiken, meer raamwerken en modellen promoten om zich aan te passen aan FP8, en de migratie van de industrie naar laag-precisie computergebruik versnellen.

Bovendien zijn MoE-modellen moeilijk te implementeren vanwege de rekencomplexiteit. De open source van DeepGEMM biedt een efficiënte implementatiereferentie, die kan leiden tot meer MoE-toepassingen (zoals multimodale modellen, edge-side efficiënte modellen).

Over de open source-codebasis van DeepSeek gedurende drie opeenvolgende dagen zei Chen Ran tegen verslaggevers: "We zijn er behoorlijk door geschokt." Het uiteindelijke doel van DeepSeek is om te laten zien hoe hun R1 en V3 worden gemaakt. Hij is van mening dat de algoritmen die momenteel door DeepSeek worden uitgebracht in zekere zin 'steigers' zijn. “We moeten iedereen een ‘steiger’ geven zodat iedereen de technologielijn op basis van DeepSeek kan blijven gebruiken, en uiteindelijk kan de industrie op basis hiervan een ecosysteem bouwen.”

Op de lange termijn gelooft Chen Ran dat het open source-initiatief van DeepSeek zeer betekenisvol is. Het heeft zowel modelstandaarden, gereedschapsstandaarden als ecologische hoekstenen, zodat het ecosysteem kan groeien.

Chen Ran oordeelde dat de open source-code van DeepSeek gevolgen kan hebben voor een groep beoefenaars die aan de AIInfra-laag werken. "DeepSeek levert in principe de technologiestack en modellen, maar het mist data, maar anderen kunnen de data ook reproduceren. Mensen in de AIInfra-laag zullen nieuwe richtingen moeten vinden." Maar hij zei ook dat dit soort open source een tweesnijdend zwaard is. Als u goed gebruik kunt maken van de open source-inhoud van DeepSeek, kunt u hier ook van profiteren. "Als je het niet goed gebruikt, word je geraakt."

Sommige beoefenaars vertelden verslaggevers ook dat de open source van DeepSeek de gevolgtrekkingsversnelling van de Infra-laag is. De open source van de onderliggende technologie van DeepSeek zal een impact hebben op de praktijk, maar deze zal wellicht niet al te groot zijn.

"De impact van DeepSeek op de industrie is nog maar net begonnen en niemand kan de uitkomst raden." zei bovengenoemde arts.

DeepSeek heeft eerder aangekondigd dat het vijf broncodebibliotheken één voor één zal openen. Vervolgens zal DeepSeek deze week nog twee codebibliotheken vrijgeven. “Elke gedeelde coderegel zal een collectieve motivatie worden om de ontwikkeling van de AI-industrie te versnellen.” DeepSeek zei in de aankondiging.