Microsoft-onderzoekers beweren dat ze het grootste 1-bit kunstmatige intelligentiemodel tot nu toe hebben ontwikkeld, ook wel bekend alsBitnettenHet model heet BitNet b1.58 2B4T en is gelicentieerd onder de MIT-licentieOpenbaar beschikbaar, kan draaien op CPU's, waaronder Apple M2.
Bitnets zijn in wezen een compressiemodel dat is ontworpen om op lichtgewicht hardware te draaien. In standaardmodellen worden gewichten (waarden die de interne structuur van het model definiëren) vaak gekwantiseerd, zodat het model goed presteert op verschillende machines. Het kwantiseren van gewichten vermindert het aantal bits (de kleinste eenheden die een computer kan verwerken) dat nodig is om die gewichten weer te geven, waardoor modellen sneller kunnen werken op chips met minder geheugen.
Bitnets kwantificeren gewichten in drie waarden: -1, 0 en 1. In theorie zorgt dit ervoor dat ze meer geheugen en rekenefficiënter zijn dan de meeste hedendaagse modellen.
Microsoft-onderzoekers zeggen dat BitNet b1.58 2B4T het eerste BitNet is met 2 miljard parameters, waarbij 'parameters' grotendeels synoniem zijn met 'gewichten'. De onderzoekers beweren dat BitNet b1.58 2B4T, getraind op een dataset van 4 biljoen tokens (naar schatting gelijkwaardig aan ongeveer 33 miljoen boeken), beter presteert dan traditionele modellen van vergelijkbare omvang.
Voor alle duidelijkheid: BitNet b1.58 2B4T verslaat niet bepaald het 2 miljard parametermodel van de concurrentie, maar het lijkt zich wel staande te houden. Volgens de tests van de onderzoekers presteerde het model beter dan Meta's Llama 3.2 1B, Google's Gemma 3 1B en Alibaba's Qwen 2.5 1.5B op benchmarks zoals GSM8K (een reeks wiskundevragen op de basisschool) en PIQA (een test van natuurkundig, gezond verstand).
Misschien nog indrukwekkender is dat de BitNet b1.58 2B4T sneller is dan andere modellen van vergelijkbare grootte (in sommige gevallen twee keer zo snel) terwijl hij slechts een fractie van het geheugen gebruikt.
Er is echter een probleem. Om dit soort prestaties te bereiken is het gebruik van het aangepaste Microsoft-framework bitnet.cpp vereist, dat momenteel alleen op bepaalde hardware werkt. GPU's, die de wereld van de AI-infrastructuur domineren, zijn nog niet opgenomen in de lijst met ondersteunde chips.
Samenvattend,BitnettenDe toekomst kan er rooskleurig uitzien, vooral voor apparaten met beperkte middelen, maar compatibiliteit is nog steeds een belangrijk probleem en zal dat waarschijnlijk ook blijven.