De neurale motor van de M4-chip van Apple stond oorspronkelijk alleen open voor AI-gevolgtrekkingen, maar sommige ontwikkelaars omzeilden de softwarebeperkingen die Apple had ingesteld door middel van reverse engineering en brachten de verborgen AI-verwerkingsmogelijkheden vrij. Deze doorbraak is niet afhankelijk van CoreML, Metal of GPU, maar maakt gebruik van een op maat gemaakte MIL (Model Intermediate Language) die helemaal opnieuw is ontwikkeld om met de chip te communiceren.
Relevant personeel maakte de code op GitHub bekend en deelde de demonstratieresultaten op het X-platform, waarbij ze zeiden dat het hun aanpak was om volledige backpropagatie- en Transformer-training rechtstreeks op de ANE van M4 uit te voeren. Om onderbrekingen te voorkomen nadat het trainingsproces vastloopt, wordt in het plan ook het exec()-mechanisme gebruikt om het proces te "herstarten" om indien nodig door te gaan met trainen.
Het rapport vermeldde verder dat dit proces helemaal niet naar het NAND-flashgeheugen schrijft, maar de gegevens en status in het RAM behoudt, waardoor de snelheid aanzienlijk wordt verhoogd. Na het omzeilen van softwarebeperkingen kan M4 ongeveer 15,8 TFLOPS aan AI-verwerkingsprestaties op iPad of Mac bereiken, wat genoeg is voor modeltraining zonder afhankelijk te zijn van dure standalone computers of geavanceerde NVIDIA GPU's.
Dit resultaat werd bereikt op M4, dus buitenstaanders beginnen te speculeren dat M5 een sterker potentieel zou kunnen ontketenen, maar het is nog niet bevestigd of dezelfde methode van toepassing zal zijn op de nieuwere generatie Apple Silicon.
leer meer:
https://github.com/makerix/ANE