In het AI-tijdperk, dat vaak honderden GB videogeheugen en grote modellen met biljoenen parameters vereist, heeft een ontwikkelaar de 8-bit Z80-processor, die in 1976 uitkwam, daadwerkelijk AI-chatten laten leren.Ontwikkelaar HarryR creëerde een project genaamd Z80-μLM, dat met succes conversatie-AI uitvoerde op een antieke Zilog Z80 met slechts 64 KB geheugen en geen rekenkracht met drijvende komma, en zelfs een raadspel met 20 vragen kon spelen.
HarryR comprimeert de volledige inferentie-engine, modelgewichten en chat-interactie-interface in een bestand van slechts ongeveer 40 KB, en draait perfect op antieke hardware met slechts 64 KB RAM.
Om deze onmogelijke taak te volbrengen, maakt het gebruik van uiterst hardcore optimalisatie. Hij gaf drijvende-kommabewerkingen op en schakelde over op de oorspronkelijke 16-bit integer-bewerkingen van de Z80.
Tegelijkertijd wordt ook 2-bits gewichtsvectorisatietechnologie toegepast om elk gewicht te comprimeren tot tussen {-2, -1, 0, +1}, en elke byte kan 4 gewichten bevatten en opslaan.
Het huidige project biedt twee voorbeelden. De Tinychat-robot reageert in minimalistische stijl op begroetingen en vragen. OK betekent bijvoorbeeld neutrale bevestiging, WAAROM? De vertegenwoordiger trok de premisse in twijfel, MISSCHIEN uitte hij zijn onzekerheid, enz.; de andere Guess is een raadspel met 20 vragen, en de AI zal een geheim bewaren dat de gebruiker kan ontcijferen.
HarryR gaf toe dat dit systeem op geen enkele manier de Turing-test kan doorstaan, maar dat de waarde ervan ligt in het verkennen van de ondergrens van AI. De ontwikkelaars ontwierpen doelbewust dubbelzinnige antwoorden om mensen te dwingen het ware begrip van AI te ontdekken door middel van contextuele gevolgtrekkingen of ja/nee-vragen.
