In augustus 2023 bracht Meta Company CodeLlama uit, een grootschalig taalmodel speciaal ontworpen voor programmeertaken, gebaseerd op het vorige Llama2-model. Vandaag heeft het bedrijf een "nieuwe, krachtigere versie" uitgebracht: CodeLlama70B.
CodeLlama70B is getraind op 500 miljard bytes aan code en gerelateerde gegevens. Het kan langere codereeksen verwerken en genereren dankzij een contextvenster van 100.000 zinnen.
Volgens Meta gebruikt CodeLlama70B een technologie genaamd zelfaandacht om de codestructuur te begrijpen. Het kan algoritmen, sorteer-, zoek- en andere functies implementeren op basis van tekst- of fragmentprompts, en is geschikt voor meerdere talen zoals Python, C++, Javascript en Java.
Deze AI-aangedreven tool bevat varianten die zijn afgestemd op specifieke taken. Eén zo'n variant is CodeLlama-70B-Instruct, die is getraind om instructies in natuurlijke taal te begrijpen. Er is ook een op Python gerichte versie genaamd CodeLlama-70B-Python. Volgens Meta genereert het, door middel van aanvullende training op 100 miljard Python-codetokens, Python-code met "ongeëvenaarde vloeiendheid en nauwkeurigheid".
“Het schrijven en bewerken van code is tegenwoordig een van de belangrijkste toepassingen van kunstmatige-intelligentiemodellen geworden”, schreef Mark Zuckerberg, CEO van Meta, in een Facebook-bericht. "Het blijkt dat codeervermogen ook erg belangrijk is voor AI-modellen om informatie op andere gebieden rigoureuzer en logischer te verwerken."
CodeLlama70B kan gratis worden gedownload onder dezelfde open licentie als eerdere CodeLlama-modellen:
https://ai.meta.com/resources/models-and-libraries/llama-downloads/
Meta zegt dat deze licentie academische en commerciële gebruikers toestaat het model te wijzigen.
GitHub, eigendom van Microsoft, lanceerde CopilotChat in juli 2023. Ontwikkelaars kunnen Copilot vragen stellen over hun code, uitleg krijgen over specifieke delen van de code en zelfs fouten in de code door Copilot laten repareren. Onlangs lanceerde Google ook DuetAI en GeminiPro, tools voor het voltooien en genereren van code, aangedreven door kunstmatige intelligentie.