Microsoft is mogelijk een partnerschap aangegaan met OpenAI en zijn grootschalige GPT-taalmodel om generatieve AI-services zoals Copilot (voorheen de Bing-chattool) te helpen creëren. Het bedrijf ontwikkelt echter ook een eigen taalmodel. Deze week kondigde Microsoft Research de release aan van Orca2, de tweede versie van zijn Orca-taal.
Microsoft zei in een blogpost dat Orca2 is ontworpen voor kleinschalige LM, maar nog steeds kan worden gebruikt om complexe vragen zoals LLM te beantwoorden. Orca2 is verkrijgbaar in twee maten (7 miljard en 13 miljard parameters) en is gedeeltelijk gebouwd met behulp van Llama2LLM, dat Microsoft Meta eerder dit jaar hielp lanceren. Het bedrijf heeft het op Llama2 gebaseerde model verfijnd "op basis van op maat gemaakte, hoogwaardige synthetische gegevens."
Microsoft zegt dat dit het Orca2-model vergelijkbaar maakt met andere taalmodellen "5-10 keer groter" bij het oplossen van problemen:
Orca2 wordt getraind met behulp van een uitgebreide, sterk aangepaste synthetische dataset. Door het genereren van deze trainingsgegevens leert Orca2 verschillende redeneertechnieken, zoals stapsgewijze verwerking, terugroepen en vervolgens genereren, terugroepen-inferentie-generatie, extractie-generatie en direct antwoord, en leert het ook verschillende oplossingsstrategieën te kiezen voor verschillende taken.
Het Orca2-model heeft een reeks benchmarktests uitgevoerd met grote taalmodellen zoals Llama2 en WizardLM. De testinhoud omvat "taalbegrip, redeneren met gezond verstand, redeneren in meerdere stappen, oplossen van wiskundige problemen, begrijpend lezen", enz.
De officiële blog van Microsoft verklaarde: Onze voorlopige testresultaten laten zien dat de prestaties van Orca2 aanzienlijk hoger zijn dan die van modellen van vergelijkbare grootte. Het bereikte ook prestatieniveaus die vergelijkbaar waren met of beter dan die van modellen die minstens 10 keer groter waren, wat het potentieel aantoont om kleinere modellen uit te rusten met betere gevolgtrekkingsmogelijkheden.
Hoewel Microsoft erkent dat Orca2 beperkingen kent, tonen de tests tot nu toe “het potentieel voor toekomstige verbeteringen.” Microsoft zal Orca2 uitbrengen als een open source-project, zodat anderen het kunnen ontwikkelen.