Manus heeft zich onlangs teruggetrokken uit de Chinese markt, heeft de inhoud van zijn binnenlandse sociale accounts opgeruimd en is met al zijn kracht naar overzeese markten verhuisd. De officiële verklaring was dat de reden vooral lag in de aanpassing van de operationele efficiëntie en de internationale lay-out. Op 19 juli, Beijing-tijd, publiceerde Manus mede-oprichter Ji Yichao een technische blog, waarin hij voor het eerst vanuit een technisch perspectief reageerde en de ervaringen en lessen samenvatte die zijn geleerd in Agent R&D en training sinds de oprichting van het bedrijf.
Vanuit technisch perspectief zei Ji Yichao dat Manus zich zal concentreren op context-engineering en snelle productiteratie zal bereiken met behulp van structureel "geheugen" en processen. Het omvat vooral het wedden op context, het niet langer trainen van modellen, het benadrukken van de betekenis van de hitrate van KV-Cache (Key-Value Cache, een caching-mechanisme), het niet dynamisch toevoegen van tools, en het gebruiken van het bestandssysteem om persistente context te hosten. De kern is om de trainingskosten van het onderliggende model te besparen en te focussen op het verbeteren van de trainingsefficiëntie.
In grote modellen verwijst context meestal naar de verzameling informatie waarnaar het model verwijst bij het verwerken van taken of het genereren van uitvoerinhoud. Het kan het model helpen het begrip ervan te vergroten, de taakprestaties te verbeteren en de outputcoherentie te verbeteren. Eerder benadrukte Yang Zhilin, oprichter van Dark Side of the Moon Kimi, het belang van context in een interview. Hij zei dat de uiteindelijke waarde van Ai-native (productvorm gedefinieerd door AI) het bieden van gepersonaliseerde interactie is, en dat verliesloze lange context (LosslessLongContext) de sleutel is om dit doel te bereiken. Hij was van mening dat verfijning van het model op de lange termijn niet mogelijk zou moeten zijn. De interactiegeschiedenis tussen de gebruiker en het model is het beste personalisatieproces, en lange-contexttechnologie kan deze interactiegeschiedenis beter registreren en gebruiken.
Bovendien is het trefferpercentage van de KV-Cache van cruciaal belang, vooral omdat een hoog trefferpercentage de inferentie-efficiëntie kan verbeteren, het gebruik van bronnen kan optimaliseren en de computerkosten kan verlagen. Op basis hiervan wordt KV-Cache vaak de efficiëntiekern van de inferentiefase van het Transformer-model genoemd.
De keuze om de trainingsefficiëntie te verbeteren op basis van de bovenstaande aspecten in plaats van te vertrekken vanuit het onderliggende model is een les die Ji Yiguo door de jaren heen heeft geleerd. Hij zei dat toen hij zijn laatste bedrijf (Peak Labs) oprichtte, het team besloot om vanaf nul modellen te trainen voor open informatie-extractie en semantisch zoeken, maar kort daarna verschenen OpenAI's GPT-3 en Google's Flan-T5-modellen, en de interne modellen die het team helemaal opnieuw had ontwikkeld, werden van de ene op de andere dag irrelevant. "Ironisch genoeg markeren deze modellen het begin van contextueel leren en een nieuwe weg vooruit." zei Ji Yichao.
Op basis van eerdere lessen heeft het team na de start van Manus niet langer geïnvesteerd in onderzoek en ontwikkeling van basismodellen, maar gekozen tussen het gebruik van open source basismodellen om end-to-end agenten te trainen, en het bouwen van agenten op basis van de contextleermogelijkheden van geavanceerde modellen. Hoewel de lessen die uit Peak Labs zijn geleerd het Manus-team het belang van context hebben doen inzien, was dat niet eenvoudig. Er waren vier aanpassingen aan het Agent-framework nodig om de lokale optimale oplossing te bereiken.
Er moet echter worden opgemerkt dat deze strategie nog steeds beperkingen heeft, vooral als je wordt geconfronteerd met de ChatGPT Agent die zojuist door OpenAI is uitgebracht. De belangrijkste reden is dat ChatGPT Agent vertrouwt op het speciale model van OpenAI en end-to-end training gebruikt, waardoor complexe taken beter kunnen worden afgehandeld. Hoewel Manus de efficiëntie kan verbeteren, vertrouwt het nog steeds op externe combinaties van meerdere modellen en technische optimalisatie, en is het iets minderwaardig wat betreft de consistentie en nauwkeurigheid van de taakuitvoering.
Toen Manus de internationale markt betrad, bracht OpenAI bovendien de Agent-industrie op een keerpunt met de onderliggende modelvoordelen, waardoor meer ontwikkelaars en gebruikers naar de platforms van grote fabrikanten werden getrokken. Hoewel startups ruimte hebben om te overleven op verticale gebieden, worden ze onvermijdelijk nog steeds geconfronteerd met de uitdaging om te concurreren om marktaandeel. Vooral wanneer agentproducten momenteel met problemen kampen zoals ernstige homogeniteit, onduidelijke bedrijfsmodellen en hoge kosten, zijn hoogtepunten op het gebied van contextuele engineering en andere aspecten niet voldoende om startups te laten opvallen. Het team moet nog steeds doorgaan met het optimaliseren van technische strategieën en het verkennen van gedifferentieerde ontwikkelingspaden.