Niantic verandert dezelfde wereldwijde AR-technologie die Pikachu ooit stevig op de trottoirs in de echte wereld hield, om een ​​meer nuchtere hoofdrolspeler aan te sturen: een bezorgrobot die over het trottoir pendelt op zoek naar het juiste huisnummer. Door middel van positioneringsgegevens en straatbeelden die door de jaren heen zijn verzameld, levert het bedrijf nu op centimeterniveau nauwkeurige visuele positioneringsdiensten aan bedrijven als Coco Robotics, waarmee specifiek het oude probleem wordt opgelost dat traditionele GPS 'verloren' gaat in steden met hoge gebouwen.

Niantic Spatial is een AI-spin-offbedrijf dat in 2025 door Niantic werd opgericht en gespecialiseerd is in het distilleren van jarenlange mobiele gamegegevens in zeer nauwkeurige 'wereldmodellen' uit de echte wereld. Volgens de officiële omschrijving gaat het om een ​​visueel positioneringssysteem (VPS) dat de positie en stand van het toestel binnen een centimeter bereik kan bepalen door alleen te vertrouwen op camerabeelden en kaartcontext, en via commerciële interfaces diensten levert aan de buitenwereld. De eerste grootschalige commerciële partner is Coco Robotics, een eindleveringsbedrijf dat ongeveer duizend trottoirrobots exploiteert in veel Europese en Amerikaanse steden. Lokale satellietsignalen zijn vaak te luidruchtig om betrouwbaar autonoom rijden te ondersteunen.

Het technische probleem dat Niantic Spatial moet oplossen is niet moeilijk te beschrijven, maar wel heel moeilijk om echt te overwinnen: in een stedelijke omgeving met hoge dichtheid worden GPS-signalen gereflecteerd tussen glazen vliesgevels en beton, en kunnen positioneringsfouten gemakkelijk tientallen meters bedragen. Voor een bezorgrobot is deze afwijking al voldoende om ervoor te zorgen dat deze in de verkeerde buurt, of zelfs aan de andere kant van de straat, terecht komt. Coco's robot rijdt ongeveer acht kilometer per uur en kan meerdere extra grote pizza's of zakken met boodschappen tegelijk bezorgen. Als het de menselijke passagiers wil bijhouden op het gebied van stiptheid en nauwkeurigheid van ophalen en afleveren, moet het vertrouwen op stabielere en nauwkeurigere navigatiemogelijkheden.

Het alternatief van Niantic Spatial is een visueel positioneringssysteem dat vertrouwt op 'zien' in plaats van op radiosignalen. Het bedrijf verzamelt al jaren gegevens van Pokémon Go en het eerdere augmented reality-spel Ingress, die beide spelers aanmoedigen om echte sportscholen, gevechtsarena's en verschillende interessante plaatsen te bezoeken. Dit spelmechanisme bouwt onzichtbaar een dichte reeks mondiale stedelijke datasets op: de enorme beelden die door spelers in de stedelijke omgeving worden gemaakt, zijn nauwkeurig gebonden aan de lengte- en breedtegraad, cameraoriëntatie, apparaathouding, bewegingsstatus en andere sensorgegevens die door de mobiele telefoon worden geregistreerd.

Volgens Niantic Spatial bevatten de modeltrainingsgegevens ongeveer 30 miljard beelden, sterk geclusterd rond meer dan een miljoen ‘hotspot’-locaties die herhaaldelijk vanuit verschillende hoeken, op verschillende tijdstippen van de dag en onder verschillende weersomstandigheden worden gefotografeerd. Omdat elk frame overeenkomt met een pose-schatting op centimeterniveau, vormt deze trainingsset in wezen een 3D-sampling met meerdere weergaven, die stadsstraten, oversteekplaatsen, winkelpuien en gevels van gebouwen omvat. Op basis hiervan kan het model de precieze locatie en oriëntatie afleiden uit een klein aantal in realtime gemaakte beelden, zelfs in gebieden waar de oorspronkelijke gegevensdekking niet zo dicht is als deze hotspots.

Voor Coco betekent dit dat zijn robots GPS-signalen kunnen combineren met camerapositioneringsresultaten van Niantic Spatial. Elke robot is uitgerust met vier camera's die op "heuphoogte" zijn geïnstalleerd om vanuit vier richtingen te fotograferen. Dit perspectief is anders dan dat van mensen die een mobiele telefoon in hun handen houden, maar Coco zei dat het aanpassen van dit soort gegevens aan bestaande modellen relatief intuïtief is. Momenteel hebben deze robots honderdduizenden leveringen voltooid in Los Angeles, Chicago, Miami, Jersey City, Helsinki en andere plaatsen, en hebben ze in totaal meer dan een miljoen kilometer afgelegd, waardoor het bedrijf een basis heeft voor het evalueren van de verbetering van de betrouwbaarheid van het nieuwe systeem.

Visuele positionering op zichzelf is geen nieuw concept, maar wordt al lang beperkt door de collectiedichtheid en de dekking van hoogwaardige beelden. Niantic Spatial gokt erop dat het volume en de diversiteit van zijn crowdsourced-gaminggegevens beter zullen presteren dan concurrenten die voornamelijk afhankelijk zijn van hun eigen sensorenpark om kaarten te verzamelen. Sommige andere fabrikanten van bezorgrobots (zoals Starship Technologies) bouwen gewoonlijk lokale 3D-kaarten op het renpad via hun eigen sensoren, waarbij ze stoepranden, straatnaamborden, gebouwcontouren enz. registreren, en deze kaarten vervolgens tijdens volgende reizen opnieuw gebruiken. Niantic Spatial hoopt daarentegen een wereldwijd gedeeld georuimtelijk model te behouden en dit via een API beschikbaar te maken voor elke robot, telefoon of headset die nauwkeurige positionering nodig heeft.

Niantic noemt dit model een ‘levende kaart’: een virtuele weergave van de wereld die voortdurend wordt bijgewerkt met sensoren. Terwijl Coco’s robots en meer toekomstige partners door de straten en trottoirs navigeren, zullen hun sensoren nieuwe observaties blijven retourneren die worden gebruikt om de onderliggende kaart van Niantic Spatial te corrigeren en uit te breiden. Het doel is niet alleen geometrische nauwkeurigheid, maar ook semantisch begrip: het annoteren en beschrijven van verschillende soorten objecten op een kaart op een door machines begrijpelijke manier.

Leidinggevenden van Niantic zien de inspanning als onderdeel van een langetermijnevolutie van digitale kaarten, en niet als een volledige omkering. Van 2D-kaarten naar 3D en nu naar de analoge wereld die zich beweegt in de richting van dynamische ‘digitale tweelingen’, de kernverbinding tussen kaartcoördinaten en fysieke ruimte blijft ongewijzigd. Wat echt veranderd is, is de ‘belangrijkste consument’ van dergelijke kaarten: van mensen uit het verleden naar machines. Vanuit dit perspectief wordt de ruimtelijke intelligentie die werd gebruikt om ervoor te zorgen dat de virtuele Pikachu stevig op de stoep stond, nu getransplanteerd naar een bezorgrobot die honderd kilo weegt en een stabiele route moet aanhouden bij wind, regen en verkeer.