Voor het eerst hebben wetenschappers met succes een videoclip van 10 seconden van een muis gereconstrueerd door alleen gebruik te maken van de hersenactiviteit. Daarmee is een nieuw venster geopend om te begrijpen hoe de hersenen visuele ervaringen coderen en verwerken. Deze prestatie is afkomstig van een onderzoeksteam onder leiding van University College London (UCL). Het relevante artikel is onlangs gepubliceerd in het tijdschrift "eLife".

De afgelopen jaren is het vakgebied van de neurowetenschappen zich blijven concentreren op de manier waarop het menselijk brein de wereld die we zien ‘splitst’ op basis van de signalen die door de ogen worden ontvangen. Eerdere studies toonden vrijwilligers meestal afbeeldingen of video's in beeldapparatuur zoals functionele magnetische resonantie, en probeerden vervolgens visuele informatie van hersenactiviteit te decoderen tot een enkele pixel. Dit werk zet dit algemene doel voort, maar koos ervoor om de activiteit van de visuele cortex te volgen via opname op één celniveau bij muizen om een ​​gedetailleerder beeld te krijgen van de visuele representatie van de hersenen.

Door alleen activiteitsgegevens van de visuele cortex van de muizen te gebruiken, kon het team eerder bekeken videoclips van de muizen met verrassende kwaliteit reconstrueren. De eerste auteur van het artikel, Joel Bauer van het UCL Sainsbury Wellcome Centre, zei dat ze een meer algemene en realistische manier wilden vinden om te onderzoeken hoe de hersenen betekenis geven aan wat ze zien. Veel bestaande methoden kunnen alleen conclusies trekken op basis van specifieke omstandigheden of stimuli, en zijn moeilijk te generaliseren naar meer natuurlijke en complexe visuele scènes, terwijl nieuwe methoden proberen direct vast te leggen wat de hersenen vertegenwoordigen en dit te vergelijken met de werkelijkheid.

Wat specifieke technologie betreft, heeft het onderzoeksteam een ​​'dynamisch neuraal coderingsmodel' aangenomen. Het model, oorspronkelijk ontwikkeld door een ander team voor de Sensorium-wedstrijd van 2023, werd gebruikt om de intensiteit van de activiteit in elk neuron te voorspellen terwijl muizen naar een film keken, waarbij rekening werd gehouden met factoren zoals de spontane bewegingen van het dier en de pupildiameter. Het UCL-team verbeterde het model verder op basis van dezelfde dataset: ze vergeleken twee soorten neuronale activiteit: de activiteit voorspeld door het model wanneer de muizen naar een "leeg scherm" keken, en de werkelijke activiteit gemeten door microscopische beeldtechnologie. Deze beeldvormingsmethode kan nauwkeurig identificeren welke neuronen op specifieke tijdstippen worden geactiveerd op basis van veranderingen in lokale calciumconcentraties in de cel.

Terwijl het model draait, gaan de onderzoekers uit van een ‘lege film’ en gebruiken ze het algoritme om elke pixel voortdurend aan te passen totdat de gegenereerde video statistisch zeer consistent is met de video die de muizen daadwerkelijk hebben bekeken. Na voltooiing van de training kon het model een videoclip van ongeveer 10 seconden reconstrueren op basis van de hersenactiviteit van muizen die naar een nieuwe video keken. Het is vermeldenswaard dat deze video's die voor de reconstructie werden gebruikt, niet deelnamen aan modeltraining, wat de veelzijdigheid van de methode beter weerspiegelt.

Ball merkte op dat de details van de gereconstrueerde video’s aanzienlijk verbeterden na het toevoegen van gegevens van meer individuele neuronen, wat het belang onderstreepte van het verkrijgen van uitgebreidere neurale gegevens. Om de reconstructie te evalueren, gebruikte het team een ​​pixelcorrelatiemetriek, waarbij elke pixel van elk frame in de originele film werd vergeleken met de overeenkomstige pixel in de gereconstrueerde film. De resultaten laten zien dat de verschillen in ruimte en tijd tussen de twee relatief beperkt zijn, wat aangeeft dat dit soort ‘filmvertaling’ op basis van hersenactiviteit een zeer hoge nauwkeurigheid kan bereiken.

In de toekomst zijn de onderzoekers van plan hersengegevens te verzamelen met een hogere resolutie en een bredere dekking om een ​​duidelijkere en bredere visuele scènereconstructie te ondersteunen. Wat de toepassing betreft, hopen ze deze technologie vooral te kunnen gebruiken om ‘perceptie-werkelijkheidsafwijking’ te onderzoeken: dat wil zeggen, waarom en hoe de visuele representatie in de hersenen afwijkt van het objectieve beeld dat voor ons ligt. Ball wees erop dat mensen geen volledig echte ‘kopie van de wereld’ in de hersenen hebben. Visuele informatie wordt tijdens de verzending en verwerking selectief versterkt, gecomprimeerd of vervormd. Deze afwijking is geen eenvoudige fout, maar een functioneel mechanisme dat door de hersenen wordt gebruikt om waargenomen informatie te interpreteren en te verbeteren.

Deze studie naar visuele filmreconstructie bij muizen legt de basis voor soortgelijk werk bij complexere dieren en zelfs mensen in de toekomst. Met de voortdurende ontwikkeling van beeldtechnologie, computationele modellen en data-analysemethoden kunnen wetenschappers mogelijk een dieper inzicht krijgen in hoe we de wereld ‘zien’, en wordt verwacht dat ze nieuwe theoretische ondersteuning zullen bieden voor de diagnose en behandeling van visuele beperkingen, hersen-computerinterfaces en meeslepende kunstmatige perceptiesystemen.