Modul în care funcționează creierul uman reprezintă un mister care, în ciuda descoperirilor din ultimele decenii, are încă multe întrebări rămase fără răspuns.

Unul dintre cele mai importante aspecte pe care oamenii de știință ar dori să le înțeleagă este modul în care creierul traduce informațiile vizuale în imagini mentale, procesate de lobii occipitali și temporali.

Și la fel ca în atâtea domenii – atât biologice, cât și tehnologice – inteligența artificială poate oferi un ajutor consistent. Oamenii de știință au instruit AI pentru a analiza scanările creierului și a recrea vizual ceea ce oamenii percepeau.

Un grup de cercetători de la Universitatea din Osaka a preluat o bază de date care conținea zeci de mii de scanări ce redau activitatea cerebrală a patru persoane în timp ce priveau imagini simple, cum ar fi un ursuleț, un tren sau un turn cu ceas, scrie Popular Mechanics.

Scanările respective au fost interpolate cu ajutorul Stable Diffusion – o platformă AI similară cu alte generatoare imagini pe baza unui text descriptiv, cum ar fi DALL-E 2 și Midjourney.

Scanările prin rezonanță magnetică funcțională (fMRI) au înregistrat modificările fluxului sanguin în diferite regiuni ale creierului care s-au produs în timp ce participanții la studiu privea o imagine.

Lobii temporali și occipitali ai creierului colaborează pentru a înregistra informații despre imaginea în sine, precum și pe cele despre aspectul ei vizual, inclusiv lucruri precum perspectiva și scara. Odată ce aceste citiri sunt capturate, ele pot fi ușor convertite într-o imagine care să antreneze AI în interpolarea lor.

Singura problemă a fost întâmpinată atunci când, pe baza analizei scanărilor creierului, AI a putut aproxima scara și perspectiva obiectului – informații culese din lobul occipital -, dar nu a putut discerne exact care este acesta.

Rezultatele obținute au fost reprezentări amorfe, abstracte, care redau poziția și perspectiva generală a obiectelor privite, dar altfel erau de nerecunoscut.

A fost clar că rezultatele obținute au avut o calitate limitată din cauza faptului că AI-ul nu a avut la dispoziție o cantitate de informații suficiente pentru a crea o mai bună interpolare.

Pentru a depăși această problemă, cercetătorii au adăugat fiecărei scanări a creierului cuvinte cheie și au valorificat capacitățile text-to-image ale Stable Diffusion.

Cu ajutorul acestor cuvinte cheie, inteligența artificială a putut combina cu cele două fluxuri de date – scanările vizuale fMRI și subtitrările textuale – pentru a recrea imagini remarcabil de similare cu cele văzute de participanții inițiali.

Când un utilizator introduce în mod normal un cuvânt într-un generator AI text-to-image, DALL-E, Midjourney sau orice alt algoritm ales. creează o imagine fără a ține cont de perspectivă, scară sau poziționare. Dar, deoarece Stable Diffusion se bazează și pe informațiile capturate de lobul occipital al creierului, a creat o aproximare uimitor de apropiată a imaginii specifice prezentate participanților.

Cercetătorii au rezervat câteva imagini din grupul de antrenament inițial pentru a evalua algoritmul – iar AI a trecut ulterior la test.

Această demonstrație a capacității de citire a minții de către inteligența artificială vine cu câteva avertismente – cea mai importantă este că funcționează doar pe baza unui grup de scanări ale creierului a doar patru persoane.

AI ar trebui să fie instruit pe seturi de date mult mai mari înainte de a fi implementat într-un mod serios în acest proces.

De asemenea, programul nu poate identifica decât imaginile pe care deja le-a parsat în timpul antrenamentului. Dacă i s-ar cere să recunoască din scanarea creierului cuiva, de exemplu, un cal, și nu regăsește în baza sa de date o informație despre reprezentarea cerebrală a unei astfel de imagini, nu ar putea-o recunoaște.

Coautorul lucrării, Shinji Nishimoto, speră că într-o zi tehnologia ar putea ajuta la analiza viselor umane și la dezvoltarea unei mai bune înțelegeri a percepției animalelor într-un mod mai larg.

În stânga este imaginea văzută de participanții la studiu. Folosind numai informația oferită de activitatea cerebrală (la mijloc), Stable Diffusion a putut reproduce aspectul și perspectiva, ulterior, folosind și cuvinte cheie, imaginea creată (dreapta) a fost mai apropiată de cea originală.