I en banebrytende studie presentert i Nature den 25. juni 2025 beskriver forskere ved Massachusetts Institute of Technology (MIT), inkludert Sizhe Lester Li og Daniela Rus, et nytt synsbasert system som lar roboter lære seg å forstå kroppen uten sensorer eller forhåndsprogrammerte modeller. Systemet, kalt Neural Jacobian Fields (NJF), gjør det mulig for roboten å observere sine egne bevegelser via video og bygge en intern modell av hvordan kroppens punkter beveger seg som funksjon av motoriske kommandoer.
Et robotisk «jeg» gjennom visuell læring
Metoden etterligner hvordan mennesker lærer å kontrollere kroppen sin: vi beveger oss, observerer og justerer — uten direkte sensorer for hvert ledd. NJF lar roboten utføre tilfeldige bevegelser mens 12 vanlige RGB‑D‑kameraer filmer den fra flere vinkler. Deretter bruker et nevralt nettverk disse videostrømmene til å rekonstruere en 3D-visjon av robotens geometri og samtidig lære hvilke motorer som styrer hvilke deler av kroppen
To hovedelementer i teknologien
Systemet består av to grunnleggende deler: Et dyplæringsbasert synsnettverk som lokaliserer kroppens 3D-punkter, og en maskinlæringsmodell som oversetter generelle bevegelseskommandoer til robotaktuatorers respons. Sammen bygger disse en Jacobian‑felt‑modell som forteller roboten hvordan hver kommando påvirker kroppens form og posisjon i rommet.
Tilpasningsdyktighet og robusthet
NJF har vist seg effektivt også når deler av roboten er visuelt blokkert — tradisjonelle 2D-kontrollsystemer faller lett sammen under slike forhold, mens NJF klarer å bevare nøyaktighet takket være sin 3D-rekonstruksjon og forståelse av kroppens dynamikk.
Anvendelser på tvers av robottyper
Teknologien har blitt testet på ulike roboter, inkludert fleksible, myke roboter (soft robotics), en Allegro-hånd og en 3D-printet robotarm — og i alle tilfeller oppnådde systemet full forståelse av både form og bevegelse ved hjelp av kun ett kamera etter trening. Når treningen er fullført, kreves bare ett vanlig kamera for sanntidskontroll med en responshastighet rundt 12 Hz, noe som gir praktiske realtidsanvendelser.
Fremtidsperspektiver og mulige bruksområder
Ved å frigjøre robotdesign fra behovet for innebygde sensorer eller presist modellerte strukturer, åpner NJF opp for en mer innovativ, fleksibel robotikk. Dette gjør det mulig å bygge roboter med uvanlige former eller myke materialer uten å ofre kontroll eller nøyaktighet. Ifølge forskerne kan systemet være praktisk i landbruk, bygg, helse og andre ustrukturert miljøer hvor tradisjonell navigasjon og sensing er utfordrende. I fremtiden forestiller man seg at hobbyister kan filme en robots tilfeldige bevegelser med mobiltelefon og deretter generere en kontrollmodell helt uten forhåndskunnskap eller ekstra utstyr.
Begrensninger og videre forskning
Så langt må treningen kjøres individuelt for hver robot, og systemet mangler fortsatt kraft- eller taktile sanser, noe som begrenser bruk på kontaktintensive oppgaver. Forskerne jobber nå med å forbedre generalisering, håndtere visuell blokkering og utvide modellens evne til handling over lengre tid og romlige områder.
