HuisNieuwsTrainingsrobot met behulp van een slimme bril?

Trainingsrobot met behulp van een slimme bril?

Slimme glazen bieden schaalbare trainingsgegevens in vergelijking met statische camera's.Robots leren manipulatietaken rechtstreeks van interacties tussen mens en object die zijn vastgelegd in alledaagse omgevingen.



De algemene robotica en AI Lab aan de New York University heeft EgoZero geïntroduceerd, een framework dat een slimme bril gebruikt om trainingsgegevens voor robots te genereren.Het systeem maakt gebruik van egocentrische video- en ruimtelijke tracking om algemene manipulatiemodellen te trainen zonder de noodzaak van robotdemonstratiegegevens.Het "ego" -gedeelte van egozino verwijst naar de "egocentrische" aard van de gegevens, wat betekent dat het wordt verzameld vanuit het perspectief van de persoon die een taak uitvoert.

EgoZero werkt op egocentrische opnames van het project Aria -bril van Meta.Deze apparaten bevatten continue first-person video en ruimtelijke informatie terwijl mensen dagelijkse taken uitvoeren.De gegevens worden verwerkt via een pijplijn die objectpunten in 3D lokaliseert met behulp van cameratrajecten en triangulatie.Handpose -schattingsmodellen bieden belangrijke punten die worden omgezet in "actiepunten", die contact- en bewegingsvectoren vertegenwoordigen.

Het systeem vermijdt ruwe beeldoverdracht.In plaats daarvan vermindert het opnames in puntgebaseerde trajecten in 3D-ruimte.Deze punt abstractie omzeilt de visuele mismatch tussen menselijke handen en robotachtige eindeffectoren.Robotarmen repliceren vervolgens de relatieve beweging van deze punten ten opzichte van objecten, in plaats van te proberen het uiterlijk van de menselijke beweging te reproduceren.

In proof-of-concept-experimenten werden 20 minuten menselijke demonstraties geregistreerd voor elk van de zeven taken, waaronder pick-and-place acties.Robots trainden alleen op deze egocentrische gegevens, bereikten een succespercentage van 70 procent bij het implementeren van fysieke taken.

De architectuur biedt draagbaarheid en schaalbaarheid.Slimme bril legt automatisch relevante taakdetails vast, omdat dragers hun zicht op kritieke gebieden oriënteren.Dit verhoogt taakrelevante gegevens vergeleken met statische externe camera's.Het verwijdert ook de behoefte aan robotspecifieke gegevensverzameling, die tijdrovend en hardware-afhankelijk is.

Naast EgoZero ontwikkelden onderzoekers een 3D-geprinte handheld grijper met een smartphonecamera om robotachtige grijp te repliceren.Deze parallelle methode past hetzelfde puntruimte-trackingprincipe toe en biedt een goedkoop pad naar grotere gegevensverzameling op schaal.

EgoZero vertegenwoordigt een stap in de richting van schaalbare datasets van interactie tussen mens en object, vergelijkbaar met tekstgegevens op internetschaal voor taalmodellen, bedoeld om robotica van algemene doeleinden te versnellen.