물건 집어 들고 원하는 곳에 갖다 놓는 로봇: 뉴욕대 VIDEO: A robot that can pick up objects and drop them in a desired location..

VLM OK-Robot

뉴욕(New York) 대학 로봇공학자 팀

언어 프롬프트 기반 사물 인식 기술 발전

메타(Meta)의 인공지능(AI)의 동료와 함께 일하는 뉴욕(New York) 대학의 로봇공학자 팀은 낯선 방에서 지정된 물체를 집어 새로운 지정된 위치에 놓을 수 있는 로봇을 개발했다. arXiv 사전 인쇄 서버에 게시된 논문에서 이 팀은 로봇이 어떻게 프로그래밍되었는지, 그리고 여러 실제 단어 환경에서 테스트되었을 때 얼마나 잘 수행되었는지를 설명한다.

연구원들은 시각 언어 모델(VLM)이 지난 몇 년간 상당히 발전했고 언어 프롬프트를 기반으로 사물을 인식하는 데 매우 능숙해졌다고 언급했다. 그들은 또한 로봇 기술이 향상되었다고 지적했다. 그들은 그것들을 깨뜨리지 않고 물건들을 잡고, 원하는 장소로 운반하고, 그것들을 내려놓을 수 있다. 그러나 지금까지 VLM과 숙련된 로봇을 결합하기 위해 거의 이루어지지 않았다.

이 새로운 연구를 위해 연구원들은 헬로 로봇이 판매하는 로봇으로 이것을 하려고 시도했다. 그것은 바퀴, 기둥, 손을 위한 걸쇠가 있는 개폐식 팔을 가지고 있다. 연구팀은 그것에게 이전에 훈련된 VLM을 주었고 OK-Robot이라고 이름 붙였다

그리고 나서 그들은 그것을 10개의 자원봉사자 가정으로 가져가서 아이폰을 사용하여 3D 비디오를 만들고 주어진 가정의 배치에 대한 전체적인 느낌을 주기 위해 로봇에게 입력시켰다. 그리고 나서 그들은 아이폰에게 "선반 위의 분홍색 병을 쓰레기통으로 옮기는 것"과 같은 몇 가지 간단한 이동 작업을 수행하도록 요청했다.