실시간 화음 넣어주는 로봇 Human-robot cooperative piano playing hits the high note at AI conference

  AI 컨퍼런스에서 인간-로봇 협동 피아노 연주가 최고조에 달하다

사람과 함께 피아노를 연주하고 실시간으로 하모니 반주를 만들어낼 수 있는 음악 로봇이 2024년 인간에서 영감을 받은 인공지능 센터(CHIA) 컨퍼런스에서 상을 수상했습니다.

인간-로봇 협동 피아노 연주. 멜로디 라인[RED]과 이를 지원하는 하모닉 반주[BLUE] 사이의 시간적 동기화를 보여주는 시스템 개요.

케임브리지 공과대학의 공학과 생체모방 로봇 연구실(BIRL) 소속 박사과정 학생인 휘장 왕(Huijiang Wang)이 로봇 팔 에 부착된 맞춤형 인간형 손인 '하모니 로봇(Harmony Robot)'으로 최우수 데모 상을 수상했습니다 . '하모니 로봇'은 손가락이 화음을 울리는 포즈로 미리 설정되어 있습니다.

IEEE 로봇 공학 저널에 게재된 별도의 연구 논문 도 수상의 일부로 수락되었습니다.

"학습 기반 실시간 음악 반주를 갖춘 인간- 로봇 협동 피아노 연주"라는 제목의 Huijiang과 공동 저자인 Dr. Xiaoping Zhang과 Fumiya Iida 교수는 기계 학습을 사용하여 인간의 피아노 연주에 따라 적절한 피아노 코드 진행을 예측하는 협동 로봇을 제시합니다.

실험 결과 정확도는 93%였으며, 로봇이 팝 음악에서 영감을 받아 코드를 학습했습니다.

한편, 행동 적응형 컨트롤러는 원활한 시간 동기화를 가능하게 하여 협업 로봇이 인간이 연주하는 멜로디에 대한 하모닉 코드 반주를 실시간으로 생성할 수 있습니다. 사실상, 인간과 로봇이 듀엣을 연주하고 있습니다.

로봇 설정은 로봇 팔을 통해 맞춤형 인간형 손의 수직 이동을 포함하며, 이를 통해 피아노 건반을 칠 수 있습니다. 별도의 수평 이동을 통해 코드 전환이 가능해져 피아노 연주 작업에서 로봇의 표현력이 확장됩니다.

"우리는 인간과 함께 피아노를 연주하고 실시간으로 좋은 듀엣을 만들어낼 수 있는 음악 로봇을 개발했습니다."라고 Huijiang Wang이 말했습니다. "우리 로봇은 인간이 연주하는 멜로디를 '듣고' 머신 러닝 기술을 사용하여 다음 코드를 예측하여 음악이 조화를 이루도록 합니다."

  via youtube

그는 "특수 제어 시스템을 사용하여 로봇은 인간 플레이어 와 타이밍을 맞춰서 퍼포먼스를 동기화합니다. 또한 로봇과 인간이 얼마나 잘 함께 플레이하는지 확인하는 시스템도 있어 고품질 협업을 보장합니다." 라고 덧붙였습니다.

향후 작업으로는 더 많은 코드를 삽입하여 로봇 기반 음악 반주의 다양성을 높이고, 인간형 손의 민첩성을 향상시켜 위치와 방향을 더욱 조절 가능하게 하여 더 광범위한 코드를 누르는 데 이상적인 환경을 만드는 것이 포함될 예정입니다.

이이다 교수는 "AI가 발전함에 따라 이제 우리는 로봇의 경계를 예술 및 엔터테인먼트 공연과 같은 감정 인식 시나리오로 넓히는 것을 목표로 하고 있습니다. 이러한 로봇은 인간의 감정적 신호를 포착, 해석하고 반응할 수 있어야 합니다.

"집약적인 계산 리소스를 관리하면서도 코드 예측 정확도를 유지할 수 있는 즉흥 연주 알고리즘을 개발하는 것도 이 분야의 미래 노력에 필수적입니다."

"Harmony Robot에 대한 우리의 연구는 창의적이고 협력적인 역할에서 소프트 로봇의 통합을 발전시킵니다."라고 Huijiang은 말했습니다. "최첨단 머신 러닝과 소프트 로봇을 활용하여 미래에 원활한 인간-로봇 협력을 달성하고 로봇이 역동적이고 실제적인 시나리오에서 적응적으로 대응할 수 있도록 하는 것을 목표로 합니다."

https://youtu.be/wE46GPuUEjw

Human-robot cooperative piano playing hits the high note at AI conference

https://techxplore.com/news/2024-11-human-robot-cooperative-piano-playing.html

KCONTENTS