서울대학교 공과대학은 전기정보공학부 오성회 교수 연구팀이 로봇 스스로 테이블 위 물체들을 식별하고 효율적으로 정돈하는 인공지능(AI) 기술을 개발했다고 밝혔다.

왼쪽부터 서울대학교 전기정보공학부 오성회 교수, POSTECH 전자전기공학과 안혜민 교수, 서울대학교 전기정보공학부 기호건 연구원, 오우석 연구원, 강민재 연구원

연구진은 RGB-D 카메라 한 대만으로 물체를 분별하고, 정리정돈 점수(Tidiness Score)에 기반한 최적의 로봇 행동 시퀀스를 찾아 자동으로 정돈하는 알고리즘인 ‘TSMCTS(Tidiness Score-Guided Monte Carlo Tree Search)’를 제안함으로써 기존 연구의 한계를 극복한 새로운 방식의 테이블 정리정돈 AI 기술을 선보였다.

이번 연구 결과는 미국 전기전자학회(IEEE) 산하 로봇·자동화 학회(RAS)가 발간하는 국제 학술지 ‘IEEE Robotics and Automation Letters (RA-L)’(IF=5.3)에 지난 8월 11일 게재됐다. IEEE RA-L은 SCIE(SCI-Expanded) 등재 저널로, 세계적 권위의 로봇 분야 학술지 중 하나로 꼽힌다.

이미 우리 생활 곳곳에서 AI 상용화가 이뤄지고 있지만, 아직 AI 기반 테이블 정돈 기술은 가정이나 사무실에서 실제로 쓰이지 못하고 있다. 여러 제약으로 인해 관련 연구의 발전이 더뎠기 때문인데, 그 중요한 이유 중 하나가 정돈의 객관적 평가 기준으로 활용할 표준 벤치마크가 없다는 점이다. 기존 연구들이 공유하는 평가 기준의 부재가 각 방법론 간의 객관적 비교를 어렵게 만든 결과, 해당 기술 연구의 발전이 지체된 것이다.

또한 이전에 많이 연구됐던 ‘목표 이미지’ 기반 정돈 기술은 로봇이 물건을 공간과 상황에 따라 어떻게 놓아야 하는가에 집중하기보다는, 사전에 목표로 주어진 이미지에 맞춰 물건을 배치하는 데 중점을 뒀다. 그래서 로봇에게 언제 어디서건 ‘알아서 깨끗이 치우는’ 능력을 학습시키기에는 역부족이었다. 서비스 로봇이 실제 가정·사무 환경에서 보편화되려면 사용자가 별도의 명령이나 가이드라인을 주지 않더라도 자율적으로 물건을 정돈할 능력이 필수적이므로, 기존 기술의 한계를 돌파할 연구가 필요한 실정이었다.

사람마다 물건 정리 방식이 다르고, 정돈됐다고 판단하는 기준도 다르기에 AI에게 정리정돈은 학습이 어려운 주관적 개념이다. 그러나 ‘깔끔하다’라는 개념을 AI가 학습할 수 있다면, 스스로 알아서 정돈하는 AI 기술 개발도 가능하리라는 오성회 교수팀의 아이디어에서 이번 연구가 출발했다.

연구팀은 먼저 로봇이 ‘깔끔함’을 이해할 수 있도록, 이미지만 본 후 해당 장면의 정돈 정도를 점수화하는 모델 ‘정리정돈 점수 판별기(Tidiness Discriminator)’를 학습시키기로 했다. 이를 위해 카페 테이블, 사무실 책상, 식탁, 욕실 공간 등 4곳의 환경과 170종 물체를 활용해 구축한 22만4225장의 장면 데이터, 즉 ‘책상 정리정돈 데이터셋(Tabletop Tidying Up Dataset, TTU 데이터셋)’을 만들었다. 이 데이터셋으로 점수 판별기를 학습한 로봇은 목표 이미지 없이도 책상의 정돈 상태를 수치로 평가할 수 있게 됐다.

다음 순서로 연구진은 오프라인 강화학습(Offline Reinforcement Learning)과 몬테카를로 트리 탐색(MCTS)을 결합시켜 다양한 정리정돈 전략을 탐색하고 실행하는 ‘MCTS 기반 계획기(Monte Carlo Tree Search Planner)’를 개발했다. 그리고 이에 기반해 로봇이 스스로 효율적인 정리 계획을 세워 실행할 수 있는 ‘TSMCTS(Tidiness Score-Guided Monte Carlo Tree Search)’ 알고리즘을 완성하는 성과를 거뒀다.

연구진은 시뮬레이션상에서 실제 환경과 동일하게 TSMCTS 알고리즘이 탑재된 로봇을 구현해 정리정돈 실험을 진행한 결과, 5곳 환경에서의 총 750개 시나리오에서 평균 성공률 88.5%, 평균 Tidiness Score 0.901점을 달성했다. 또한 카페 테이블, 사무실 책상, 식탁, 욕실 공간 등 4곳의 환경에서 진행한 실제 로봇 실험에서는 총 20개 시나리오에서 평균 성공률 85%, 평균 Tidiness Score 0.897을 기록해 상용화가 가능할 수준의 우수한 성능이 입증됐다.

그리고 17명의 사람이 참여한 블라인드 테스트에서 여러 알고리즘의 성능을 비교 평가한 결과, TSMCTS는 사람의 역량에 가장 근접한 정리정돈 능력을 보였다. 이 테스트는 TSMCTS 알고리즘이 탑재된 로봇으로 정돈한 결과와 여러 비교 알고리즘으로 정돈한 결과를 사람들에게 보여준 후, 참여자들로 하여금 만족할 때까지 직접 책상을 더 정돈하도록 했을 때, 각 결과에서 물건들을 얼마나 많이 옮겼는지를 측정한 실험이다. 그 결과, TSMCTS 알고리즘으로 정돈된 결과에서 가장 짧은 이동 거리(57cm), 가장 적은 조작 횟수(103회)를 기록하는 등 참여자들이 가장 적게 움직인 것으로 나타났다.

이번 연구에서 개발된 기술은 인간의 지시가 없어도 로봇 스스로 정리정돈을 수행할 수 있는 강점 덕분에 가정용 청소 로봇과 호텔 룸서비스 로봇 개발에 즉시 적용될 수 있다. 또한 물류·제조 현장 자동화에서 응용될 경우, 다양한 크기의 부품·제품을 깔끔하게 배열해야 하는 키팅(kitting)·패킹 라인에서 작업 준비 시간을 단축하고 품질 편차를 줄일 것으로 기대된다.

또한 연구팀이 이번 연구를 통해 공개한 대규모 정리정돈 데이터셋은 객체 재배열·제어·멀티모달 인지 연구의 표준 벤치마크로 활용될 잠재력이 크다. 따라서 향후 진행될 후속 연구의 기반이 될 수 있을 뿐 아니라 데이터 및 알고리즘 생태계 확장에 기여할 전망이다.

연구를 지도한 오성회 교수는 “로봇 스스로 정리정돈하는 AI 기술은 앞으로 서비스·가정용 로봇, 카페·레스토랑 자동화, 물류·생산 라인 등 다양한 분야에서 응용될 수 있을 것”이라며 “향후 대형 언어모델(LLM)과 결합해 물체의 기능·맥락까지 이해하는 정리정돈 기술로 발전시킬 계획”이라고 밝혔다.

이번 논문의 제1저자인 기호건 연구원은 서울대학교 전기정보공학부에서 석박통합 박사과정을 밟고 있으며, 로봇 파운데이션 모델 학습 및 휴머노이드 제어 관련 연구를 이어가고 있다. 졸업 후 국내외 연구소 또는 기업에서 AI·로보틱스 분야의 연구 개발자로 근무할 예정이다.

한편, 이번 연구는 과학기술정보통신부와 정보통신기획평가원(IITP)의 ‘(SW스타랩) 로봇학습: 효율적이고 안전한, 사회 친화적 기계학습 과제’와 ‘복합지능 자율행동체 SW 핵심기술 개발 사업’의 일환으로 수행된 ‘자율행동체의 복합작업 자율 수행을 위한 임무 수행 절차 생성 기술 개발’ 과제를 통해 이뤄졌다.