연구팀은 텍스트 입력만으로 3차원 영상 내에서 사용자가 원하는 객체를 정밀하게 분할하고 편집할 수 있는 개방형 어휘(Open-vocabulary) 기반의 3차원 영상 분할 기술을 구현했다.

이 논문은 오는 10월 미국 하와이에서 열리는 ‘ICCV 2025’에서 소개될 예정이다.

이번 연구는 서로 다른 시점에 존재하는 객체에 대한 언어 임베딩(Language Embedding)의 일관성을 유지하면서, 새로운 시점의 이미지를 생성할 수 있도록 언어 임베딩과 가우시안 스플래팅(Gaussian Splatting) 파라미터를 동시에 학습하는 전략을 새롭게 제안한 것이 핵심이다.

또한 대조적 학습(Contrastive Learning) 기법을 접목해 새로운 시점 이미지 내 객체 검출 성능을 크게 향상시켰다.

이를 통해 정밀한 3차원 장면 렌더링은 물론, 생성된 이미지상에서 텍스트 명령어를 기반으로 사용자 지정 객체 분할 및 편집이 가능해졌다.

해당 기술은 향후 3D 콘텐츠 생성, 3차원 장면 이해, 이머시브 서비스 분야 등에서 핵심적으로 활용될 수 있을 것으로 기대된다.

이번 논문의 제1저자는 건국대학교 장성민 석사과정생이며, 교신저자는 김원준 교수다. 본 연구는 과학기술정보통신부의 연구비 지원을 받아 수행됐다.