마음AI, 한국어 VLM 벤치마크 공개…"국내 AI 생태계 본격 기여"

"국내 AI 연구자들이 VLM 연구 가속하는 마중물 역할 기대"

ⓒ 마음AI

[프라임경제] 마음AI(377480)가 한국어 비전언어모델(VLM·Vision Language Model) 벤치마크를 공개한다고 8일 밝혔다. 

VLM은 텍스트 기반인 거대언어모델(LLM)에 이미지를 이해할 수 있는 시각 지능을 추가한 멀티모달 모델로, 최근 챗GPT(ChatGPT), 제미니(Gemini) 같은 대표적인 생성형AI 모델들 또한 VLM 범주에 속한다. 

이러한 가운데 LLM의 성능을 객관적으로 비교할 텍스트 기반의 벤치마크들은 다양하게 공개돼 있는 반면, 이미지에 대한 이해와 언어적인 능력을 동시에 측정해야 하는 VLM에 대한 벤치마크는 상대적으로 여전히 부족하다. 

특히 한국어 기반의 VLM 벤치마크가 아직 많이 부족하기 때문에 국내 연구자들이 한국어 VLM 성능을 객관적으로 비교할 만한 기준이 없다는 한계가 있었다. 

이런 이유로 마음AI는 그동안 연구개발 과정에서 자체적으로 모델의 성능을 평가하기 위한 벤치마크 데이터셋을 만들어 운영해왔다. 이번에 이를 국내의 많은 연구자들도 활용할 수 있도록 공개하는 것이다.

이번에 공개하는 한국어 VLM 벤치마크는 최근 한국어 LLM 벤치마크에서 가장 신뢰도가 높다고 평가 받는 LogicKor 벤치마크의 설계 철학을 상당 부분 차용했다. 

첫째, 약 300개의 고품질 데이터로 구성된 간결한 설계를 통해 과도한 리소스 소모 없이 정밀한 평가를 가능하게 했다. 

둘째, 오픈소스 LLM인 제미니 9B를 사용해 챗GPT와 같은 유료 응용프로그램 인터페이스(API) 없이 실행 가능하다. 따라서 비용을 아끼고, 챗GPT 모델 성능이 변함에 따라 벤치마크 점수도 바뀌던 문제를 해결했다. 

마지막으로, 모델 벤치마크 점수가 실제 사용자가 느끼는 성능과 괴리가 크다는 문제를 해결하기 위해 Free-form VQA 형식을 채택했다. 기존의 벤치마크들이 정답과 기계적으로 일치하는지 여부를 위주로 판단해 의미적으로 잘 생성한 문장이 정답 문장과 다르다는 이유로 오답처리하는 문제가 있었는데, Free-form VQA 형식을 통해 이를 극복할 수 있다는 설명이다.

벤치마크의 주제를 설계할 때도 한국 사용자와 환경에 적합하도록 신경을 썼다. 해외 VLM 벤치마크의 다양한 주제들을 참고하면서도 한국 사용자 환경에 밀접한 10가지 주제로 구성했다. 

해당 주제들은 색상, 숫자, 존재 여부 등 객체의 속성에 대한 질문들과 함께 한국어 콘텐츠를 인식하는 능력, 문서나 표, 그래프를 이해하는 능력, 할루시네이션(환각) 등으로 구성됐다. 한국어 사용자들이 VLM을 실제 사용하는 데 있어서 겪게 되는 주요 사례들을 포괄하며, 모델의 신뢰성까지 측정할 수 있도록 했다.

최홍섭 마음AI 기술총괄 CEO 대표는 "우리 회사는 최근 세계 최고의 인공지능 학회인 NeurIPS에서도 수상할 만큼 VLM 연구 분야에서 앞서나가고 있는 만큼, 연구개발 과정에서 한국어 모델의 성능을 제대로 측정할 벤치마크가 부족하다는 점에 큰 아쉬움을 느꼈다"고 말했다.

이어 "이에 우리가 먼저 시행착오하며 제작한 벤치마크를 공개함으로써 국내 AI 연구자들이 VLM 연구를 가속하는 마중물 역할을 하려한다"는 의견을 전했다.

마음AI는 이번에 한국어 VLM 벤치마크를 공개함으로써 국내 VLM 연구와 응용을 활성화하는 데 기여할 것으로 기대하고 있다. 벤치마크 데이터셋과 추론 코드는 가까운 시일 내에 깃헙을 통해 공개할 예정이며, 이 때 마음AI가 자체적으로 개발한 한국어 VLM과 학습데이터셋도 함께 오픈소스로 공개한다. 

현재는 허깅페이스 사이트에서 해당 벤치마크를 활용한 리더보드를 먼저 확인할 수 있다.