마음AI, 퀄컴도 뚫었다…저전력 온디바이스 칩에 AI 플랫폼 탑재 '쾌거'

"누구보다 가격 경쟁력 있는 온디바이스 제품군 제공…시장의 프론트러너 될 것"

ⓒ 마음AI

[프라임경제] 인공지능 전문회사 마음AI(377480)가 최근 퀄컴(Qualcomm)의 저전력 온디바이스 칩에 자사의 생성형 AI 제품군을 탑재하는 데 성공했다고 3일 밝혔다. 

마음AI 관계자는 "자체적으로 개발한 STT(음성인식), TTS(음성합성), LLM(거대언어모델)을 동시에 탑재해 스마트폰, 키오스크와 같은 소형 디바이스에서 인터넷 연결 없이 음성 대화를 할 수 있게 된 것"이라고 강조했다.

최근 많은 공급업체들이 온디바이스 AI 분야로 진출하기 위해 경쟁하고 있다. 이러한 가운데 이번 마음AI의 성과는 최신 스마트폰의 3분의 1 이하 수준의 가성비 좋은 칩에 구현했다는 점에서 매우 의미가 있다는 설명이다. 

특히 가격 측면에서 독보적인 경쟁력을 갖춘 만큼 고객들로부터 큰 호응을 기대할 수 있을 것으로 보이며, 이는 마음AI가 기술적 혁신을 통해 시장에서 독보적 위치를 차지할 중요한 기회다.

이번에 마음에이아이가 제공하는 LLM은 비교적 작은 모델 크기에서 압도적인 성능을 자랑하는 고성능 거대언어모델 'MAAL-Hummingbird' 모델이다. 

해당 모델은 파라미터 사이즈가 8B에 달하지만, 최근 4비트 양자화에 성공해 온디바이스 칩에 탑재할 수 있었다. STT, TTS, LLM이 키오스크나 전자제품과 같은 온디바이스 기기에 탑재되면 다양한 서비스에 활용할 수 있다.

LLM이 스스로 고객의 의도를 파악하고 디바이스의 여러 기능들을 호출하거나 고객과의 대화를 자연스럽게 이끌어갈 수 있다. 특히, 고객의 발음이 부자연스럽거나 일부 인식이 잘못돼 오탈자가 생기더라도 LLM이 맥락을 잘 파악하기 때문에 AI가 말을 잘 못 알아들어 생기는 답답함이 획기적으로 개선된다. 

예를 들어, 카페 키오스크에 온디바이스 AI가 탑재될 경우, 고객들은 '아아(아이스 아메리카노)'나 '아샷추(아이스티에 샷 추가)'와 같은 줄임말을 포함한 음성 명령으로도 쉽게 주문할 수 있어, 키오스크 화면을 여러 번 터치해야 하는 불편을 줄일 수 있게 됐다. 

또한 '칼로리가 낮은 음료 추천'이나 '오늘 가장 많이 팔린 음료 제시' 등 기존의 키오스크로는 구현하기 어려운 다양한 서비스도 제공할 수 있어 고객에게 차별화된 가치를 제공할 수 있다는 것이 회사 측의 설명이다. 

최홍섭 마음AI 기술총괄 대표는 "AI는 이제 학습을 통해 새로운 모델을 만드는 시대에서, 학습이 끝난 모델을 얼마나 잘 추론하느냐의 국면으로 전환되고 있다"며 "누구보다 가격 측면의 경쟁력이 있는 온디바이스 제품군을 제공함으로써, 시장의 프론트러너(Front-runner)가 될 것"이라 자신감을 내비쳤다.

한편, 최근 마음AI는 LLM과 같은 생성형 AI를 단순히 챗봇과 같은 대화형 AI로 접근하는 것이 아니라 실제 업무를 수행할 수 있는 에이전트로서의 LLM(LLM as an Agent) 개념을 제시하고 이 철학을 다양한 제품군에 녹여내고 있다. 

LLM이 스마트폰, 전자제품, 키오스크 등 하드웨어의 여러 기능을 상황에 맞게 자율 제어하여 자동화된 생활 환경을 구축할 수 있는 능력은 향후 스마트 홈 및 산업 자동화 분야에서 혁신적인 적용 가능성을 제공할 수 있다. 이를 통해 마음에이아이는 고객들에게 더 나은 사용자 경험과 함께 효율적이고 지능적인 기기 관리 솔루션을 제공하려 준비하고 있다.