마음AI, "양자화 기술로 초경량화 성공"…온프레미스 AI 경쟁력 입증

엔비디아 A100 GPU 2장으로 70B 파라미터 규모 LLM '말-알바트로스' 구동

ⓒ 마음AI

[프라임경제] 마음AI(377480)가 엔비디아(NVIDIA) A100 GPU 2장만으로 70B 파라미터 규모의 대규모언어모델(LLM) '말-알바트로스(MAAL-Albatross)'를 구동할 수 있도록 '초경량화'에 성공했다고 10일 밝혔다.

마음AI 관계자는 "최근 저전력 칩에 음성인식(STT), 음성합성(TTS), LLM을 동시에 탑재하는 것에 성공하며 온디바이스(On-device) AI 분야에서 가능성을 내비친 데 이어, 온프레미스(On-premise) AI 분야에서의 자사 경쟁력 또한 입증한 것"이라고 강조했다.

온프레미스 LLM의 주요 과제는 대규모언어모델을 기업 내부 네트워크에 적용하기 위해 모델 크기를 줄이는 것이다. 마음AI는 양자화 기술을 통해 대규모언어모델 파라미터를 4비트로 압축하면서도 기존의 뛰어난 성능은 유지하는 성과를 냈다.

마음AI는 오늘날 사내 데이터 유출 없이 사용할 수 있는 LLM 챗봇과 업무 효율성을 극대화하는 다양한 툴을 패키지로 묶어 기업 대상으로 제공하고 있다.

특히 최근에는 챗플레이(Chatplay) 툴을 출시해 회사에 특화된 맞춤형 챗봇을 고객이 직접 생성할 수 있도록 지원하고 있다. 사내 문서를 PDF, 원드(Word), 텍스트(txt) 형식으로 업로드하면 사내 자료를 기반으로 답변이 생성되며, 답변의 출처까지 확인할 수 있는 서비스다. 

이러한 마음AI의 LLM 솔루션은 사원들의 업무 생산성을 극대화할 뿐 아니라, 고객의 개인정보 등 민감한 데이터를 안전하게 다룰 수 있어 기업들 사이에서 높은 신뢰를 얻고 있다.

회사 관계자는 "자사의 독보적인 경량화 기술을 통해 고객 기업들이 경제적이고 가벼운 온프레미스 LLM 서비스를 적극 활용할 수 있도록 지원하겠다"며 자신감을 내비쳤다.