투디지트, 대한민국 자연어 인공지능 모든 기록을 갱신하고 1위 등극

대한민국 1,000개의 인공지능 엔진 중에서 1등인 투디지트
국내 자연어 인공지능 1,000개 엔진 중에 모든 기록을 갱신하고 1위 등극한 투디지트
투디지트, 대한민국 인공지능 역사상 최초로 평균 60점대 벽을 넘어서다..
투디지트, 인공지능 대회서 2등과 1점 이상의 차이를 보이며 압도적인 실력을 입증

머스트 뉴스 승인 2024.03.13 14:52 의견 0


지난 3월 12일, 치열하게 경쟁 중인 대한민국 인공지능 대회에서 새로운 1위가 탄생했다. 한국지능정보사회진흥원(NIA)의 지원으로 운영되는 '오픈 Ko-LLM 리더보드'에 투디지트 모델이 1위로 등록되었다.

투디지트는 그동안 이 대회에 참여한 1,000개의 인공지능 모델 중 최초로 평균 점수 60점을 넘어서면서 모든 기록을 갱신하고 1위에 등극했다. 2위로 내려간 모델과의 점수 차이는 1점 이상이다. 투디지트 이전에는 1위와 2위의 점수 차이가 0.05점이었다는 점과 평균 점수 60점을 넘은 모델이 없었다는 점을 보면 투디지트 인공지능 기술력이 얼마나 대단한 것인지를 알 수 있다. 특히 자연어 인공지능 기술을 사업에 적용할 지를 판단하는 중요한 요소인 상식 능력 (HellSwag)부분에서 압도적인 점수 69.62점을 기록하고 있다.

투디지트는 컴퓨터가 글을 이해하는 자연어 인공지능 분야에서 세계적인 강자로 인정받아 왔다. 세계 무대에서 3대 자연어 AI 대회로 불리는 스탠포드 대 주최의 'SQuAD2.0'과 구글 주최의 GLUE에서 구글 리서치, 페이스북 AI, 마이크로소프트 보다 높은 성능을 보여주었다. 그리고 두 대회에서 모두 인간의 독해/이해 능력을 뛰어넘는 성과를 보였던 소수의 기업 중 유일한 한국 기업이었다.


최근 국내 인공지능 기술이 개발이 활발해지면서, 이른바 초거대인공지능 모델 Large Language Model (LLM)들의 대회 경쟁도 치열하게 전개되고 있다. 투디지트는 그동안 세계무대에서 경쟁하면서 쌓아온 기술로 대한민국 초거대인공지능 기술개발에 도움이 되기 위하여 이번 대회에 참가하게 되었다.

투디지트가 보유한 기술이 특히 중요한 이유는 앞서가는 파인튜닝 기술과 노하우 때문이다. 일반인들이 인공지능이라고 말하는 글로벌 기업 인공지능의 정식 명칭은 파운데이이션 언어모델이다. 최근 한국 기업들이 개발한 언어모델들은 이러한 파운데이션 모델들을 한국어로 학습시킨 것이다. 그러나 이런 초거대 언어모델들을 유지하기 위해서는 엄청난 리소스와 막대한 비용이 필요하다. 따라서 인공지능 기술로 새로운 서비스를 도입하기 위한 비용이 기업에는 부담으로 존재한다.

투디지트의 파인튜닝은 이러한 문제점을 해결하는 기술이다. 특정한 목적을 위한 엔진을 개발하고 경량화 시스템으로 비용을 절감할 수 있다. 투디지트의 기술이 적용된 사업 분야 중 하나는 세상 모든 사람들을 위한 AI 1인 신문 서비스이다. 한 개 플랫폼 사용자가 수백만 ~ 수천만인 시대에, 모든 플랫폼 사용자에게 자신을 위한 맞춤형 AI 1인 신문을 제공할 수 있다. 모든 사용자 서로 다른 자신만의 서비스를 이용하게 되는 것이다.

투디지트의 AI 1인 신문은 다양한 형태의 서비스로 존재한다. 현재, 한국과 미국의 경제소식을 전하는 ‘뉴스샐러드’를 운영 중에 있다. ‘24년 2분기부터는 사용자가 원하는 소식을 AI가 미리 찾아서 알려주는 ‘뉴다’ 서비스를 론칭한다. 그리고 한 명만의 소식을 담는 ‘셀럽스타’ 서비스도 함께 준비중이다.

특히 ‘셀럽스타’의 파일롯 버전으로 ‘폴리스타’를 지난 3월 11일에 안드로이드와 아이오에스 공개하면서 AI 뉴스 서비스의 효과를 모바일 정치분야에서도 보여주고 있다. 이번 “국회의원 선거에서 모바일 AI 폴리스타는 정치는 모르지만 모바일 의존도가 높은 MZ세대에게 특히 강력한 영향력을 발휘할 것을 예상한다”고 박석준 대표는 밝혔다. 그리고 “투디지트의 자연어 인공지능 기술로 세상 모든 사람들의 핸드폰에서 AI 1인 신문 서비스를 제공하겠다는 원대한 비전에 많은 관심을 부탁드린다”고 마지막 당부를 더했다.

저작권자 ⓒ 머스트뉴스 무단전재 및 재배포 금지