문샷 AI, LMM 출시
코딩과 작문에서 발군의 두각
|
실제로 보도에 따르면 키미 K2는 서방권 유료 AI 모델과 대등하거나 그 이상 수준의 성능을 보인 것으로 알려지고 있다. 특히 코딩과 작문 분야에서 두각을 나타내면서 기술적 완성도가 단연 돋보였다는 평가도 들었다.
각론으로 들어가면 우선 키미 K2는 프로그래밍 성능을 평가하는 다양한 지표에서 GPT-4나 R1 최신 버전을 뛰어넘는 정확도를 기록했다. 또 SWE-벤치(SWE-bench) 정답률은 약 66%, 라이브코드벤치(LiveCodeBench) 정답률은 54%에 달했다 이는 공개된 모델 중 최고 수준이라고 할 수 있다. 이외에 수학 문제 풀이를 평가하는 매쓰-500(MATH-500)에서도 97.4%의 높은 정확도를 보였다.
작문 능력 역시 AI 모델 중 최상위권으로 평가받고 있다. 자연스러움과 창의성, 감성지능 등을 평가하는 항목(Creative Writing v3·EQ-bench 3)에서도 모두 최고 점수를 받았다. 당연히 키미 K2가 모든 분야에서 완벽하다고 할 수는 없다. 고도의 추론을 요구하는 문제에서는 아직 발전의 여지가 존재하는 것으로 평가되고 있다.
문샷 AI는 2023년 3월 베이징에서 설립된 스타트업으로 알려져 있다. 초기 버전인 키미의 경우 2023년 11월 기준으로 중국에서 가장 널리 사용되는 챗봇 중 세 번째에 오른 바 있다.
창업자는 올해 33세인 양즈린(楊植麟)으로 광둥(廣東)성 출신으로 알려져 있다. 칭화(淸華)대를 수석 졸업한 후 미국 카네기멜런대에서 박사학위를 받은 이른바 MZ 세대에 속한다. 페이스북 AI 리서치, 구글 브레인 등에서 경험을 쌓은 바 있다. 현재는 칭화대 조교수로 재직 중에 있다.