스카우트·매버릭 모델 오픈소스 제공…최상위 모델 '베헤모스'도 소개전문가 혼합(MoE) 구조 적용…연산 자원 최소화로 작업 효율 극대화[파리=AP/뉴시스]2023년 6월 프랑스 파리에서 열린 비바테크쇼에 걸린 메타 로고 모습.[서울=뉴시스]윤현성 기자 = 메타가 1년 만에 자사의 인공지능(AI) 거대언어모델(LLM) 시리즈 신작인 '라마4(LLaMA4)'를 공개했다. 최근 중국발 딥시크 쇼크로 인해 AI의 비용 절감 문제가 화두로 떠오른 만큼 전문가 혼합(MoE) 구조를 적용해 연산 효율을 크게 높였다.메타는 5일(현지 시간) 자사 공식 블로그를 통해 라마4 라인업 중 '스카우트(Scout)'와 '매버릭(Maverick)'을 선보인다고 밝혔다. 이들 두 모델은 오픈소스 형태로 제공된다가장 강력한 성능을 가진 최상위 모델인 '베헤모스(Behemoth)'도 소개했다. 다만 베헤모스는 아직 개발, 학습을 진행 중으로 오픈 소스 제공 여부도 알려지지 않았다.메타에 따르면 라마4는 텍스트, 이미지, 음성, 동영상 등을 동시에 이해하는 '멀티모달 AI'다. 기존에 존재하던 LLM보다 연산 효율을 크게 높였다. 메타는 스카우트와 매버릭이 기존의 자사 AI 모델 중 가장 많이 개선됐고, 동급의 AI와 비교해도 멀티모달 기능에서 가장 뛰어나다고 자신했다. 스카우트의 경우 긴 컨텍스트 윈도우를 처리할 수 있어 장문 이해 등에 특화돼있다. 특히 총 1090억개의 매개변수(파라미터)를 보유하고 있지만 실제 작업 시에는 170억개의 매개변수만 활성화돼 더 빠르고 효율적으로 결과를 낼 수 있다. 메타는 스카우트가 젬마3, 제미나이 2.0 플래시 라이트, 미스트랄 3.1 등보다 주요 벤치마크에서 더 나은 결과를 냈다고 강조했다.매버릭은 보다 복잡한 지시를 수행하는 데 특화돼있다. 매버릭 또한 4000억개의 매개변수를 갖고 있지만 실제 기능을 수행할 땐 170억개의 매개변수만 선택적으로 사용한다. 여타 AI 모델보다 훨씬 더 큰 규모의 모델이지만 매개변수를 선택적으로 활용해 연산 비용은 낮추고 속도는 높이는 '맞춤형' 처리를 가능케 하는 셈이다.메타의 새로운 거대언어모델(LLM) '라마4'의 연산 효율을 크게 높여주는 전문가 혼합(MoE) 구조. (사진=메타 블로그) *재판매 및 DB 금지이같은 비용 효율화는 라마4에 적용된 전문가 혼합 구조 덕분이다스카우트·매버릭 모델 오픈소스 제공…최상위 모델 '베헤모스'도 소개전문가 혼합(MoE) 구조 적용…연산 자원 최소화로 작업 효율 극대화[파리=AP/뉴시스]2023년 6월 프랑스 파리에서 열린 비바테크쇼에 걸린 메타 로고 모습.[서울=뉴시스]윤현성 기자 = 메타가 1년 만에 자사의 인공지능(AI) 거대언어모델(LLM) 시리즈 신작인 '라마4(LLaMA4)'를 공개했다. 최근 중국발 딥시크 쇼크로 인해 AI의 비용 절감 문제가 화두로 떠오른 만큼 전문가 혼합(MoE) 구조를 적용해 연산 효율을 크게 높였다.메타는 5일(현지 시간) 자사 공식 블로그를 통해 라마4 라인업 중 '스카우트(Scout)'와 '매버릭(Maverick)'을 선보인다고 밝혔다. 이들 두 모델은 오픈소스 형태로 제공된다가장 강력한 성능을 가진 최상위 모델인 '베헤모스(Behemoth)'도 소개했다. 다만 베헤모스는 아직 개발, 학습을 진행 중으로 오픈 소스 제공 여부도 알려지지 않았다.메타에 따르면 라마4는 텍스트, 이미지, 음성, 동영상 등을 동시에 이해하는 '멀티모달 AI'다. 기존에 존재하던 LLM보다 연산 효율을 크게 높였다. 메타는 스카우트와 매버릭이 기존의 자사 AI 모델 중 가장 많이 개선됐고, 동급의 AI와 비교해도 멀티모달 기능에서 가장 뛰어나다고 자신했다. 스카우트의 경우 긴 컨텍스트 윈도우를 처리할 수 있어 장문 이해 등에 특화돼있다. 특히 총 1090억개의 매개변수(파라미터)를 보유하고 있지만 실제 작업 시에는 170억개의 매개변수만 활성화돼 더 빠르고 효율적으로 결과를 낼 수 있다. 메타는 스카우트가 젬마3, 제미나이 2.0 플래시 라이트, 미스트랄 3.1 등보다 주요 벤치마크에서 더 나은 결과를 냈다고 강조했다.매버릭은 보다 복잡한 지시를 수행하는 데 특화돼있다. 매버릭 또한 4000억개의 매개변수를 갖고 있지만 실제 기능을 수행할 땐 170억개의 매개변수만 선택적으로 사용한다. 여타 AI 모델보다 훨씬 더 큰 규모의 모델이지만 매개변수를 선택적으로 활용해 연산 비용은 낮추고 속도는 높이는 '맞춤형' 처리를 가능케 하는 셈이다.메타의 새로운 거대언어모델(LLM) '라마4'의 연산 효율을 크게 높여주는 전문가 혼합(MoE) 구조. (사진=메타 블로그) *재판매 및 DB 금지이같은 비용 효율화는 라마4에 적용된 전문가
관심전공분야
보유 자격증