재원 : 더 크고 똑똑한 인공지능(AI) 모델을 만들려는 정보기술(IT) 업계의 경쟁 속에서 오히려 크기를 줄인 모델들이 속속 등장하고 있다. AI 기술을 활용하고자 하는 모든 사업자가 거대한 시스템을 필요로 하진 않는 만큼 괜찮은 성능을 갖추면서도 비용은 저렴한 ‘가성비’ 모델들이 주목받고 있는 것이다.
카지노 : 마이크로소프트(MS)는 자사가 개발한 소형언어모델(SLM) ‘파이(Phi)-3’ 제품군을 발표하고 앞으로 내놓을 3가지 소형 모델 중 가장 작은 ‘파이-3 미니’를 출시했다고 23일(현지시간) 밝혔다. MS는 챗GPT 개발사 오픈AI에 거액을 투자하며 생성형 AI 열풍을 이끌어온 기업이다.
지난해 12월 파이-2를 출시한 MS는 파이-3가 이전 버전보다 성능이 더 뛰어나고, 10배 큰 모델 수준의 응답을 제공할 수 있다고 설명했다. 파이-3 미니의 배개변수는 38억개다. 조만간 출시될 파이-3 스몰의 매개변수는 70억개, 미디엄은 140억개다. MS는 파이-3 제품군 중 가장 작은 미니 모델조차도 오픈AI의 대형언어모델(LLM) GPT-3.5와 견줄만한 성능을 냈다고 전했다.
매개변수는 AI가 연산을 위해 고려하는 다양한 변수로, 많을수록 성능이 뛰어나다고 간주돼왔다. GPT-3.5는 1750억개, GPT-4 경우 매개변수가 5000억개로 추정되고 있다. 문제는 매개변수가 많을수록 사용자가 원하는 결과를 제공할 수 있는 능력이 높아지지만 그만큼 돈도 많이 든다는 점이다. 가동하는 데 막대한 컴퓨팅 자원과 전력이 필요하다. MS는 파이-3를 쓰는 비용이 유사한 다른 모델의 10분의 1 수준이라고 했다.
소형언어모델은 좋은 ‘절충안’이 될 수 있다. 예를 들어 온라인 광고를 효과적으로 타깃팅하기 위해 정기적으로 AI 서비스를 활용하려고 할 때 꼭 큰돈이 드는 거대 모델을 쓸 필요는 없다는 것이다. 루이스 바르가스 MS AI 부문 부사장은 “일부 고객은 작은 모델만 필요할 수도 있고, 일부는 큰 모델이 필요할 수도 있다”며 “많은 고객들은 다양한 방식으로 두 모델을 결합하기를 원할 것”이라고 말했다.
특히 소형언어모델은 인터넷 연결 없이 휴대전화와 노트북과 같은 개인용 기기에서 작동할 수 있다는 게 강점이다. 기기 자체에서 AI를 구동하는 ‘온디바이스 AI’가 확산하면서 작은 언어모델 수요도 높아지고 있다.
이에 따라 LLM 경쟁과 더불어 SLM 경쟁도 치열해질 것으로 전망된다. 구글은 지난 2월 매개변수가 각각 20억개, 70억개로 간단한 챗봇과 언어 관련 작업에 유용한 젬마 2B와 7B를 공개했다. 메타는 지난 18일 ‘라마3’를 출시하면서 파라미터가 700억개인 거대 모델과 함께 챗봇과 코딩 지원에 사용되는 80억개인 소형 모델도 선보였다.
주요기사 네이버, 소프트뱅크에 ‘라인’ 경영권 뺏길판…일본 정부서 지분 매각 압박 “육군은 철수…우린(해병) 한다” “사단장님이 ‘하라’ 하셨다”···채 상병 사건 녹취록 공개 민희진 “무속인이 불가촉천민? 개인 사찰로 고소할 것” [속보] 헌재 “패륜적 상속인 유류분 인정은 잘못”···구하라 사례 없어지나 공수처, ‘이정섭 검사 비위 폭로’ 강미정 조국혁신당 대변인 조사 오늘의 퀴즈를 풀고 내공을 쌓으세요.