■ 50분의 1 크기인데 성능은 동급?...작지만 강한 소형 LLM의 비밀마이크로소프트, 애플, 메타 등 빅테크 기업들이 거대언어모델이 아닌 소형언어모델를 선보이며 작지만 강하다는 점을 집중 부각하고 있다.키워드는 데이터다. 모델 훈련에 사용되는 데이터를 최적화하는 접근으로 작지만 강한 모델을 만들었다는 것이다. 세마포 최근 보도를 보면 마이크로소프트는 파이-3 훈련에 웹에서 가져온 실제 데이터와 AI가 생성한 합성 데이터를 활용했다. 파이-3가 크기에 비해 우수한 것은

마이크로소프트, 애플, 메타 등 빅테크 기업들이 거대언어모델이 아닌 소형언어모델를 선보이며 작지만 강하다는 점을 집중 부각하고 있다.마이크로소프트는 파이-3 시리즈, 애플은 오픈ELM을 선보였다. 이중 마이크로소프트는 파이3 시리즈 중 가장 소규모 모델인 파이-3 미니에 대해 일부 작업에선 오픈AI GPT-3.5 수준 역량을 보여준다고 강조해 눈길을 끈다. 참가로 파이-3 미니 매개변수는 38억개고, GPT 3.5는 1750억개다. 메타도 최근 라마3 시리즈 중 상대적으로 작은 규모인

RAG가 환각을 줄일 수 있지만, 완벽하게 제거하지는 못한다. RAG가 LLM을 ‘효과적으로 사용하는 기술’이기 때문에 LLM을 사용하는 한 환각 현상에서 자유롭지 못하다. LLM은 다음에 올 단어를 확률적으로 추측해 맞추는 기술로, 근본적인 알고리즘을 변경하지 않으면 환각 현상을 해결하지 못한다. 그래서 LLM의 환각을 줄일 수 있는 기술이 지속적으로 발전하고 있다. 특히 사용자의 의도를 정확하게 파악하는 기술의 개선 속도가 빠르다.예를 들어 사용자가 ‘최근 3년간 겨울 동안 일어난 일에 대해서 말해줘’라는 식으로 컨

대구교육대는 Kt Cloud, ㈜스마트앤와이즈, 리벨리온과 8일 대구교육대에서 클라우드 기반 교육AI 플랫폼 개발 및 적용에 관한 업무협약을 체결했다. 이번 협약은 초등교육 최고 전문기관인 대구교대와 클라우드 최고 기업인 Kt Cloud 및 ㈜스마트앤와이즈, 리벨리온이 Cloud 기반 교육특화 LLM 개발과 관련해 각 기관이 보유한 인적, 물적 자원 및 네트워크 공동 활용에 대한 필요성이 대두되어 업무협약을 추진하게 됐다. 주요 상호협력 분야는 △AI를 기반으로 교수·학습모델 개발 △AI를 사용한 교육 LLM의 개발 △교육기관 대상