밑바닥부터 시작하는 LLM 개발기 / if(kakaoAI)2024

카카오의 자체 대규모 언어 모델(LLM) 개발 과정과 그에 따른 도전 과제, 해결 경험을 소개합니다.
데이터 수집과 전처리부터 시작해 LLM의 pre-training과 post-training을 거친 모델의 개발 과정 전반을 공유하고, 그 과정에서 마주한 주요 문제와 그 해결방안에 대해서도 살펴봅니다.

#Kanana #LLM #pre-training #post-training

Language Model Training팀의 Mat이라고 합니다. 경쟁력 있는 LLM을 만들기위해 노력하고 있습니다.
Language Model Alignment팀의 Kloud입니다. 말 잘듣는 LLM을 만들기위해 다양한 연구/개발을 수행하고 있습니다.

발표자료 보기
👉 https://speakerdeck.com/kakao/ifkakao24-30
if(kakaoAI)2024에 대한 자세한 정보는
👉 https://if.kakao.com

#카카오 #이프카카오 #개발자컨퍼런스 #AI #기술 #개발 #ifkakaoAI2024

Видео 밑바닥부터 시작하는 LLM 개발기 / if(kakaoAI)2024 канала kakao tech