Llama 3.1: разбор статьи. Часть 6. Post-training data

Разбираем статью "The Llama 3 Herd of Models" (2024) со слушателями нашей AI-школы, раздел 4.2 Post-training Data

Таймкоды:
00:00 Приветствие
00:39 4.1.5 Model Averaging
03:05 4.1.6 Iterative Rounds
10:31 4.2 Post-training Data
11:43 4.2.1 Preference Data
25:23 4.2.2 SFT Data
35:14 4.2.3 Data Processing and Quality Control

Плейлист с разбором Llama 3.1:
https://www.youtube.com/playlist?list=PL6-BrcpR2C5QXuCaev_DJ_o9lqYkAxSmo

Все видео плейлиста:
1. Intro & Data mix: https://youtu.be/YoRsqImynUE
2. Model Architecture & Scaling laws: https://youtu.be/fR8flHXcvLs
3. Pre-training: https://youtu.be/1Ut-3-Ost0w
4. Reward modeling & Supervised Fine-tuning: https://youtu.be/4aUYhAgW5h4
5. DPO: https://youtu.be/2_RDSMu61YQ
6. Post-training data: https://youtu.be/RLAiyZP-Fvw

Телеграм-канал:
https://t.me/razinkov_ai

Список моих открытых курсов по AI на YouTube:
https://t.me/razinkov_ai/622

Предварительная регистрация в следующий поток AI-школы:
https://razinkov.ai/school

Видео Llama 3.1: разбор статьи. Часть 6. Post-training data канала Евгений Разинков