Игорь Яшков, Яндекс.Поиск - Как валидировать и развивать метрики

Ближайшая конференция — Матемаркетинг-2020
9-13 ноября, Online
Билеты и подробности: https://matemarketing.ru
Программа конференции: https://bit.ly/3iMiT6Z

Лекция заставляет задуматься об области применимости метрик, которые используют слушатели. Представлены кейсы про неверный выбор или интерпретацию метрик.

Если долго использовать одну и ту же North Star метрику, то происходит оверфит и метрика перестаёт работать. Выбирая ключевую метрику для эксперимента, нужно хорошо понимать область её применимости, чувствительность, уровень в иерархии метрик

Слушатели научатся использовать инструмент валидации метрик: проведение ухудшающих А/Б-тестов, проводить проверку согласованности с более высокоуровневыми метриками, а также научатся измерять чувствительность метрик и проверять корректность своей системы расчёта статистической значимости

Узнают как проводить ухудшающие А/Б-тесты, проводить проверку согласованности с более высокоуровневыми метриками, а также научатся измерять чувствительность метрик и проверять корректность своей системы расчёта статистической значимости

Видео Игорь Яшков, Яндекс.Поиск - Как валидировать и развивать метрики канала Матемаркетинг