Василий Копытов, Авито. Как и почему мы перешли от Python к Go в нашем основном сервисе рекомендаций
Рекомендации Авито — это первое, что видит пользователь, когда попадает на главную страницу. Нагрузка на наш основной сервис — порядка 200 тысяч запросов в минуту.
За последние два года мы сильно улучшили качество рекомендаций, но сильно проиграли в latency. Главным врагом производительности и latency стало добавление ML модели второго уровня на основе CatBoost для ранжирования объявлений от базовых ML моделей первого уровня в реалтайм.
В докладе я расскажу:
Как мы приняли решение переписать все на Go, перед этим мы выжали из Python все, что смогли;
Как подружили CatBoost с Go и стали использовать ML модель на основе CatBoost в Go;
Что получили по latency и потреблению memory/cpu.
Видео Василий Копытов, Авито. Как и почему мы перешли от Python к Go в нашем основном сервисе рекомендаций канала Видео с мероприятий IT-People
За последние два года мы сильно улучшили качество рекомендаций, но сильно проиграли в latency. Главным врагом производительности и latency стало добавление ML модели второго уровня на основе CatBoost для ранжирования объявлений от базовых ML моделей первого уровня в реалтайм.
В докладе я расскажу:
Как мы приняли решение переписать все на Go, перед этим мы выжали из Python все, что смогли;
Как подружили CatBoost с Go и стали использовать ML модель на основе CatBoost в Go;
Что получили по latency и потреблению memory/cpu.
Видео Василий Копытов, Авито. Как и почему мы перешли от Python к Go в нашем основном сервисе рекомендаций канала Видео с мероприятий IT-People
Показать
Комментарии отсутствуют
Информация о видео
15 апреля 2022 г. 12:33:50
00:28:58
Другие видео канала
Отзывы спикеров о конференции DUMP Ekb 2023DUMP EKB 2023IT-Регата 2022 в Черногории. ОткрытиеДанил Ахтаров, Тинькофф. Почему питон не будет функциональным и почему нафиг никому это не нужноОлег Хачумов, CVisionLab. 4 мушкетера: python, cython, numba и taichi. Ускоряем код, не ломая головуТимур Кадыров,Лаборатория Нейронаук. Ускоряем расчет признаков на коротком датасете для HFT на биржеПавел Мальцев, Speechki. Redis, сова и глобусСтанислав Фатеев, CVisionLab. Pydantic: валидируй это. Как работать с данными быстро и без болиМатвей Коняев, Точка. Как писать тесты дешевлеСергей Бершадский, Urbamatica. Что сделать, чтобы DevOps вас (Девелоперов) любилДенис Толкачев, Сбер,Лаборатория Нейронаук. Производственный брак. Ищем некрасивую рыбу на конвейереКак подойти к тестированию безопасности. Дмитрий Крылатков, DoubletappРелокация разработчиков: неочевидные вещи про поиск работы зарубежомMeetup «Стокгольмский синдром или жизнь тимлида»Трансатлантический переход: подготовка, яхтенный быт и приключенияGameDev_Как игры меняют наше будущее_Cергей ГимельрейхMobile_Разработка на моках_Александр Кравченков_SurfMobile_Жизнь вслепую: разрабатываем устройство без экрана_Виктор Лапин_АдвантумMobile_The Swarm_Денис Малых_ЯндексMobile_Писать или не писать Вот в чем вопрос тесты на Flutter_Евгений Сатуров_Surf