Александр Христофоров — Дешевле, надёжнее, проще: хранение петабайтов видео и фото в Одноклассниках

Ближайшая конференция — Joker 2024, 9 октября (Online), 15-16 октября, Санкт-Петербург
— —
. . . . Технический прогресс позволил нам снимать Full HD или даже 4К видео на телефон, загружать их и делиться с друзьями в Одноклассниках или же вести прямые трансляции на весь мир. Для нас это означает необходимость хранить десятки петабайт данных и обеспечивать к ним доступ со скоростью сотни ГБ/с, а это, в свою очередь, требует инфраструктуры, состоящей из тысяч дисков и сотен серверов.

Ранее для обеспечения требуемого уровня надёжности хранения данных и отказоустойчивости мы были вынуждены хранить 3 реплики данных, по 1 в каждом ДЦ. Взрывной рост объёмов загружаемого видео и полученный опыт эксплуатации заставили нас переосмыслить подход к хранению таких данных, как фотографии и видео. Было решено разработать новую систему хранения данных с целью делать это дешевле и надёжнее. Немаловажно было упростить эксплуатацию системы, так как даже замена дисков и восстановление данных при таких масштабах требует значительных ресурсов.

Доклад о том, как мы уменьшили избыточность хранения данных с 3 до 2.1 и при этом добились более высокой надёжности и доступности системы в целом. Поделимся опытом эксплуатации системы с тысячами дисков. Расскажем о том, как мы сделали процесс замены дисков простым и безопасным, о неожиданных проблемах и нестандартных решениях.

Видео Александр Христофоров — Дешевле, надёжнее, проще: хранение петабайтов видео и фото в Одноклассниках канала JPoint, Joker и JUG ru