AutoLab

Актуальный бенчмарк для оценки ИИ-агентов в передовых ультра-долгосрочных задачах автоматических исследований. Включает 36 открытых задач в областях оптимизации систем, оптимизации ядер CUDA, GPU-интенсивной разработки моделей и алгоритмических головоломок, тестирующих итеративное улучшение, диагностику узких мест и экспериментирование на основе гипотез при реалистичных вычислительных бюджетах.

#benchmark #ai-agents #auto-research #systems-optimization #cuda #gpu #model-development #algorithmic-challenges #leaderboard #evaluation

https://github.com/autolabhq/autolab

Видео AutoLab канала shorts swarm