Яндекс выпустил библиотеку YaFSDP для ускорения обучения языковых моделей

Поделиться

Яндекс выпустил библиотеку YaFSDP для ускорения обучения языковых моделей

Яндекс разработал и представил доступ к исходному коду библиотеку YaFSDP, которая ускоряет обучение больших языковых моделей до 25%. Библиотека оптимизирует использование ресурсов графических процессоров (GPU), снижая их расход на 20%. Это позволит разработчикам и исследователям по всему миру эффективнее обучать нейросети.

YaFSDP решает проблему недостаточной загрузки каналов коммуникации между GPU, оптимизируя их использование на всех этапах обучения, включая предварительное, с учителем (supervised fine-tuning) и выравнивание модели (alignment). Это делает обучение более экономичным и быстрым, что особенно важно для стартапов и научных проектов.

Яндекс уже протестировал YaFSDP на сторонних нейросетях, например, на модели LLaMA 2, где время обучения сократилось с 66 до 53 дней при использовании 1024 GPU. Исходный код библиотеки доступен на GitHub, где можно ознакомиться с подробностями её работы и результатами тестирования.

Это интересно

Xiaomi 16 Ultra? Компания тестирует самый крупный перископ в истории

Сегодня стало известно, что Sony готовит к запуску новый передовой сенсор IMX90A, который придёт на смену LYT-818. Он имеет такой же размер (1/1.3"), но,...

Похожие новости

Критична вразливість у Safari загрожує мільярдам користувачів iPhone та iPad

У пристроях iPhone виявлено серйозну проблему безпеки, що ставить...

Реально ли это предложение XRP на сайте SEC? Вопросы Swirl

В новом предложении обозначены сроки полного внедрения XRP...

Xiaomi 16 Ultra? Компания тестирует самый крупный перископ в истории

Сегодня стало известно, что Sony готовит к запуску новый...

Pixel-користувачі вже тестують Android 16: що змінилося в новій бета-версії

Компанія Google випустила чергову бета-версію Android 16. Тестувальники активно...