Яндекс представил инструмент для обучения LLM с открытым исходным кодом, который позволяет значительно сэкономить ресурсы графического процессора.
Российский технологический гигант «Яндекс» выпустил новый инструмент, который поможет компаниям, работающим с искусственным интеллектом, экономить деньги и ресурсы при обучении новых моделей. В своем анонсе Яндекс сообщил, что новый инструмент YaFSDP может обеспечить более быстрое и эффективное обучение большим языковым моделям (LLM) и может сэкономить до 20% ресурсов графического процессора. Это может помочь компаниям сэкономить как деньги, так и время.
Компания также опубликовала ресурсы на GitHub для всех, кто хочет попробовать YaFSDP и поэкспериментировать с ним. В объявлении представлены технические подробности о том, как обучать магистров с помощью этого инструмента. Яндекс описывает новый инструмент как наиболее эффективный общедоступный вариант для улучшения взаимодействия с графическим процессором и сокращения использования памяти во время обучения LLM. В компании утверждают, что новый инструмент позволяет сократить время обучения на 26% по сравнению с предыдущей версией, FSDP. «Обучение LLM — это трудоемкий и ресурсоемкий процесс», — говорится в сообщении Яндекса. «Инженеры по машинному обучению и компании, разрабатывающие собственные программы LLM, вкладывают значительное время и ресурсы графического процессора, что равно деньгам, в обучение этих моделей. Чем крупнее модель, тем больше времени и затрат уходит на ее обучение».
По оценкам компании, использование YaFSDP для обучения модели с 70 миллиардами параметров может сэкономить ресурсы примерно 150 графических процессоров, что в месяц составит от 0,5 до 1,5 миллионов долларов (в зависимости от поставщика виртуальных графических процессоров или платформы), если все пойдет хорошо.
Используя модели Llama от Meta, которые получили высокую оценку за то, что они являются передовыми при использовании открытого исходного кода, Яндекс сообщает, что «окончательное ускорение» составляет 21% и 26% для Llama 2 70B и Llama 3 70B соответственно.
YaFSDP — не первая разработка Яндекса в области инструментов искусственного интеллекта. Компания выпустила CatBoost, YTsaurus, AQLM и Petals — все они занимают разные ниши в разработке искусственного интеллекта.
