Новости высоких технологий
Oracle Cloud Infrastructure расширяет свой выбор физических экземпляров, добавив ускоритель ИИ.
Недавно компания Vultr объявила о покупке «тысяч» устройств MI300X. Теперь Oracle Cloud Infrastructure (OCI) также сообщает, что использует оборудование AMD для своего нового экземпляра OCI Compute Supercluster, BM.GPU.MI300X.8.
Этот суперкластер предназначен для обработки огромных моделей искусственного интеллекта, содержащих миллиарды параметров. Он поддерживает до 16 384 графических процессоров в одном кластере, что обеспечивает высокую производительность для самых сложных задач. Установка использует ту же высокоскоростную технологию, что и другие ускорители OCI, что позволяет проводить крупномасштабное обучение и вывод ИИ с необходимой памятью и пропускной способностью для самых сложных задач. Такая конфигурация делает его особенно подходящим для больших языковых моделей (LLM) и сложных операций глубокого обучения.
Предпроизводственные испытания уже проводятся.
«AMD Instinct MI300X и открытое программное обеспечение ROCm продолжают завоёвывать доверие как надёжные решения для поддержки самых сложных задач искусственного интеллекта в облачных инфраструктурах (OCI)», — заявил Эндрю Дикманн, корпоративный вице-президент и генеральный менеджер подразделения Data Center GPU Business компании AMD.
Он добавил, что по мере расширения присутствия этих решений на растущих рынках с интенсивным использованием ИИ их сочетание принесёт пользу клиентам OCI благодаря высокой производительности, эффективности и гибкости при проектировании систем.
Oracle с гордостью сообщает, что ее тестирование MI300X, проведенное в преддверии производства, доказало высокую производительность графического процессора в реальных условиях. Для модели Llama 2 70B MI300X продемонстрировала задержку «время до первого токена» всего 65 миллисекунд, что позволяет эффективно масштабировать генерацию 3643 токенов при 256 одновременных запросах пользователей.
В другом тесте с 2048 входными и 128 выходными токенами общая задержка составила всего 1,6 секунды, что близко соответствует показателям, достигнутым в собственных бенчмарках AMD.
Экземпляр OCI BM.GPU.MI300X.8, оснащенный восемью ускорителями AMD Instinct MI300X, предлагает 1,5 ТБ памяти HBM3 GPU с пропускной способностью 5,3 ТБ/с, а также 2 ТБ системной памяти и 8 NVMe-хранилищами емкостью 3,84 ТБ каждое. Oracle планирует предложить это решение по доступной цене — 6 долларов за GPU в час.
«Ускорители AMD Instinct MI300X дополняют наш широкий спектр высокопроизводительных bare-metal экземпляров от OCI, позволяя клиентам избавиться от лишних затрат на виртуализированные вычисления, которые обычно требуются для инфраструктуры ИИ», — заявил Дональд Лу, старший вице-президент по разработке программного обеспечения в Oracle Cloud Infrastructure. «Мы рады предложить ещё больше возможностей для клиентов, стремящихся ускорить свои рабочие нагрузки в области искусственного интеллекта по конкурентоспособным ценам».
Новости высоких технологий
