Чип Sohu от Etched предназначен для трансформаторов
Еще в 2022 году, до того, как появление технологии ChatGPT полностью изменило сферу искусственного интеллекта, компания Etched инвестировала значительные средства в трансформаторы. С этой целью компания разработала Sohu — специализированный ASIC-чип, разработанный специально для моделей трансформаторов. Эти модели поддерживают такие приложения, как ChatGPT, Sora, Gemini и другие.
У Sohu есть одна главная цель: он не способен запускать модели машинного обучения, такие как сверточные нейронные сети (CNN), рекуррентные нейронные сети (RNN) или сети с долговременной кратковременной памятью (LSTM). Однако, что касается transformers, Etched утверждает, что Sohu обладает непревзойденной производительностью, превосходя флагманский графический процессор Nvidia B200 по скорости почти в десять раз.
Речь идет о масштабируемости
Преимущество Sohu заключается в его масштабируемости. Поскольку он разработан специально для трансформаторов, он позволяет избежать сложной логики управления, необходимой графическим процессорам общего назначения для поддержки широкого спектра приложений. Это позволяет Sohu сосредоточиться исключительно на оптимизации производительности трансформаторов, что приводит к повышению быстродействия и эффективности.
Сосредоточившись исключительно на вычислительных требованиях к трансформаторам, Sohu смогла направить больше своих ресурсов на выполнение математических операций, которые составляют основу обработки данных в трансформаторах. Такой оптимизированный подход позволяет Sohu использовать более 90% своих операций с плавающей запятой в секунду (FLOPS), что значительно превышает примерно 30%-ный показатель использования, наблюдаемый в графических процессорах общего назначения (GPU). Это означает, что Sohu может выполнять больше вычислений за заданный промежуток времени, что значительно повышает его эффективность при решении задач, связанных с трансформаторами.
Широкое внедрение трансформаторных моделей привело к значительному росту, и все крупные исследовательские лаборатории искусственного интеллекта, включая Google и Microsoft, взяли на себя обязательство по дальнейшему масштабированию этой технологии. Благодаря пропускной способности, превышающей 500 000 токенов в секунду при использовании Llama 70B, Sohu обеспечивает на порядок большую скорость и экономичность по сравнению с графическими процессорами следующего поколения.Etched считает, что тенденция к созданию специализированных чипов неизбежна, и стремится оставаться в авангарде этого развития. «Нынешние и будущие ультрасовременные модели — это трансформеры, — говорят в компании, — и завтрашнее оборудование будет оптимизировано под них. Видеокарты Nvidia GB200s имеют специальную поддержку этих трансформаторов (TransformerEngine), и появление на рынке ASIC-устройств, подобных Sohu, представляет собой точку невозврата.
Etched сообщает, что производство Sohu растет, и уже размещены значительные заказы. «Мы верим в лотерею оборудования: победителями становятся модели, которые могут работать быстрее и дешевле всего на оборудовании. Трансформаторы достаточно мощные, полезные и прибыльные, чтобы доминировать на всех основных рынках искусственного интеллекта до появления альтернатив».
Компания добавляет, что «убийцы трансформеров» должны будут работать на графических процессорах быстрее, чем transformers могут работать на Sohu, и если это станет возможным, они создадут ASIC для этого!
