Amazon выпустила инструмент TorchNeuron для переноса ИИ-приложений на чипы Trainium

Облачное подразделение Amazon — Amazon Web Services (AWS) — в понедельник, 19 октября, выпустило инструмент TorchNeuron. Он позволяет ИИ-стартапам просто переносить приложения искусственного интеллекта на Trainium — ИИ-чип, который разрабатывает Amazon. Шаг направлен против программного преимущества, которое помогло Nvidia стать выбором по умолчанию в области ИИ-оборудования.

TorchNeuron работает с PyTorch — бесплатным набором инструментов с открытым кодом, с помощью которого разработчики создают, обучают и запускают ИИ-модели. По данным Amazon, на PyTorch написано около 85% ИИ-приложений. Изначально его создала Facebook, но с 2022 года он входит в Linux Foundation, организацию, поддерживающую проекты с открытым кодом. По словам компании, чтобы запустить приложение на Trainium, достаточно изменить одну строку конфигурации, переписывать код не нужно.

Преимущество Nvidia

Многие годы Nvidia следит за тем, чтобы её программная платформа CUDA, позволяющая приложениям работать на графических процессорах компании, без сбоев поддерживала PyTorch. В результате её оборудование почти по умолчанию встроено в этот инструментарий. Amazon не первая, кто пытается упростить переход: приложения PyTorch можно переносить и на графические процессоры AMD или чипы Apple.

Amazon подчёркивает, что Trainium даёт доступ ко всему её облаку. В AWS утверждают, что это лучше так называемых неооблаков, многие из которых связаны с Nvidia, например Coreweave, Nebius и Firmus. Колин Брейс, вице-президент по технологическому программному обеспечению AWS Annapurna Labs (подразделения, выпускающего собственные чипы Amazon), заявил, что один и тот же чип выполняет и обучение, и инференс, что улучшает экономику, даже если AWS не предлагает самую низкую цену за токен. В пример он привёл разработчика голосового ИИ Deepgram, который, по его словам, обрабатывает на 70% больше аудио на доллар.

Влияние на PyTorch

Amazon также планирует внести в основной проект PyTorch изменения, убирающие код, привязывающий фреймворк к конкретным чипам, чтобы сделать его менее зависимым от оборудования. Даст ли это разработчикам больший выбор и более дешёвые варианты, как обещает Amazon, или лишь дополнительные сложности с настройкой, пока неизвестно.