OpenAI представила результаты тестов своего чипа Jalapeño для инференса
На конференции Hot Chips компания OpenAI представила первые результаты тестов нового чипа Jalapeño, который превосходит нынешние лучшие решения по скорости и энергоэффективности. Чип, разработанный совместно с Broadcom, начнёт ограниченные поставки в конце 2026 года.
Во вторник на конференции Hot Chips компания OpenAI подробнее рассказала о своём новом чипе Jalapeño, предназначенном для обработки запросов к моделям искусственного интеллекта, и представила первые результаты независимых тестов. В тесте InferenceX от Semianalysis чип показал как большее количество обработанных токенов на одного пользователя, так и более высокую производительность на киловатт мощности по сравнению с лучшими доступными сейчас на рынке процессорами для инференса.
Ричард Хо, руководитель аппаратного направления OpenAI, в ходе пресс-конференции заявил, что результаты свидетельствуют об очень значительном скачке производительности по сравнению с существующими решениями. По его словам, Jalapeño способен обслуживать больше рабочей нагрузки ИИ на единицу энергии, одновременно выдавая ответы быстрее, что делает чип пригодным как для обслуживания большого числа клиентов, так и для задач с низкой задержкой.
Сравнение проводилось с системой Nvidia Blackwell, однако Хо отметил, что конкуренты могут существенно продвинуться вперёд к моменту полномасштабного внедрения Jalapeño. По его оценке, чип начнёт поставляться небольшими партиями в конце 2026 года, а более масштабное развёртывание запланировано на 2027 год.
Разработка совместно с Broadcom
О проекте Jalapeño впервые объявили в октябре прошлого года. Чип разрабатывался OpenAI в тесном сотрудничестве с компанией Broadcom, причём в процессе разработки использовались собственные модели OpenAI. Компания намерена превратить Jalapeño в платформу для нескольких поколений устройств, при которой продукты на основе ИИ, модели, чипы и память будут развиваться согласованно.
Благодаря такому комплексному подходу OpenAI удалось устранить проблемы на конкретных этапах обработки запросов, которые часто становятся источником задержек. Jalapeño спроектирован так, чтобы минимизировать задержки на этапах предварительной обработки и передачи данных, которые компания называет частыми узкими местами. Как говорится в блоге OpenAI, система сокращает перемещение данных и задержки при коммуникации, позволяя хранить состояние модели, включая кэш, используемый при генерации ответа, ближе к нужным вычислительным, памятным и сетевым ресурсам на каждом этапе обработки.
