SemiAnalysis: OpenAI больше не создает новые передовые модели

После ухода Ильи Суцкевера в мае 2024 года OpenAI не завершила ни одного успешного полномасштабного предобучения для новой передовой модели. Аналитик SemiAnalysis утверждает, что это не просто задержка, а существенный технический барьер, который OpenAI не смогла преодолеть.

Согласно анализу SemiAnalysis, причинами сложившейся ситуации являются несколько факторов:

• Проблемы с конвергенцией: Модели не достигали необходимого качества при использовании крупных кластеров. Предыдущие запуски были либо неудачными, либо прерваны.
• Переориентация на пост-обучение: OpenAI сосредоточилась на пост-обучении, которое строилось на базе данных и вычислениях предыдущих моделей, не заменяя полноценное предобучение.
• Отсутствие расширения кластеров NVIDIA: С мая 2024 года OpenAI не расширяла свои кластеры NVIDIA. Наблюдалась активность в области fine-tuning и RL, но не в масштабах полноценного предобучения. Экономия в 30% за счет конкуренции с TPU была временной, поскольку TPU не были полностью развернуты.

В отличие от OpenAI, Google успешно обучила Gemini 3 на TPUv7, что позволило снизить затраты на 44% (по сравнению с NVIDIA GB200) и до 52% для внешних клиентов. SemiAnalysis подчеркивает, что ключевое значение имеет 3D-торус в TPU, и Google лидирует в области инфраструктуры.

OpenAI, вероятно, в будущем приобретет TPU, как и Anthropic, Meta и xAI, но пока продолжает полагаться на NVIDIA и AWS. SemiAnalysis считает, что GPT-5 – это пост-тренинг на базе GPT-4o, без новой предобученной модели, включающей актуальные данные и масштабирование FLOPs.