реклама
Появление GPT-4 знаменовала новую веху в развитии технологий генеративного ИИ. Однако в свете растущей конкуренции от Llama и других моделей, а также экспоненциально растущих вычислительных затрат на обучение последующих итераций, перспективы скорого выхода GPT-5 становятся все более туманными.
Согласно оценкам Дэна Хендрикса из Центра безопасности ИИ, каждая новая итерация GPT требует примерно в 10 раз больше вычислительных мощностей по сравнению с предыдущей. Так, для GPT-5 потребуется около 1 млн чипов Н100, работающих непрерывно в течение 3 месяцев, то есть объем ресурсов, недоступный даже для OpenAI в обозримом будущем.
Подтверждением этой гипотезы служат слова Дарио Амодеи из Anthropic о том, что текущие затраты на обучение передовой модели составляют $1 млрд, а к 2025 году могут вырасти до $5-10 млрд. Это соответствует 10-кратному росту мощностей относительно GPT-4, который разумно ожидать лишь для GPT-4.5.
В то же время конкуренты активно наступают. 70-миллиардная Llama 3 от Meta уже обогнала все другие открытые модели, а будущая 405-миллиардная версия способна бросить вызов даже GPT-4. Более того, эксперты полагают, что для качественного рывка OpenAI придется кардинально изменить подход к обучению, отказавшись от "наивных" методов.
Таким образом, в ближайшее время следует ожидать скорее выхода итеративной модели GPT-4.5, нежели полноценного GPT-5, требующего недостижимых на данный момент вычислительных мощностей. Конкуренты же продолжат активно сокращать отставание.