Недавние обсуждения в области искусственного интеллекта часто касаются законов масштабирования и вопроса, не заканчивается ли их действие. Впервые представленные в статье OpenAI в 2020 году, основные идеи законов масштабирования просты: с увеличением количества параметров модели, объема тренировочных данных и вычислительных мощностей при обучении ИИ-модели, её производительность улучшается предсказуемым образом. Законы масштабирования объясняют впечатляющие улучшения производительности от GPT-2 до GPT-3 до GPT-4.
Как и закон Мура, законы масштабирования не являются настоящими законами, а просто эмпирическими наблюдениями. За последний месяц появились отчёты, предполагающие, что крупные лаборатории ИИ сталкиваются с уменьшением отдачи от продолжения масштабирования языковых моделей большого размера. Это помогает объяснить, почему выпуск GPT-5 от OpenAI продолжается с задержками.
Самым распространённым контраргументом к убывающей отдаче законов масштабирования является то, что внедрение вычислений во время тестирования открывает совершенно новое измерение, на котором можно применять масштабирование. То есть, вместо огромного увеличения вычислений во время обучения, новые модели рассуждения, такие как o3 от OpenAI, позволяют значительно увеличивать вычисления во время вывода, раскрывая новые возможности ИИ за счёт способности моделей "думать дольше".
Это важное замечание. Вычисления во время тестирования действительно представляют собой захватывающее новое направление для масштабирования и улучшения производительности ИИ.
Однако есть ещё один важный момент о законах масштабирования, который зачастую недооценивается в современных дискуссиях. Почти все обсуждения законов масштабирования — начиная с оригинальной статьи 2020 года и продолжая до сегодняшнего фокуса на вычислениях во время тестирования — сосредоточены на языке. Но язык — это не единственный формат данных, который имеет значение.
Возьмём, например, робототехнику, биологию, модели мира или веб-агенты. Для этих форматов данных законы масштабирования ещё не исчерпали себя; напротив, они только начинают развиваться. Фактически, строгие доказательства существования законов масштабирования в этих областях ещё не были опубликованы.
Стартапы, строящие фундаментальные модели для этих новых форматов данных, такие как EvolutionaryScale в биологии, Physical Intelligence в робототехнике, World Labs в моделях мира, стремятся выявить и использовать законы масштабирования в этих областях так, как OpenAI успешно использовала их для языковых моделей в первой половине 2020-х годов. В следующем году мы ожидаем значительных успехов в этих направлениях.
Не верьте слухам. Законы масштабирования никуда не исчезают. Они будут так же важны в 2025 году, как и раньше. Но центр активности законов масштабирования сместится от предобучения языковых моделей к другим форматам данных.
Дональд Трамп и Илон Маск могут поссориться, что окажет заметное влияние на мир ИИ. Новая администрация в США принесёт с собой ряд изменений в политике и стратегии в отношении ИИ. Чтобы предсказать развитие событий при президенте Трампе, можно было бы сосредоточиться на его тесных отношениях с Илоном Маском, учитывая центральную роль Маска в современном мире ИИ.
Можно представить различные способы, как Маск мог бы повлиять на развитие ИИ при администрации Трампа. Учитывая его неприязнь к OpenAI, возможно, новая администрация займёт менее дружелюбную позицию по отношению к OpenAI при взаимодействии с индустрией, разработке регулирования ИИ и распределении правительственных контрактов. С другой стороны, администрация Трампа могла бы благоволить компаниям самого Маска, например, упрощая правила для того, чтобы xAI мог строить дата-центры и получать преимущество в гонке за передовые модели, или ускоряя регуляторное одобрение для развертывания автопарков робомобилей Tesla.
Более того, Илон Маск, в отличие от многих других технологических лидеров, серьёзно относится к экзистенциальным рискам ИИ и выступает за значительное регулирование ИИ. Он поддержал спорный законопроект SB 1047 в Калифорнии, который стремился ввести существенные ограничения для разработчиков ИИ. Влияние Маска в этой области могло бы привести к более строгой регуляторной среде для ИИ в США.
Однако существует проблема с этими предположениями. Дружеские отношения между Дональдом Трампом и Илоном Маском неизбежно испортятся.
Как мы видели не раз в первой администрации Трампа, средний срок службы союзника Трампа, даже самого преданного, на удивление короток. Оба Дональд Трамп и Илон Маск — сложные, непредсказуемые личности. С ними непросто работать. Они утомляют людей. Их новая дружба оказалась взаимовыгодной на данный момент, но она всё ещё находится в фазе медового месяца. Мы прогнозируем, что до конца 2025 года их отношения ухудшатся.
Что это будет значить для мира ИИ?
Это станет хорошей новостью для OpenAI. Это будет неудачей для акционеров Tesla. Это странит разочарованием для тех, кто беспокоится о безопасности ИИ, так как практически гарантирует, что правительство США будет придерживаться либерального подхода к регулированию ИИ при Трампе.