Альтман: обучение больших языковых моделей заходит в тупик
Генеральный директор OpenAI Сэм Альтман заявил, что традиционное масштабирование языковых моделей (LLM) уже не даёт прежних результатов.Компания сосредотачивается на разработке больших моделей рассуждений (LRM), оптимизированных с помощью обучения с подкреплением. Эти модели точнее в программировании, математике и научных исследованиях, чем классические LLM.
Как объединение LLM и LRM изменит AI?
Альтман считает, что комбинация двух подходов может дать первые «признаки жизни» настоящих научных открытий в физике, биологии и алгоритмах.Например, модели OpenAI уже показывают прорыв в программировании:
Первая модель рассуждений o1 была на уровне миллиона лучших программистов мира.
Модель o3 (декабрь 2024) вошла в топ-175.
Последние тесты показывают примерно 50-е место, и Альтман надеется достичь первого места к концу года.
Будет ли OpenAI открывать код своих моделей?
Альтман намекнул на возвращение OpenAI к открытому коду, но без конкретных деталей:«Мы собираемся это сделать», — сказал он, отметив, что общество готово к компромиссам.
Этот вопрос стал ещё актуальнее после выпуска открытой модели рассуждений R1 от DeepSeek, которая догоняет OpenAI o1 по производительности.
Сможет ли OpenAI выдержать конкуренцию с открытыми AI-моделями, или компания продолжит ограниченный доступ к своим технологиям? Ответ на этот вопрос определит будущее индустрии AI.