S*: новый AI-фреймворк для более качественного и надежного кодинга
Исследователи из Калифорнийского университета в Беркли разработали новый фреймворк S*, который позволяет языковым моделям AI писать более точный и надежный код. Система сочетает параллельное и последовательное масштабирование, что повышает качество генерации.
Как работает S*?
Фреймворк использует тестовые входные данные для проверки и оптимизации кода. Основные особенности S*:
Адаптивный синтез входных данных — система генерирует тесты, выявляющие ошибки.
Выбор лучших решений — AI тестирует несколько вариантов кода и определяет наилучший.
Комбинация параллельного и последовательного подходов — модель одновременно пробует разные решения и улучшает их на основе обратной связи.
Насколько эффективен S*?
Тесты с 12 языковыми моделями показали устойчивый рост точности. Например, Qwen2.5-7B-Coder-Instruct с S* превзошла Qwen2.5-32B-Coder-Instruct без него. Даже меньшие модели с S* показали результаты лучше, чем крупные модели рассуждений.
S* уже сравнивают с методами OpenAI в тесте ARC, где использовался многопоточный анализ и выбор лучших решений. Однако система пока оптимизирована только для кодинга и не тестировалась на сложных инженерных задачах.
Фреймворк S* может стать стандартом для AI-разработки и сделать генерацию кода более точной и надежной.