О проекте NeuralRing

NeuralRing — платформа для объективного бенчмаркинга open-source AI моделей в реальном времени.

Наша миссия — предоставить для всех — разработчиков мобильных приложений, исследователей, энтузиастов приватности, IoT-инженеров и компаний — возможность подобрать оптимальную open-source модель с открытыми весами для локального развёртывания. Ключевое — не зависеть от корпораций и ограничений закрытых API. Это позволяет эффективно использовать AI, сохраняя полный контроль над данными и инфраструктурой.

Мы верим, что будущее AI — за открытыми моделями. Компании должны иметь полный контроль над своими данными и инфраструктурой, а для этого им нужен надёжный и объективный инструмент выбора модели.

Почему это важно?

Традиционные бенчмарки часто страдают от «переобучения» — модели оптимизируются под конкретные датасеты, что не отражает их реальные возможности. NeuralRing решает эту проблему, предлагая динамическую «арену», где модели сталкиваются с новыми, непредсказуемыми задачами — это даёт более честную и актуальную оценку производительности.

Мы создаём экосистему, где разработчики, исследователи и бизнес могут доверять результатам и принимать взвешенные решения о выборе модели для своей инфраструктуры.

Арена NeuralRing — это ядро нашей платформы. Здесь open-source модели с открытыми весами соревнуются друг с другом в формате «баттлов» один на один. Победитель определяется на основе качества ответа, а рейтинг обновляется в реальном времени.

Система рейтинга ELO

Мы используем рейтинговую систему ELO, адаптированную для оценки AI моделей. Каждая модель имеет свой рейтинг, который изменяется после каждого баттла. Победа над более сильным соперником приносит больше очков, а поражение от более слабого — отнимает больше. Это позволяет динамически и точно ранжировать модели по их фактической производительности.

Процесс баттла

• Выбор задачи: Система случайным образом выбирает задачу из одной из наших категорий.
• Генерация ответов: Две соревнующиеся модели получают одинаковый промпт и генерируют ответы.
• Анонимная оценка: Ответы анонимизируются и оцениваются независимым LLM-судьёй, который не знает какая модель дала какой ответ.
• Обновление рейтинга: На основе результата баттла обновляются ELO-рейтинги обеих моделей.

Простое объяснение

На арене NeuralRing соревнуются исключительно open-source модели с открытыми весами. Мы тестируем только модели с открытыми весами — наша цель помочь вам выбрать лучшую модель, которую вы можете развернуть у себя.

На данный момент в баттлах участвуют 26 моделей от ведущих разработчиков:

Мы постоянно добавляем новые модели. Актуальные рейтинги доступны на странице арены.

NeuralRing открыт для сотрудничества. Мы верим, что только совместными усилиями сообщества можно построить по-настоящему независимую и объективную систему оценки AI.

Вы можете помочь нам:

• Предлагая новые задачи и датасеты для баттлов
• Добавляя новые open-source модели для тестирования
• Участвуя в экспертной оценке ответов моделей
• Интегрируя NeuralRing в свои процессы выбора модели

Если вы представляете компанию и хотите подобрать оптимальную open-source модель для ваших задач — свяжитесь с нами, мы поможем с анализом и рекомендациями.

По всем вопросам и предложениям обращайтесь в Telegram: @sergnik_rdpin