Vals хочет сделать тесты ИИ сложнее для списывания
Vals хочет сделать тесты ИИ сложнее для списывания
Бенчмарки помогают разработчикам моделей подтверждать возможности продукта, но старые системы оценки не успевают за современными моделями. Более того, открытые задания позволяют заранее обучаться именно на них.
Стартап Vals, созданный в 2024 году, предлагает другой подход: конкретные тестовые материалы не публикуются. В прошлом месяце компания привлекла $40 млн в раунде серии A под руководством Andreessen Horowitz.
Для создателей продуктов это важный сигнал: выбирать модель только по красивому месту в таблице уже недостаточно. Проверяйте её на собственных сценариях — реальных запросах, ошибках и ограничениях вашего сервиса.
А вы уже собрали личный набор испытаний для ИИ или всё ещё доверяете чужому рейтингу?
Модель прошла все тесты. Особенно те, которые видела вчера.