Jumse интегрирует ИИ для создания тестов, повышающих точность оценки разработчиков

Платформа автоматизированного техскрининга Jumse анонсировала обновление, которое позволяет создавать тесты для разработчиков с помощью искусственного интеллекта. Новая технология решает проблему однообразия тестов, ускоряя процесс их обновления и повышая точность оценки навыков. Теперь Jumse предлагает неограниченное количество вариантов тестов, что делает оценку специалистов более надежной и приближенной к реальным рабочим задачам. Об этом CNews сообщили представители Jumse.

Ранее задания для кандидатов формировались вручную, что ограничивало количество сценариев и замедляло процесс их пополнения. Jumse построена на базе знаний, содержащей более 8200 практических кейсов, охватывающих все ключевые языки и технологии, включая Python, Java и TypeScript. Каждый тест создавался с акцентом на проверку требуемых для соответствующего стэка навыков, понимание ключевых механизмов и индустриальную специфику.

«С подключением искусственного интеллекта к процессу создания тестов мы сделали важный шаг к повышению точности скрининга, — сказал основатель Jumse Олег Лукавенко. — Наша цель — не просто оценить знания разработчиков, но и увидеть, как они решают задачи, подобные тем, с которыми они столкнутся в реальной работе».

Ключевой элемент обновления — это разработка библиотеки промптов, которые помогают ИИ создавать задания на основе базы знаний и специфики каждой задачи. Экспертная команда Jumse разработала специфичные для стэков и тем промпты, чтобы ИИ мог генерировать задания, охватывающие ключевые аспекты программирования и особенности, важные для различных отраслей. Эта продуманная структура позволяет варьировать не только типы вопросов, но и подходы к их решению.

«Проблема работы с ИИ заключается в том, что без тщательного контроля он может выдавать ответы, не соответствующие реальным требованиям задачи, — отметил Олег Лукавенко. — Поэтому мы доверили составление и тестирование промптов нашей команде, которая глубоко разбирается в контексте и потребностях работодателей. Библиотека промптов стала для нас не менее важной, чем сами кейсы, собранные за три года работы».

Следующим этапом стало создание открытого интерфейса, позволяющего подключать любые языковые модели (LLM). Это позволяет использовать модели, наиболее подходящие для каждой конкретной технологии. Например, для Python используется Code Llama и Phind, тогда как для Java и TypeScript — Mistral и Wizard Code. Такая кастомизация помогает повысить качество оценки, делая ее более адаптированной к особенностям каждого языка.

Итоги обновления — каждый тест на платформе Jumse стал уникальным и максимально приближенным к индустриальному коду, что повышает защиту от случайных ответов и позволяет точно оценить реальные навыки кандидатов.

Jumse также разрабатывает план по получению собственной модели путем fine-tuning на собранных данных, включая информацию из базы знаний, практических кейсов и информации по отраслевым применениям. В ближайших планах компании — запуск индивидуальных планов развития для специалистов и внедрение собственной системы прокторинга, которая будет адаптирована под специфику задач Jumse.