Отправляет email-рассылки с помощью сервиса Sendsay
  Все выпуски  

Как мы написали UI-тесты для ИИ-агента внутри JetBrains IDE



Как мы написали UI-тесты для ИИ-агента внутри JetBrains IDE
2026-07-01 11:57

Как проверить, что ИИ-агент в IDE работает, если на одинаковые запросы LLM отвечает по-разному? Ответы модели недетерминированы, а интерфейс и бизнес-логика вполне детерминированы, и их нужно тестировать отдельно.

Мы делаем ИИ-агента, встраиваемого в JetBrains IDE. В статье расскажу, как мы выстроили UI-автоматизацию плагина так, чтобы тесты ловили регрессии в интерфейсе, бизнес-логике и при этом не «моргали» из-за нестабильности LLM.

Статья пригодится, если вы QA-инженер или разработчик и вам интересны:

  1. Выстраивание UI-автоматизации на примере IDE-плагина

  2. Тестирование приложений с ИИ-функциями

  3. Разделение ответственности между детерминированной и недетерминированной частями системы

Читать статью полностью...

 



В избранное