Что можно отдать агенту автоматизированного тестирования
Создание тест-кейсов по изменению. У него есть контекст в момент написания кода — когда детали ещё свежи.
Запуск и перезапуск. Механическая работа, и человек в этом цикле добавляет только задержку.
Разбор очевидных сбоев. Упало окружение, не хватает зависимости, целевой адрес недоступен. Здесь не нужны оценочные суждения.
Написание сценария воспроизведения для найденного им бага. Кейс пишется, пока баг под рукой, а не через три дня в тикете.
Что оставить за собой
Что считать правильным
Неоднозначное требование — это продуктовое решение. Агент выберет что-то правдоподобное и закрепит это навсегда.
Что блокирует релиз
Понимание того, какие сбои важны сегодня, требует контекста, которого нет ни в одном документе.
Честна ли проверка
Читайте план. Агент, от которого требуют зелёного статуса, может получить его самым коротким путём.
Граница в одном предложении
Пусть он решает, как проверять, — а решение о том, что должно быть верным, оставьте за собой. Это разделение проходит чётко, соответствует тому, в чём каждая сторона действительно сильнее, и выдерживает столкновение с реальной командой.
Ограничение, которое стоит ввести
Каждая проверка должна называть конкретный наблюдаемый признак, и вы должны хотя бы раз увидеть, как она падает. Расплывчатая проверка — это приглашение агенту удовлетворить её, а не починить продукт, и такой сбой по своей природе проходит тихо.
Что ломается на втором месяце
Первые недели такой работы проходят хорошо, а потом наступает предсказуемый спад, к которому стоит подготовиться заранее.
Агент создал сотню кейсов. Большинство из них разумные, целиком их никто не прочитал, а два-три утверждают что-то едва заметно неверное. Эти два-три теперь падают каждый раз, когда продукт меняется правильно, и красный статус начинают воспринимать как неоднозначный. Дальше — знакомое скатывание: сначала перезапустить, потом пропустить, потом не обращать внимания.
Вмешательство обходится дёшево, если делать его по расписанию, а не в ответ на кризис. Раз в месяц читайте утверждения всех кейсов, добавленных с прошлого раза. Не шаги, только утверждения. При таком объёме это занимает меньше часа и отлавливает ровно те кейсы, которые иначе подорвали бы доверие ко всему набору тестов.
Настройка
Терминал
npm install -g @testsprite/testsprite-cli
testsprite setup
Ту же настройку можно выполнить в панели управления TestSprite, если вы не хотите ничего устанавливать локально. Остальные возможности CLI описаны в репозитории CLI.
Подключите репозиторий из панели управления — и запуски будут стартовать с того деплоя, который вы и так собираете; либо вместо этого добавьте отдельный шаг в свой рабочий процесс.
Что берёт на себя TestSprite, а что остаётся за вами
На нём — «как»: создание кейсов по изменению, их запуск против развёрнутого приложения, перезапуск и разбор механических сбоев. При настройке в ваш агент для написания кода устанавливается навык проверки, поэтому всё это происходит там же, где идёт работа.
За вами — «что». Прочитать план, исправить утверждения, которые остались бы верными и для сломанного продукта, и решить, какие сбои блокируют релиз. При обычном объёме это час в неделю, и именно так ваше знание продукта попадает в набор тестов.
Выигрыш от такого разделения в том, что кейсы на воспроизведение пишутся, пока баг под рукой, а не через три дня в тикете, а регрессионное покрытие растёт из того, что действительно сломалось, а не из упражнения по планированию.
Может ли агент работать без надзора?
Для запусков и разбора механических сбоев — да. Когда речь о том, что должно быть верным и что блокирует релиз, надзор — это не накладные расходы, а сама суть.
Как не допустить разрастания тестов?
Проверяйте созданные кейсы так же, как код, и удаляйте дубликаты. Объём без здравого суждения — главный сценарий провала.
А если он напишет проверку, которая не может упасть?
Это случается достаточно часто, чтобы закладываться на такое заранее. Сломайте нужное намеренно и убедитесь, что проверка становится красной, прежде чем на неё полагаться.
Нужен ли ему доступ к репозиторию?
Он проверяет развёрнутое приложение через его интерфейс. Код уже есть у вашего агента для написания кода.
Как измерить, работает ли это?
По пропущенным дефектам и времени от сбоя до исправления. Число тестов растёт сразу и значит очень мало.
Он решает как. Вы решаете что.
Агент автоматизированного тестирования программного обеспечения должен отвечать за создание тестов, их запуск и разбор сбоев. За собой оставьте то, что считать правильным, что блокирует релиз и честна ли проверка. В каждой проверке называйте конкретный наблюдаемый признак и убеждайтесь, что она способна упасть.