AnyTest.dev в сравнении с QA Wolf, mabl и Testim: кому что подходит

Что AnyTest говорит о себе

Главная страница AnyTest описывает процесс «запустил и забыл»: вы даёте URL, агенты изучают продукт, строят сквозные тесты и оставляют их на проверку человеку. Промпты необязательны. Результаты: Passed, Failed или Needs attention, у сбоев есть пошаговая хронология. FAQ откровенен: сервис не заменяет QA, подходит для веб-приложений с настоящим многостраничным интерфейсом, не подходит для продуктов только мобильных, только CLI или только с чатом агента, а агенты при исследовании могут идти разными путями, поэтому сохраняются те тесты, которые вы проверили и одобрили.

Публичный тариф Starter указан как 29 долларов в месяц: 40 агентских кредитов и 500 запусков тестов в месяц, 1 пользователь и 5 проектов. Pro оценивается за пользователя, цифры нет; есть также Lifetime и Custom. Страниц документации или цен, которые удалось открыть, на сайте нет. Всё это описание самого вендора.

Три продукта для сравнения

Я выбрал продукты, с которыми, по моей оценке, вероятно столкнётся команда, выбирающая автоматизацию сквозных тестов. У QA Wolf есть самостоятельная платформа и управляемый сервис, и он заявляет, что его тесты это стандартный код Playwright. mabl: платформа агентного тестирования. Testim, принадлежащий Tricentis: low-code инструмент с записью действий. Если хотите другие сравнения, скажите какие.

Что я смог проверить о конкурентах

QA Wolf. На странице цен сказано, что тесты это стандартный открытый Playwright, который можно экспортировать в любой момент, без привязки к вендору. Playwright это фреймворк с открытым исходным кодом; страница не называет открытой саму платформу или сервис QA Wolf, и я тоже. Также указан тариф Coverage as a Service, где QA Wolf создаёт, запускает и поддерживает тесты; цена по запросу. TechCrunch и Scale Venture Partners сообщают о раунде Series B на 36 млн долларов в июле 2024 года.

mabl. На странице цен перечислены тесты веб, мобильных, API, доступности и производительности, автовосстановление и неограниченные локальные и CI-запуски, а также менеджер по успеху клиентов и живая поддержка в продукте 24/5. Есть 14-дневный бесплатный пробный период. О раунде Series C на 40 млн долларов в ноябре 2021 года сообщается в пресс-релизе компании.

Testim. Tricentis объявила о покупке Testim в феврале 2022 года; опубликованные суммы в разных изданиях расходятся, поэтому я их не привожу. На странице цен: продукты для веб, мобильных и Salesforce, low-code редактор с записью, бесплатный тариф Community после пробного периода и сертификат SOC 2 Type II.

Где AnyTest сильнее

• Точка входа. AnyTest заявляет, что начинает с вашего URL, а не просит описывать каждый сценарий, и что промпты необязательны. Платформа QA Wolf тоже указывает ИИ-исследование продукта и картирование сценариев, так что это разница акцентов, а не уникальная функция.
• Указанная цена. AnyTest показывает месячную цену Starter с лимитами кредитов и запусков. У mabl и Testim на страницах цен цифр нет. Платформа QA Wolf тоже публикует цены за использование, так что это преимущество только перед этими двумя.
• Проверка как часть продукта. Тесты оставляют человеку на одобрение, что подходит командам, где агенты делают первый проход, а решение за людьми. Мой вывод, не измеренный результат: это может дать больше покрытия при той же команде.

AnyTest или собственная сборка на Playwright, Selenium или Cypress

Playwright (Apache 2.0), Selenium (Apache 2.0) и Cypress (MIT) это фреймворки для тестирования с открытым кодом; в их репозиториях лежат эти лицензии. Это хорошие инструменты, и многие команды работают с ними успешно. Но это фреймворки, а не готовые наборы тестов. Кто-то в вашей команде пишет код тестов, поддерживает его при изменениях интерфейса и настраивает браузеры и CI-машины, на которых он выполняется. Например, на сайте Selenium Grid представлен как способ распределять тесты по нескольким машинам.

Предложение AnyTest убирает эти шаги. По его описанию, агенты изучают сайт по URL, пишут сквозные тесты, поддерживают их и оставляют вам на проверку и одобрение, навыки программирования не нужны. В тарифы входят ежемесячные запуски тестов, то есть набор он запускает тоже. Вы тратите время на проверку вместо времени на написание и поддержку. Playwright и Cypress теперь тоже предлагают ИИ-помощников (Playwright MCP, запросы на естественном языке в Cypress), но остаются фреймворками, которые ваша команда настраивает и эксплуатирует.

Честный компромисс: фреймворк даёт код, которым вы владеете, и полный контроль. AnyTest даёт проверенный набор тестов без предварительной сборки всего механизма. Если в команде некому выделить время на написание и поддержку тестов, это более сильное предложение. Измеренных цифр экономии времени у меня нет, и я их не публикую.

Где нет

• Платформы. AnyTest заявляет только веб-приложения. Управляемый тариф QA Wolf указывает iOS, Android и Electron, mabl указывает мобильные, Testim указывает мобильные и Salesforce.
• Управляемая работа. Если нужно, чтобы вендор отвечал за покрытие, для этого создан управляемый тариф QA Wolf, а у AnyTest аналога я не нашёл.
• Публичные подтверждения. В моих поисках я не нашёл независимых обзоров, публикаций в прессе или сообщений о финансировании AnyTest, только страницы самого вендора и каталоги. Я не использовал его отзывы, потому что они без имён. Настоящая проверка: пробный запуск на вашем приложении.

Как бы я это оценивал

Выберите один знакомый веб-сценарий, в том числе такой, который иногда ломается. Дайте каждому инструменту исследовать его, затем посчитайте, что нашёл инструмент, что вам пришлось поправить и сколько заняла проверка. Любые полученные числа будут вашими результатами; у меня их нет, и смоделированные я не публикую.