AnyTest.dev поруч із QA Wolf, mabl і Testim: кому що підходить

Що AnyTest каже про себе

Головна сторінка AnyTest описує процес «запустив і забув»: ви даєте URL, агенти досліджують продукт, будують наскрізні тести й залишають їх на перевірку людині. Промпти необов’язкові. Результати: Passed, Failed або Needs attention, а збої мають покрокову хронологію. FAQ відвертий: сервіс не замінює QA, підходить для вебзастосунків зі справжнім багатосторінковим інтерфейсом, не підходить для продуктів лише мобільних, лише CLI чи лише з чатом агента, а агенти під час дослідження можуть іти різними шляхами, тож зберігаються тести, які ви перевірили й схвалили.

Публічний тариф Starter указано як 29 доларів на місяць: 40 агентських кредитів і 500 запусків тестів на місяць, 1 користувач і 5 проєктів. Pro оцінюється за користувача, без цифри; є також Lifetime і Custom. Сторінок документації чи цін, які вдалося відкрити, на сайті немає. Усе це опис самого вендора.

Три продукти для порівняння

Я обрав продукти, з якими, за моєю оцінкою, ймовірно зіткнеться команда, що обирає автоматизацію наскрізних тестів. QA Wolf має самообслуговувану платформу й керований сервіс і заявляє, що його тести це стандартний код Playwright. mabl: платформа агентного тестування. Testim, що належить Tricentis: low-code інструмент із записом дій. Якщо хочете інші порівняння, скажіть які.

Що я зміг перевірити про конкурентів

QA Wolf. На сторінці цін сказано, що тести це стандартний відкритий Playwright, який можна експортувати будь-коли, без прив’язки до вендора. Playwright це фреймворк із відкритим кодом; сторінка не називає відкритою саму платформу чи сервіс QA Wolf, і я теж. Також указано тариф Coverage as a Service, де QA Wolf створює, запускає й підтримує тести; ціна за запитом. TechCrunch і Scale Venture Partners повідомляють про раунд Series B на 36 млн доларів у липні 2024 року.

mabl. На сторінці цін перелічено тести веб, мобільних, API, доступності й продуктивності, автовідновлення та необмежені локальні й CI-запуски, а також менеджера з успіху клієнтів і живу підтримку в продукті 24/5. Є 14-денний безкоштовний пробний період. Про раунд Series C на 40 млн доларів у листопаді 2021 року йдеться в пресрелізі компанії.

Testim. Tricentis оголосила про купівлю Testim у лютому 2022 року; опубліковані суми в різних виданнях розходяться, тому я їх не наводжу. На сторінці цін: продукти для веб, мобільних і Salesforce, low-code редактор із записом, безкоштовний тариф Community після пробного періоду та сертифікат SOC 2 Type II.

Де AnyTest сильніший

• Точка входу. AnyTest заявляє, що починає з вашого URL, а не просить описувати кожен сценарій, і що промпти необов’язкові. Платформа QA Wolf теж указує ШІ-дослідження продукту й картографування сценаріїв, тож це різниця акцентів, а не унікальна функція.
• Зазначена ціна. AnyTest показує місячну ціну Starter з лімітами кредитів і запусків. У mabl і Testim на сторінках цін цифр немає. Платформа QA Wolf теж публікує ціни за використання, тож це перевага лише перед цими двома.
• Перевірка як частина продукту. Тести залишають людині на схвалення, що пасує командам, де агенти роблять перший прохід, а рішення за людьми. Мій висновок, не виміряний результат: це може дати більше покриття з тією самою командою.

AnyTest чи власна збірка на Playwright, Selenium або Cypress

Playwright (Apache 2.0), Selenium (Apache 2.0) і Cypress (MIT) це фреймворки для тестування з відкритим кодом; у їхніх репозиторіях лежать ці ліцензії. Це добрі інструменти, і багато команд працюють із ними успішно. Але це фреймворки, а не готові набори тестів. Хтось у вашій команді пише код тестів, підтримує його під час змін інтерфейсу й налаштовує браузери та CI-машини, на яких він виконується. Наприклад, на сайті Selenium Grid подано як спосіб розподіляти тести на кілька машин.

Пропозиція AnyTest прибирає ці кроки. За його описом, агенти досліджують сайт за URL, пишуть наскрізні тести, підтримують їх і залишають вам на перевірку й схвалення, навички програмування не потрібні. До тарифів входять щомісячні запуски тестів, тобто набір він теж запускає. Ви витрачаєте час на перевірку замість часу на написання й підтримку. Playwright і Cypress тепер теж пропонують ШІ-помічників (Playwright MCP, запити природною мовою в Cypress), але лишаються фреймворками, які ваша команда налаштовує й експлуатує.

Чесний компроміс: фреймворк дає код, яким ви володієте, і повний контроль. AnyTest дає перевірений набір тестів без попередньої збірки всього механізму. Якщо в команді нікому виділити час на написання й підтримку тестів, це сильніша пропозиція. Виміряних цифр економії часу в мене немає, і я їх не публікую.

Де ні

• Платформи. AnyTest заявляє лише вебзастосунки. Керований тариф QA Wolf указує iOS, Android і Electron, mabl указує мобільні, Testim указує мобільні та Salesforce.
• Кероване тестування. Якщо потрібно, щоб вендор відповідав за покриття, для цього створено керований тариф QA Wolf, а в AnyTest аналога я не знайшов.
• Публічні підтвердження. У моїх пошуках я не знайшов незалежних оглядів, публікацій у пресі чи повідомлень про фінансування AnyTest, лише сторінки самого вендора й каталоги. Я не використав його відгуки, бо вони без імен. Справжня перевірка: пробний запуск на вашому застосунку.

Як би я це оцінював

Оберіть один знайомий вебсценарій, зокрема такий, що іноді ламається. Дайте кожному інструменту дослідити його, потім порахуйте, що знайшов інструмент, що вам довелося виправити і скільки тривала перевірка. Будь-які отримані числа будуть вашими результатами; у мене їх немає, а змодельованих я не публікую.