AnyTest.dev מול QA Wolf, ‏mabl ו-Testim: מי מתאים למה

מה AnyTest אומר על עצמו

דף הבית של AnyTest מתאר תהליך של «הפעל ושכח»: נותנים כתובת URL, סוכנים חוקרים את המוצר, בונים בדיקות קצה לקצה ומשאירים אותן לסקירה אנושית. הנחיות הן אופציונליות. התוצאות מופיעות כ-Passed, ‏Failed או Needs attention, ולכשלים יש ציר זמן של צעדים. ה-FAQ גלוי לב: הוא לא מחליף QA, מתאים לאפליקציות ווב עם ממשק רב-עמודי אמיתי, לא מתאים למוצרים מובייל בלבד, שורת פקודה בלבד או צ’אט סוכן בלבד, וסוכנים עשויים ללכת בנתיבים שונים בזמן החקירה, ולכן הבדיקות שסקרתם ואישרתם הן אלה שנשמרות.

תוכנית Starter הציבורית רשומה ב-29 דולר לחודש עם 40 קרדיטים לסוכנים ו-500 הרצות בדיקה בחודש, משתמש אחד ו-5 פרויקטים. Pro מתומחרת למשתמש בלי מחיר גלוי, ויש גם תוכניות Lifetime ו-Custom. לא הצלחתי לטעון באתר שום דף תיעוד או תמחור. כל זה תיאור של הספק עצמו.

שלושת מוצרי ההשוואה

בחרתי מוצרים שלפי הערכתי צוות המחפש אוטומציה של בדיקות קצה לקצה צפוי לפגוש. ל-QA Wolf יש פלטפורמה עצמאית ושירות מנוהל, והיא אומרת שהבדיקות שלה הן קוד Playwright סטנדרטי. mabl היא פלטפורמה לבדיקות באמצעות סוכנים. Testim, בבעלות Tricentis, הוא כלי low-code מבוסס מקליט. אם אתם מעדיפים השוואות אחרות, אמרו לי אילו.

מה הצלחתי לאמת על כל מתחרה

QA Wolf. בדף התמחור כתוב שהבדיקות הן Playwright סטנדרטי בקוד פתוח שאפשר לייצא בכל עת, ללא נעילה לספק. Playwright הוא פריימוורק בקוד פתוח; הדף אינו מתאר את הפלטפורמה או השירות של QA Wolf עצמם כקוד פתוח, וגם אני לא. רשומה בו גם תוכנית Coverage as a Service שבה QA Wolf בונה, מריץ ומתחזק את הבדיקות, בתמחור בפנייה. TechCrunch ו-Scale Venture Partners מדווחים על סבב Series B של 36 מיליון דולר ביולי 2024.

mabl. בדף התמחור רשומים בדיקות ווב, מובייל, API, נגישות וביצועים, ריפוי עצמי והרצות מקומיות ו-CI ללא הגבלה, עם מנהל הצלחת לקוח ותמיכה חיה בתוך המוצר 24/5. מוצעת גם תקופת ניסיון חינם של 14 יום. סבב Series C של 40 מיליון דולר בנובמבר 2021 מדווח בהודעה לעיתונות של החברה.

Testim. Tricentis הודיעה על רכישת Testim בפברואר 2022; הסכומים שפורסמו נבדלים בין כלי התקשורת, ולכן אינני מציין סכום. בדף התמחור רשומים מוצרים לווב, למובייל ול-Salesforce, עורך low-code מבוסס הקלטה, תוכנית Community חינמית אחרי הניסיון ותעודת SOC 2 Type II.

איפה AnyTest חזק יותר

• נקודת פתיחה. AnyTest אומר שהוא מתחיל מה-URL שלכם במקום לבקש שתתארו כל תהליך, ושהנחיות הן אופציונליות. גם הפלטפורמה של QA Wolf מציינת חקירת מוצר ומיפוי תהליכים באמצעות בינה מלאכותית, ולכן זה הבדל בדגש ולא יכולת ייחודית.
• מחיר מוצהר. AnyTest מציג מחיר Starter חודשי עם מכסות קרדיטים והרצות. mabl ו-Testim לא מציגות מספרים בדפי התמחור. גם הפלטפורמה של QA Wolf מפרסמת מחירי שימוש, ולכן זה יתרון רק מול שתיהן.
• הסקירה היא חלק מהמוצר. הבדיקות נשארות לאישור אדם, וזה מתאים לצוותים שבהם הסוכנים עושים את המעבר הראשון והאנשים מחזיקים בהחלטה. ההסקה שלי, לא תוצאה שנמדדה: זה עשוי להביא יותר כיסוי עם אותו צוות.

AnyTest מול בנייה עצמית עם Playwright, ‏Selenium או Cypress

Playwright (Apache 2.0), ‏Selenium (Apache 2.0) ו-Cypress (MIT) הם פריימוורקים לבדיקות בקוד פתוח; במאגרים שלהם מופיעים הרישיונות האלה. אלה כלים טובים וצוותים רבים משתמשים בהם היטב. אבל אלה פריימוורקים ולא חבילות בדיקות מוכנות. מישהו בצוות כותב את קוד הבדיקות, מחזיק אותו עובד כשהממשק משתנה ומגדיר את הדפדפנים ומכונות ה-CI שעליהן הוא רץ. אתר Selenium, למשל, מציג את Grid כדרך להפיץ בדיקות על כמה מכונות.

ההצעה של AnyTest מסירה את השלבים האלה. לפי תיאורו, סוכנים חוקרים את האתר מ-URL, כותבים את בדיקות הקצה לקצה, מתחזקים אותן ומשאירים אותן לסקירה ולאישור שלכם, בלי מיומנויות קוד. התוכניות שלו כוללות הרצות בדיקה חודשיות, כלומר הוא גם מריץ את החבילה. מה שאתם משקיעים הוא זמן סקירה במקום זמן כתיבה ותחזוקה. גם Playwright ו-Cypress מציעים היום עזרי בינה מלאכותית (Playwright MCP, הנחיות בשפה טבעית ב-Cypress), אבל הם נשארים פריימוורקים שהצוות שלכם מגדיר ומפעיל.

הפשרה הכנה: פריימוורק נותן קוד שבבעלותכם ושליטה מלאה. AnyTest נותן חבילה שנסקרה בלי שתבנו קודם את המנגנון. אם אין מי שיכול להקדיש זמן לכתיבה ולתחזוקה של בדיקות, זו ההצעה החזקה יותר. אין לי מספרים שנמדדו על זמן שנחסך, ואיני מפרסם כאלה.

איפה לא

• פלטפורמות. AnyTest אומר שהוא מיועד לאפליקציות ווב. התוכנית המנוהלת של QA Wolf מציינת iOS, ‏Android ו-Electron, ‏mabl מציינת מובייל, ו-Testim מציין מובייל ו-Salesforce.
• עבודה מנוהלת. אם רוצים שהספק יישא באחריות לכיסוי, התוכנית המנוהלת של QA Wolf נבנתה לכך, ולא מצאתי תיאור מקביל אצל AnyTest.
• ראיות ציבוריות. בחיפושיי לא מצאתי עבור AnyTest ביקורות עצמאיות, סיקור בעיתונות או דיווחי מימון, רק את דפי הספק עצמו ומדריכי רישום. לא השתמשתי בהמלצות שלו כי הן ללא שמות. ניסיון על האפליקציה שלכם הוא המבחן האמיתי.

איך הייתי מעריך אותו

בחרו תהליך ווב אחד שאתם מכירים היטב, כולל כזה ששבור לפעמים. תנו לכל כלי לחקור אותו, ואז ספרו מה הכלי מצא, מה נאלצתם לתקן וכמה זמן לקחה הסקירה. כל מספר שתאספו הוא התוצאה שלכם; אין לי מספרים כאלה, ואיני מפרסם מספרים מדומים.