מבחן A/B – מתי, למה ואיך?

כמו כל תהליך מחקרי, למבחן A/B מספר שלבים מרכזיים:

ממה צריך להיזהר במבחני A/B:

חשוב לשים לב שמבחני A/B יכולים להיות כלי מצוין, אך באותה מידה יכולים להוביל להטיות סטטיסטיות ולקבלת מסקנות שגויות.
מעבר לבעיות שהוצגו לעיל, כמו למשל בחינת שתי אופציות שמלכתחילה נחותות מאופציה שלישית לא ידועה, בעיות של יישום לקוי של אחת האופציות, או השפעתו של גורם מתווך כלשהו, חשוב להדגיש כי אין כל סיבה לרוץ ולבחון כל רעיון שעולה במוחנו או במהלך ישיבת צוות. למרות הקלות לכאורה של ביצוע המבחן (בסה"כ מעלים שתי אלטרנטיבות ובודקים איזו מהן טובה יותר, לא?) אנו לא רוצים ליצור כמות מוגזמת של מבחני A/B מאחר וריבוי כזה יוביל לחוסר מיקוד בשאלות הסטטיסטיות ועשוי ליצור תלות בין המבחנים השונים. השאיפה המרכזית היא שהאפיון/ עיצוב של האתר או האפליקציה יהיו מלכתחילה מבוססי מחקר מעמיק של התנהגות צרכנים ומשתמשים, ושמבחני ה- A/B יהיו נקודתיים לצורך בחינת מקרים בהם הדילמות העסקיות אמיתיות ומהותיות. אחרת, המבחנים הללו עשויים להוביל לתוצאה הפוכה ולבזבוז של זמן ומשאבים רבים, וכמובן גם של הכנסות פוטנציאליות (שיירדו לטמיון בגלל הצגת אופציות גרועות למשתמשים).

מומלץ גם להתייחס ברצינות רבה להגדרה מדויקת של המטרות, כדי להימנע משאלות גדולות מדי ולא ברורות. מבחני A/B לא נועדו לבדיקה מוגזמת של רעיונות גדולים ומפוזרים מדי (כמו אתר אחד אל מול אתר שני..), אלא לבדיקות שניתן להגדיר בהן פרמטרים ברורים מבחינה סטטיסטית ולנתח את ממצאיהן. בדיקות גדולות מדי יובילו למספר פרמטרים גדול מדי, לממצאים רבים ומפוזרים מדי ולחוסר אפשרות לנתח את הנתונים ולהסיק מסקנות בצורה יעילה ומדויקת.

למבחני A/B יש כמובן ערך רב, אך החיסרון האמיתי שלהם נובע הן מהעובדה שהמבחנים הללו בוחנים את ההשערות שלנו בלבד (ורק אותן) והן מהעובדה שהם לא מספקים לנו סיבות התנהגותיות ברורות לממצאים שקיבלנו (אלא מידע כמותני יבש בלבד). כדי להשיג את המטרות הללו ולהסיק מסקנות ברמה מעמיקה יותר, מומלץ לבצע מבחני שימושיות ככלי לבחינת מידע איכותני, שיספק תמונה שלמה וברורה יותר לגבי התנהגותם של המשתמשים.