ניתוח A/B Testing: חישוב מובהקות וקבלת החלטה
תרגיל מספרי, גבולות אי-ודאות וכלל החלטה לניסוי
גרסה שהביאה יותר המרות במדגם אינה בהכרח עדיפה גם בהמשך. ניתוח A/B צריך להפריד בין ההפרש שנמדד, אי־הוודאות סביבו והמשמעות העסקית שלו. כאן נחשב דוגמה מלאה ונבנה דף החלטה שאפשר לצרף לתוצאות הניסוי.
המדריך מתמקד בפרשנות של ניסוי שכבר תוכנן. לבחירת המסר או הרכיב שאותו רוצים לבדוק, התחילו במדריך A/B Testing לדפי נחיתה. אין חובה לבדוק רק שינוי זעיר: אפשר להשוות גם שתי הצעות שלמות, אבל המסקנה תהיה על החבילה כולה ולא על כל רכיב בנפרד.
לפני החישוב: האם הנתונים מתאימים להשוואה?
- יחידת ניסוי עקבית: אם ההקצאה היא לפי משתמש, אותו משתמש נשאר באותה גרסה. אין לספור כל ביקור חוזר שלו כתצפית עצמאית חדשה.
- הגדרת הצלחה: למשל, לפחות פנייה תקינה אחת למשתמש בתוך חלון מעקב שהוגדר מראש. קליק על כפתור אינו בהכרח פנייה.
- הקצאה בו־זמנית: החלפת דף בשבוע הבא והשוואתו לשבוע הקודם חשופה לשינוי בקהל, במבצע ובעונתיות.
- בדיקת איכות: אין תקלה שמעלימה אירועים בגרסה אחת. בודקים גם אם יחס המשתמשים בפועל מתאים ליחס ההקצאה המתוכנן.
- תוכנית ניתוח: מדד ראשי, רמת מובהקות, גודל אפקט שימושי, גודל מדגם, תקופה וכלל עצירה נכתבים לפני התוצאות.
סטייה לא מוסברת ביחס ההקצאה נקראת Sample Ratio Mismatch. היא יכולה להעיד על תקלה בניסוי או במדידה; ראו את מחקר החוקרים על אבחון SRM בניסויים מקוונים. אין להסיק מתקלה כזאת שגרסה מסוימת מצליחה יותר.
דוגמה מחושבת: 40 מול 50 המרות
המספרים הבאים הם תרגיל בלבד, לא ניסוי שבוצע אצל לקוח. נניח הקצאה אקראית לשתי קבוצות עצמאיות של 1,000 משתמשים, תוצאה בינארית לכל משתמש וחלון מעקב שהושלם. ב־A היו 40 ממירים וב־B היו 50.
| מדד | A | B |
|---|---|---|
| משתמשים | 1,000 | 1,000 |
| ממירים | 40 | 50 |
| שיעור המרה | 4% | 5% |
ההפרש הוא נקודת אחוז אחת: 5% פחות 4%. השיפור היחסי שנצפה הוא 25%: מחלקים את ההפרש, 1%, בבסיס, 4%. אלה שתי דרכים לתאר אותו מדגם; אף אחת אינה רמת ביטחון.
נשתמש להמחשה במבחן Z דו־צדדי לשני שיעורים, בקירוב למדגם גדול, לפי נוסחת NIST. השערת האפס היא ששיעורי ההמרה באוכלוסיות שווים. השיעור המאוחד הוא 90 חלקי 2,000, כלומר 0.045. שגיאת התקן תחת השערת האפס היא כ־0.009271, ולכן Z הוא כ־1.079 ו־p הוא כ־0.281.
ברמת מובהקות שנקבעה מראש, α=0.05, התוצאה אינה מובהקת. היא אינה מוכיחה שהגרסאות שוות, וגם אינה אומרת שיש סיכוי של 28.1% שההבדל ״מקרי״.
רווח סמך מקורב של 95% להפרש B פחות A, עם שגיאת תקן לא מאוחדת, הוא בערך מינוס 0.82 עד פלוס 2.82 נקודות אחוז. הקירוב כולל גם ירידה וגם עלייה. במדגמים קטנים, באירועים נדירים או בתצפיות תלויות נדרשת שיטה מתאימה יותר; אין להעתיק את החישוב לכל מדד.
מה p-value כן אומר?
בהנחה שמודל המבחן והשערת האפס נכונים, p-value מתאר עד כמה תוצאה כמו זו שנצפתה, או קיצונית יותר, מתיישבת עם המודל. הוא אינו ההסתברות שהשערת האפס נכונה, אינו ההסתברות ש־B טובה יותר ואינו גודל השיפור. אלה הבדלים שמדגישה הצהרת האיגוד האמריקאי לסטטיסטיקה.
גם רווח סמך של 95% אינו הבטחה ש־95 מתוך 100 ניסויים ייתנו אותה תוצאה. בתנאי השיטה, כ־95% מרווחי הסמך שייבנו בחזרות רבות יכילו את ההפרש האמיתי. ההחלטה עדיין צריכה להתייחס לגודל האפקט ולעלות היישום.
מתי מפסיקים, ומה עושים אם אין הכרעה?
בניסוי בעל אופק קבוע עוצרים לפי המדגם ומשך המעקב שנקבעו מראש, גם אם התוצאה אינה מובהקת. לא מאריכים שוב ושוב רק עד שיופיע p קטן. בדיקה יומית יכולה לשמש לאיתור תקלה; שימוש בה להכרזת ניצחון מחייב שיטת ניתוח רציפה שתוכננה לכך.
אין כלל של ״שבועיים מספיקים״ או ״10,000 צפיות מספיקות״. תכנון המדגם תלוי בשיעור הבסיס, בהבדל המינימלי שרוצים לזהות, בעוצמה, ברמת המובהקות וביחידת ההקצאה. עלייה מ־2% ל־2.2% היא שיפור יחסי של 10%, אך רק 0.2 נקודת אחוז — בדרך כלל קשה יותר לזהות אותה מעלייה מ־2% ל־3%.
| מצב בסיום המתוכנן | פעולה אפשרית |
|---|---|
| עדות לשיפור שימושי ומדדי הגנה תקינים | לשקול פריסה מבוקרת ומעקב |
| אין הכרעה והטווח כולל תועלת ונזק | לתעד אי־ודאות; אפשר להשאיר את הקיים משיקולי עלות |
| ההפרש קטן מהתועלת הדרושה | לבדוק אם השינוי מצדיק עלות גם כשהוא מובהק |
| תקלה במדידה או בהקצאה | לתקן ולתכנן מחדש; לא להכריז מנצח |
בדיקת הרבה גרסאות, מדדים או פלחים מגדילה את הסיכוי למצוא הבדל במקרה. קבעו מה ראשי ומה חקרני ושיטה מתאימה לריבוי בדיקות. רעיון שנמצא אחרי חיתוכים רבים יכול להצדיק ניסוי חדש, אך אינו אישור בדיעבד להשערה שלא הוגדרה.
דף החלטה שאפשר למסור לבעל העסק
- מה הושווה, מי הוקצה ומתי?
- כמה משתמשים וכמה ממירים היו בכל גרסה?
- מה ההפרש בנקודות אחוז ובאחוזים יחסיים?
- מהו רווח הסמך, ומהי שיטת הניתוח וכלל העצירה?
- האם עלות, איכות פנייה או החזרים הורעו?
- מה הוחלט ומה עדיין אינו ידוע?
אפשר להציג את הדוח בצורה ברורה ב־Data Studio, ולצרף אליו את המכנים ואת גבולות אי־הוודאות. דוח מסכם נוסף צריך לשמר את אותה הגדרה, ולא להציג רק אחוז שיפור בולט. מודלי ייחוס מחלקים קרדיט בין ערוצים; הם אינם מחליפים הקצאה אקראית, וניסוי A/B אינו בהכרח מדידת ״קליק אחרון״.
הקשר למקרי הניסיון המקוריים
שאלות נפוצות
מה אומר p-value בניסוי A/B?
בהנחת מודל המבחן והשערת האפס, הוא מתאר עד כמה תוצאה כזו או קיצונית יותר מתיישבת עם המודל. הוא אינו ההסתברות שההבדל אמיתי, ש-B עדיפה או שהתוצאה נוצרה במקרה בלבד.
האם 50 המרות מול 40 מתוך 1,000 בכל גרסה הן ניצחון?
בדוגמה של קבוצות עצמאיות ותוצאה בינארית, מבחן Z דו-צדדי נותן p בקירוב 0.281. התוצאה אינה מובהקת ברמת 0.05. ההפרש שנצפה הוא נקודת אחוז אחת, אך אין מכך הוכחה לשוויון או לניצחון.
מתי מפסיקים ניסוי אם לא הושגה מובהקות?
בניסוי בעל אופק קבוע עוצרים לפי המדגם ומשך המעקב שתוכננו, גם בלי מובהקות. אין להאריך שוב ושוב עד לתוצאה רצויה. החלטות עצירה רציפות דורשות שיטה מתאימה שתוכננה לכך.
האם תוצאה מובהקת תמיד מצדיקה פריסה?
לא. יש לבדוק את גודל ההפרש, אי-הוודאות, עלות היישום ומדדי הגנה כמו איכות פנייה. מובהקות אינה מודדת את גודל התועלת, ותוצאה לא מובהקת אינה מוכיחה שהגרסאות שוות.
