מחשבון חינם לתיקון ערכי p בהשוואות מרובות. מדביקים את רשימת ערכי p ומקבלים אונליין את הערכים המתוקנים בשיטת בונפרוני, בשיטת הולם ובשיטת בנימיני הוכברג, כולל סימון ברור אילו תוצאות נשארות מובהקות בכל שיטה.
התיקון מחושב על כל ערכי p שהזנתם יחד, ולכן חשוב להזין את כל המבחנים שבמשפחת ההשוואות ולא רק את המובהקים.
למה בכלל צריך לתקן
כשמריצים מבחן סטטיסטי אחד ברמת מובהקות של חמישה אחוזים, מסכימים מראש לסיכון של חמישה אחוזים לטעות: לדחות את השערת האפס למרות שאין אפקט אמיתי. הבעיה מתחילה כשמריצים מבחנים רבים באותו מחקר. הסיכון לטעות אינו נשאר חמישה אחוזים, אלא מצטבר.
הדוגמה הקלאסית היא שאלון עם עשרים משתנים. גם אם אין שום קשר אמיתי בין המשתנים, בממוצע אחד מהמבחנים יצא מובהק במקרה. אם דיווחתם רק עליו, גיליתם למעשה רעש ולא ממצא. זו הסיבה שכתבי עת ומנחים דורשים תיקון להשוואות מרובות בכל פעם שמדובר במשפחה של מבחנים ולא במבחן יחיד.
המצבים השכיחים שבהם נדרש תיקון כוללים ניתוחי המשך אחרי ניתוח שונות מובהק, מטריצת מתאמים שבה בודקים עשרות קשרים, השוואה של קבוצות על פני שאלונים רבים, ומחקרים שבודקים מספר גדול של פריטים או מדדים במקביל.
מה הכלי מחשב
הכלי מקבל את כל ערכי p שהתקבלו במשפחת ההשוואות ומחזיר טבלה מלאה שכוללת לכל מבחן את ערך p המקורי, את דירוגו מהקטן לגדול, ואת שלושת הערכים המתוקנים לצד סימון של כן או לא לגבי המובהקות בכל שיטה. בנוסף מוצג סיכום של מספר התוצאות שנשארו מובהקות בכל שיטה, וכן סף בונפרוני המחושב, כלומר הערך שאליו צריך להשוות את ערכי p המקוריים.
שימו לב לנקודה שמבלבלת רבים: הערך המתוקן מושווה תמיד לרמת המובהקות המקורית שבחרתם, ולא לסף מוקטן. זו בדיוק המטרה של ערך p מתוקן, והיא מה שהופך את הדיווח לפשוט ואחיד.
איך משתמשים בכלי
הדביקו את ערכי p, שורה לכל מבחן. אפשר להזין רק את הערכים, ואפשר להוסיף לפניהם את שם המבחן או שם המשתנה, מופרד ברווח, בפסיק או בטאב. הכלי יודע לקרוא גם פורמטים כמו p = 0.03 שנוצרים כשמעתיקים ישירות מפלט של תוכנת ניתוח. אחרי ההדבקה בחרו את רמת המובהקות, בדרך כלל חמישה אחוזים, ולחצו על כפתור החישוב. אפשר להציג את הטבלה לפי סדר ההזנה או ממוינת לפי ערך p, ולהעתיק אותה בלחיצה אחת לאקסל.
כלל חשוב: הזינו את כל המבחנים שבמשפחה, כולל אלה שלא יצאו מובהקים. התיקון תלוי במספר המבחנים, ולכן השמטה של מבחנים לא מובהקים מייצרת תיקון מקל מדי ומסקנה שגויה.
שלוש השיטות ומתי כדאי כל אחת
בונפרוני
השיטה הפשוטה והמוכרת ביותר. היא שומרת על ההסתברות לטעות אחת לפחות מבין כל המבחנים, ולכן היא מחמירה מאוד. היתרון שלה הוא שקיפות: קל להסביר אותה ולבדוק אותה, והיא מקובלת בכל תחום. החיסרון הוא אובדן עוצמה. כשמספר המבחנים גדול, גם אפקטים אמיתיים לא שורדים אותה. השיטה מתאימה כשמספר ההשוואות קטן, למשל שלוש עד שש, וכשמחיר של טעות חיובית הוא כבד במיוחד.
הולם, או בונפרוני מדורג
הולם שומר על אותה הגנה בדיוק כמו בונפרוני, אבל בצורה חכמה יותר: הוא מדרג את ערכי p ומחיל תיקון מחמיר על הקטן ביותר ותיקון מקל בהדרגה על הבאים בתור. מבחינה מתמטית הולם לעולם אינו פחות טוב מבונפרוני, ולכן אם החלטתם לשמור על ההגנה המחמירה, אין כמעט סיבה שלא להעדיף אותו. זו ברירת מחדל טובה למחקר עם מספר בינוני של השוואות.
בנימיני הוכברג, או תיקון FDR
השיטה הזו שינתה את הכללים. במקום להגן מפני טעות אחת ויחידה, היא מבקרת את שיעור התגליות השגויות, כלומר את החלק היחסי של הממצאים השגויים מתוך אלה שהוכרזו מובהקים. כשמסכימים ששיעור של חמישה אחוזים מהתגליות עשוי להיות שגוי, מקבלים הרבה יותר עוצמה. זו השיטה המקובלת כשיש עשרות ומאות מבחנים, למשל בסריקת פריטים או משתנים רבים, ובמחקר חוקר שמטרתו לזהות כיוונים להמשך.
איך לקרוא את הטבלה ואיך לדווח
קראו את הטבלה משמאל לימין לפי השיטה שבחרתם מראש. אם ערך p המתוקן קטן או שווה לרמת המובהקות, התוצאה מובהקת גם אחרי התיקון. אם הוא גדול ממנה, התוצאה אינה מובהקת, גם אם ערך p המקורי היה קטן מחמישה אחוזים.
בדיווח בעבודה מקובל להציג טבלה עם ערך p המקורי לצד המתוקן, ולציין בטקסט מה שיטת התיקון, כמה מבחנים נכללו במשפחה ומה רמת המובהקות. משפט לדוגמה: התוצאות תוקנו לריבוי השוואות בשיטת בנימיני הוכברג על פני שנים עשר מבחנים, ורק שלושה מתוכם נותרו מובהקים ברמה של חמישה אחוזים. שקיפות כזו חשובה יותר מהשאלה איזו שיטה בחרתם.
טעויות נפוצות
- בחירת שיטה אחרי שרואים את התוצאות: להחליט על FDR רק מפני שבונפרוני מחק את הממצא זו הטיה. קובעים את השיטה מראש.
- הגדרה שגויה של המשפחה: תיקון על כל מבחן שנעשה בעבודה כולה, כולל בדיקות מקדימות ותיאור המדגם, מחמיר שלא לצורך. המשפחה היא קבוצת המבחנים ששייכים לאותה שאלת מחקר.
- הזנה חלקית: הזנת המבחנים המובהקים בלבד מטה את התיקון לטובתכם.
- ערך מתוקן מעל אחד: ערך p אינו יכול לעבור אחד, ולכן הכלי חוסם אותו שם. זו התנהגות נכונה ולא שגיאה.
- התעלמות מגודל האפקט: תיקון עוסק במובהקות בלבד. ממצא חלש שנשאר מובהק עדיין עשוי להיות חסר משמעות מעשית.
שאלות נפוצות
איזו שיטה לבחור אם אין הנחיה מהמנחה? עד כעשרה מבחנים בחרו הולם, ומעל זה בנימיני הוכברג. בונפרוני מתאים כשנדרשת השיטה השמרנית והמוכרת ביותר.
צריך לתקן גם אחרי ניתוח שונות? כן. כאשר ניתוח שונות יוצא מובהק ומשווים בין הקבוצות בזוגות, מדובר במשפחה של השוואות שדורשת תיקון. הרחבה על כך אפשר למצוא בהסבר על ניתוח שונות חד כיווני.
מה קורה כששני מבחנים קיבלו ערך p זהה? הכלי מקצה להם ערך מתוקן זהה, כפי שנדרש כדי לשמור על עקביות בין דירוגים.
אפשר לתקן ערכי p של מתאמים? בהחלט. מטריצת מתאמים היא אחד המקרים שבהם התיקון הכי נחוץ, מפני שמספר ההשוואות גדל במהירות עם מספר המשתנים. כדאי לקרוא גם על מובהקות סטטיסטית לפני שמדווחים.
