מבחנים אמריקאים (ואחרים)
ראשון, 18 ביוני 2006כל סטודנט מכיר את ה"מבחן האמריקאי" (מבחן multiple choice), שבו יש לסמן את התשובה הנכונה היחידה מבין מספר תשובות אפשריות.
נניח שאתם נבחנים במבחן כזה, ואינכם יודעים את התשובה הנכונה. מה תסמנו?
פרופ' מיה בר-הלל מהמרכז לחקר הרציונליות באוניברסיטה העברית הראתה [2003] כי במבחנים כאלה הסיכוי שהתשובות האמצעיות (ב' או ג') נכונות, גדול משמעותית מהסיכוי שהתשובות הקיצוניות (א' או ד') נכונות. בנוסף, היא הראתה שאנשים שאינם יודעים את התשובה הנכונה נוטים בדר"כ לסמן את התשובות האמצעיות (ובצדק, כנראה :)
במאמר נוסף של אותה חוקרת [2002] נטען כי המרכז הארצי לבחינות והערכה ביצע במודע ובמשך תקופה ארוכה איזון של התשובות הנכונות בבחינה הפסיכומטרית ("key balancing") כדי ש"יראו אקראיות". ספציפית, כל אחת מארבע התשובות האפשריות הופיעה בערך אותו מספר פעמים כתשובה נכונה, והכותבים נמנעו מרצפים ארוכים של אותה תשובה. ככל הנראה, גישה זו נמשכה עד שנת 1999.
בשני המקרים, מדובר בכשל אנושי בתכנון הבחינה: מטרת הבחינה היא הרי לשקף את רמת הידע של הנבחן, אך במקרים שתוארו נבחן נבון יכול להגדיל את ציונו גם אם אינו מכיר כלל את החומר עליו הוא נבחן.
אבל גם אם נניח שכותבי הבחינה עשו את עבודתם נאמנה ומספרי התשובות הנכונות אכן נבחרו באקראי, למבחן האמריקאי יש בעיה אינהרנטית: הוא אינו משקף בצורה מדויקת את רמת הידע של הנבחן.
כדי להבין את הנקודה האחרונה, דמיינו שאתם ניגשים למבחן אמריקאי שבו 10 שאלות, כשלכל אחת 4 תשובות אפשריות (ובדיוק תשובה אחת נכונה). נניח שאתם יודעים לפסול 2 תשובות מכל שאלה, ומסמנים באקראי אחת מהתשובות שנותרו. מה הציון שתקבלו?
התשובה היא שלא ניתן לדעת במדויק: הוא יכול לנוע בין 0 ל-100, בתלות במספר התשובות הנכונות שהצלחתם לנחש. למעשה, משיקולי התפלגות בינומית ניתן לנבא שברמת בטחון של 90% הציון שתקבלו ינוע בין 30 ל-70, אך בכל מקרה הציון המדויק שתקבלו אינו ידוע, ובודאי שלא ישקף בצורה מדויקת את רמת הידע שלכם.
בעזרת ניתוח סטטיסטי מעמיק יותר ניתן להראות שהציון במבחן אמריקאי הוא למעשה אומד בלתי מוטה לרמת הידע של הנבחן (כמובן, תחת ההנחה שלמבחן עצמו יש תוקף, ז"א שהשאלות בו אכן בוחנות ידע בחומר). המשמעות האינטואיטיבית היא שאם נחזור על המבחן אינסוף פעמים (כשבכל פעם הנבחן מנחש באקראי את התשובות שאינו יודע בודאות), נקבל בתוחלת (או "בממוצע") ציון שיבטא במדויק את רמת הידע של הנבחן.
אבל במציאות, רוב המבחנים האמריקאים (ובכלל) מתבצעים פעם אחת בדיוק. האם ניתן לתכנן מבחן כך שגם הציון שיתקבל בו לאחר בחינה בודדת ישקף במדויק את רמת הידע של הנבחנים?
הנה הפתרון של החוג למתמטיקה באוניברסיטת תל אביב (מבחני הקורס "מבוא להסתברות" נערכים כך, כנראה בהשראת פרופ' בוריס צירלסון):
המבחן מורכב מ-18 שאלות אמריקאיות "רגילות" (ז"א ארבע תשובות אפשריות שמתוכן תשובה נכונה בודדת), פלוס טוויסט קטן - לנבחן מותר לסמן כמה תשובות שירצה. למעשה, הוא יכול אפילו לסמן את כל התשובות במבחן. הניקוד הסופי נקבע בצורה הבאה: על כל תשובה נכונה שסומנה הנבחן מקבל 6 נקודות. על כל תשובה שגויה שסומנה, הנבחן מאבד 2 נקודות. הציון הסופי יכול לנוע בין 108 למינוס 108, ובכל מקרה "מעוגל" כך שיהיה בין 0 ל-100.
מקרים מייצגים:
- אם לא סימנת אף תשובה - תקבל אפס.
- אם סימנת את כל התשובות בטופס - תקבל אפס (על כל שאלה תקבל שש נקודות עבור התשובה הנכונה, וירדו לך בסה"כ שש נקודות עבור שלוש תשובות שגויות).
- אם סימנת בכל שאלה תשובה אחת באקראי - תקבל בתוחלת אפס (וניתן להראות שסטיית התקן במקרה זה תהיה קטנה מאוד).
- לעומת זאת, מספיק שתדע לפסול בודאות את אחת התשובות ותוכל לסמן את שלוש התשובות האחרות - ולקבל 2 נקודות בכל מקרה.
המשמעות היא שלנבחן אין אינטרס לנחש תשובות באקראי, וכתוצאה הציון במבחן משקף את רמת הידע שלו בצורה מדויקת יותר.
לסיום, ובמעבר חד, באתר המרכז הארצי לבחינות והערכה ניתן למצוא סטטיסטיקות מעניינות על המבחן הפסיכומטרי. בין היתר, ניתן לראות שככל שאתה עשיר יותר, בן להורים משכילים יותר ובעל העדפה למדע (למשל מעדיף ללמוד פיסיקה על חינוך) - ציון הפסיכומטרי שתקבל יהיה גבוה יותר. בנוסף, ציון הפסיכומטרי הממוצע של בנים משמעותית גבוה יותר מזה של בנות.
[למען ההבהרה: אין בפסקה האחרונה כל טענה כנגד המבחן הפסיכומטרי]
