מבחנים אמריקאים (ואחרים)
כל סטודנט מכיר את ה"מבחן האמריקאי" (מבחן multiple choice), שבו יש לסמן את התשובה הנכונה היחידה מבין מספר תשובות אפשריות.
נניח שאתם נבחנים במבחן כזה, ואינכם יודעים את התשובה הנכונה. מה תסמנו?
פרופ' מיה בר-הלל מהמרכז לחקר הרציונליות באוניברסיטה העברית הראתה [2003] כי במבחנים כאלה הסיכוי שהתשובות האמצעיות (ב' או ג') נכונות, גדול משמעותית מהסיכוי שהתשובות הקיצוניות (א' או ד') נכונות. בנוסף, היא הראתה שאנשים שאינם יודעים את התשובה הנכונה נוטים בדר"כ לסמן את התשובות האמצעיות (ובצדק, כנראה :)
במאמר נוסף של אותה חוקרת [2002] נטען כי המרכז הארצי לבחינות והערכה ביצע במודע ובמשך תקופה ארוכה איזון של התשובות הנכונות בבחינה הפסיכומטרית ("key balancing") כדי ש"יראו אקראיות". ספציפית, כל אחת מארבע התשובות האפשריות הופיעה בערך אותו מספר פעמים כתשובה נכונה, והכותבים נמנעו מרצפים ארוכים של אותה תשובה. ככל הנראה, גישה זו נמשכה עד שנת 1999.
בשני המקרים, מדובר בכשל אנושי בתכנון הבחינה: מטרת הבחינה היא הרי לשקף את רמת הידע של הנבחן, אך במקרים שתוארו נבחן נבון יכול להגדיל את ציונו גם אם אינו מכיר כלל את החומר עליו הוא נבחן.
אבל גם אם נניח שכותבי הבחינה עשו את עבודתם נאמנה ומספרי התשובות הנכונות אכן נבחרו באקראי, למבחן האמריקאי יש בעיה אינהרנטית: הוא אינו משקף בצורה מדויקת את רמת הידע של הנבחן.
כדי להבין את הנקודה האחרונה, דמיינו שאתם ניגשים למבחן אמריקאי שבו 10 שאלות, כשלכל אחת 4 תשובות אפשריות (ובדיוק תשובה אחת נכונה). נניח שאתם יודעים לפסול 2 תשובות מכל שאלה, ומסמנים באקראי אחת מהתשובות שנותרו. מה הציון שתקבלו?
התשובה היא שלא ניתן לדעת במדויק: הוא יכול לנוע בין 0 ל-100, בתלות במספר התשובות הנכונות שהצלחתם לנחש. למעשה, משיקולי התפלגות בינומית ניתן לנבא שברמת בטחון של 90% הציון שתקבלו ינוע בין 30 ל-70, אך בכל מקרה הציון המדויק שתקבלו אינו ידוע, ובודאי שלא ישקף בצורה מדויקת את רמת הידע שלכם.
בעזרת ניתוח סטטיסטי מעמיק יותר ניתן להראות שהציון במבחן אמריקאי הוא למעשה אומד בלתי מוטה לרמת הידע של הנבחן (כמובן, תחת ההנחה שלמבחן עצמו יש תוקף, ז"א שהשאלות בו אכן בוחנות ידע בחומר). המשמעות האינטואיטיבית היא שאם נחזור על המבחן אינסוף פעמים (כשבכל פעם הנבחן מנחש באקראי את התשובות שאינו יודע בודאות), נקבל בתוחלת (או "בממוצע") ציון שיבטא במדויק את רמת הידע של הנבחן.
אבל במציאות, רוב המבחנים האמריקאים (ובכלל) מתבצעים פעם אחת בדיוק. האם ניתן לתכנן מבחן כך שגם הציון שיתקבל בו לאחר בחינה בודדת ישקף במדויק את רמת הידע של הנבחנים?
הנה הפתרון של החוג למתמטיקה באוניברסיטת תל אביב (מבחני הקורס "מבוא להסתברות" נערכים כך, כנראה בהשראת פרופ' בוריס צירלסון):
המבחן מורכב מ-18 שאלות אמריקאיות "רגילות" (ז"א ארבע תשובות אפשריות שמתוכן תשובה נכונה בודדת), פלוס טוויסט קטן - לנבחן מותר לסמן כמה תשובות שירצה. למעשה, הוא יכול אפילו לסמן את כל התשובות במבחן. הניקוד הסופי נקבע בצורה הבאה: על כל תשובה נכונה שסומנה הנבחן מקבל 6 נקודות. על כל תשובה שגויה שסומנה, הנבחן מאבד 2 נקודות. הציון הסופי יכול לנוע בין 108 למינוס 108, ובכל מקרה "מעוגל" כך שיהיה בין 0 ל-100.
מקרים מייצגים:
- אם לא סימנת אף תשובה - תקבל אפס.
- אם סימנת את כל התשובות בטופס - תקבל אפס (על כל שאלה תקבל שש נקודות עבור התשובה הנכונה, וירדו לך בסה"כ שש נקודות עבור שלוש תשובות שגויות).
- אם סימנת בכל שאלה תשובה אחת באקראי - תקבל בתוחלת אפס (וניתן להראות שסטיית התקן במקרה זה תהיה קטנה מאוד).
- לעומת זאת, מספיק שתדע לפסול בודאות את אחת התשובות ותוכל לסמן את שלוש התשובות האחרות - ולקבל 2 נקודות בכל מקרה.
המשמעות היא שלנבחן אין אינטרס לנחש תשובות באקראי, וכתוצאה הציון במבחן משקף את רמת הידע שלו בצורה מדויקת יותר.
לסיום, ובמעבר חד, באתר המרכז הארצי לבחינות והערכה ניתן למצוא סטטיסטיקות מעניינות על המבחן הפסיכומטרי. בין היתר, ניתן לראות שככל שאתה עשיר יותר, בן להורים משכילים יותר ובעל העדפה למדע (למשל מעדיף ללמוד פיסיקה על חינוך) - ציון הפסיכומטרי שתקבל יהיה גבוה יותר. בנוסף, ציון הפסיכומטרי הממוצע של בנים משמעותית גבוה יותר מזה של בנות.
[למען ההבהרה: אין בפסקה האחרונה כל טענה כנגד המבחן הפסיכומטרי]
ראשון, 18 ביוני 2006 בשעה 21:39
1. תמיד שנאתי מבחנים אמריקאיים; למזלי, בתואר (הנדסת תוכנה) נאלצתי לעבור רק 2-3 כאלה.
הטענה שלי נגד מבחנים אמריקאיים (מסורתיים) היא עניין ה"הכל או לא כלום": אם יש שתי תשובות אפשריות, אחת נכונה ב-90% (אבל מחמיצה פרט כלשהו) ואחת נכונה ב-100% - בחירת הראשונה לא נותנת כל נקודה, וגורמת לעוול לנבחן שיודע את החומר ולא שם לב. במבחנים שכן עשיתי, קרה כמה פעמים שהיו שתי תשובות כאלה, וגם בדיעבד (כלומר אחרי ביצוע המבחן) היה קשה מאוד לבחור ביניהן.
2. נתקלתי בצורה נוספת של מבחן, המזכירה את שיטת צירלסון (אם אפשר לקרוא לה כך). במבחן זה, לכל שאלה היו בין 0 ל-4 תשובות נכונות מתוך הרשימה. כלומר, כל אחת מבין א-ב-ג-ד היתה יכולה להיות נכונה, בלי תלות באחרות. סימון תשובה נכונה מקנה נקודות, אי-סימון תשובה לא נכונה מקנה נקודות, וכמובן - סימון תשובה לא נכונה או אי-סימון תשובה לא נכונה מוריד נקודות (לא זוכר כמה).
האפקט, כשחושבים על זה, הוא שכל תשובה אפשרית בנפרד היא למעשה שאלת נכון/לא-נכון, כאשר השאלות במבחן הן בעצם קבוצה של שאלות כאלה.
טוב יותר או פחות מהשיטות האחרות?
שני, 19 ביוני 2006 בשעה 10:24
מאיר עיניים
תודה
שלישי, 20 ביוני 2006 בשעה 17:13
זה נשמע כל כך פשוט אבל הבחינה היום היתה ממש מעצבנת ולדעתי יפסלו את אחת השאלות בדיוק מהסיבה הראשונה שnoamt רשם חוץ מזה נחזיק אצבעות לפקטור
שישי, 23 ביוני 2006 בשעה 2:21
מדוע 18 שאלות?
שישי, 23 ביוני 2006 בשעה 3:29
בשביל הנוחות של הניקוד - כל שאלה שווה 6 נקודות לפי החלוקה הבאה :
6 על התשובה הנכונה (מתוך 4 אפשריות)
2- על כל תשובה אחרת
כך שאם מסמנים את כל הארבע לא מקבלים ניקוד כלל
זה יוצר מצב בו אם טעית בשאלה לא רק שלא קיבלת נקודות אלא הפסדת 2 נקודות על חשבון שאלות אחרות כלומר תשובה נכונה יכולה לזכות אותך ב6 נקודות וטעות עולה 8 (2- על השגיאה ועוד 6 שלא קיבלת) למעשה היות וניתן לסמן מספר תשובות שונות לפי השיטה ניתן להפסיד עד 12- נקודות על שאלה בודדת!!
לאור התחזית העגומה הזאת שבה בעצם הרבה יותר קל להפסיד נקודות מאשר להרויח אותן הניקוד מתחיל מ108 נקודות הוה אומר 18 שאלות (לפעמים יש 19)
זה היה יכול לעבוד גם עם 36 שאלות ששוות 3 נק' כל אחת
או 9 ששוות 12 …
שישי, 23 ביוני 2006 בשעה 13:16
אין משמעות מיוחדת למספר 18, מלבד זה שהוא מאפשר לתת ציון שהוא מספר שלם לכל תשובה נכונה / לא נכונה, ועדיין להשאיר את הציון המקסימלי באיזור 100.
כן חשוב שמספר השאלות יהיה גדול יחסית, כדי שסטיית התקן של ציון המנחשים (מקרה מייצג מס' 3) תהיה באמת קטנה מאוד. למשל, אם היתה רק שאלה אחת במבחן היה אפשר לנחש תשובה באקראי ולקבל 100 בסיכוי של 25%. אם יש 18 שאלות, הסיכוי לקבל 100 (או אפילו לעבור על 60) אם מנחשים באקראי הוא אפסי.
ראשון, 25 ביוני 2006 בשעה 23:01
ישנה בעיה עם הטענה המרכזית שבמבחן אמריקאי קיים סיכוי סביר שני אנשים בעלי רמות ידע שונות יקבלו ציון זהה. אם נבחן א', ידע לפסול שתי תשובות מתוך ארבע, הרי שהסיכוי שלו לסמן את התשובה הנכונה הוא 50%. אם נבחן ב' הגיע למבחן שהוא לא יודע את החומר, הרי שהוא צריך להמר על אחת מבין ארבע התשובות (שכולן סבירות בעיניו באותה מידה), וסיכויו 25%.
במבחן שמכיל כמות סבירה של שאלות (18 לצורך העניין, כמו הדוגמא בפוסט) הרי שנבחן א' יוציא בפירוש ציון גבוה יותר מזה של ב', משום שרמת הידע שלו גבוהה יותר וסיכויי להמר על התשובה הנכונה גדולה פי 2.
שני, 26 ביוני 2006 בשעה 0:26
רועי: הטענה היא שמבחנים אמריקאים רגילים לא משקפים את רמת הידע בצורה מדויקת, ולא שהם אינם משקפים את רמת הידע בכלל. ברור הרי שיש קשר חזק בין רמת הידע שלך לציון שתקבל, כפי שכתבת.
בוא נזרום לרגע עם הדוגמא שנתת: נניח שיש שני אנשים שנבחנים במבחן אמריקאי רגיל של 10 שאלות. נבחן א' יודע לענות על הכל מלבד על שאלה 10, ונבחן ב' יודע לענות על הכל מלבד על שאלות 9 ו-10. באופן טבעי, שני הנבחנים מנחשים באקראי את התשובות לשאלות שהם אינם יודעים.
במבחן אידיאלי, נבחן א' אמור לקבל תמיד ציון גבוה יותר מנבחן ב', נכון?
אבל במבחן אמריקאי רגיל, נבחן א' יקבל ציון גבוה יותר רק בסיכוי של כ-66% (אתה מוזמן לבדוק את כל 64 האפשרויות ולהשתכנע). די רחוק מהמצב האידיאלי, הייתי אומר.
שני, 26 ביוני 2006 בשעה 1:23
אשמח אם תצרף את הדרך שבא הגעת למסקנה הנ"ל, לא הצלחתי לרדת לסוף דעתך.
שני, 26 ביוני 2006 בשעה 1:49
זה תרגיל פשוט בהסתברות:
מה שלא יקרה, נבחן א' יקבל לפחות 90 ונבחן ב' לפחות 80 (ניקוד על השאלות שהם יודעים). השאלה היא מה קורה ב-3 השאלות הקריטיות - שאלה 10 של נבחן א', ושאלות 9 ו-10 של נבחן ב'.
נבחן ב' יקבל ציון זהה או גבוה יותר מנבחן א' אם מתקיים אחד מהבאים:
1) נבחן א' צדק בשאלה ונבחן ב' צדק בשתי השאלות (ואז שניהם יקבלו 100).
2) נבחן א' טעה בשאלה ונבחן ב' צדק בשתי השאלות (ואז א' יקבל 90, ב' יקבל 100).
3) נבחן א' טעה בשאלה ונבחן ב' צדק בשאלה אחת (ואז שניהם יקבלו 90).
כיוון שמדובר באירועים בלתי תלויים (זה הימור אקראי), אפשר פשוט להכפיל את ההסתברויות ולסכם:
הסיכוי שנבחן א' צדק: 1/4. טעה: 3/4.
הסיכוי ש-ב' צדק פעמיים: 1/16. טעה פעמיים: 9/16. צדק פעם אחת: 6/16.
ולכן הסיכוי שיתקיים אחד מהתנאים למעלה הוא:
(1/4)*(1/16) + (3/4)*(1/16) + (3/4)*(6/16) = 22/64
ז"א, בסיכוי של כ-33% נבחן ב' יקבל ציון גבוה או שווה לנבחן א' למרות שרמת הידע שלו נמוכה יותר.
שבת, 04 בנובמבר 2006 בשעה 17:30
כתבה מצויינת , השאלה הנשאלת היא כדלקמן, איך בכל זאת אפשר להתמודד עם מבחן אמריקאי ולהצליח קורה לא פעם שאני יודע את החומר בצורה מצויינת ומגיע למבחן והתוצאה לא בשמיים, אם יש לכם עצות אשמח ( אני עומד לפני מבחני לישכה עו"ד ומאוד חושש מזה )
חמישי, 11 באוקטובר 2007 בשעה 21:28
[…] רובם המוחלט של המבחנים בחוג לפסיכולוגיה (בתואר ראשון בתל אביב, לפחות) הם אמריקאיים. נניח שאתה עונה על מבחן כזה, ונאלץ להמר בשאלה מסויימת. מה תבחר - א', ב', ג' או ד'? מתברר שלא מעט סטודנטים לפסיכולוגיה סופרים את מיקומי התשובות הנכונות שכבר סימנו, ומסמנים את המיקום שהופיע הכי מעט פעמים. ההגיון כאן זהה בדיוק לזה שעומד מאחורי טיעון הגשם של אלעד - אם התשובה הנכונה בכל שאלה ממוקמת באקראי ע"י מחבר השאלון, במבחן כולו יהיה מספר שווה, בערך, של תשובות נכונות שהן א', ב', ג' או ד'. לכן, לכאורה, בהעדר מידע נוסף כדאי להמר על משהו שמקרב אותנו לאיזון הזה. זאת כמובן שטות מוחלטת - אם מיקום התשובה הנכונה נבחר באקראי, מיקום התשובות הנכונות בשאלות האחרות במבחן אינו תורם כל מידע לגבי מיקום התשובה הנכונה בשאלה מסויימת כלשהי (כמובן, המצב שונה אם בשאלון מתבצע איזון פיקטיבי של התשובות). […]
שבת, 13 באוקטובר 2007 בשעה 0:10
הדרך הכי טובה היא פשוט לדעת את החומר. כל השיטות שהוצעו פה יפות וטובות, אבל יש להן בעייה מרכזית אחת: אף מרצה לא ירצה להשתמש בהן כי הן גוזלות הרבה זמן. צריך לעבור שאלה, שאלה ולתת לנה ניקוד מדויק במקום לבדוק אם היא נכונה או לא נכונה. בקורסים של מאות אנשים זה לא מעשי. כל הרעיון של מבחן אמריקאי הוא לבדוק את רמת הידע של התלמיד בצורה שתהיה קלה לבדיקה. אבל מעבר לכך, יש לה גם יתרונות בתוקף של הבחינה. אם נותנים שאלות פתוחות, בלתי אפשרי לשאול על כל החומר. נניח נותנים 10 שאלות פתוחות במבחן (די הרבה שאלות). במבחן אמריקאי אפשר בקלות לתת 50 שאלות שיכסו את החומר הרבה יותר ולכן הם מייצגים יותר. אז נכון שאפשר לנחש לפעמים כשלא יודעים, אבל בכמות גדולה כזו של שאלות הידע משחק תפקיד די מרכזי בסופו של דבר. מה עוד, שבהרבה מקרים אפשר לתת 5 תשובות מה שמקטין את אלמנט הניחוש. אנשים לפעמים מתלוננים שהם יודעים את החומר וצימצמו את התשובות ל2 אפשריות ואז מתבאסים שהם טעו בניחוש. מצד שני, במקרה של חוסר ידע מוחלט הם יכולים לקבל ניקוד שלא מגיע להם וזה די מתאזן בסופו של דבר.
שלישי, 16 באוקטובר 2007 בשעה 18:20
גיל:
אני מאוד בעד מבחנים סגורים, כשאפשר (למשל, ברוב המבחנים במתמטיקה אתה נדרש להוכיח משפטים - קשה לי לדמיין מבחן אמריקאי מתאים).
מבחן אמריקאי שבו ניתן לסמן יותר מתשובה אחת (כפי שמתואר בפוסט) ניתן לבדיקה בצורה אוטומטית לחלוטין, בדיוק כמו מבחן אמריקאי רגיל. ברור גם שלא לוקח יותר זמן לחבר אותו. מדוע לדעתך הוא גוזל יותר זמן ממבחן רגיל?
שלישי, 16 באוקטובר 2007 בשעה 20:55
ברור שאי אפשר לעשות כל מבחן מבחן אמריקאי. אם אכן הבדיקה נעשית בצורה אוטומטית אז זה באמת יותר קל. ועדיין, 4 אפשרויות זה יחסית מעט לדעתי. אם יש 5 אם 6 אפשרויות בחירה זה מאפשר פחות ניחושים והמבחן קשה יותר. לא קל באופן עקרוני ליצור מבחנים אמריקאיים והם דורשים הרבה יותר מאמץ מסתם לחשוב על שאלות פתוחות.
שני, 17 במרץ 2008 בשעה 15:28
שלום, האם בכלל ישנה שיטה ללימוד וסימון מבחנים אמריקאיים?