 |
 |
 |
 |
 |
 |
 |
|
|
תוקף ומהימנות של הגדרות אופרציונאליות ההגדרה התיאורטית מבטאת את המשמעות המופשטת של המשתנה, שהיא לרוב מאד מורכבת במשתנים הכלולים במדעי ההתנהגות. ההגדרה האופרציונאלית מבטאת את האופן שבו נמדוד את המשתנה בצורה מעשית. הגדרות אופרציונאליות של משתנים הן למעשה הכלים באמצעותם אנחנו מודדים את המשתנים, ונכנה אותן בפרק זה "מכשירי מדידה". בין הרמה התיאורטית לרמה המעשית קיים פער, שמחייב אותנו לבחון את האיכות של כלי המדידה. למשל, הטענה המוכרת מפיהם של תלמידים, ש"הציון בבחינה אינו משקף את הידע האמיתי של במקצוע" מתייחסת לפער הזה: תלמיד שטוען טענה כזאת אומר שמדידת הידע שלו במקצוע מסוים אינה יעילה, אינה מביאה לידי ביטוי הולם את המשמעות האמיתית של הידע שלו. קיימים שני קריטריונים עיקריים לפיהם נוהגים לבחון את היעילות של מכשירי מדידה: מהימנות (RELIABILITY.) ותוקף (VALIDITY) . השימוש במכשירי מדידה במחקר ייעשה רק אם הם עומדים בשני הקריטריונים האלה. מהימנות מהימנות מתייחסת למידה שבה הערך שהתקבלה בפועל (למשל, הציון במבחן) קרוב לערך האמיתי (הרמה האמיתית של הידע).. הפער בין הערך האמיתי והערך שהתקבל בפועל, נקרא טעות מדידה. מהימנות היא המידה שבה הצלחנו לצמצם את טעות המדידה. הערך האמיתי הוא תיאורטי ואינו ניתן לצפייה ישירה, אולם ניתן לקבל אומדן מספרי המשקף את המידה בה שני הערכים קרובים זה לזה. לאומדן הזה קוראים מקדם המהימנות. יש כמה דרכם לחשב את מקדם המהימנות: יציבות לאורך זמן: אם תוצאה של מדידה נשארת יציבה לאורך זמן (כאשר המשתנה הנמדד אינו אמור להשתנות במשך הזמן) , נהיה בטוחים יותר שהמדידה מהימנה. למשל, נמדוד את מידת הקשר (המתאם) בין שתי העברות של אותו שאלון, לאותם אנשים, במרווח זמן של מספר שבועות. ככל שהמתאם גבוה יותר, רמת המהימנות גבוהה יותר. שיטה זאת מתאימה לשאלוני אישיות, שכן תכונות האישיות אינן משתנות. היא אינה מתאימה למבחני ידע , שכן רמת הידע יכולה להשתנות בין שתי ההעברות של המבחן. הסכמה בין שני שופטים: אם שני שופטים מגיעים לתוצאות דומות של אותה מדידה, נהיה בטוחים יותר במהימנות שלה. למשל, שני מורים שנותנים ציון למבחן המורכב משאלות פתוחות. שיטה זאת מתאימה למצב שבו הנתונים שנאספו אינם כמותיים אלא איכותיים, כמו תשובות לשאלות פתוחות או תצפיות פתוחות על התנהגות של אנשים. ככל שמידת ההסכמה בין שני השופטים תהיה גבוהה יותר, כך המדידה שלהם תהיה יותר מהימנה. עקיבות פנימית בין פריטים שונים שמודדים אותו משתנה בשאלון או במבחן. אם נמדוד למשל רמת חרדה של אנשים ונרכיב שאלון מעשרה פריטים, כל אחד מהם מודד למעשה את רמת החרדה (למשל, "אני תמיד מתוח" "אני מודאג רוב הזמן" ,"קשה לי להיות רגוע"). אם נמצא עקיבות פנימית בין התשובות שיתקבלו לפריטים השונים, נוכל להיות בטוחים יותר במהימנות של המדידה. שיטה זאת שכיחה מאד בשאלונים מובנים. תוקף התוקף מתייחס למידה שבה כלי המדידה מבטא נאמנה את המשמעות של ההגדרה התיאורטית. אם, למשל, נמדוד את הידע באנגלית באמצעות מבחן של אוצר מלים, התוצאה שתתקבל עלולה לא לשקף נאמנה את הידע האמיתי, שכן אוצר מלים מהווה רק מרכיב אחד, מבין מרכיבים רבים של ידע בשפה. יתכן מצב בו תלמיד יקבל ציון גבוה במבחן, למרות שהוא חלש מאד בהרכבת משפטים או בהבנה של טקסטים. קיימות כמה דרכים שמסיעות לנו להעריך את התוקף של כלי המדידה. הליך הפיתוח של כלי המדידה. אם נרצה לבנות מבחן תקף של הידע באנגלית, נגדיר את הידע הזה, למשל, באמצעות כל המרכיבים של השפה, ונחבר שאלות שמודדות את הידע בכל מרכיב, ומשקפות את רמת הקושי המצופה מאותו תלמיד. בנוסף, נוכל לתת את המבחן למורים עמיתים, שיחוו דעתם לגבי המידה שבה השאלות במבחן אכן נותנות פריסה של כל המרכיבים בשפה והן בעלות רמה נאותה של קושי. ככל שנקפיד בהליך הפיתוח של שאלון או מבחן, שתהיה לו זיקה טובה למשתנה התיאורטי, כך נגיע לתוקף גבוה יותר. קשר בין מספר כלים המודדים אותו משתנה: מורים משתמשים בדרך כלל במספר קריטריונים לצורך מתן ציון בקורס (למשל, בחינה, עבודה והשתתפות בכיתה), ואינם מסתפקים בקריטריון אחד. זוהי דוגמא לשיטה לבדיקת התוקף, שנקראת "תוקף בו זמני", כלומר מודדים את אותו המשתנה במכשירי מדידה שונים, ומחשבים את מידת הקשר בין התוצאות שמתקבלות. אם יש קשר גבוה בין הציונים שמקבלים התלמידים בבחינה, לציונים בעבודות בית שלהם ולציונים שנותן להם המורה על השתתפות בכיתה, נהיה בטוחים יותר בתוקף של כלי המדידה. דוגמא נוספת: אם נרצה למדוד שחיקה של מורים בעבודה, נוכל להשתמש בכמה מכשירי מדידה, כמו שאלון לדיווח עצמי, מספר ההיעדרויות לאורך השנה, והערכת מנהלת. אם , למשל, נמצא קשר גבוה בין הדיווח העצמי לבין הערכת המנהלת, אך מספר ההיעדרויות לא יהיה קשור לשתי המדידות האחרות, המסקנה תהיה שמספר היעדרויות אינו מכשירי מדידה תקף למדידת השחיקה של המורים, ולא נשתמש בו. לעומת זאת, המתאם הגבוה בין הדיווח העצמי לבין הערכת המנהלת, מחזקים את התוקף של שניהם. קיימות שיטות נוספות לבדיקת תוקף של מכשירי מדידה, שלא יפורטו כאן וניתן לקרוא עליהן בספרים המצויים ברשימה הביבליוגרפית. האם יתכן מצב שמכשירי מדידה יהיה מהימן אך לא תקף? התשובה חיובית. אם מורה לספרות מחליט להשתמש במבחן סגור (אמריקאי) כדי למדוד את רמת הידע בניתוח של יצירות ספרותיות , סביר להניח שהמבחן יהיה מהימן (שני מורים שונים שיבדקו אותו יגיעו לאותה תוצאה, שכן הוא סגור לגמרי), אך ספק אם הוא יהיה תקף: איכות הניתוח של יצירות ספרותיות אינה יכולה לבוא לידי ביטוי הולם כאשר הנבחן מסמן אפשרות אחת מבין כמה אפשרויות תשובה. מדידה תקיפה מחייבת ניתוח מילולי של היצירות. ככלל, מבחן פתוח יכול להיות יותר תקף (בתנאי שהשאלות אכן ימדדו את המרכיבים של הידע אותו רוצה המורה למדוד) אך קשה יותר להגיע בו למהימנות. מטלות לבדיקה עצמית כיצד ניתן להגביר את המהימנות של בדיקת מבחנים פתוחים? חוקר מחליט למדוד את המשתנה "רמה סוציואקונומית" (מעמד כלכלי - חברתי ) באמצעות מספר שנות לימוד של האדם. חוו דעתכם על התוקף ועל המהימנות. מטלה להגשה בדואר האלקטרוני - רשות אין חובה להגיש מטלה זאת עיינו בשני שאלונים הנמצאים במאגרים: שאלון פנייה לעזרה ושאלון בנושא אינטרנט. העירו הערות לגבי השאלונים: משפטים לא ברורים, נושאים לא ברורים, נושאים נוספים לא ברורים, נושאים נוספים שכדאי לכלול בשאלון ועוד. |
 |
 |
||||||
 |
 |
||||||
 |
|||||||
