Feeds:
רשומות
תגובות

Posts Tagged ‘ניסויים טבעיים’

מדעי החברה תמיד ניצבו בפני שני אתגרים משמעותיים. הראשון הוא הסיבוכיות הגבוהה של החברה האנושית והפסיכולוגיה האנושית, אשר לא מאפשרת לפתח סימולציות מתמטיות מדויקות של תהליכים חשובים, כפי שנעשה למשל בפיזיקה ובכימיה. אולי רק הביולוגים והרופאים מתמודדים עם מערכות ברמת סיבוכיות כזו, אך להם יש יתרון על מרבית מדעני החברה: הם מסוגלים לבצע ניסויי מעבדה. על כן, האתגר השני העומד בפני מדעי החברה הוא חוסר היכולת לבצע ניסויי מעבדה תקפים עבור שאלות מחקריות רבות בפסיכולוגיה, כלכלה, סוציולוגיה ומדעי המדינה. שני אתגרים אלו הם הסיבה המרכזית להתפתחותם המאוחרת של מדעי החברה ביחס לתחומים אחרים ולכך שהם נתפסים בתור "פחות מדעיים" (נושא שכתבתי עליו בהרחבה בעבר). אך התפיסה הזו הולכת ומתרחקת מהמציאות בשטח.

בעשורים האחרונים חל זינוק מרשים ביכולתנו להתמודד עם האתגרים האלו, זינוק שכבר סחף אחריו חלק ניכר מהחוקרים בכלכלה, וכיום מתחיל לסחוף גם חוקרים בתחומים נוספים. עיקר החידוש הוא היכולת לדמות ניסוי מעבדה מבלי לקיים ניסוי של ממש. נראה שלוש דוגמאות לכך (מניסיוני למגיבים לבלוג יש השגות רבות על המאמרים שאני מתאר, רובן מקבלות מענה במאמר עצמו, ועל כן אני ממליץ למתעניינים ולמבקרים לקרוא את המאמר השלם ולא רק את התיאור השטחי והמקוצר שלי).

דוגמה ראשונה: מהי השפעת מספר השוטרים על פשיעה?

באופן עקרוני היינו מצפים שבין שני המשתנים שלנו, מספר השוטרים ומספר מקרי הפשע, תהיה קורלציה שלילית: ככל שיהיו יותר שוטרים באזור מסוים, כך יתרחשו פחות מקרי פשיעה. זהו הקשר הסיבתי העולה מהתיאוריה שיש לנו בראש אודות האינטראקציה בין שוטרים לגנבים. אך האם התיאוריה הזו נכונה? אולי שוטרים הם לא יעילים מטבעם, והשפעתם על הפשיעה היא נמוכה או אפסית? ואולי הם יעילים במידה מפתיעה? בחינה של הנתונים מעלה תוצאות מבלבלות. במקרים רבים מסתבר שיש דווקא קורלציה חיובית בין שני המשתנים האלו: ככל שיש יותר שוטרים, כך ישנם יותר מעשי פשע. במחשבה שנייה, זה הגיוני לגמרי – בערים שבהן מתרחשים מעשי פשיעה רבים, סביר שראש העיר ישקיע בהגדלת מצבת השוטרים. יש לנו כאן בעיה של סיבתיות הפוכה. מספר מעשי הפשע מגדיל את מספר השוטרים, ועל כן איננו יכולים לראות את השפעת מספר השוטרים על פשיעה באופן נפרד.

וכאן אנחנו מגיעים לתובנה החשובה הראשונה של מהפכת הסיבתיות: סיבתיות היא מה שחשוב, ולא הקורלציה הפשוטה בין המשתנים. השוואה "נאיבית" של מספר השוטרים ומספר מעשי הפשע בארצות שונות, בערים שונות או בתקופות שונות לא יכולה לעזור לנו לענות על השאלה, אפילו אם אנחנו לוקחים בחשבון מאפיינים שונים של אותן הארצות או הערים (למשל באמצעות רגרסיה ליניארית). למעשה, השוואה כזו תהיה חסרת משמעות לגמרי. וכך גם לגבי שאלות מחקר רבות אחרות.

כיצד בכל זאת ניתן למצוא את הקשר הסיבתי בין המשתנים? המפתח להסקה סיבתית הוא אקראיות. אם היינו יכולים להכניס ערים שלמות למעבדה ולהקצות להן באקראי מספר שונה של שוטרים, בלי תלות במאפייני הפשיעה המקומיים, היינו יכולים לבחון את השפעתם הסיבתית של שוטרים על פשיעה. במקרה זה מספר השוטרים היה משתנה חיצוני (אקסוגני), שאינו תלוי בפשיעה או במאפיינים אחרים הנקבעים בתוך המערכת. זהו הקונספט של ניסויי מעבדה – להפעיל ולכבות מתג יחיד בזמן שכל שאר הדברים נשארים קבועים.

כאן אנחנו מגיעים לתובנה השנייה של מהפכת הסיבתיות: לעיתים ניתן להסיק על סיבתיות בדרכים עקיפות, באמצעות ניסויים טבעיים המדמים הקצאה אקראית שכזו. כל מה שאנחנו זקוקים לו זה מקרה היסטורי שבו מספר השוטרים עלה או ירד באזורים מסויימים כתוצאה מגורם חיצוני, אקראי, שלא מושפע ולא משפיע באופן ישיר על מאפייני הפשיעה, אלא רק באופן עקיף דרך הגדלת מספר השוטרים.

במאמר מ-2004 מתואר ניסוי שכזה. החוקרים השתמשו בניסוי טבעי המבוסס על אחת מפעולות הטרור הקטלניות ביותר בהיסטוריה של העם היהודי – הפיגוע בבניין הקהילה היהודית בארגנטינה בשנת 1994, שבו נהרגו 85 בני אדם. לאחר הפיגוע נקטו הרשויות בבואנוס איירס בתגובה חריפה ומיידית: הצבת שוטרים חמושים לצד כל מבנה של הקהילה היהודית בעיר. השוטרים הוצבו שם במטרה למנוע אירועי טרור נוספים, אך מן הסתם הרתיעו גם גנבי מכוניות פשוטים. כך אנחנו מקבלים את הניסוי שלנו: מספר השוטרים זינק בבלוקים שבהם נמצאים מוסדות יהודיים, אך לא בבלוקים סמוכים. הזינוק לא היה קשור לפשיעה מוגברת, לשוני בהרכב האוכלוסייה המקומית, או לכל גורם אחר שעלול להשפיע איכשהו על שיעורי הפשיעה. החוקרים יכלו לשלוט גם ברמה ההתחלתית של הפשיעה בכל אזור, לפני שהוצבו השוטרים. התוצאה? נוכחותם של שוטרים הפחיתה את גניבות הרכב בכ-75%.

דוגמה שנייה: מהו הקשר בין מספר הילדים במשפחה לבין השקעת ההורים בהשכלה?

זוהי שאלה חשובה, מכיוון שאחת ממלכודות העוני המעניינת קובעי מדיניות בישראל ובמדינות אחרות נובעת מתת-השקעה של הורים למשפחות מרובות ילדים בהשכלתם של הילדים. בחינה נאיבית של שני המשתנים, מספר הילדים במשפחה ומידת ההשכלה של הילדים בבגרותם, מעלה קורלציה שלילית בין השניים. אך האם מדובר בקשר סיבתי? יתכן שגם מספר הילדים וגם ההשקעה בהשכלה נובעים שניהם ממשתנה אחר כלשהו, כגון ערכים תרבותיים או העדפות של ההורים. אם זה נכון, הקורלציה בין מספר הילדים להשקעה בהשכלה לא מעידה על קשר סיבתי ביניהם.

יש לנו כאן בעיה של משתנה מושמט שאי אפשר למדוד אותו. עבור ניסוי מעבדה אידיאלי היינו צריכים לבחור מדגם של זוגות צעירים, להקצות להם באופן אקראי מספר שונה של תינוקות ולעקוב אחרי התפתחותם במשך עשרות שנים. כמובן, הסבירות שוועדה אתית כלשהי תאשר ניסוי שכזה היא נמוכה… אך מסתבר שניתן למצוא ניסויים טבעיים, שבמסגרתם משפחות מביאות יותר או פחות ילדים באקראי, ולא כתוצאה מגורמים תרבותיים או אחרים.

אפשרות אחת היא להשוות משפחות עם תאומים ומשפחות ללא תאומים. משפחות עם תאומים הן גדולות יותר בממוצע ממשפחות ללא תאומים תודות להולדת התאומים, ולא בגלל שלהורים הייתה תרבות אחרת או העדפות אחרות. על כן ניתן להשוות את ההשקעה בהשכלה בקרב משפחות עם תאומים ומשפחות ללא תאומים, ולגלות את ההשפעה הסיבתית של גודל המשפחה. מאמר שפורסם בשנת 2005 בוחן את השאלה באמצעות שיטה זו על נתונים נורבגיים.

אפשרות אחרת היא להתחשב בהרכב המגדרי של ילדים: הורים רבים מעוניינים גם בבנים וגם בבנות, ועל כן לא מפתיע לגלות שכאשר נולדים שני ילדים מאותו המגדר הסיכוי שהורים יבחרו להביא ילד נוסף הוא גדול יותר. ניתן להשוות משפחות שבהן הילדים הראשונים היו מאותו המגדר, מה שהוביל את ההורים להביא ילד נוסף, למשפחות שבהן הילדים הראשונים הם ממגדרים שונים, ולכן ההורים לא הביאו ילדים נוספים.

בשיטה זו השתמשו החוקרים הישראלים ג'ושוע אנגריסט, אנליה שלוסר, ווויקטור לביא במאמרם משנת 2010 המבוסס על נתונים ישראליים. התוצאה? ככל הנראה במדינות מערביות מפותחות אין השפעה משמעותית של מספר הילדים על השקעת ההורים בהשכלה. מאמרים שהשתמשו בשיטות אחרות לחשוף סיבתיות העלו כי לפחות בעבר כן הייתה השפעה כזו, וישנם גם מחקרים רבים המנסים לבחון את קיומה במדינות מתפתחות.

דוגמה שלישית: מחקרי מדיניות על בסיס ניסויי שדה

בשנים האחרונות מהפכת הסיבתיות במדעי החברה מתחילה להשפיע על מדיניות. מדינות רבות מתכננות מראש רפורמות בתור "ניסוי אקראי מבוקר", עם "קבוצת טיפול" (הקבוצה העוברת את הרפורמה) הנבחרת באקראי ו"קבוצת ביקורת", על מנת שכלכלנים יוכלו לנתח את התוצאות ולבחון את ההשפעה הסיבתית של הרפורמות. דוגמה אחת לכך היא המחקרים של הכלכלנית אסתר דופלו וחבריה לתחום כלכלת הפיתוח, הפועלים במדינות מתפתחות ובוחנים את השפעתן של רפורמות כגון חלוקת כילות נגד יתושים או הגדלת ההשקעה בחינוך. על מנת למצוא את האפקט הסיבתי, בדרך כלל המחקרים כוללים מדגם גדול של כפרים המחולקים באקראי לקבוצת טיפול (כפרים שבהם מבוצעת הרפורמה), וקבוצת ביקורת (כפרים שבהם לא נעשה שום שינוי).

דוגמה אחרת מארצנו הקטנטונת היא מחקר של הכלכלנים אנליה שלוסר וינאי שנן, העוסק בהשפעת תכניות "מעגלי תעסוקה" של שירות התעסוקה, שנועדו לעזור למובטלים למצוא עבודה. גם כאן נעשתה הקצאה אקראית של מועמדים לתכניות שונות של שירות התעסוקה או לקבוצת ביקורת. בין השאר מצאו החוקרים כי תכניות ההתערבות הפחיתו את התלות בקצבאות ב-25%, כי ההשפעה על השכר נטו של המשתתפים איננה מובהקת (שכרם עלה אך הם איבדו קצבאות בסכום דומה), וכי התכניות אפקטיביות יותר עבור אוכלוסיות חלשות מבחינת השכלה ומצב סוציואקונומי.

מלחמת המתודולוגיות

מבחינה מתודולוגית, המחקרים שתיארתי כאן מכונים "reduced form", הצורה המצומצמת, ונהוג להפריד אותם מ-"אמידה מבנית", המבוססת על מודלים תיאורטיים מורכבים וסימולציות, נושא שעליו כתב הכלכלן אסף צימרינג בהרחבה. משמעות השם "צורה מצומצמת" הוא לקחת מודל תיאורטי מורכב, ולצמצם אותו למשוואות פשוטות יחסית המייצגות קשרים סיבתיים, שאותן ניתן לאמוד אם רק נמצא ניסוי מתאים. ישנן שיטות שונות להשתמש בניסויים טבעיים על מנת לאמוד את הקשרים האלו, כגון משתני עזרdiff-in-diffregression discontinuityfixed effects ועוד, וישנם חוקרים אשר מייצרים בעצמם "ניסויי שדה" אקראיים, כגון התכניות של אסתר דופלו שתיארתי.

למרות שהם עוסקים בתחומי מחקר שונים, קיימת סוג של יריבות בין "מחנה הצורה המצומצמת" לבין מחנות מתודולוגיים אחרים, כגון מחנה האמידה המבנית או כלכלנים תיאורטיקנים. באופן אישי אני שייך למחנה הצורה המצומצמת, מכיוון שהמחקרים בתחום הזה הם יותר מדעיים לדעתי. אמנם הניסויים רחוקים מאידיאל המעבדה בביולוגיה, אבל ההנחות העומדות מאחורי התוצאות הן פשוטות, וכאשר מחקרים רבים בנוגע לשאלה מסויימת שנעשו בשיטות שונות על מסדי נתונים שונים מגיעים לקונצנזוס, הם מקדמים את הידע האנושי.

בניגוד לכך, מאמרים המבוססים על אמידה מבנית וסימולציות מורכבות יוצאים מנקודת הנחה שהמודל שבו הם משתמשים הוא המודל הנכון (ראו את הרשומה של אסף בקישור קודם), ועל כן לא ברור באיזו מידה המחקרים האלו מוסיפים ידע חדש. יחד עם זאת, חשוב לזכור שיש נושאים רבים שלא ניתן לענות עליהם באמצעות ניסויים טבעיים ומחקרי צורה מצומצמת, בעיקר בתחום המאקרו-כלכלה. בנושאים אלו, מחקרים המבוססים על אמידה מבנית הם בהחלט עדיפים במידה ניכרת על פני ניחוש אקראי, כל עוד לוקחים את התוצאות "עם גרגר של מלח".

מי שיקרא את הביקורות על כלכלנים הנכתבות על ידי לא-כלכלנים עלול להגיע למסקנה שרוב מכריע של הכלכלנים עוסקים בחיזוי מאקרו-כלכלי של משברים כלכליים למחייתם או במציאת הצדקות לקפיטליזם, ועל כן כשלונם בניבוי המשבר של שנת 2008 מעיד על הצורך לסגור את הפקולטות לכלכלה. אבל האמת היא שהמחקרים שתיארתי כאן מייצגים חלק גדול הרבה יותר מהמחקר שמבוצע כיום על ידי כלכלנים. גם המחקר שלי הוא חלק ממגמה זו, ומשתמש בניסוי טבעי על מנת להסיק על השפעת פיתוח כלכלי על ילודה והשקעה בהון אנושי בארצות הברית של המאה ה-19 (כתבתי עליו כאן בהרחבה, אם כי מאז הוא השתנה מעט). למעשה, התחום שאליו אני משתייך, צמיחה כלכלית, עבר מהפכה של ממש, והשתנה מתחום תיאורטי בעיקרו בשנות ה-90 לתחום אמפירי כמעט לגמרי כיום, שבו מרבית המחקרים נראים כך. כך גם בתחומים רבים נוספים, כגון כלכלת חינוך, היסטוריה כלכלית, מחקרים על פשיעה, אפלייה בשוק העבודה, עוני, יזמות, תעסוקה ועוד.

בחינה של המגמות במחקר הכלכלי בז'ורנלים מובילים בין 1963 ל-2011 מעלה כי החלק היחסי של מחקרים המציגים תיאוריה ללא ניתוח אמפירי – סוג המחקרים שמבקרי הכלכלנים אוהבים לבקר – ירד מכ-51% לכ-19%. חלקם של מחקרים המבוססים על סימולציות ואמידה מבנית עלו מאחוזים בודדים לכ-9% מהפרסומים ב-2011. השאר, כ-72% מהמחקרים, הם מחקרים אמפיריים שרבים מהם שייכים לקבוצת המתודולוגיות של צורה מצומצמת. שיעור זה עמד על כ-50% בלבד ב-1963.

לאט לאט מחלחלת מהפכת הסיבתיות גם לפקולטות אחרות למדעי החברה ולשיח הציבורי, אם כי עדיין ניתן למצוא שרידים להשקפה הישנה שלפיה קורלציות מסוגלות להעיד על סיבתיות. למשל, לא מזמן פורסם בעמוד הפייסבוק של קרן ברל כצנלסון התרשים הבא, המתאר מגמות בשכר המינימום ובשיעור האבטלה בישראל.

לטענת המפרסמים, מכיוון שהאבטלה נמצאת בירידה בזמן ששכר המינימום נמצא בעלייה, יש כאן הוכחה לכך ששכר המינימום לא מגדיל את האבטלה. אך טענה זו שגויה לגמרי. כפי שהדגים אריאל קרלינסקי בבלוג שלו, היעדר קורלציה לא מעיד בהכרח על היעדר קשר סיבתי, מכיוון שישנם גם משתנים חשובים אחרים המעורבים. מכיוון שבאופן תיאורטי שכר מינימום עשוי לפגוע בתעסוקה, מדינות לרוב מעלות את שכר המינימום רק אם שוק התעסוקה נמצא במצב טוב. כלומר, אם יש צמיחה גבוהה והאבטלה נמוכה או נמצאת במגמת ירידה. לכן, בניתוח נאיבי נראה קשר שלילי בין שכר המינימום לשיעור האבטלה במדינות רבות, למרות שיתכן שהקשר הסיבתי הוא הפוך. מחקרים רציניים יותר, שניסו למצוא סיבתיות של ממש באמצעות ניסויים טבעיים שונים, עדיין לא הגיעו לקונצנזוס בנוגע להשפעות שכר המינימום, ורבים מהם בהחלט מעלים השפעה חיובית של גובה שכר המינימום על שיעור האבטלה.

מהפכת הסיבתיות

לא פעם המחקרים החדשים בכלכלה סותרים תפיסות הנפוצות בציבור. אולי הדוגמה הטובה ביותר לכך היא הספרות המחקרית בכלכלת החינוך: מחקרים אשר השתמשו בשיטות שונות על מנת לפענח את הקשר הסיבתי מעלים כי ההשפעה של גודל הכיתה על ציוני התלמידים היא קטנה מאוד ביחס לעלות של מהלך כזה, ונושאים אחרים כגון התמריצים של המורים וביחוד היכולת לפטר מורים גרועים יכולים לתרום הרבה יותר.

כיום הציבור עדיין אינו מודע למהפכת הסיבתיות, לזינוק ביכולת של חוקרים להפיק תובנות משמעותיות על העולם, ועל כן קל לפוליטיקאים להתעלם ממסקנות המחקרים כשהן אינן נוחות פוליטית. כך למשל הרפורמות במערכת החינוך הישראלית "עוז לתמורה" ו"אופק חדש" עברו בהצלחה ונמכרו לציבור הרחב בליווי שלל סופרלטיבים, למרות שהן סותרות לגמרי את הניסיון העולה מהמחקר בתחום החינוך, לפיו העלאת השכר של המורים ללא שינוי התמריצים לא תוביל לשיפור חיובי. על כן, לא מפליא לגלות שהזינוק הדרמטי בהוצאה על חינוך בישראל בעשור האחרון לא הוביל לשום שינוי נראה לעין בתוצאות התלמידים או ברמת שביעות הרצון של ההורים.

נותר לנו רק לקוות שהמצב הזה ישתנה במהרה, ושגם הציבור יפנים שמדעי החברה של היום הם לא מה שהיו פעם. כפי שאנו משתמשים בידע הנדסי ומדעי על מנת לבנות בניינים או לתכנן מטוסים, כך אפשר להשתמש בשיטות המאפשרות הסקה סיבתית על מנת לפענח את המנגנונים המורכבים העומדים מאחורי החברה האנושית, לבנות מוסדות כלכליים וחברתיים טובים יותר, וכך לקדם את איכות החיים.

מודעות פרסומת

Read Full Post »