כלי סימולציה חדש שואף להתמודד עם אפליה מצטברת במערכות למידת מכונה

This post is also available in: English (אנגלית)

צוות מחקר מאוניברסיטת קרנגי מלון פיתח כלי סימולציה חדש, שנועד לבחון כיצד מערכות למידת מכונה (ML) עלולות להפוך למוטות יותר לאורך זמן. הכלי, הקרוי FairSense, מאפשר למפתחים לדמות את ההשפעות ארוכות הטווח של קבלת החלטות על ידי אלגוריתמים בסביבות מציאותיות, במטרה לזהות ולמנוע תוצאות לא הוגנות בטרם ייגרם נזק ממשי.

בשונה מכלים קיימים לבדיקת הוגנות, שבדרך כלל בוחנים את המודל בנקודת זמן אחת, FairSense עוקב אחר ההתפתחות הדינמית של המערכת ככל שהיא מתקשרת עם משתמשים וצוברת נתונים חדשים. על פי TechXplore, גישה זו מאפשרת לזהות לולאות משוב (feedback loops) שבהן הטיה קטנה בתחילת הדרך עלולה להתרחב ככל שהמודל לומד מהשפעות החלטותיו הקודמות.

לדוגמה, במערכת בנקאית להערכת דירוג אשראי, ייתכן שהמודל מציג הטיה קלה כלפי קבוצות דמוגרפיות מסוימות. לאורך זמן, החלטות אלו משפיעות על היסטוריית האשראי של המשתמשים, וכתוצאה מכך המודל עשוי להחמיר את הפערים – דבר שעלול להוביל לאי-שוויון משמעותי.

FairSense מדמה סביבות כאלה באמצעות שילוב בין התנהגות המערכת לבין התנאים החיצוניים שבהם היא פועלת, כגון מאפייני אוכלוסייה או מגמות כלכליות. המפתחים מזינים את כללי קבלת ההחלטות של המערכת, משתנים סביבתיים ומדד הוגנות נבחר (למשל, שוויון דמוגרפי), והמערכת חוזה כיצד מדדים אלו עשויים להשתנות לאורך זמן.

הכלי נוסה בתרחישים בהם להחלטות המערכת יש השפעה ישירה על חיי המשתמשים. הוא מסוגל להצביע על המשתנים בעלי ההשפעה הגדולה ביותר על ההוגנות, וכן על אזורים שבהם ניתן להתערב כדי למנוע הצטברות של אפליה. באמצעות סימולציה של תרחישים עתידיים שונים, FairSense מסייע למפתחים להבין היכן צפויות להיווצר בעיות הוגנות בטווח הארוך.

במבט קדימה, מתוכננת הרחבה של יכולות המעקב של הכלי, וכן פיתוח שכבת פרשנות שתאפשר להבין כיצד נוצרות הטיות במודלים מורכבים. ככל שלמידת מכונה משתלבת יותר ויותר במערכות בעלות השפעה רחבה, כלים כמו FairSense עשויים למלא תפקיד קריטי בצמצום הסיכון להשלכות חברתיות בלתי צפויות.