This post is also available in:
English (אנגלית)
חוקרים מאוניברסיטת פרינסטון וסטנפורד פיתחו טכניקה לדחיסת מודלי שפה, מהלך שיכול להפחית באופן דרמטי את העלות, צריכת האנרגיה וסיכוני הפרטיות הקשורים להפעלת מערכות AI אלה. האלגוריתם של הצוות, המכונה Caldera (Calibration Aware Low precision DEcomposition with low Rank Adaptation), מבטיח להפוך את מודל השפה לנגיש ויעיל יותר, ומאפשר להם לרוץ על מכשירים יומיומיים כמו טלפונים חכמים ומחשבים ניידים.
מודלי שפה כמו ChatGPT שינו לחלוטין את האופן בו אנחנו מתמודדים עם המשימות היומיומיות שלנו, אבל השימוש התדיר בהם מגיע במחיר. הם בדרך כלל דורשים מהמשתמשים לשלוח את בקשותיהם לשרתים מרכזיים, תהליך שיכול להיות איטי, יקר ולדרוש אנרגיה רבה. על ידי דחיסת מודלים מסיביים אלה, קלדרה שואפת לצמצם את המשאבים החישוביים הדרושים, ולאפשר למודלים לפעול באופן מקומי על מכשירים מבלי להקריב את הביצועים.
על פי TechXplore, האלגוריתם החדש עובד על ידי יישום שתי טכניקות מפתח: דיוק נמוך (low-precision) ודרגה נמוכה (low-rank). דיוק נמוך מצמצם את מספר הסיביות המשמשות לאחסון נתונים, מאיץ את העיבוד ומשפר את יעילות האנרגיה. דרגה נמוכה מבטלת יתירות בתוך מטריצות המשקל של המודל. על ידי שילוב גישות אלה, קלדרה משיגה רמה גבוהה יותר של דחיסה מאשר כל אחת מהשיטות לבד, מה שהופך את מודל השפה לקטן ויעיל יותר תוך שמירה על דיוק.
החוקרים בחנו את קלדרה על גבי מודלי השפה הפתוחים של מטא – לאמה 2 ולאמה 3 – ומצאו כי היא יכולה לשפר את הדיוק בשיעור של עד 5% בהשוואה לטכניקות דחיסה קיימות. השיטה הראתה גם תוצאות מבטיחות במספר משימות של מבחני השוואת ביצועים, כגון חשיבה לוגית ותשובה על שאלות לגבי תהליכים פיזיים.
היכולת להפעיל מודל שפה דחוס באופן מקומי על מכשירים מציעה גם יתרונות פרטיות משמעותיים. משתמשים יכולים לכוונן מודלים למשימות ספציפיות מבלי לשתף נתונים רגישים עם שרתי צד שלישי, ובכך להפחית את הסיכון של פריצות לנתונים. עם זאת, הצוות מזהיר כי הפעלת דגמים אלה על מכשירים ניידים יכול להשפיע על חיי הסוללה, ואומרים ששימוש קלדרה הוא אידאלי כאשר הוא בשימוש בשילוב עם טכניקות חיסכון באנרגיה אחרות.
ככל שהביקוש למודלים יעילים יותר של בינה מלאכותית גדל, קלדרה יכולה לשנות את כללי המשחק, ולאפשר יישומי בינה מלאכותית חזקים במכשירים אישיים תוך הפחתת עלויות ושיפור הפרטיות.
