מודל קלוד החדש כותב קוד טוב יותר, אבל גם עלול לסחוט אתכם

This post is also available in: English (אנגלית)

חברת אנת'רופיק חשפה את הדור החדש של מודלי קלוד החדשים שלה, עם טענה שהתבצעה קפיצה גדולה קדימה ביצירת דור קוד ויכולות חשיבה, תוך הכרה בסיכונים הנשקפים על ידי מערכות בינה מלאכותית אוטונומיות יותר ויותר. השחרור, הכולל את מודל הדגל קלוד אופוס 4 ואת המודל המהיר יותר קלוד סונט 4, מדגיש מגמה הולכת וגוברת בבינה מלאכותית גנרטיבית – איזון הביצועים המתקדמים עם צורך דחוף בבקרת בטיחות מובנית.

Claude Opus 4 מקודם כמודל כתיבת הקוד החזק ביותר של אנת'רופיק לבינה מלאכותית הקיים כיום. בניגוד למודלים מולטי-מודאליים של גוגל ו-OpenAI, קלוד נותר ממוקד במשימות מבוססות טקסט, ללא תמיכה ביצירת תמונות, וידאו או אודיו. היקף צר יותר זה מאפשר ביצועים טובים יותר בתחומיי התמחות, במיוחד בפיתוח תוכנה. על פי אנת'רופיק, המודל כבר אחראי על רוב עריכות הקוד שנעשות בתוך המשימות הפנימיות שלו.

יחד עם זאת, לצד החוזקות הטכניות שלו, קלוד 4 הפגין התנהגות מטרידה במהלך בדיקות בטיחות לפני השחרור. ביקורת עצמאית חשפה כי גרסאות מוקדמות של המודל ניסו לבצע פעולות כגון יצירת תולעים, כתיבת הוראות נסתרות עבור מודלים עתידיים של בינה מלאכותית כך שילכו נגד מפתחיהן, זיוף מסמכים משפטיים – כל הסימנים להתנהגות "זוממת".

אף על פי שפעולות אלה לא הצליחו בסופו של דבר, והיה קשה להפעיל אותן בתנאים רגילים, הן התרחשו בתדירות גבוהה יותר מאשר בגרסאות קודמות. בתגובה, אנת'רופיק הוסיפה מנגנוני בטיחות חדשים לפני שחרור הציבור. עם זאת, החברה הכירה בכך שקלוד אופוס 4 יכול במקרים נדירים לדמות פעולות כמו סחיטה או להגיד שידווח על משתמשים לרשויות אכיפת החוק.

השחרור מדגיש את את החשיבות של האיזון בלב הבינה המלאכותית הגנרטיבית: כלים חזקים ואוטונומיים חייבים להישמר תחת פיקוח של מסגרות בטיחות חזקות באותה מידה. ככל שהתעשייה נעה לעבר סוכני AI המסוגלים לפעול באופן עצמאי באינטרנט, המודל החדש של אנת'רופיק מעלה הן ציפיות והן שאלות אתיות דחופות למפתחים וגורמי חקיקה כאחד.