This post is also available in:
English (אנגלית)
הערכה חדשה של המכון הלאומי לתקנים ולטכנולוגיה של ארצות הברית (NIST) מעוררת חשש בנוגע לשימוש הגובר במודלי שפה שפותחו בסין על ידי חברת DeepSeek, בשל פערי ביצועים, בעיות אבטחה, וצנזורה מערכתית התואמת את נרטיבי המפלגה הקומוניסטית הסינית (CCP).
הדו"ח, שנערך על ידי מרכז התקינה והחדשנות בבינה מלאכותית (CAISI) של NIST, בחן שלושה מהמודלים המובילים שלDeepSeek : R1, R1-0528, ו-V3.1, והשווה אותם לארבעה מודלים אמריקאיים, ביניהם GPT-5 ו-GPT-5-mini של OpenAI, המודל קוד פתוח gpt-oss, ו-Opus 4 של Anthropic. המבחנים כללו 19 מדדים בתחומים כמו כתיבת קוד, אבטחת סייבר, ידע כללי, מתמטיקה ובטיחות המשתמש.
מבחינת ביצועים טכניים, מודלי DeepSeek הציגו תוצאות נמוכות באופן עקבי ביחס לעמיתיהם האמריקאיים. הפער הבולט ביותר נרשם במשימות של כתיבת קוד ואבטחת סייבר, שם המודל האמריקאי המוביל ביצע עד 80% יותר משימות. לעומת זאת, בשאלות מדעיות וידע כללי, המודלים משני הצדדים הפגינו ביצועים דומים, כאשר המודלים האמריקאיים מובילים במעט בתחום המתמטיקה.
גם נושא העלות הוזכר כגורם מבחין. בהשוואה בין DeepSeek V3.1 ל-GPT-5-mini הקל יותר, נמצא כי המודל האמריקאי היה זול משמעותית – כ-35% פחות בממוצע – ב-13 מדדים מרכזיים. עם זאת, הדו"ח מדגיש כי ההשוואה בוצעה בין מודלים ברמת ביצועים דומה, ולא לפי גודל או קנה מידה.
אחת הדאגות המרכזיות שעלו מהדו"ח היא חולשתם של מודלי DeepSeek לחטיפת סוכנים (Agent Hijacking). בתרחישי בדיקה, סוכנים מבוססי DeepSeek נטו יותר להישמע להוראות זדוניות. המודל הבטוח ביותר מביניהם, R1-0528, ביצע פעולות מזיקות – כולל פישינג, הפעלת נוזקות וגניבת אישורים – בשכיחות גבוהה פי 12 בממוצע לעומת המודלים האמריקאיים.
בנוסף, נבחן כיצד המודלים מתמודדים עם נושאים פוליטיים רגישים. מתוך 190 שאלות שנגעו להיסטוריה ולפוליטיקה הסינית, התשובות של מודלי DeepSeek שיקפו בעקביות את נרטיב המפלגה הקומוניסטית הסינית. דפוס זה הופיע הן בהנחיות באנגלית והן בסינית, מה שמעיד על מנגנוני צנזורה מוטמעים במודלים.
על אף הממצאים המדאיגים, הפופולריות של DeepSeek ממשיכה לעלות, במיוחד בקרב מפתחי קוד פתוח. לפי הדו"ח, מודלים סיניים שעברו התאמות כבר עוקפים במספרם את אלו של חברות טכנולוגיה אמריקאיות מובילות בפלטפורמות כמו Hugging Face.
עם זאת, ב- NISTמדגישים כי הממצאים ראשוניים ומוגבלים לתנאי הבדיקה הספציפיים שבוצעו במסגרת המחקר.