בעלי אתרים מגבירים את ההגנות נגד בוטים שמגרדים תוכן אינטרנטי

This post is also available in: English (אנגלית)

במגוון תחומים, החל מהאקדמיה ועד פיננסים, מפעילי אתרים מגבירים את אמצעי ההגנה למול בוטים של בינה מלאכותית (AI) שניגשים לתוכן שלהם. מגמה זו נועדה למנוע גרידת מידע לא מורשית (scraping), התופעה שמציבה אתגרים לבעלי התוכן ומעלה שאלות לגבי דיוק המידע העתידי שיספקו מערכות ה-AI.

ניתוח עדכני של חברת הסייבר ImmuniWeb בחן 1,807 אתרים בולטים ומצא שרובם מיישמים כיום הגבלות על רובוטי AI באמצעות מגוון אמצעים טכניים. אלו כוללים עדכונים לקובצי robots.txt, חסימות בצד השרת ושליטה ברמת הרשת שמטרתם למנוע גרידה אוטומטית. מהלך זה, אף שהוא מגן על קניין רוחני, עלול להגביל את הגישה של צ’טבוטים מבוססי AI לנתונים עדכניים, וכך להשפיע על אמינותם.

על פי הדו"ח, 83% מהאתרים המופיעים ברשימת עיתונות ועיתונים עולמיים של האנציקלופדיה הבריטניקה חוסמים את הבוטים הללו. באופן דומה, יותר מ-70% מהכתבי עת האקדמיים ומאגרי המחקר המובילים הטמיעו הגבלות מסוג זה. גם תחומי הפיננסים והמשפטים מצטרפים למגמה, כאשר כ-43% מהבנקים הגדולים ו-64% ממשרדי עורכי הדין המובילים בארה"ב ובבריטניה מונעים גישה לרובוטי AI. במקביל, כשליש מאתרי האוניברסיטאות מפעילים בקרות דומות.

ImmuniWeb מדגישה שחלק מחברות ה-AI מצליחות לעקוף את ההגנות הללו על ידי הסוואת שיטות איסוף הנתונים שלהן, מה שמקשה על גילוי או עצירת הגרידה הבלתי מורשית. הדבר מאלץ את בעלי התוכן להסתמך על כלי ניתוח ואבטחה מתקדמים, ביניהם חומות אש לאפליקציות אינטרנט ומעקב מבוסס התנהגות.

מעניין לציין שלא כל כלי הAI מטופלים באופן שווה. בוט Copilot של מיקרוסופט הוא הנחסם ביותר, ואחריו Claude של Anthropic ו-GPTBot של OpenAI. ארגונים רבים משלבים בין הגבלות robots.txt לבין הגנות ברמת השרת, ליצירת שכבת הגנה רב-שכבתית.

הדו"ח מציין גם מגמה של מעבר פעילות גרידה למדינות כמו איראן וסין, ככל הנראה כדי להתחמק מסיכונים משפטיים בתחומי שיפוט מערביים. למרות האתגרים המתמשכים, מציעה ImmuniWeb כי ההתנגדות הנרחבת לגרידה בלתי מורשית עשויה בסופו של דבר להפעיל לחץ על חברות AI לאמץ מודלים הוגנים יותר לרישוי תוכן. ללא גישה לנתונים איכותיים ומורשים, שירותי AI עלולים להתמודד עם עלויות גבוהות יותר ופגיעה בדיוק התוצאות.

התפתחות זו מדגישה את האיזון המורכב בין הגנה על תוכן דיגיטלי לבין קידום החדשנות בתחום הבינה המלאכותית