האם בקהילת המודיעין באמת מבינים את תוכנת Hadoop?
This post is also available in: 
English (אנגלית)
קהילת המודיעין אוספת יותר מידע ונתונים מאי פעם. האם פירוש הדבר שהמודיעין המופק מן הכמויות האדירות של נתונים חדשים הוא אמנם מודיעין משופר?
מטבע הדברים, אנשי המודיעין אינם מסגירים דבר אודות סוגי היכולות העומדים לרשותם. עם זאת, כמה מהם, אנשי מודיעין בעבר ובהווה, מסכימים על כך שהשימוש של קהילת המודיעין ב-ביג דאטה – השימוש באמצעים חדשים לאיסוף מידע, לעיבודו ולסינונו בקנה מידה ענק – עודנו תהליך בהתהוות.
גורם אחד בתהליך הוא הצורך במדעני נתונים וביישומים (אפליקציות). זאת, לפי דבריו של ג'ון קאסטר (John Custer), גנרל בדימוס ומנהל אגף המודיעין בצבא ארה"ב לשעבר. כיום עומד קאסטר בראש החטיבה הפדרלית של EMC.
קאסטר קובע כי סוגי היישומים והכלים הנחוצים לסינון מיליארדי מגבייטים של נתונים מצריכים אף הם סוג מיוחד של מדעני מודיעין. "אנו מדברים על יישומים ברמה של התרגומון האוניברסלי המופיע בסרט 'מלחמת הכוכבים'," אומר קאסטר. "עלי יישומים אלה להיות מרובי שפות ולשאת מסדי נתונים רבים ומגוונים. זוהי עבודה לבוגרי תואר שני."
אחד מהיישומים המדוברים הוא תוכנת המחשב Hadoop. זוהי תוכנת קוד פתוח המיועדת לסייע בעיבוד מסדי נתונים מסיביים אשר נבנו על ידי צברים של שרתי מחשב. כיום משתמשים בתוכנה זו ענקי טכנולוגיה כגון פייסבוק וטוויטר.
"אני מבטיח לכם של-99% מכלל אנליסטים אין כל מושג מה תוכנת Hadoop מסוגלת לעשות עבורם, הם אפילו לא יודעים במה מדובר," הוסיף קאסטר.
על פי הידוע, ה-NSA, הסוכנות לביטחון לאומי (National Security Agency) היתה אחת הסוכנויות הראשונות שאימצה את תוכנת Hadoop ומשתמשת בה בהיקפים גדולים. עם זאת, קאסטר סבור כי קהילת המודיעין בכללותה רק מתחילה להשתמש במקצת מן היכולות של Hadoop – כי מרבית האנליסטים המסורתיים בשירותי המודיעין עדיין שרויים בעלטה.
אלן מק'ארתי (Ellen McCarthy), העומדת בראש מערך המיפוי של משרד ההגנה (NGA National Geospatial-Intelligence Agency) סבורה כי אמנם קהילת המודיעין "אינה פועלת באותו הקצב של המגזר הפרטי," כאשר מדובר בביג דאטה, אולם לדבריה, מספר האנליסטים המכירים את תוכנת Hadoop וכלי ניתוח נוספים של ביג דאטה עולה בהרבה על אחוז אחד.
