הספארק של IBM

This post is also available in: English (אנגלית)

חברת IBM הודיעה כי מעתה ואילך תשקיע ביתר שאת את מלוא מרצה בפרויקט קוד המקור הפתוח, "אפאצ'י ספארק", ומגדירה אותו כ"פרויקט החשוב מסוגו בעשור הקרוב". ייחודו של האפאצ'י ספארק הוא בכך שהוא מהווה מנוע עיבוד מהיר ביותר ליישומי ה-Big Data על-גבי מערכות בתצורת אשכול במערכי מחשוב גדולים. המערכת מציעה מהירות שימוש, קלות יישום ועמידות גבוהה בעבודה במתכונת agile. קוד מקור פתוח, כמו זה שנעשה בו שימוש בפרויקט, מעניק למערכת שיפור רצוף ומתמשך שלה, באמצעות קהילת המשתמשים. הרעיון הוא בסופו של דבר לשלב את האפאצ'י ספארק בפלטפורמות הניתוח האנליטי והמסחר האלקטרוני של החברה ולהציע אותו כשירות בסביבת ענן הפיתוח שלה. לצורך פיתוח הקוד, IBM תקצה כ-3,500 מעובדיה ברחבי העולם ואף תקים מרכז ייעודי לטכנולוגיה מעין זו בסן פרנסיסקו שבארה"ב. כמו כן, החברה גם תפתח מערך הכשרה ותטמיע את המערכת בקרב לפחות מיליון אנשי מקצוע.

בפרויקט הפיתוח נוטלים חלק גם עובדי החברה הישראליים, כך מספרת דלית נאור, מנהלת המחלקה לפלטפורמות למחשוב ענן במעבדת המחקר של IBM בחיפה. לדבריה, החוקרים הישראליים הצליחו לשלב בין הספארק לבין יכולת אחסון האובייקטים של Softlayer, מה שמאפשר למערכת לבצע אנליטיקה מתקדמת במידע המאוחסן במערכת הסוויפט של OpenStack. יכולת המערכת לבצע אנליטיקה ברמה גבוהה לכמויות עצומות של מקורות מעניקה לספארק יתרון בסביבה הדורשת עיבוד מעין זה, דוגמת הרשתות החברתיות, האינטרנט של הדברים (IoT), שכן ביכולתה לפשט את המידע ולהנגישו לכל לקוח.