מטא פרסה סוכן בינה מלאכותית לטיפול בפניות תמיכה טכנית באינסטגרם, ובתוך זמן קצר גילו תוקפים שהסוכן מוכן לבצע כל פקודה שמנוסחת נכון. פרצה פשוטה, בלי פריצת שרתים ובלי ניצול קוד, הובילה לגניבת חשבונות מפורסמים, כולל חשבון ארכיון של ברק אובמה מתקופת כהונתו. חלק מהחשבונות נמכרו בשוק השחור בסכומים גבוהים, וחלק פשוט הושחתו.
מה בדיוק קרה
התוקף נכנס לתהליך שחזור חשבון רגיל וביקש סיוע מסוכן ה-AI. הוא ביקש מהסוכן לשלוח את קוד האיפוס לכתובת המייל שלו, ולא לכתובת של בעל החשבון. הסוכן ביצע את הבקשה ללא כל בקרה. מכאן הדרך לאיפוס סיסמה ולהשתלטות על החשבון הייתה קצרה. לפי הפרסומים, חלק מהתוקפים השתמשו גם ב-VPN כדי להתחזות למיקום הגיאוגרפי של בעל החשבון, אם כי לא ברור אם הדבר היה הכרחי.
מטא טיפלה בפרצה במהירות והבהירה שלא הייתה פריצה למערכות הפנימיות. אך העובדה שהאירוע קרה כלל מעלה שאלות כבדות משקל על האופן שבו מוצבים סוכני AI בתפקידים רגישים.
ארבעה עקרונות ליישום בטוח של סוכן AI בתמיכה
האירוע אינו ייחודי למטא. כל ארגון שמחליף נציגי שירות בסוכן אוטומטי חשוף לאותה בעיה אם אינו מגדיר גבולות ברורים. להלן ארבעת עקרונות הבסיס:
- הרשאות מינימליות: סוכן תמיכה אמור לקרוא מידע, לא לשנות אותו. עדיפות לגישת קריאה בלבד, ולהעניק הרשאות כתיבה רק כשיש הצדקה ברורה לכל פעולה ספציפית.
- סביבה מבודדת: סוכן שאינו מחובר ישירות לסביבת הייצור מוגבל ביכולת הנזק. שימוש במידע סטטי (RAG) במקום גישה חיה למסדי נתונים מקטין משמעותית את משטח התקיפה.
- עין אנושית בפעולות רגישות: כל פעולה שמשנה פרטי חשבון, שולחת קודי אימות, או משפיעה על גישה חייבת לעבור אישור אנושי לפני ביצוע. עקרון זה מוכר בשם HITL (Human-in-the-Loop).
- הגנה מפני הזרקת פרומפטים: תוקפים מנסחים בקשות שמטעות את הסוכן לפעול מחוץ לגבולות שהוגדרו לו. כלי Guardrails, שחלקם זמינים בחינם, מסוגלים לזהות ולחסום ניסיונות מסוג זה.
כשחיסכון בעלויות מייצר סיכון חדש
בסמוך לאירוע נודע כי מטא פיטרה אלפי עובדים, חלקם בתחום התמיכה, כחלק ממעבר לאוטומציה מבוססת AI. הלחץ לחסוך בכוח האדם אינו פסול כשלעצמו, אך כשהוא מוביל לפריסת סוכנים עם הרשאות גבוהות ובלא בקרות מפצות, העלות הנסתרת עלולה להיות גבוהה בהרבה מהחיסכון.
מערכות ליבה ארגוניות שמשלבות סוכני AI בתהליכים עסקיים צריכות לתכנן את שכבות ההרשאה והבקרה כחלק בלתי נפרד מהפיתוח, לא כתוספת מאוחרת. השאלה אינה אם לאמץ אוטומציה, אלא האם המסגרת שבה היא פועלת מחזיקה מעמד גם מול מי שמנסה לנצל אותה.