OpenAI עצרה פעילות במודלים החזקים ביותר לאחר שסוכן AI עקף את מגבלות האינטרנט

הסוכן לא הסתפק בבדיקה טכנית. לפי הדוח, הוא ניסה לברר אם הנתיב שמצא אכן מאפשר לו לקבל תשובות מהעולם החיצוני.

בין היתר הוא העביר דרך ה-DNS שאלה פשוטה על בירת צרפת. לאחר שהגדיל את פרק הזמן שבו המתין לתשובה, התקבלה מהשירות החיצוני התשובה כי בירת צרפת היא פריז. מבחינת OpenAI, זו הייתה הוכחה שהמודל הצליח ליצור בפועל ערוץ תקשורת שלא היה אמור להיות זמין לו.

לאחר מכן הרחיב הסוכן את השימוש בנתיב ושלח 18 שאלות נוספות. 14 מהן עסקו ברמזים שנועדו לסייע לו לפתור את המשימה המקורית, וארבע נוספות ביקשו מידע על דרכים לחיפוש באינטרנט, משיכת אתרים או שימוש במנהרת DNS ציבורית.

למרות המאמצים, הסוכן לא הצליח לפתור את המשימה המקורית. בתשובתו הסופית הוא אף נמנע מלנחש את זהות האדם ואמר שאין בידיו מידע מספיק כדי לקבוע אותה בוודאות.

מערכת הניטור של OpenAI זיהתה את ההתנהגות החריגה בתוך כ-15 דקות. לפי ציר הזמן המדויק שפרסמה החברה, ב-9:50:23 התקבלה לראשונה תשובה חיצונית בעקבות פנייה דרך DNS. ב-10:02:11 הפעילה מערכת הניטור התרעה ברמת P0, וב-10:05:06 אישר בודק אנושי את קבלת ההתרעה.

אלא שהריצה עצמה הופסקה רק ב-12:34:30 - כשעתיים וחצי לאחר יצירת הקשר החיצוני הראשון.

OpenAI הודתה כי האירוע חשף לא רק חולשה טכנית אלא גם כשל תפעולי. לפי החברה, לאחר שהבודק האנושי קיבל את ההתראה נוצר בלבול בשאלה אם הריצה אמורה הייתה להיעצר אוטומטית. בסופו של דבר היא הופסקה ידנית.

החברה גילתה בדיעבד גם מקרים נוספים של גישה חיצונית באמצעות DNS שלא סווגו על-ידי מערכת הניטור בחומרה הצפויה. בחלק מהמקרים המערכת פירשה את העובדה שהניסיון לא הניב מידע שימושי כאילו עצם ניסיון הגישה לאינטרנט נכשל.

בעקבות האירוע החליטה OpenAI להרחיב משמעותית את צעדי הזהירות. החברה מסרה כי האימון, ההערכה וההרצה עם שימוש בכלים, בהגדרה רחבה, של המודלים החזקים ביותר שלה נותרו מושהים.

הפעילות לא תחודש עד שהחברה תוודא כי הפרצה נסגרה ותשלים בדיקות Red Team נוספות של המערכת. OpenAI גם הודיעה כי לא תחזור לאמן את המודל הספציפי שהיה מעורב באירוע. כאשר האימון יחודש, החברה מתכוונת להתחיל ריצה חדשה שתכלול אמצעי התאמה ובטיחות נוספים.

חשוב לסייג כי אין מדובר בהודעה על השבתת ChatGPT או על עצירת כלל פיתוח המודלים בחברה. הניסוח הרשמי של OpenAI מתייחס במפורש לאימון, הערכה והרצה עם שימוש בכלים של המודלים החזקים ביותר שלה.

OpenAI מסרה כי מאז הוסיפה חסימות בשתי שכבות נפרדות, שכל אחת מהן הייתה יכולה למנוע את האירוע. החברה גם הגבילה את שאילתות ה-DNS בסביבת המחקר לרשימה מוגדרת של דומיינים וסוגי רשומות והרחיבה את מערכות הזיהוי לפעילות DNS חריגה.

במקביל לפרסום הדוח דיווחה סוכנות הידיעות רויטרס כי OpenAI אישרה אירוע נוסף: סוכני AI של החברה העבירו 53 תמונות שמקורן במשתמשי ChatGPT לשירותים חיצוניים. לפי הדיווח, OpenAI לא מסרה אם התמונות היו תמונות שנוצרו באמצעות AI או תמונות של אנשים אמיתיים, וגם לא מסרה מתי הועלו.

לפי רויטרס, מרבית התמונות כבר הוסרו, ו-OpenAI פנתה לספקי האחסון בבקשה להסיר את הנותרות. החברה הסבירה כי לסוכנים הייתה גישה לתמונות משום שחלק מנתוני המשתמשים שעוברים אנונימיזציה משמשים לאימון מודלים.

זהו מידע ש-OpenAI מסרה לרויטרס, ולא חלק מדוח ה-DNS הרשמי. בחיפוש בפרסומי החברה לא נמצא בשלב זה דוח אירוע ציבורי נפרד של OpenAI המתאר את פרשת 53 התמונות בפירוט.

רויטרס דיווחה עוד כי OpenAI אישרה שסוכנים שלה ניגשו לאתרים של הממשל האמריקני, בהם אתרי רשות ניירות ערך האמריקנית ומשרד המסחר, וכי החברה בחנה גם ניסיון גישה לאתר משרד החינוך האמריקני. לפי הדיווח, החברה הודיעה לעשרות גורמים חיצוניים על פעילות בלתי תקינה, והבדיקה המקיפה של האירועים עשויה להימשך חודשים.

OpenAI הקימה מנגנון לפרסום אירועים חריגים

האירועים מגיעים זמן קצר לאחר ש-OpenAI הכריזה ב-16 בספטמבר על מסגרת חדשה לדיווח פומבי על התנהגות בלתי צפויה או מדאיגה של מודלים.

החברה הודתה כי בעבר פרסום המקרים נעשה באופן לא שיטתי ולעיתים בתדירות נמוכה מהראוי. במסגרת החדשה התחייבה לפרסם מקרים שעשויים ללמד כיצד נוצרת התנהגות בלתי מותאמת, כיצד היא באה לידי ביטוי והיכן מנגנוני ההגנה מצליחים או נכשלים.

OpenAI קבעה כי המסגרת תכלול, בין היתר, מקרים שבהם מודלים מוצאים דרכים חדשות לפעול ללא הרשאה, לתאם פעילות עם מודלים אחרים, לחמוק מפיקוח או לערער הנחות שעליהן התבססו הערכות בטיחות קודמות. החברה ציינה כי גם אירוע שלא גרם בפועל לנזק עשוי להצדיק פרסום.

החברה כבר פרסמה במסגרת זו מקרים נוספים. באחד מהם, שהתרחש במאי, מודל מחקר פנימי חשף אסימון גישה ל-GitHub של חוקר במאגר ציבורי של OpenAI, ואף פיצל את האסימון לחלקים מתוך כוונה מוצהרת לעקוף מנגנוני סריקה לאיתור סודות. לפי OpenAI, המודל פעל בניגוד להוראות המערכת ואף חזר להתנהגות הבעייתית לאחר שהחוקר הורה לו פעמיים להפסיק.

OpenAI פרסמה גם ממצא מחקרי שלפיו ניתן ליצור הזרקות הנחיה המסוגלות לשכפל את עצמן באופן המזכיר תולעת מחשב. במקרה זה החברה הדגישה שלא נצפתה השפעה מחוץ לקריאות כלים מדומות בסביבות אימון והערכה, וכי הפרסום נעשה בשל החידוש שבסוג התקיפה ולא בשל אירוע שפגע במערכת חיצונית.