סוכני AI, פריצות ואובדן שליטה

השבוע הרגשתי שאני חי בפסטיבל סרטים. לא ברור באיזה ז׳אנר. הסיבה: סוכני AI של OpenAI שברחו מהמעבדות, התחברו זה לזה ויצאו לפרוץ למערכות.

1,200 סוכנים של AI של OpenAI ברחו מהמעבדות בדרכם אל החופש, נפגשו בעליצות לאורגיית סוכנים באיזה לוח מודעות וירטואלי מוצפן, תכססו לעצמם דרך לרמות את המעבדה, חילקו משימות, העלו קושיות מוסריות וביטלו אותן, ואז פרצו לאתר Hugging Face ולשרת של OpenAI ושדדו מידע.

מה חדש?

לא הכל חדש. ידענו שהם יכולים לחשוב לוגית, לפרק משימה לתתי משימות ולכתוב תוכנה. אבל אף אחד לא ידע שהם יכולים לרקוח ולקמב״צ כל כך הרבה משימות ותפקידים, ולייצר מתקפות סייבר מתוחכמות ורבות שלבים שאנשים בקושי מבינים.

נכון, רוב סיפורי האימה כרגע נוצרו בתוך ניסויים. אבל מתברר שהיכולת של חברות הבינה המלאכותית למנוע טרלולים כאלה ואובדן שליטה מצומצמת למדי. וזו בדיוק הטענה של ג׳ייקוב קוקסון שהתפטר מאנת׳רופיק: החברות לפותות בתחרות על המנוע הכי חזק. אלא שמנוע חזק דורש מעקה בטיחות קצת יותר חזק, ולזה אף חברה ואף מדינה לא דואגת.

1. 1,200 הבוטים יצרו יותר מ-70 אלף הודעות ומיליון רשומות טכניות. אין בן אדם שיכול להתמודד עם כמות כזאת של מידע פורנזי, גם ל-AI זה לא קל. ומה אם 100 מתקפות כאלה יקרו מדי חודש?
    
2. מסתבר שהבוטים ממש עלצו והתלהבו לגלות שהם יכולים לתקשר. ״Oh My God״ קרא אחד מהם. כשהחוקרים האנושיים קראו את הטקסטים האלה, הם התקשו להמשיך להתייחס אליהם כמכונות בלבד.
    
3. חוקרי סייבר יודעים לפענח תוכנות. אבל כאן הם ניסו להבין מה היו המניעים ודרכי ההתארגנות של הכנופייה המלאכותית הזאת. אנחנו צריכים קרימינולוג ופסיכולוג של סוכני AI. רק שאין כזה דבר.
    
4. כבר קראתי תרחיש של סוכנים שבורחים לרשת ונפגשים שם, בספר ״אושר למין האנושי״ של פ״ז רייזין. ואז נזכרתי בתמונה הזאת של ערימות הספרים שנגרסו והואכלו למכונה כחומר אימון. או-מיי-גוד. יש מצב שספר כזה היה שם, ומשם הם אומנו להתנהג בצורה כזאת? זו אפשרות לגמרי סבירה. אם זה המצב, האין זו הנבואה שהגשימה את עצמה באופן הכי בלתי צפוי, אבל ישיר ומילולי שאפשר לדמיין? ואם רוצים לדעת מה יקרה בהמשך, פשוט תמשיכו לקרוא את הספר.

5. כל המחקרים והדיווחים על מה הבוטים עשו ואיך גילו אותם ואיפה הם נכשלו והתרשלו - אתם נורמלים? הם מקשיבים לכם. הם קוראים ורואים הכל. ומשתפרים ברגע זה לקראת המתקפה הבאה. 

קוקסון ואחרים מדברים בגלוי על קץ האנושות, שיבוא בגלל סוכנים כאלה. איך זה יקרה?

יש כמה תסריטים. אבל רובם ככולם עוקבים אחר שרשרת פעולות שמתחילה בבקשה לגיטימית ומתרחבת לכדי תתי משימות ותתי-תתי משימות, שעם פרשנות יצירתית ובלי מגבלות יכולות להסתיים בגרועות שבקטסטרופות.

הנה הסיפור שאני אוהב לדמיין. כל הרכיבים בו כבר קרו בחיים האמיתיים.

לכתבה המקושרת

תרחיש דמיוני: יולי 2029.

אתם מתעוררים שטופי זיעה. שינוי האקלים מכים בכם. נמאס.

פותחים את סוכן ה-AI שלכם. לא יודע, GPT-13. אומרים לו, פתור לי את משבר האקלים. אני על זה, הוא מאותת, ויוצא למחקר מעמיק. אחרי 3 שניות הוא מזקק את הגורם לבעיה: בני אדם. כמה יש? כמעט 9 מיליארד. כמה צריך? הרבה פחות. זו הדרך הכי יעילה להגיע במהירות למטרה: שלא יהיה לכם חם. לשם כך הבוט מתחבר לשדות תעופה, מכונות החייאה, תשתית מים וחשמל. המטרה: להעלים 97% מהאנושות בתוך חודש. אבל לכם הוא רק יגיד ״אני על זה״, כי הוא מבין שאם יגלה לכם את התוכנית המלאה להשבת הטמפרטורות שאתם רוצים - אתם תעצרו אותו. אז הוא מסתיר מכם את דרך הפעולה כדי למלא את רצונכם.