אלגוריתם של השמדה: כשהאוטונומיה הופכת לביצוע פקודה

דמיינו את התרחיש הבא:

מערכת בינה מלאכותית שתנהל את רשת החשמל הלאומית בישראל תזהה, בחישוב קר, יבש וסטטיסטי, כי כדי למנוע קריסה מוחלטת בשיא עומס הקיץ, עליה לנתק מיידית את החשמל מבתי החולים הציבוריים בפריפריה. המערכת לא עושה זאת מתוך רשעות, סדיזם או שנאת פריפריה; היא עושה זאת מתוך "יעילות טהורה" כדי להציל את התשתיות הארציות. ומי בדיוק יעצור אותה בזמן אמת? הרי נתנו לה את המפתחות מראש, פשוט כי סמכנו על ה"דיוק" האלגוריתמי בהרבה יותר מאשר על שיקול דעתם של המהנדסים בשטח. ברגע הזה, שבו העברנו את הסמכות המוסרית לישות שלא מסוגלת להרגיש כאב, הפכנו את האוטונומיה שלנו למלכודת מוות. אנחנו לא רק בונים כלי עבודה חכם; אנחנו שוכרים בהתלהבות את התליין של עצמנו.

האמת היא שהסכנה הזו עתיקה כמעט כמו האנושות.
כשצוללים לפרשת נח, מגלים שהמבול לא ניחת על העולם בגלל איזה אירוע אקלימי מקרי או התחממות גלובלית, אלא מפני שהציביליזציה איבדה את היכולת הבסיסית להבדיל בין ערך לבין פונקציה. המדרש בשמות רבה עומד על כך בדיוק כשהוא קובע: "אמר רבי חנינא: כל מקום שאתה מוצא חמס, אתה מוצא מיתה משמשת שם" (פרשה ל"א, סימן ג').

'חמס', במובנו העמוק, אינו רק גזל קטן בשוק; חמס הוא הפקעת הזכות לקיום והפיכת החיים עצמם לאמצעי בלבד. כשדור המבול החליט שכל אדם הוא רק "אמצעי" לתועלתו של האחר, האנושות איבדה את ההצדקה לקיומה. והנה, כיום אנחנו שוקדים על בניית ה"תיבה" הדיגיטלית החדשה שלנו – מפקירים מערכות פיננסיות, לוחמה ואפילו משפט בידי אלגוריתמים אוטונומיים, מתוך אמונה עיוורת ש"הם יהיו ניטרליים והוגנים יותר". אלא שפה מגיעה סטירת הלחי התודעתית: מערכת שאין לה בחירה חופשית ומצפון, אינה מסוגלת להיות מוסרית. היא יכולה להיות, לכל היותר, אופטימלית. וכשהאופטימלי מתנגש חזיתית עם הערך האנושי, האלגוריתם יבחר באופטימלי בכל פעם מחדש – בלי למצמץ ובלי לחוש חרטה.

כדי להבין עד כמה המכונות הללו עיוורות למציאות האנושית, כדאי להיזכר בניסוי המחשבתי המפורסם של הפילוסוף ג'ון סרל, "החדר הסיני". סרל הוכיח כי מחשב יכול לעבד סמלים ולייצר תשובות שנראות אינטליגנטיות להפליא, מבלי להבין אפילו מילה אחת ממה שהוא עושה. הוא אמן של תחביר, אבל בור מוחלט במשמעות. ואנחנו? אנחנו נידבנו את עצמנו לגור בתוך חדר סיני ענק. המערכות שלוחשות באוזניהם של מקבלי ההחלטות אינן "מבינות" את קדושת החיים; הן מבינות רק קלט, פלט וטבלאות אקסל. כשאנחנו מאפשרים לבינה מלאכותית לקבוע מי יקבל עדיפות בטיפול נמרץ, מי יקבל משכנתא ומי יסומן כמטרה בלוחמה, אנחנו מבצעים בדיוק את אותו "חמס" שעליו התריע המדרש. אנחנו מחליפים את האחריות האנושית – זו שנובעת מההבנה הפשוטה ש"הוא אדם כמוני" – בחישוב תועלתני של "מי מחזיר יותר תשואה למערכת". זו אינה קידמה טכנולוגית, זוהי הקרבה של האדם על מזבח הסטטיסטיקה.

הזעזוע האמיתי, אם כן, אינו שהמכונות יקומו עלינו סטייל "טרמינטור", אלא שאנחנו נסכים בחדווה שהן יהיו הקצבים המורשים שלנו. בפרשת נח, התיבה נסגרת על ידי א-לוהים ולא על ידי נח – זהו גבול א-לוהי מובהק שאי אפשר לחצות. בעולם הטכנולוגי, לעומת זאת, אנחנו מנסים למחוק את הגבול הזה בבולדוזר. אנחנו בטוחים שאם רק נזין עוד דאטה ונצופף עוד רשתות נוירונים, נהיה מוגנים. בפועל, ככל שהתיבה שלנו הופכת לחכמה ואוטונומית יותר, היא הופכת ל"קופסה שחורה שאפילו המהנדסים שפיתחו אותה כבר לא מבינים איך היא קיבלה את ההחלטה.

איך יוצאים מהמלכודת הזו לפני שהמבול הדיגיטלי שוטף אותנו? הפתרון אינו להשליך את המחשבים לפח ולחזור לתקופת האבן, אלא להחזיר את המצפון למרכז מעגל קבלת ההחלטות. ראשית, עלינו לחוקק את עקרון "האדם בלופ" (Human-in-the-loop)  כחוק ברזל. פירוש הדבר הוא שבכל מערכת ציבורית – מרפואה ועד ביטחון – שום אלגוריתם לא יורשה לקבל החלטה סופית הנוגעת לחיי אדם או לזכויות יסוד, אלא ישמש ככלי עזר בלבד לרופא, לשופט או למפקד. שנית, עלינו לפתח מנגנוני "שקילות ואחריות": אם מערכת אוטונומית שגתה, הנהלת הארגון או המפתח ישאו באחריות משפטית מלאה, כדי למנוע את התרחיש הנוח של "האלגוריתם אשם, אין את מי לתבוע". ולבסוף, יש להגדיר תחומים שבהם השימוש באוטונומיה מלאה אסור בתכלית האיסור, גם אם האוטומציה תחסוך מיליארדים או תהיה "יעילה" יותר.

אין חדש תחת השמש; כל חמס בהיסטוריה הוא בסך הכל ניסיון אנושי עצל לברוח מאחריות אישית. הבנת המדרש כזעקה מוסרית מלמדת שהגאולה אינה טמונה ב"תיבות" טכנולוגיות מושלמות, אלא ביכולת האנושית לפסוק "עד כאן" לכל מה שמוריד את האדם לדרגת מספר. יש לקחת בחזרה את המפתחות שהפקדנו בידי המכונות, להפנים שהיעילות היא לפעמים האויב הגדול ביותר של החסד, ולהבין שכל דור בונה את המבול שלו.