דמיינו תרחיש קונקרטי שבו בתי חולים מטמיעים מערכות בינה מלאכותית לקבלת החלטות במצבי קיצון, כאשר האלגוריתם מתוכנת לתעדף טיפול בחולים לא על פי חומרת מצבם הרפואי המיידי, אלא על פי "מדד שרידות ארוך טווח".
בתרחיש זה, המערכת מסיטה משאבים מחולים בעלי סיכויי החלמה נמוכים לחולים בעלי סיכוי גבוה, מתוך הצדקה מוסרית מוצהרת: "כך נציל בטווח הארוך יותר אנשים". מנהלי המערכת משווקים זאת כמעשה אלטרואיסטי, אך המחיר הוא הפיכת האדם למשתנה סטטיסטי בתוך משוואת יעילות רחבה שמתעלמת מהפרט. כאשר מנהלי המערכת מציגים את הנתונים בטבלאות, הם מסירים מעצמם את הנטל המוסרי של ההחלטה הכואבת
ומעבירים אותו ל"מדע" הקר. כשמפקידים את הכרעת החיים בידי מספרים, הופכים את האדם למשתנה שניתן למחוק.
הפילוסוף מייקל סנדל, בספרו "מה הכסף לא יכול לקנות: המגבלות המוסריות של השווקים", מציב אזהרה חמורה מפני המעבר ל"חברת שוק", שבה המנגנון הכלכלי מחליף את השיקול המוסרי. סנדל מבחין בין שני כשלים יסודיים: "טיעון ההשחתה"(Corruption) הגורס כי החדרת היגיון שוק לתחומי חיים קדושים – כמו בריאות – מרוקנת אותם מתוכנם המוסרי ומחליפה את הערך הטהור בחישוב תועלתני ו"טיעון אי-השוויון" (Inequality) המדגיש כי כאשר גישה לזכויות בסיסיות מותנית ביעילות, החברה מאבדת את הוגנותה ומתפלגת לשכבות שונות של ערך אנושי. ההבדל המכריע שסנדל מחדד הוא: מספרים צריכים להיות משרתים נאמנים של ערכים, אך לעולם לא מחליפים שלהם.
ועל מה אנו מלינים? הלא גם אברהם אבינו עשה שימוש במספרים מול האלוקים, כאשר הוא מנהל משא ומתן על הצלת סדום, וזועק את השאלה המכוננת: "הַאַף תִּסְפֶּה צַדִּיק עִם רָשָׁע?" (בראשית י"ח, כ"ג). כאן טמון העומק המוסרי: אברהם אינו מבקש רק להציל את עשרת הצדיקים שבעיר, אלא משתמש בהם כעוגן מוסרי המעניק זכות קיום לכלל. בשימוש במינוח "הַאַף תִּסְפֶּה", אברהם מערער על עצם ההיתכנות של מחיקת הרשע יחד עם הצדיק. האלגוריתם המודרני מניח שהרשע (החולה שאינו "יעיל") מכתים את המערכת ושיש להפרידו, בעוד שאברהם טוען כי עצם הימצאותם של מעטים טובים בתוך הרע הופכת את הכלל למקום שראוי להצילו. הוא לא סופר כדי להפריד, אלא סופר כדי לחבר את גורלם של הרשעים אל חסדם של הצדיקים.
אברהם מפעיל "אלגוריתם הפוך": בעוד האלגוריתם הרפואי-כלכלי פועל למיקסום "תוצאה אגרגטיבית" ומקריב את הפרט בשם הרוב, אברהם נלחם על כך שנוכחותם של צדיקים בודדים, גם כאשר הם אינם מהווים מסה קריטית להצלת העיר מבחינה כלכלית או דמוגרפית, מחייבת את עצירת הדין. גם כשזה נראה "לא יעיל" מול החשבון הגדול.
להמחשה: דמיינו שני אדריכלים הניצבים מול בניין רעוע. הראשון, המייצג את "האלגוריתם המודרני", מחליט להפיל את האגף שבו גרים דיירים בודדים, כי הוא מבין שהריסת האגף הזה תציל את המבנה כולו עבור מאות דיירים נוספים. מבחינתו, אלו "נפגעי יעילות" הכרחיים להצלת הכלל. האדריכל השני, המייצג את הגישה ה"אברהמית", רואה את הדיירים באותו אגף כעמוד התווך המוסרי של הבית. הוא לא רואה "אחוזים מהאוכלוסייה" שניתן להקריב, אלא בני אדם שזכותם למחסה קודמת לכל היגיון של "אופטימיזציה מבנית". הוא מחפש את הניצוץ המינימלי שיכול להציל את המערכת כולה. בעוד האדריכל הראשון סופר כדי לחסל ולהקריב, השני סופר כדי להציב קו אדום מוסרי ולהציל – הוא טוען שאם יש עשרה צדיקים, הם מזכים את המערכת כולה מהשמדה. הראשון מקדש את התוצאה הסופית, השני מקדש את המעשה האנושי. כשמפקידים את הכרעת החיים בידי מספרים, הופכים את האדם למשתנה שניתן למחוק.
הטרגדיה הגדולה של ימינו היא הערבוב בין הכלי לבין התכלית. כשאנו מאצילים סמכות מוסרית למחשב, אנו מוותרים על האחריות האישית שהיא מהות קיומנו. ההבדל בין הרופא שמשתמש בנתונים כדי להבין את כאב החולה לבין מערכת שמשתמשת בנתונים כדי להשיג יעילות סטטיסטית הוא ההבדל שבין חיים לבין מחיקה. המערכת האלגוריתמית רואה ב"טווח הארוך" מצע רחב שניתן להשתרע עליו עם גרפים של הישרדות, בעוד הראייה האברהמית רואה ב"כל אדם" עולם ומלואו שאין לו תחליף. המבחן המוסרי האמיתי אינו מה המכונה יכולה לחשב, אלא על מה האדם מסרב לוותר.
עלינו לזכור שהמספרים הם רק כלי עזר למצפון ולא תחליף לו. עלינו להבין כי ככל שהמערכת נעשית חכמה יותר, עלינו להיות רגישים יותר לניואנסים שהיא אינה מסוגלת לתפוס: לא את "כמות השנים" שהחולה עשוי להוסיף, אלא את "איכות הדין" שבו אנו דנים אותו. אין שום נוסחה מתמטית שיכולה להחליף את הרעד ביד של רופא לפני שהוא מחליט על הפסקת טיפול. הגיע הזמן לדרוש חזרה את האחריות המעיקה, הכואבת, אך היחידה שראויה להיקרא אנושית. זוהי הבחירה בין עולם של יעילות סטרילית לבין עולם של חמלה אנושית – הבחירה בין סדום לבין התיבה האברהמית.
