גם אם שדה המלחמה העתידי יהיה שונה מקודמיו, בנושאים רבים הוא דומה לעבר – אבל לא בכל מה שקשור לרובוטיקה שצפויה להיות מופעלת בו. ההתפתחויות המהירות בתחום מציבות בעיות אתיות, חוקיות ומעשיות, ויוצרות סיכון חסר תקדים – כותב אקונומיסט.

הבעיה היא שכלי נשק אוטונומיים מתפרסים מטילים המסוגלים לפגוע במטרות ספציפיות ועד למכונות בעלות כושר למידה שיאפשר להן להחליט האם, מתי והיכן להילחם. רוב האנשים מסכימים, שכאשר מגיעים להפעלת כוח קטלני – יש צורך במעורבות אנושית. השאלה הגדולה היא איזה סוג של מעורבות אנושית, כאשר הטכנולוגיה מתפתחת כל כך מהר – עד שהדיפלומטיה הבינלאומית, האמורה להסדיר אותה, נותרת הרחק מאחור. מה שמסבך עוד יותר את העסק הוא שרוב הטכנולוגיה הזו מפותחת במגזר הפרטי, ולכן אפילו אם יושג הסכם בינלאומי על מגבלות בשימוש בה, יהיה קל מאוד להעביר אותה לידיים אחרות.

לממשלות יש מחויבות לשמור על ביטחון אזרחיהן. להגיע למסקנה שהן מסוגלות להתמודד עם נשק כימי או פצצות מצצר – זה דבר אחד. לאפשר התפתחות של טכנולוגיה מונופוליסטית שתוכל לתקוף בני אדם בגלל שמשהו לא ימצא חן בעיני מישהו – זה דבר אחר לגמרי.

מרוץ החימוש החכם מקבל האצה משורה של גורמים שלא ניתנים לעצירה: תחרות גיאו-פוליטית, דחיפה מדעית של גבולות הידע ועסקי טכנולוגיה השואפים להרוויח. לכן, השאלה היא האם ניתן יהיה לבלום כמה היבטים מטרידים. רוב בני האדם מוטרדים מהאפשרות של יצירת מכונות שיוכלו להחליט בעצמן על הריגת בני אנוש. ולמרות שחלום הבלהות – מכונות הרג שעושות מה שהן רוצות ומתעלמות מפקודות אנושיות – הוא בגדר מדע בדיוני, אין להתעלם ממנו.

דאגה אחרת היא שמכונות כאלו יפעלו בצורה שגויה, אפילו בשל פגמים טכניים או בשל התקפת סייבר. תקלות/התקפות כאלה עלולות להביא לכך שהן יתקפו את הצד שלהן או לגרום להסלמה בלתי מתוכננת כה מהירה, עד שלא ניתן יהיה לעצור אותה. בדיקה מראש של מכונות כאלו עלולה להיות מטעה, מעיר אקונומיסט, משום שמכונות חושבות עלולות לפעול בדרכים בלתי צפויות מראש.

חלק ניכר מהדיון סביב הרובוטים הוא מקומם של בני אדם בתהליך הפיקוח, האוריינטציה, ההחלטה והפעולה. כיום, מפעיל של מל"ט שולט במשימה מתחילתה ועד סוף. מכונה חושבת תבצע את רוב העבודה בלא התערבות אנושית, אם כי המפעיל יוכל להתערב בכל שלב – למשל, לשנות את המטרה בהתאם לצורך. הקיצוניות השנייה היא מכונה שברגע בו תשוגר – תחליט ותבצע הכל בכוחות עצמה. בין שני הקצוות נמצאת גישה בה המכונה פועלת לבדה, אך המפעיל יתפוס את השליטה ברגע בו יהיה צורך.

נכון לעכשיו, הצבאות המערביים נחושים בדעתם להותיר את השליטה בידי המפעיל – או בצורה רצופה או במקרה הצורך. הפנטגון הצהיר ב-2012 שזוהי מדיניותו: "המכונות הללו יתוכננו כך שהמפקדים והמפעילים יפעילו מידה ראויה של פיקוח אנושי על השימוש בכוח. מי שמאשרים את השימוש, ההכוונה וההפעלה של המערכות הללו, יהיו חייבים לעשות זאת בזהירות ראויה ובהתאם לחוקי המלחמה, האמנות התקפות, הכללים לבטיחות מערכות הנשק והכללים המקובלים של ניהול הקרב".

המדיניות הזאת עודנה בתוקף. אולם ג'יימס מילר, לשעבר תת-שר ההגנה, אומר שלמרות שהפנטגון ירצה להבטיח שליטה אנושית במערכות – לא בטוח שהמגזר הפרטי יעשה זאת גם הוא. החברות הללו יכולות להחליט, למשל, לכלול בהן מערכת קבלת החלטות סופר-מהירה, כך שהמפעיל האנושי לא יספיק להתערב. ההערכה היא שרוסיה פועלת בכיוון זה, ומפתחת מערכת שתפעיל באופן אוטומטי את הנשק הגרעיני שלה אם תזהה התקפה גרעינית עליה.

מילר סבור, שאם מערכות אוטונומיות יפעלו באזור תחרותי במיוחד, יגבר הפיתוי לאפשר להן לעשות כרצונן: "מישהו יעבור את הגבול של שפיות ומוסריות". וכאשר צד אחד יעשה זאת, גם אחרים עלולים לעשות זאת. שום דבר לא בטוח יותר לגבי עתיד הלוחמה מכך שהיכולות הטכנולוגיות תמיד יעצבו את פני העימות.