在美國(guó)科幻小說家艾薩克•阿西莫夫的短篇小說《Runaround》中，機(jī)器人Speedy被科學(xué)家派去執(zhí)行危險(xiǎn)任務(wù)，幾個(gè)小時(shí)之后卻被發(fā)現(xiàn)在原地繞圈圈，口中重復(fù)無用的指令。原來是Speedy 遇到了“道德危機(jī)”，根據(jù)機(jī)器人三大法則，機(jī)器人必須服從人類的命令，而又不得造成自己的傷害。法則三讓他折回，而法則二促使他前進(jìn)，在進(jìn)還是退這個(gè)問題上陷入了兩難。

       故事背景設(shè)定在2015年，雖然看起來好像擔(dān)心還為時(shí)過早，但實(shí)際上，無人駕駛汽車的出現(xiàn)、軍用機(jī)器人的到來，家用機(jī)器人即將投入使用都預(yù)示著我們即將迎來一個(gè)人機(jī)合作的時(shí)代。隨之而來的是必須要面對(duì)的機(jī)器人道德沖突難題。在不久的未來，無人駕駛汽車會(huì)面臨這樣的道德選擇：在無法避免事故的情況下，是選擇撞行人還是撞墻壁?

       這個(gè)問題沒有正確答案。機(jī)器人專家認(rèn)為即使有，要根據(jù)復(fù)雜實(shí)況設(shè)定機(jī)器人要采取的方案和計(jì)劃也是不切實(shí)際的。

       Tufts大學(xué)的計(jì)算機(jī)科學(xué)教授，Matthias Scheutz說，要根據(jù)所有可能出現(xiàn)的情況設(shè)計(jì)出“if，then，else”的復(fù)雜系統(tǒng)幾乎是不可能的。這也是問題的困難所在：你不能列出所有的情況和應(yīng)對(duì)措施。相反，Scheutz試圖將機(jī)器人的大腦設(shè)計(jì)得能像人腦做出理性的道德判斷。其團(tuán)隊(duì)獲得由美國(guó)海軍研究辦公室(ONR)撥放的750萬美元資助，對(duì)人道德選擇時(shí)的思考過程進(jìn)行深入研究，并將嘗試在機(jī)器人身上進(jìn)行模擬推理過程。

       在為期五年的項(xiàng)目結(jié)束時(shí)，科學(xué)家們必須對(duì)機(jī)器人的道德決定做出演示。其中一個(gè)例子是機(jī)器人醫(yī)生接受命令為醫(yī)院提供緊急救援物資，路上遇到一個(gè)受重傷的士兵，機(jī)器人應(yīng)該停止任務(wù)幫助士兵嗎?對(duì)于Scheutz的團(tuán)隊(duì)來講，機(jī)器人所做的決定是對(duì)還是錯(cuò)，遠(yuǎn)沒有他做決定的過程重要。機(jī)器人是否可以權(quán)衡各方面因素進(jìn)行選擇，并對(duì)選擇進(jìn)行解釋。 “我們可以看到機(jī)器人變得越來越成熟，越來越復(fù)雜，越來越自主”，他說，“我們不希望在未來社會(huì)里看到這些機(jī)器人對(duì)道德選擇無動(dòng)于衷。”

       Ron Arkin，曾與軍方合作過的喬治亞理工學(xué)院著名倫理學(xué)家，寫出了機(jī)器人的第一個(gè)道德體系。對(duì)于ONR的資助，Arkin和他的團(tuán)隊(duì)提出了一種新方法。不同于為機(jī)器人設(shè)定道德約束，Arkin的團(tuán)隊(duì)研究嬰兒的道德發(fā)展。這些經(jīng)驗(yàn)將被運(yùn)用到Soar architecture(一種機(jī)器人認(rèn)知系統(tǒng))中。他們希望機(jī)器人在道德問題上可以比人類做出更好的選擇，駕駛員可沒時(shí)間在撞車一瞬間計(jì)算潛在的傷害。

       在這之前，機(jī)器人還要面對(duì)另外一個(gè)挑戰(zhàn)，即如何從環(huán)境中收集大量的信息，比如，有多少人在場(chǎng)，每人所扮演的角色。目前機(jī)器人的感知十分有限，如何在戰(zhàn)場(chǎng)分清敵友，以及評(píng)估災(zāi)難受害者的身體和精神狀況都仍是一個(gè)難題。