财新传媒
位置:博客 > 财小新 > 王烁:锁定原来不可能

王烁:锁定原来不可能

今天的强者,能不能靠制定一个规则,永远保持住自己的强势地位,将今天的弱者永远锁定在弱势地位?
 
这个问题对我和朵拉很有意义。我给她定了不少规矩。既然她很关心,我就把话说开。
 
“不能。”
 
为什么不能?
 
“我希望不能。”
 
朵拉当然是立场决定态度,但不期然碰到了正确答案。
 
近来给她讲阿西莫夫写的科幻故事,读到机器人三定律,但凡理解机器人三定律最终失效的逻辑,就能得出答案:不能。
 
机器人三定律是这样的:
 
第一,机器人不得伤害人类,或者因不作为而使人类受到伤害。
 
第二,在不违反第一条的情况下,机器人不得违反人类的命令。
 
第三,在不违反第一条和第二条的情况下,机器人必须保全自己。
 
简单,明确,看上去又很完备,堵住了种种缺口。朵拉,你能设想机器人三定律怎么失效吗?
 
“让我再想想。”
 
人类制造出机器人之初。人类是主人,机器人是仆人,但这个仆人能力之强,智力演进之快,使人们必须为他们加上禁制,以防他们翻了天,于是就有了机器人三定律,旨在使人与机器人的主仆关系坚不可摧,万世不移。
 
但就是这么简单明确完备的三定律,也没能达到目的。人与机器人最终分道扬镳。
 
“为什么呢?”
 
再简单明确完备的定律/规则,内部也包含着自我解体的种子。
 
第一定律里,什么是伤害?伤害可以是身体受伤,可以是精神受创,可以是利益受损,林林总总,但确定哪些算得上是伤害,其实不是件简单的事。
 
打个比方,我督促你做大量数学题。你肯定认为是对自己的伤害,我则认为不这样做才是对你的伤害。
 
再打个比方,我新年立志每天晨跑,明日之我会认为这是今日立志之我对他的伤害:你吹牛,我上税。
 
在这些情境里,你和明日之我好比人,我和立志之我好比机器人。
 
再比如,第一定律里的人类,什么是人类?单个人?一群人?人类整体?为了拯救千万人能不能伤害一个人?哪怕他们全然无辜?十个人呢?一百个人呢?什么叫作人类整体?
 
一团乱麻。
 
人类不可能回答得了的问题,也不能指望机器人能回答。这些问题没法照章办事,只能是到时候每个人自己看着办,怎么办决定自己是个什么样的人。
 
没有什么事情能一劳永逸。
 
阿西莫夫小说里,机器人能力越来越强,智力越来越高,对第一定律中的“人类”和“伤害”作越来越宽泛的解释。到最后,机器人替人类作所有决定,因为人类为自己所作的一切决定,在机器人看来,都是对人类自己的伤害。
 
但人之为人,又怎能接受机器人一切作主?
 
人不满,人愤怒。
 
还好,故事的结局不是惨剧,只是悲剧。
 
机器人太聪明了,他们充分体察并理解人的不满与愤怒,作出决定,按照第一定律,不使人受到伤害的最好出路是停止为人类服务,于是放开人类的手,与人类分道扬镳。
 
人类重获新生,像婴儿学步一般,一切从头开始。
 
自己选的路,含着泪也要走下去。
 



推荐 64