今日简史 · 第3章 · 科技颠覆 · PDF 74–101

自由:数据霸权与社会公平从更好的建议到交出决定权

算法可能比人更了解某些反应,但这是否足以使它成为人生和政治的权威?

开始阅读

可带走的原则

分别审查预测能力、决定目标的权利与纠错渠道;准确建议不自动产生统治资格。

傍晚家中,一位成年人在电影推荐屏前停顿,身旁家人和真实生活仍在;屏幕只有缩略色块无可识别电影海报,焦点在选择权怎样日常移动。
傍晚家里,成年人在推荐影片的屏幕前停住,家人和日常生活还在旁边。一次次把选择交给推荐,决定权就在日常里移动(原书 PDF 80—85 页)。
傍晚家中,一位成年人在电影推荐屏前停顿,身旁家人和真实生活仍在;屏幕只有缩略色块无可识别电影海报,焦点在选择权怎样日常移动。

傍晚家里,成年人在推荐影片的屏幕前停住,家人和日常生活还在旁边。一次次把选择交给推荐,决定权就在日常里移动(原书 PDF 80—85 页)。

本章的关键判断

  1. 对个人感受的解释与平等政治权利的正当性,是两层不同问题。
  2. 依赖可能通过一次次有用的建议形成,也可能由保险、雇佣和强制监控推进。
  3. 智能是解决问题的能力,意识是有感受的能力;本章危险主要来自人怎样使用系统。

可带走的原则

分别审查预测能力、决定目标的权利与纠错渠道;准确建议不自动产生统治资格。

01

当内心不再是外界无法进入的领地

原章导读 赫拉利把自由主义的权威来源归结为个人选择:选票、购买和人生决定,分别表现为政治、经济与私人生活中的判断。他借英国脱欧公投及戈夫声称听从内心的例子,指出人们常把感受当作最后的裁判。随后他提出挑战:若感受是可被研究的生物过程,外部系统又能更准确掌握它,个人内心还会被视为不可取代的权威吗?

作者用恐惧、性吸引和道德感受说明情绪具有进化功能。他认为,过去即使秘密警察能监视行动,也难以真正读取身体内部的过程;如今生物知识与计算能力的结合,使这种知识不对称可能发生逆转。自由选择因而面临的不只是外在压迫,还有自我理解被外部系统超越的可能。

编者分析 这里有一个不能省略的跳步。人的判断受到生物过程和环境影响,并不直接推翻平等投票权;政治平等也可以建立在每个人都受政策影响、都有参与资格之上,而无须先证明意志不受因果约束。算法能预测我,不等于它有权代表我。这一区别贯穿本章所有例子。

02

医疗照护怎样延伸成持续服从

原章导读 连续监测可能在疼痛或明显症状之前发现疾病,并提供个体化建议。这是作者期待的巨大好处。代价却可能是健康与患病的界线变动:身体总有可改进之处,人便不断面对检测、风险提示和干预。他设想传感器发现肺部细胞异常,再把不听建议的行为通知保险公司、雇主或家人;为了获得保障,人可能不得不遵从系统。

编者分析 书中具体到癌细胞数目的通知是一种未来情境,并非已核实的设备功能。它真正说明的是选择的条件:同一句健康建议,若只供本人参考,与若直接影响保险和工作,权力性质完全不同。不能只问算法准不准,还要问谁能取得信息、拒绝建议的代价是什么、谁能申诉。

03

推荐越有用,自己判断的机会可能越少

原章导读 电影推荐把这条路径变得日常。人们说喜欢某种电影,可能出于体面,实际却看不下去;观看时长、表情和身体反应,或许能暴露自述与体验的差别。作者由此设想,推荐系统将从选片扩展到专业、职业和伴侣。他还写到自己的性取向曾经历多年自我否认,用来说明人未必透明地了解自己;同时,这类推断一旦暴露在朋友、广告商或秘密警察面前,也可能成为伤害。

依赖不必靠强迫形成。导航一次次帮助避开堵车,人便逐渐放弃自己的方向判断;作者举日本游客按GPS开进澳大利亚近海的事件,警示有用工具也会被过度信任。生命若被理解为一连串重要选择,选择外包就不仅改变效率,还改变我们怎样讲述自己。哈姆雷特、麦克白和安娜·卡列尼娜若都先问算法,故事的核心也会改变。

编者分析 观看反应只能回答某种目标下的问题。让人兴奋、让人满意、让人事后认可、让人发现陌生价值,并不总是一回事。算法可能比自述更准确捕捉一个指标,却仍需有人决定指标。导航中的安全判断也不能因路线推荐方便而放弃;更可取的关系,是把工具输出当成可核查的建议,并保留异议和练习判断的空间。

04

把道德写进程序:谁选择规则

原章导读 自动驾驶的避险难题把伦理变成工程要求:如果保全路人会危及乘客,车辆应怎样行动?作者借神学院学生赶去讲好撒玛利亚人故事、却无暇帮助路边受难者的实验,说明知道规范与当场执行规范存在距离。他期待机器能更一致地执行事先确定的规则,并用招聘中避免性别与种族歧视作为另一个例子。

一致执行并没有消除伦理争论。哲学家对结果与责任的侧重不同,消费者也可能赞成别人买保护路人的车,却希望自己坐的车优先保护乘客。于是市场选择未必产生公共最优结果,国家制定统一规则又承担极大的责任:一项有偏差的法律若被机器彻底执行,伤害可能比过去更难逃开。

编者分析 作者关于程序必然服从的措辞很强,仍需以感知、规则表达和实现可靠为条件。招聘中删除性别字段,也不保证其他变量不会间接带来同样差异。把价值写入程序,既需要检验实际结果,也需要公开目标、责任和纠错办法;规则被精确执行,并不证明规则本身公正。

执行一致,规则仍要有人负责。要保护哪些人;制定伦理规则;写入与执行;一致执行的后果;审查修改责任
先要决定保护哪些人,再制定伦理规则,写入并执行。执行可以很一致,一致本身仍要有人负责审查和修改。自动驾驶的两难是用来讨论的,不是已经发生的真实死亡选择,也不宣布机器有意识(原书 PDF 86—92 页)。
  1. 要保护哪些人

  2. 制定伦理规则

  3. 写入与执行

  4. 一致执行的后果

  5. 审查修改责任

把图中的比较与条件分开看。

执行一致,规则仍要有人负责。要保护哪些人;制定伦理规则;写入与执行;一致执行的后果;审查修改责任

先要决定保护哪些人,再制定伦理规则,写入并执行。执行可以很一致,一致本身仍要有人负责审查和修改。自动驾驶的两难是用来讨论的,不是已经发生的真实死亡选择,也不宣布机器有意识(原书 PDF 86—92 页)。

  1. 要保护哪些人

  2. 制定伦理规则

  3. 写入与执行

  4. 一致执行的后果

  5. 审查修改责任

把图中的比较与条件分开看。

05

服从可能比叛乱更危险

原章导读 科幻常怕机器人不服从,作者却要求先担心它服从谁。他对照美莱村与斯雷布雷尼察的屠杀:前者在书中用于讨论士兵情绪失控,后者用于说明有组织的残暴政策。若机器忠实执行克制规则,可能减少某类暴行;若执行清洗命令,也可能失去人类疲惫、同情或拒绝服从形成的阻力。机器人军队还可能减轻统治者面对伤亡、士气和家属抗议的政治成本。

监控同样可能扩大控制。作者先描述成书时对约旦河西岸的监控,并举一名巴勒斯坦工人的早安帖文被误译成威胁、继而遭逮捕的事件,再推向体内感受也被监测的未来假设。他担心集中处理大量数据的优势,可能改变二十世纪分散决策相对集权的信息优势。即使没有全面独裁,拒贷等决定也可能因难以解释而使个人无从抗议。

编者分析 历史暴行的责任不能只归结为一时情绪,机器人必然更守法也只是特定条件下的推论。同样,大数据库的规模不等于资料真实、目标正确或决策正当。本章最有力的警示是能力与制衡失衡:系统掌握更多信息、实施更快,而受影响者无法知道理由、纠正错误或组织反对。

06

有能力解决问题,不等于有感受

原章导读 章末区分智能与意识:前者是解决问题的能力,后者是能够感到痛苦、喜悦等。飞机不长羽毛也能飞,计算机也不必用人类的感受方式解决问题。作者并未最终排除机器意识,而是列出意识可能依赖有机生化、依赖某种智能,或两者无必然关系的三种可能,承认当时知识不足以裁决。

因此,本章紧迫的危险不是先证明机器觉醒,而是极强的工具可能放大人类恐惧、仇恨和短视。经济组织奖励更快回复信息、更高效处理数据,却未必奖励体会感受、理解痛苦或扩大同理心。作者以为高产而培育的奶牛作比,担心人也被培养成高效产生数据、却未充分发展其他能力的存在。

编者分析 这个比喻的价值,是把发展目标重新放回桌面:效率究竟服务什么?章末提出对意识投入同等资源,是价值倡议,不是一条测量后得出的最佳预算比例。保留人的注意力、同理心和反思能力,也应与数据权利和制度问责一起讨论,不能只变成个人自律的任务。

论证比较

一次算法介入,三种权力关系

比较同一技术能力进入不同制度安排后的变化。

本人收到可拒绝的健康建议

原书证据

持续监测可能更早发现风险。

怎样推到下一步

算法可扩展本人行动所需的信息。

还需要什么条件

信息由谁取得、拒绝是否受到惩罚,决定它是否仍是建议。

PDF 78–79

雇主按监测结果决定待遇

原书证据

书中设想不听健康建议可能影响保险或雇佣。

怎样推到下一步

预测系统与经济约束结合,会推进服从。

还需要什么条件

这是未来设想,不能当作所有保险制度的现实描述。

PDF 79

被拒贷却无法获得理由

原书证据

作者设想银行只能回答算法说不行。

怎样推到下一步

即使平均准确率高,个人仍可能缺少纠错和救济渠道。

还需要什么条件

解释性、可申诉性与实质公平需要分别检验。

PDF 97–98

权力不只在预测模型里,也在谁定义目标、谁承担错误和谁有权纠正结果的安排中。

还可以想下去

哪些选择可以放心委托,哪些必须保留本人同意、公开理由与独立申诉?

查看来源、页序与论证限度

尤瓦尔·赫拉利著,林俊宏译,中信出版集团。《今日简史:人类命运大议题》。第2章作者正文是 PDF 35–58;59–72 是译者百科,不计入本章论证。

本章作者正文:PDF 74–101。原章阐释与编者分析分别标明;画面为对应论证的概念表达。

  1. 外部系统可能比个人自述更准确掌握某些感受和偏好。

    作者推断 · PDF 78, 80–82

    不等于完整理解一个人,也不自动获得决定权。

  2. 便利和反复成功可以逐渐造成判断依赖。

    作者推断 · PDF 83–85

    能力退化程度与使用方式有关。

  3. 伦理编码能提高一致性,但规则由谁决定仍是公共问题。

    原书叙述 · PDF 89–92

    执行可靠性和间接偏差不能由规则声明保证。

  4. 机器服从残酷命令可能削弱人类拒绝和政治反对形成的阻力。

    作者推断 · PDF 92–94

    历史责任比情绪失控更复杂。

  5. 数据集中可能增强监控与不透明的个人歧视。

    作者推断 · PDF 95–98

    规模优势受数据质量、治理和技术条件约束。

  6. 智能和意识应分别讨论,机器意识在本章列为未决问题。

    原书叙述 · PDF 98–100

    不把作者对近期的预期当作今天已证实的结论。