转载自清华管理评论 2021年第4期

作者 | 贾开 薛澜

贾开  电子科技大学公共管理学院副教授

薛澜  清华大学文科资深教授、清华大学苏世民书院院长

哈佛大学法学院教授劳伦斯·莱辛格在1999年和2006年连续出版两本以“代码（Code）”为名的专著，并提出了“代码即法律（Code is Law）”的著名论断。莱辛格的核心观点是，“代码”构成了网络空间的新“规则”，但不同于物理空间，此时的规则制定权却从立法者手中转移到了商业公司。莱辛格担忧，商业公司的逐利性可能影响“代码”作为网络空间规则的公共性，并因此要求政府约束商业公司行为，对代码的设计、部署、应用过程及结果施加影响。

莱辛格的主张可被视为21世纪初“算法治理”的典型代表，但从随后的历史发展进程来看，此种主张并未成为主流。彼时各国为促进互联网新兴产业的发展，主要采取了自由宽松的规制态度，并没有过多干涉技术创新和应用。相比之下，“算法治理”在当前却获得了包括政府、商业公司、社会公众在内的各类主体的普遍重视，针对算法歧视、算法“黑箱”、算法责任、算法“茧房”等诸多问题的治理规则也在各个国家得到了不同程度的落实。算法治理不再局限于学者提出的理念，而正在转变为具体的法律政策或伦理原则。

在这短短二十余年里，人们对于“算法治理”态度的转变，一方面可被理解为技术发展与应用深化的自然结果，是互联网由早期弱小产业逐渐成长为网络空间庞大生态后人类社会的必然应对。另一方面，第四次工业革命推动下的算法应用，真正体现了其作为影响人类生产、生活重要“规则”的变革性，从而使得算法治理具有了不同于历史上任何一次技术革命的新特点。

第四次工业革命推动算法成为人类社会重要“规则”

历史上的三次工业革命都是以标志性技术突破为代表，并被视为推动人类社会组织、经济、政治形态变革的重要力量。例如瑞士日内瓦高级国际关系及发展研究院教授鲍德温即认为：

蒸汽机革命降低了产品流通成本，从而促进了货物贸易的全球化；信息通信技术革命降低了知识流通的成本，从而促进了生产网络的全球化。相比于前三次工业革命，第四次工业革命的核心特征并不在于单个技术的突破，而在于人工智能、生物技术、可再生能源、量子技术、3D打印等一系列技术的跨界融合，并在此过程中迭代演化、迅速扩散并引发连锁反应。

催生第四次工业革命到来的重要原因，可被归结为人类社会数字化转型进程的深入，使得“数据驱动”开始成为新范式，并在不同领域得到应用。药物研发、可再生能源管理、智能制造的生产调度，都是在不同领域、针对不同数据进行收集、存储、分析的人类活动。伴随此过程，算法作为挖掘数据价值的基本方法，其重要性也与日俱增。但第四次工业革命背景下，算法的变革性影响还不止于此。

英国著名学者迈克尔·波兰尼曾指出，“人类知道的，远比其能表达的更多（Humans Know More than He Can Speak）”。传统信息技术下，算法可被视为人类知识的表达，只有能够清楚界定的需求，才能通过算法以数字化的形式实现出来。第四次工业革命背景下，人工智能技术突破了波兰尼论断的限制，算法实现过程不再依赖人类知识的表达。基于大量数据或案例，算法可以通过自我学习自动抽取出特定规则。由此，第四次工业革命进一步扩大了算法的应用范围，加速了人类社会数字化转型的进程，并凸显了算法作为人类社会数字环境新规则的重要性。

以人脸识别算法为例。波兰尼论断揭示的基本现实是，人们往往能很轻易地识别朋友的脸庞，但并不能解释该脸庞具有何种特征以致于我们一眼便能“识别”。正因为这种表达能力的限制，长久以来，算法对图像的识别正确率远远低于人类，这也使得安防、认证等诸多场景的数字化转型进程停滞不前。但人工智能技术的发展，使得算法可以基于大量图片进行自我学习，并抽取出相关特征，从而打破了人类表达能力的限制，实现了与人类相当甚至更精准的识别效果。在此基础上，机场车站对于“黑名单”人员的筛查、金融服务过程中对于身份的认证，这些传统上均是由人来完成的工作，当前都可通过人脸识别算法来实现，其在加速相关场景数字化转型进程的同时，也自然成为影响人类生产、生活活动的重要规则。

这一变革固然将带来诸多益处，但围绕规则合法性、合理性、正当性、平等性的争论，也同时意味着变革风险的必然存在——而这也正是“算法治理”所要关注的要点。

算法应用的三种风险：歧视性、责任性、误用及滥用

算法治理要回应的，是算法变革所带来的治理风险。“算法作为规则”的独特性决定了第四次工业革命背景下，算法所引发治理风险的挑战性。具体而言，相关风险可被概括为三个方面。

歧视性风险

让我们先从一个实例说起。亚马逊公司曾经在2014年开发了一套“算法筛选系统”来帮助亚马逊在招聘时筛选简历。开发小组开发出了500个模型，同时教算法识别50000个曾经在简历中出现的术语，以让算法学习在不同能力间分配权重。但是久而久之，开发团队发现算法对男性应聘者有着明显的偏好，当算法识别出“女性”相关词汇的时候，便会给简历相对较低的分数。最终亚马逊公司停止了该算法的开发和使用。但是为什么看似中立的算法会对女性产生歧视呢？原来，亚马逊公司的整体员工构成以男性为主，亚马逊用来训练算法的“老师（即简历数据）”本身就带有很强的性别偏差，而年幼无知的算法则只能“邯郸学步”，从以往的简历数据学习，自然而然就学到了这个偏差。这个例子就是一个典型的算法歧视案例。

从概念上讲，算法歧视的基本内涵是指：当将算法应用于决策领域时，基于群体身份特征，算法将形成具有系统性偏差的决策结果。典型案例比如在犯罪风险评估算法中，黑人的犯罪风险会系统性地高于白人；在招聘机会推荐算法中，男性获得高薪资工作的推荐几率显著高于女性等。在贷款申请、广告推荐、公共服务等各个领域，自动化算法决策结果都可能存在对特定群体的系统性偏差。

造成算法歧视性风险的原因，固然有技术缺陷或人为主观意图的影响，但更复杂的因素还在于算法与其应用环境相互影响的结果。以搜索引擎的排序算法为例，2013年针对谷歌的一项研究表明，搜索黑人名字时，排在前面的搜索结果会更多地与犯罪记录联系在一起，而搜索白人名字时则不会出现这种情况（由于历史文化传统的不同，相当数量的英文名字事实上体现了种族特征。例如Latanya更多对应黑人名字，而Kristen则更多对应白人名字）。

造成排序算法这种系统性偏差的原因，并非源于谷歌程序员主观性地加入了种族因素，而是因为排序算法的原则是将用户有更大几率点击的内容排在前面；但用户在搜索黑人名字时，更想了解其是否与犯罪记录相关，从而导致排序算法在持久的用户结果反馈过程中，形成了上述偏差。该研究揭示了，算法结果的偏差事实上反映了人类社会本身的内在分化，算法在应用于人类社会环境，并不断接受环境反馈而动态调整的过程中，又进一步体现、放大了人类社会的既有分化。

责任性风险

算法责任是又一个被频繁提及的治理风险，其主要内涵是指：当算法决策或应用结果损害特定主体权利时，由于归责原则不清晰而导致利益救济不到位的风险问题。技术治理传统视角下，技术或产品仅被视为工具，其背后的设计者或应用者才是承担民事责任的主体。但第四次工业革命背景下，算法责任性风险的新挑战主要体现在两个方面。

一方面，人工智能技术推动下，算法具备了一定程度的主体性。人工智能算法的变革意义在于突破了人类表达能力的限制，基于大量数据或案例的自我学习过程，事实上意味着算法应用结果与人类行为之间，并不一定存在必然且直接的因果联系，由此导致传统归责原则失效。例如，如果人工智能算法“生产”的文学或音乐作品侵犯了他人著作权或版权，我们并不能完全归咎于该算法的设计者或应用者，因为他们并没有直接决定算法的产出，甚至不能预期算法究竟会形成何种产出。

另一方面，算法责任的新挑战还在于算法的“黑箱性”。也就是说，我们对算法形成特定结果的内在机制和因果联系看不清楚、说不明白。这种情况将影响责任溯源的过程，以及相关责任的界定。虽然我们不能完全排除商业平台刻意隐瞒算法运行原理的情况，但导致算法“黑箱性”的根本原因，还在于算法基于大量案例的自我学习过程本身的不可解释性。例如，算法虽然能够在短时间内阅读所有《人民日报》文章，并判断哪一篇文章可能在社交媒体上得到最多人的分享，但其却不能给出人们愿意分享该文章的具体理由；类似的，算法能够为用户推荐最匹配的资讯内容，但却不能给出用户喜欢该资讯内容的具体原因。在上述例子中，如果算法应用结果给用户造成权益损失时，因为难以确定导致损失的原因，传统归责体系也就难以确定应该由谁、用何种方式对用户给予合理的赔偿。

误用及滥用性风险

算法虽然能够以更高效率处理大量数据，但其仍然存在诸多局限性。如果忽略这些局限性，将算法应用在不当环境之中，便可能引发误用及滥用的风险，这又具体体现在三个方面。

首先，算法往往是“死板”的：虽然算法可以基于大量数据或案例实现自我学习，但学习的目标却需要具体而明确地人为设定，但现实生活的复杂性并不一定总是能满足这一要求。其次，算法往往是“短视”的：算法往往要求实时反馈结果以评估决策效果，这也导致其能更好满足“短期目标”，但在应对“长期目标”方面可能力不从心。最后，算法往往是“僵化”的：基于大量数据或案例的机器学习算法，在客观上要求输入大数据集与其应用环境具有概率上的分布一致性，但动态变化的应用环境往往使得基于特定数据集的算法决策很快过时，并因而难以用于指导当前及未来的预测或分析。

以资讯推荐算法为例。首先，资讯推荐算法的目的在于为用户提供最匹配且有质量的内容，但算法并不理解何为“匹配”或“有质量”，因而设计者不得不将这一模糊目标转化为“用户点击率最高”这一具体的替代目标。但很明显地，替代目标与真实目标并不完全一致，“点击率最高”并不意味着“有质量”，算法的“死板”可能带来额外风险。其次，“用户点击率”更多体现为当前的“短期目标”，但过多重视点击率却可能导致低俗内容盛行，从而不利于平台可持续发展这一长期目标，但算法却无法将后者纳入考虑范围，由此带来“短视”风险。

最后，资讯推荐算法往往需要根据用户历史阅读数据来预测用户偏好，但其却往往难以捕捉用户所在环境的具体需求（例如在课堂或医院等特殊场合），进而可能推送不合时宜内容，并因此体现其“僵化”风险。基于上述风险的梳理不难看出，不同于传统意义上的技术治理，第四次工业革命背景下的算法治理，并不局限于技术或产品本身，而更多体现了算法与人类社会交互影响而形成的新挑战。正因为此，算法治理不仅要求算法设计者关注功能的完备性和鲁棒性，更要求算法应用者和用户深度参与治理进程，为算法的动态演化及其影响结果提供实时反馈，而这也相应要求治理理念、体系、机制的革新。

人工智能算法的变革意义在于突破了人类表达能力的限制，基于大量数据或案例的自我学习过程，事实上意味着算法应用结果与人类行为之间，并不一定存在必然且直接的因果联系，由此导致传统归责原则失效。

算法治理理念、体系、机制的革新

第四次工业革命背景下，算法治理的新挑战在于，算法的生产与应用过程已经深度嵌入人类社会之中，其作为规则的普遍性、可执行性与动态性，都使得我们需要更新治理理念，并创新治理体系和治理机制。

治理理念的回归与丰富：以人为本

在传统的技术治理视野下，“以人为本”更多是指技术创新应服务于人类社会发展，而不能“作恶”。但对于第四次工业革命背景下的算法治理而言，“以人为本”的内涵还不仅如此，其同时要求技术研发与应用的价值应体现为“赋能于人”，而非“人的替代”。算法治理理念需要回归并丰富“以人为本”的基本内涵，有两方面原因。

第一，在第四次工业革命背景下，算法已经开始作为独立的行为主体参与人类生产、生活，并以“规则”的形式体现其对于人类行为的深度影响。由此引发的重要问题在于，原先由“人”来承担的行为责任能否、且如何向“机器”转移。在没有对此问题作出很好回答之前，将重要规则的决策权归还于“人”，仍然可能是短期内我们的次优选择。例如，资讯推送算法背后并没有一个控制者，其能够决定每个人所能看到的资讯内容，是算法在分析每个用户的偏好后，自主决策形成了推荐内容，基于此所创造的信息环境将最终影响用户的观点与行为；但算法可能推送与法律、伦理相悖内容的风险，使得我们仍然不能任由算法来决定所有内容，人为的干涉与影响不仅是重要的，也是必不可少的。

第二，算法所体现出的自动化、智能化特征，可能诱导技术研发者和应用者，在提高效率、降低成本的引导下，更多追求控制乃至替代人类行为的自主性，进而忽略了算法辅助并赋能于人的可能性。举例而言，“犯罪风险评估”司法机制的设计初衷，是为了更好促进并创造个体向善的动机与环境，而非片面减少人为判断的主观性以提升决策效率。特别的，如果我们意识到算法还存在“死板”、“短视”、“僵化”的弱点，在忽略人类社会复杂性的前提下，片面追求效率导向，以在不同场景下“替代”人类决策的技术研发和应用思路，将可能造成更大风险。

治理体系和治理机制的延伸与重构

技术治理的传统体系是典型的“命令-控制”结构，针对确定的治理风险（例如汽车事故），政府作为监管者预先制定标准（例如汽车产品质量标准）与规范（例如驾驶者的行为规范），并要求相关主体遵照执行。但第四次工业革命背景下，算法更多作为“规则”，而非“产品”，被应用于人类社会并产生影响，由此也使得算法治理风险体现出多元化、动态性、不确定等特征。

在搜索引擎排序算法的例子中，程序员以“最大化用户点击率”作为算法设计原则，本身并无太大争议，但当应用于具体环境并体现出特定社会心理倾向之后，歧视性风险最终产生。面对这种情况，监管者既难以提前预设规制标准（因风险难以提前预知），也难以针对明确的被监管者制定行为规范（因并非特定主体的特定行为直接导致风险），传统的“命令-控制”结构难以为继。

因此，治理体系的延伸成为必然选择。技术研发者、设计制造者、部署应用者乃至用户都应当加入治理体系，与政府监管部门共同构成推进算法治理的利益相关方。在遵循各自行为规范的基础上，利益相关方还应建立风险共享与应对机制，以及时发现治理风险，约束相关方修正技术发展和应用路径。

另一方面，将利益相关方纳入治理体系，并不意味着必然就会带来良好的治理绩效。算法治理的新挑战要求利益相关方共同探索新的、有效的治理机制，以发挥不同主体优势、整合治理资源。就此而言，以“敏捷治理”引领算法治理机制创新，可能是值得探索的希望路径之一。

“敏捷治理”是世界经济论坛2018年提出的新概念，其意味着“一套具有柔韧性、流动性、灵活性或适应性的行动或方法，是一种自适应且具有包容性和可持续的决策过程”。敏捷治理在广泛纳入利益相关者的同时，要求以更快速度识别变化中的风险，监管者与被监管者的清晰边界被打破，进而共同探索应对风险的渐进式策略。对于算法治理而言，其嵌入社会的规则属性恰好需要“敏捷治理”式的机制创新：一方面，算法本身的动态变化，以及应用过程中才浮现的治理风险，在客观上要求快速的治理应对；另一方面，算法治理风险类型与程度的不确定，反过来要求利益相关方在探索中表达治理诉求、形成治理方案。

敏捷治理在广泛纳入利益相关者的同时，要求以更快速度识别变化中的风险，监管者与被监管者的清晰边界被打破，进而共同探索应对风险的渐进式策略。

结语

历次技术革命都会带来新的治理需求并引发治理变革，但不同于过往技术革命，第四次工业革命背景下，算法的普及与应用引致的治理挑战，并不局限于技术本身，甚至也不局限于因技术发展而形成的新兴业态，而是体现为算法在利益相关方的部署下，与特定应用环境相互影响的产物。导致风险产生的原因，既有算法本身的技术特性，也有人类环境本身的复杂因素。面对新挑战，我们需要回归到“以人为本”的价值导向，在综合考虑技术、应用者、应用环境三方面治理结构的基础上，践行敏捷治理的原则和机制。

本文来源于网络，本着学习交流的目的进行转载，已标注原始作者和出处，如存在异议，请联系editor@xingongye.cn。如您对内容有疑问，请告之，以便我们及时处理。