关键词:数字行政 风险沟通 风险管理 人工智能 社会技术系统
作者简介:黄智杰,北京大学-宾夕法尼亚大学联合培养博士研究生;王锡锌,法学博士,北京大学法学院教授。
一、 问题的提出
为了解决“能力赤字”,国家将数字技术应用到各个治理场域,弥补传统治理手段在效率、覆盖面和响应速度上的不足,这体现了“数字赋能”的底层逻辑和工具理性。其中,算法与行政的结合塑造了“算法行政”这一新型行政方式,即将算法处理应用于公共行政以实现行政目的活动的统称。如今,人工智能技术的快速发展与国家的治理需求相呼应,进一步推动算法行政渗透到各国的行政管理体系之中,为法治政府建设带来了新的机遇和挑战。
算法种类繁多复杂,包括线性回归、逻辑回归、决策树等解释性较强的算法,以及随机森林、集成方法、神经网络解释难度较高的“黑箱算法”,公共部门可以将基本相同的算法技术用于不同的领域,服务于不同的目的,也可以将不同的技术用于相同的领域,实现类似的功能。算法行政中的算法存在多种分类方式,依据算法是否具有自主推理能力、是否能够自行演化,可以将算法分为学习型/非学习型算法,前者可以对应欧盟人工智能法规定的人工智能的范围,后者主要对应基于传统编程路径实现人类指令的软件系统。依据算法是否代替人类进行实体性决定,可以将算法分为全自动/辅助决策型算法(或称决定型/支持型算法)。目前,算法行政的主要实践场景可以类型化为以下几种:确定执法优先级的预测执法工具、市场监管中的大数据检查和分析、许可与给付决定中的自动化裁决、市政管理中算法支持的公共服务、政府内部人事管理与绩效评估;等等。[1]此外,以DeepSeek为代表的人工智能通用大模型更是开始嵌入行政活动的方方面面,用于各个行政领域的公共服务与行政文书生成。[2]
当下,针对算法行政的法律控制,学界已经产生了一定的研究成果。不过,既有讨论仍存在一定的不足之处:第一,研究的全面性不足。算法行政的风险被认为主要是全自动化行政行为的民主问责风险与程序风险。[3]然而,这类观点往往忽视了算法行政的社会技术属性,无法完整、全面、科学地评估、沟通与处置算法行政带来的风险。第二,分析框架的体系性不足。既有讨论更多围绕某一类算法自动化决策提出具体的合法性评价方案,没有针对算法行政的风险控制理念,以及如何营造算法行政的公众信任,构建出一套概念清晰、结构完整、体系融贯的框架。第三,对策建议的针对性与可操作性不足。不论是强调算法行政活动的法律保留,还是主张以“技术制约技术”为中心的技术性正当程序,都难以对算法行政活动形成系统性、反思性的风险控制机制,也无法全盘回应公众焦虑。基于此,本文从算法行政信任构建的视角出发,结合规制理论与社会心理解释的研究脉络,依次探讨构建算法信任的必要性、基本要求、核心理念与落实路径,尝试为算法行政的法律控制问题提供一个整体性的分析思路与制度方案。以信任构建为中心,不仅能够描述和分析世界各国针对算法行政采取不同策略的成因及其得失;也具有一定的规范性价值,有利于对既有制度展开评价与改进,为我国算法行政法律控制体系的完善提供方向性指引。
二、 算法行政所引发的公众焦虑及构建算法信任的必要性
(一) 算法行政的主要风险及其引发的公众焦虑
近年来,大数据检查、码治理、预防式执法、自动化给付等算法行政活动愈发普遍,在一定程度上触发了社会公共焦虑。一方面,社会各方面对公民基本权利减损的担忧不断加剧。其核心关切在于,算法自动化决策可能带来误判或歧视,其公平性和准确度存在缺陷,但算法运作的代码控制、瞬时完成等技术特性导致公民在个案中难以通过传统的陈述、申辩等程序机制进行防御与制衡,最终将减损公民的实体性权益。放大到整个社会层面,这将引发新的分配不公,乃至加剧原有的结构性不平等。[4]例如在美国,多个州的福利管理系统发布了错误的自动化决定,其中许多错误可归因于程序员将规则转译成计算机代码的过程中出现的误差,无端剥夺了公民的合法财产权益。[5]这一现象促使以丹尼尔·西伦特(Danielle Keats Citron)为代表的美国学者提出“技术性正当程序”(Technological Due Process)的概念,试图通过代码公开、人工介入、算法审计等制度,向相对人、利害关系人和公众赋能,强化算法行政的公开性、公正性与参与性。[6]
另一方面,算法行政活动的权责链条非常复杂,冲击了原有的问责机制,可能会滋生权力滥用风险,破坏良性的宪制结构。一般来说,算法系统的使用包括多个复杂的步骤:分析问题、设计算法、编写程序、数据收集与调试运行、检测结果与模型再训练、嵌入软件、模型部署;等等。[7]基于数据分析和算法计算而做出的自动化决策,尽管本质上仍然是行政主体行使权力的行为,但由于技术鸿沟和算法黑箱的存在,很难处理责任成立与分配问题。并且,政府借助算法自动化系统开展行政活动时,多数情况下系统是由私营部门开发或者行政机关与私营部门合作开发的。这意味着公权力行使过程中出现了私人力量,其会随着算法系统对行政决策影响程度的提升而更深入地嵌入到公共决策中。[8]由于缺乏技术手段介入、不熟悉算法运行涉及的主体间关系等原因,试图追究责任的监督者可能很难找到隐藏在人工智能背后的责任主体。在机器学习型算法的运用中,即便是技术人员也未必能够实现对运作细节的全盘了解与对结果的全面掌控,尤其运用半监督学习与无监督学习的人工智能之时,算法的可解释性很弱,这使得责任追究进一步变得困难。
面对公众的“算法恐慌”,世界各国都已经着手设计相应的法律控制机制。当下初步形成的共识是:算法技术在行政活动中的合理使用可以带来重大的社会效益,例如提高决策效率、增强公共服务质量、降低行政程序成本等。试图完全禁止算法技术运用的做法无疑忽视了算法技术的赋能效应与在特定场景中的功能合理性,属于因噎废食,并不可取。[9]故而,理性的中道应是对算法行政进行适当的法律控制,其核心目标是在治理的工具有效性,以及治理的价值理性与可接受性之间达成平衡。由此,在行政活动中设计“可信的算法系统”已然势在必行。
(二) 构建算法信任的必要性与基本要求
信任一般是指相信或者预计对方会按照自己的期望行事的心态。步入风险社会,越来越多的观点将信任概念化为一种倾向,即在相信有很大机会获得积极结果的同时,承担有意义的风险。[10]面对各种新兴技术所带来的不确定性,信任的构建可以被理解为一种复杂性化约的方法,信任构建的过程则可以被理解为一种“关注、感知、概念化和记忆那些助力于安全和有益的互动的机制”的过程。[11]事实上,随着欧盟《人工智能法》、美国《关于安全、可靠、可信地开发和使用人工智能的行政命令》等规范的出台,算法与人工智能的可信治理已经成为各国高度关注并已然付诸行动的议题。例如,作为全球首个对人工智能进行全流程监管的立法,欧盟《人工智能法》旨在通过创设以风险为基础的分级分类监管模式,在欧盟层面营造高标准、值得信赖的、以人为本的人工智能生态环境,确保人工智能技术在开发和应用的全过程都遵循伦理规范,实现可信人工智能。[12]《人工智能法》序言部分第81条明确该法具备双重目标,即促进技术的应用创新和解决与使用人工智能相关的风险。换言之,信任和风险控制一体两面,欧盟启动人工智能立法的双管齐下的动力正是为了建立信任和提高数字竞争力。[13]
信任可以从主观或者客观角度来理解:主观信任主要对应公众的感知风险,当公众感知到的风险减弱时,例如获取到情绪抚慰或是认知和偏好发生改变后,主观信任度便会提升。客观信任主要对应的是技术稳定性、公平性以及制度的可靠性,也就是某项技术系统的“可信度”。算法信任的构建应当以可信度和技术系统的实际风险为中心,同时兼顾对公众过高或过低担忧的回应与调适,避免主观风险和客观风险之间产生过多张力。归结而言,“不正确”的信任水平可能会导致技术的误用、滥用或废弃。经“可信度”校准的信任方能为“有正当理由的信任”。在追求对算法与人工智能的信任时,应当明确评估其客观风险,避免缺少依据的信任或质疑,也防范盲信和狂热的情绪主张。信任超过可信度会导致技术的滥用或错用,信任低于可信度则会导致技术的废弃。[14]从国家的法律行动来看,立法阶段为算法行政设定了基础的规范性框架,通过清晰的立法目标、框架性的风险管理机制来增强技术系统运用的可信度。但这往往只是信任构建的阶段性环节,随后的执法、监督、司法审查等环节同样至关重要。信任构建必须环环相扣,避免中间出现“断链”或信息传递的错位。从社会主体的视角观察,公众的认知与偏好在不同的社会环境中会发生变化,对风险的感知与接受度也时常改变,因此单一的、静态的解释往往无法满足持续信任的需求。信任的动态性意味着在其构建过程中必须不断回应和调整公众的关切,使得公众能够在动态的、持续性发展的环境中对算法技术形成理性而稳定的信任。由此,这种信任建构的模式和框架既能合理地吸纳公众的知识和诉求,又能疏导公众的非理性期望或看法,形成一种具有建设性与商谈性的、较为理想的制度生态。认知这些道理不难,但知易行难。
三、 信任构建的理念嬗变:从强风险预防到可容忍风险
在明确构建算法信任的必要性的基础上,下一个关键性的问题是:面对算法行政带来的风险与挑战,国家与社会究竟应当依据何种风险管理理念进行信任构建?是采取高强度的风险预防姿态,还是对风险采取更加容忍的态度?我们可以结合已有的理论争议与比较法上不同国家的制度选择,展开系统辨析。
(一) 强风险预防的理据与制度设计
随着算法技术在政府活动中的应用逐步扩展,如何控制算法行政的潜在风险,成为学界和实务界关注的焦点。代表性的观点主张,应当对算法行政,尤其是决定性的自动化行政行为,采取一种类似“禁止性预防标准”的强风险预防的理念。[15]规制者需要基于“最不利情况”的假设来评估潜在风险,对那些可能导致重大危害的行为采取更为严厉乃至完全禁止式的预防措施。其正当性来源于这样的前提:人们会普遍支持对最糟糕后果的最大程度预防,如果风险在“最不利情况”下会导致极为严重的后果,那么采用这一形式的风险预防原则便是合理且必要的。[16]落实到法律控制机制上,这要求基于宪法基本原则和权利保障需要明确划定算法技术运用的实体边界,并通过严格的法律保留来对算法行政进行授权。例如,德国《联邦行政程序法》第35a条规定,自动化行政仅适用于羁束行政行为,并通过法律规范的明确授权机制对算法决策的适用范围作出限制。由此,在存在不确定法律概念和裁量的情形下,行政机关不得适用算法作出全自动行政行为,毋宁说机器学习算法的适用。这本质上还是一种“原则禁止,例外允许”的态度,由此,决定性算法的适用被限定在立法者授权的羁束行政行为的作出过程中。[17]在我国,也有不少观点主张借鉴德国法上的做法,对算法行政展开严密的法律控制。[18]
深入观察来看,德国立法者对算法行政活动采取了非常审慎的态度,基于基本权利保护、行政行为的民主控制等价值主张,坚持强预防原则的姿态。这种强风险预防的理念主要有两点理据:
第一,算法行政可能对公开、公正、参与等行政程序价值乃至公民个体的主体性带来不可逆的严重减损。从人格尊严的视角出发,各种交互性程序的价值根基,都在于维护人在行政过程中的“体面存在”,避免损害人的自主性和人格发展。将价值判断和裁量作为算法行政决策的禁区,进而禁止自我学习型算法的使用,其实也符合部分公众对人工智能适用风险的核心设想:许多关键决策需要依赖于人类的独特能力,机器在这些领域难以替代人类的深层理解和感知能力。自我学习型的算法行政决策依赖数据与推断结果之间的相关性,并不具备应然层面的同理心、规范性推理能力和自我反思能力,无法通过“人—人”间的论辩商谈等机制实现决策的理性化,最终将冲击人们对给出理由的规范性维度的普遍合理信念。[19]
第二,算法行政可能在根本上冲击行政活动的民主正当性链条。算法的技术黑箱特性决定了由其作出实体决定会使行政权内容正当性的传递陷入不确定状态。非学习型或传统型算法的设计过程可能出现“转译”和“错译”。学习型算法的演化更是可能导致具体结果偏离立法的授权范围或是立法的目的,违反法律保留或法律优先原则,导致民主控制被虚化。展鹏贺指出,并非所有行政行为的授权规范都适合数字化的自动实施方式。至于哪些实体法要求在形式和内容上与数字技术过程相匹配,本质上应由立法判断。考虑到完全数字化下实施机制预先设定和实施过程无人介入的特点,采取全自动的行政活动形式应当有直接的法律授权,相关授权规范需要兼具文本的语义明确性和对象的个案同质性,从而确保其内容可以通过前置的数字化代码过程得到准确表达,并在彼此独立的具体个案间获得反复适用的可能。在缺少具体法律授权规范的情形下,若仅以行政政策性或规范性文件为制度依据,显然无法满足民主正当性标准的检验。[20]
(二) 强风险预防理念的不足及可容忍风险理念之提倡
初步来看,上述主张强风险预防的观点似乎符合公众普遍的道德直觉、具有很强的价值合理性。但如果我们回到真实的算法行政生态与具体的实践操作上,上述判断却值得进一步地检视和反思。实际上,以线性的、不可协商的实体边界和立法控制来约束纷繁复杂的算法行政活动,未必能够通过“成本—收益”的检验,很可能缺乏制度设计上的有效性与灵活性。至少在评估方式的科学性与适用范围的场景化两个方面,上述判断值得商榷。
第一,在评估与比较方式的科学性上,上述判断忽视了算法技术对传统行政活动的边际改善效应。算法行政的比较对象并不是完美与假想的人类决策,而是现实的、存在缺陷的人类决策。基于各种现实条件的束缚,实践中的交互性程序并不能完全消除执法过程中的专断与偏见。美国学者卡里·科里亚尼斯(Cary Coglianese)清晰地指出了这一点:人类决策中其实也隐藏着“算法”——人脑通过复杂的神经网络方式运作。尤其当人类做出集体决定时,他们也是通过神经网络方式运作的——那些反映在立法、司法和行政程序中的“人脑算法”。然而,这些决定不可否认地存在缺陷,而且也存在不透明的问题,难以通过说明理由机制完全抹除,大数据预测机制反而有可能中和这些缺陷。在个人层面上,人类决策受到记忆限制、疲劳、认知偏差和种族偏见等问题的影响。在组织层面上,人类屈从于群体思维和“搭便车”,以及其他集体功能失调。因此,在某些情况下,人类的集体决定将比代码化的算法行政更有问题。[21]并且,算法系统涵盖的广泛性不仅意味着可能带来的规模化风险,还意味着案件处理的一致性和成本节约问题。可以说,与分散化却带有缺陷的人类决策所可能带来的累积危害相比,算法技术的运用是否一定会触发显著的、远超前者的风险,是否带来了更加高昂的成本,是需要打个问号的。[22]尤其考虑到,算法决策在一定程度上可以减轻传统人工决策的主观性与随意性,算法系统的标准化在一定程度上会促进结果一致性,经过风险评估后的“算法黑箱”辅之以相应的程序保障,未必不如“人脑黑箱”。[23]比如,在教育政策领域,乔恩·克莱因伯格(Jon Kleinberg)教授及其合作者的研究揭示了算法决策在应对歧视方面的优势,表明了算法在减少招生过程中的种族偏见、平衡多元化和学术质量方面的潜在作用。[24]又如,算法固然可能使行政问责更加困难,但也有实证研究发现,算法的存在可以让部分官员“以算法作为借口”来抵御人情网络或科层关系带来的“走关系”的压力,增强行政的公正性与廉洁性。[25]
因此,在政府运用算法技术的过程中,当事人的程序性权利不宜被绝对化,也应当经过相应的“成本—收益”分析检视,在考量算法行政对效能提升的情况下考虑程序的设定与简化问题。例如,福利行政的正当程序方面,在Cahoov. SAS Analytics案中,密歇根州失业保险机构运用检测虚假失业救济金申请的自动化系统,裁定原告构成欺诈,在未经听证的情况下剥夺了原告的福利资格。对此,美国联邦第六巡回法院一方面指出,原告在保持领取失业救济金的资格上有重大利益,在干预这些重大财产利益之前有进行充分通知的必要;另一方面又指出,算法系统存在漏洞,密歇根州审计长发现MiDAS的错误率超过93%,即便在人工介入的情况下也超过50%,对算法系统的可靠性提出了批评。可见,法院在裁判时不仅仅考虑了当事人听证权的价值,同时也对算法行政的准确度进行了考量,对其所带来的客观收益进行了比较。这符合美国自1976年Mathewsv. Eldridge案后确立的正当程序教义:在经过成本效益分析后,某些程序可能会因为成本极高而被拒绝。[26]就此,如果绝对地聚焦算法与整个技术系统的不足,而不是从相对或者边际的意义上测量算法行政活动的风险与收益,很可能出现判断结论与制度设计的偏颇。
第二,不同场景下公众对于算法行政活动的规范性需求和特征偏好存在差异,需要更加类型化的分析。比如,针对德国的算法行政实践操作层面,德国学者丹尼尔·布舍(Daniel Busche)指出,在德国《联邦行政程序法》加入全自动行政行为条款之前,早已经有一些全自动行政行为,即使没有明确的法律授权也被认为是正当的。例如,适用于完全自动化并根据交通流量自动显示交通标志的交通控制系统,或签发小额简单的公共服务费用通知,这些行为在德国和欧洲都是被广泛接受的。因为这些情况往往不涉及敏感个人数据,而且公众的规范性需求较弱,对算法的效率性要求更高。然而,这些低风险、高公众信任的场景在立法过程中被忽视了。若是立法者想宣布这些长期存在的、即使没有明确规定却被广泛接受的完全自动化行为因缺乏法律授权而不被容许,肯定是牵强附会的。相对而言,大额罚款或剥夺福利资格等行为对公众基本权利的侵害更加严重,公众对程序交互、说明理由和逐步推理的需求更高,对权力滥用行为更加警惕,纳入《联邦行政程序法》的规制范围则更有针对性。[27]在美国,环保、食药监管、国税等部门开始广泛运用机器学习算法来识别违法风险源与分配执法资源,相较于全自动化的福利行政决定,前者在整体上得到了公众与法律专家更多的接受。[28]
实际上,在我国数字政府建设过程中、不同行政机关在不同场景下也运用了多元、复杂的算法技术,不同场景下公众对算法的特征偏好也存在不同。例如,交管部门运用学习型算法调整红绿灯时间与交通管制区域,[29]环保部门运用学习型算法进行污染物监测并及时发出指导或预警,[30]这些活动也并未引发显著的担忧。这是因为这些活动往往不涉及艰难的道德判断与说理要求,其追求的更多是预测意义上的准确性而非理由说明的细致性,对效率与复杂问题处理的需求成为其主要目标,[31]对经由事前程序进行规范性控制的现实必要性较弱。在这个意义上,一刀切式将全自动行政行为与机器学习算法定义为高风险活动的观点,显然缺乏动态性、场景性和灵活性。应当从“目的—手段”的适当性上出发,根据不同行政任务对规范性、预测性、效率性等不同要素的不同考量,进行场景化、动态化的风险评价与制度设计。
综上而言,认为涉及价值衡量与利益竞争的决策不应交予机器、应当完全由人类保留,以及算法行政应该受到严密的、全面的法律保留控制以防范制度风险的观点,虽然符合很多人的道德直觉,但可能是一种感知风险超过实际风险、公众主观上的信任低于算法客观上的可靠性的不良现象。对此,实证研究也表明,普通人在直觉判断上往往更喜欢由人类决策者来做分配决策,这是因为其没有充分对算法决策和人类决策进行严格细致的比较。但是,当“人脑黑箱”中潜在的人类偏见变得突出(例如行政相对人意识到人类决策者的决策漏洞)时,这种偏好就会逆转,算法技术将会得到更多的可接受度。[32]德国学者亨德里克·坎普特(Hendrik Kempt)等人在对“可解释性”的理论脉络进行梳理后指出,使用人工智能的效果——其可靠的结果(如更高的准确度)更应当是衡量风险可接受性的标准,而不是在每个实例中对这些结果的完整因果解释与细致的逐步推理。与药品的说明书类似,可解释性可以通过清楚地宣传经过测试和验证的人工智能的精确性、可认证性和可靠性来再现。[33]这些研究对于算法行政的信任构建具有很强的启发意义:如果有足够的事实依据表明传统人工行政活动方式的准确度、公平性不如算法决策,即便算法在说明环环相扣的因果关系上的可解释性较弱,也未必是一个更糟糕的选择。我们或许需要警惕人机双重标准,即,一方面在结果可靠性意义上去衡量风险、确立信任;另一方面,却依然支持那些虽然存在形式化、象征性的正当程序,但从实践观察,在结果的公平性和准确性上远远不如算法的人类决策形式。
实际上,这种“人机双重标准”下直觉排斥算法的心理机制有其根源所在。[34]一方面,基于某些政策话语和制度实践,在部分公众看来,政府对于数字技术的应用过于注重管理和效率,而不是民主问责和基本权利保障,算法和人工智能可能成为政府固化现有社会和政治结构、强化国家监控与推卸行政责任的工具。这些对人工智能的担忧往往来自过往经验和代表性个案的放大效应,在一些情况下可能只是公民的主观感知问题。[35]另一方面,由于部分新闻媒体和精英渲染了有关人工智能风险和威胁的话语,许多公众对机器人和人工智能持保留意见,但其中部分焦虑可能是缺少足够根据的,也许仅仅是因为媒体炒作的推波助澜。[36]比如,将人工智能作为“魔术”来推销的宣传与炒作活动无助于使人们对算法技术的能力、风险和局限性有一个准确的认知,反倒可能会助长“算法是黑魔法”的恐惧与厌恶心理。[37]基于上述原因,公众也许会更多地受到负面情绪与技术悲观主义心态的影响。[38]荷兰代尔夫特理工大学技术教授马里恩·扬森(Marijn Janssen)等人在研究中指出,公民对于算法行政的信任度除了可能与算法行政对公民基本权利的影响相关外,很大程度上也取决于使用算法的环境的政治化程度(即可能发生冲突的程度和出现有争议结果的概率),例如关于移民的算法行政决定更有可能引发公众的关注、担忧和质疑。[39]
这种强风险预防理念下公众感知风险与算法实际风险之间的差距,将引发“过度预防”的问题,短期内虽然可以对公众起到心理抚慰与提供情绪价值的作用,但从长远来看未必有利于建构理性、稳固的公众信任。正如卡斯·桑斯坦(Cass Sunstein)所指出的那样,在食品安全、环境保护等风险控制问题上,风险预防具有广泛的影响,但是除了一些极端的系统性风险,采取高强度乃至要求零风险的预防原则常常并不合理。尽管短期内对新技术采取强硬的预防态度可能会暂时缓解公众的恐惧,但这种态度无法帮助公众理解技术本身的益处,反而可能导致对技术的过度怀疑,最终使技术应用的潜力受限。[40]从长期效果来看,这种做法将强化社会的非理性风险认知,引发“恶性循环”——长期的政策惯性之下,政府推广新技术的社会心理成本将会越来越高,既可能采取消极不作为的方式、错过技术发展的黄金时期,也可能在绩效压力下采取各类蒙蔽公众的形式。而当公众后知后觉地意识到这一点之后,先前强预防原则带来的心理慰藉很可能转化为对政府的强烈不信任,乃至引发“塔西佗陷阱”,对数字政府的公信力造成巨大的冲击。因此,算法行政的风险控制应以实际风险而非感知风险作为主要依据,采取务实、理性的“可容忍风险”理念,[41]通过风险沟通、风险交流,产品认证等方式来反思“人机双重标准”、消除社会公众的疑虑、适当调整社会公众的预期。“可容忍风险”理念指向的是一种“期望值管理框架”——不同算法行政的利益相关者、具有不同专业知识的群体对算法系统风险和收益的期望可能各不相同,这些期望会影响他们对系统的接受率和信任度,为了避免期望值和实际信任过高或过低,有必要建立一个期望值管理框架。一方面,促进算法系统的设计者在回应公众关切的同时,吸纳和整合各类信息和见解,尤其在技术系统的实施涉及价值竞争问题时,充分吸纳公众的意见;另一方面,为公众提供相对清晰、简明、友好并有层次性的“算法行政说明书”,通过提高机构声誉、区分机构直接披露与专家咨询沟通等方式缩小感知风险与实际风险之间的鸿沟。[42]
(三) 以欧盟《人工智能法》为样本的观察
作为全球最具代表性与影响力的人工智能立法,对欧盟《人工智能法》中关于算法行政规定的研究具有立法实践与法律理论上的双重意义。[43]我们可以经由欧盟《人工智能法》的关键性制度设计来更好地分析强风险预防原则的潜在不足与可容忍风险理念的合理性。
1. 关于社会信用评分与高风险人工智能系统
以风险为基础的人工智能治理构成欧盟人工智能立法的底层逻辑,[44]具体来说,《人工智能法》将人工智能划分为包括绝对禁止的具有不可接受风险的人工智能系统、高风险人工智能系统及其他人工智能系统,其中具有不可接受风险的人工智能系统在实践中被完全禁止,禁止性风险人工智能中的第三类和第八类分别为社会信用评估与实时远程生物识别;高风险用途的人工智能系统将受到执法部门的严格监管,包括用于基本公共服务和警务执法的人工智能系统;而风险程度较低的其他人工智能系统将受到相对宽松的法律监管。这种分级分类框架强调了监管措施的比例性,即监管力度与风险程度相匹配。对低风险的系统采取宽松的监管,政府在使用AI时有更多灵活性,可以更迅速地采纳新技术,推动行政效率和公共服务质量的提升。[45]
不容忽视的是,看似客观中立的风险分类管理的背后,是社会心理和文化观念在整个《人工智能法》的制定过程中发挥了关键作用。比如,欧盟《人工智能法》意欲禁止“社会评分”。根据《人工智能法》第5条的规定,通过分析个人的社会行为、个人的或人格的特征数据作出社会评分,并由此对个人或其群体做出不利对待时,若使用了超出原初场景的数据,或者此不利对待是不公正的、不成比例的,则该类社会评分应受禁止。禁止社会评分的立法目的在于防止其侵犯基本权利所保障的个人自主性和公正对待。[46]其动因在于,欧盟立法者将其类比于我国数十年来推进建设的社会信用体系,试图回应精英和部分公众的关切,这在很大程度上具有意识形态特征,即错误地将社会信用评分等同于国家的监控体系。这并未公正评价社会信用体系建设与信用监管中的诸多制度功效。[47]例如,与社会评分类似,澳大利亚近年来的收入支持福利算法系统经由高频、准确、大规模的数据来分析受资助者的行为模式,进而确定资源分配政策与资格标准,在一定程度上有效实现了防止福利依赖和促进合理给付的双重目标。[48]这本质上也是大量收集数据进而对个人行为和习性进行详细分析,从而作出更具个性化的评估。这种算法系统的准确性与公正性未必低于人工审查,且能够极大节约行政成本。在能够有效采取风险管理措施的情况下,是否需要一刀切禁止社会评分机制,值得商榷。类似地,欧盟将警务执法工作中的人工智能归类为高风险,很大程度上也是因为新加坡的警用机器人在《人工智能法》制定前后引发了欧洲媒体和欧盟领袖的反感,相对于技术风险,公众对治安的需求被置于次位,这一判断无疑具有地方性而非普世性。相较而言,虽然政府在智慧城市建设中使用的市政机器人可能在技术上具有和部分警用机器人类似的风险,但由于政治关注度和讨论度的不足,其在《人工智能法》中并未被列入高风险人工智能名单。[49]
实际上,欧盟选择的人工智能监管方法强调标准制定和政治影响(即利用“布鲁塞尔效应”),价值宣誓的意义非常突出,对外构成数字主权竞争的人权策略,对内树立欧盟统一的以基本人权为中心的“价值共同体观念”。[50]正如质疑意见所指出的,社会评分、实时远程生物识别、预测式警务等做法受到媒体广泛关注与质疑这一事实并不意味着这些人工智能做法存在最严重的问题。人工智能系统未来的用途和使用场景难以预测,永久性地固定禁止的人工智能做法清单似乎为时过早。并且,欧盟《人工智能法》中基于风险水平的分级分类方式,并未充分考虑到人工智能风险会依据具体的运行环境而改变,从而给系统开发者带来了更多法律上的不确定性。[51]尤其是,《人工智能法》的险级分类仅基于人工智能种类作有限事实列举,对其分类的抽象法律要件论及不足,这可能导致其法律概念涵摄的不周延,在具体适用中引发争议。
对此,牛津大学学者约翰·劳克斯(Johann Laux)等人敏锐地指出,欧盟尝试通过监管创造“值得信赖的人工智能”的政策语言倾向于夸大其词,在一定意义上是一种价值口号。也就是说,欧盟立法者对“不可接受的风险”“禁止使用的人工智能”的修辞价值比实际效果及可操作性更感兴趣。[52]以社会评分为例,虽然某些社会评分算法被判定为“不可接受的风险”而被禁止,但在实际操作中,这种风险预防方式具有很大的不确定性。一方面,法律执行者需要运用比例原则来评估其效果要件,这往往还是只能通过个案评估与发布细化的监管指南。若是最后公众意识到,在实际执法与司法裁判中,社会评分算法依然有广泛的使用空间及合理性,立法的科学性与政府监管的公正性便会遭到质疑。另一方面,正是出于对适用范围过宽的担忧,《人工智能法》在最终通过时,在序言第31条的最后一部分增加了以下内容:“人工智能系统包含了这些不可接受的评分行为及导致此种有害的或不利的结果的,应因此受到禁止。但这一禁令不应影响根据欧盟和国家的法律,出于特定目的而对自然人作出的合法评价行为。”这实际上赋予立法者很大的判断空间与执法者很大的裁量空间,在保护程度上并未达到类似禁止酷刑这类“基本权利本质内涵不可侵犯”的绝对化保护方法,因此,“不可接受的风险”更多起到的还是价值宣示的作用,其象征性意义大于实际操作意义。这种风险防控和信任构建方式虽然在短期内有利于缓解部分公众的焦虑,但从长期来看却有可能助长公众的非理性认知,不利于社会评分体系建设的行稳致远。
2. 关于全自动行政行为的规范依据
在欧盟整体层面,立法者对算法行政并未要求普遍的法律保留控制。例如,除了社会评分算法外,欧盟《人工智能法》仅仅是在第5条明确规定,在公众可进入的场所使用实时远程生物识别系统进行执法时,应根据授权使用该系统的国家法律,遵守与使用有关的必要且成比例的保障措施和条件。对于高风险的算法行政人工智能系统,人工智能法案并未要求严格的法律保留,而是交由成员国自行判断。就此,与德国《联邦行政程序法》的方案相反,一些成员国如法国对全自动行政行为的法律依据要求秉持了容许与开放的态度,认为只要行政主体采取了相应信息披露义务和风险管理措施,足以有效控制算法运行、保障信息主体的权益,使用传统算法乃至机器学习算法作出全自动行政行为便不应受到立法的严格控制。在法国,全自动行政行为具备立法的概括授权,但算法使用者仍需遵循相应的组织和程序保障义务。[53]与法国类似,我国在算法行政方面并不存在像德国一样的历史负担、文化心理与制度惯性,完全可以采取实用、灵活的方式,在行政效能提升、公共服务创新与防控算法风险之间找到合适的平衡点,避免简单的域外经验移植。
四、 信任构建的落实路径:从节点式信任到系统性信任
算法行政信任构建的落实,需要一套围绕“可容忍风险”展开评估、沟通与处置的机制。在落实路径上,相较于节点式信任的方案,系统性信任的制度设计能够更加全面、科学地控制算法风险,培育公众对整个社会技术系统的信任,为算法行政的创新与发展留出更多的空间。
(一) 节点式信任的不足及构建系统性信任的必要
行政行为的合法性评价是传统行政法学理论的“阿基米德支点”,即以狭义“行政行为”为实现法治行政的核心手段。行政行为在个案中决定公民的权利义务,往上承接法律,往下与行政救济相连。公民与国家的法律关系通过个案决定予以个体化和明确化,人们才能获得一个明确、客观、可以预见的社会生活秩序。[54]由此,在欧陆行政法体系中,对行政权力进行法律控制的核心,指向的是一个个固定节点,即最终呈现出法律效果的那个行为。进而,行政法理论及实践以行政行为对公民有什么法律意义上的影响为分类标准,基于不同类型行政行为的特点进行“理一分殊”的合法性评价。[55]按照这种路径依赖,针对算法行政展开法规范建构的关键就在于“剪影”和“抓拍”算法行政中有明确法律效果的节点。由此,依循这一方法,学界主流研究路径尝试在纷繁复杂的算法行政实践中,针对自动化许可、给付、审批、确认等全自动行政行为类型进行合法性分析。[56]一方面,在规则制定程序中,强调开放源代码与程序测试,避免法律向算法转译的过程中出现偏差;另一方面,保留决策过程的记录进行算法审计,并向相对人说明算法在技术上的稳健性,即借助技术和专家的力量,使得普通人能够知晓算法运行的来龙去脉以及相关依据。[57]因此,值得信赖的算法行政应该是技术上可预测的(即以其应有的方式运行)、稳健的(能够抵御篡改),并且能够完成法律要求(符合立法规定与立法目的)的活动。[58]传统的软件系统和编程方法,以及完全由人类设定和操控运行的简单算法,可以通过直接公开代码与算法运行的详细技术流程来进行监督。而对于数理结构复杂的某些非学习型算法与具有机器学习特性的算法,人们既没有办法通过代码公开直接理解算法,也没有办法通过人人互动当中的追问辩驳等自然语言沟通来获取信任,更多需要依靠技术专家评估与测试说明其技术影响,或是设计对照组来进行比较。由此,节点化信任的核心在于“以技术制约技术”,向已经或可能受到行政行为调整的利害相关人赋能,缓解其与行政机关及技术运营商之间的信息和权力不对称,允许其对算法运行的技术稳健性与可预测性提出疑问。例如,根据法国《政民关系法典》与《个人信息保护法》的要求,一般而言,算法行政的相对人有权知悉算法的总体运行规则与主要运行标准,以及具体规则与详细步骤;行政主体不履行一般明示义务的,该具体行政行为属于严重程序违法,应被判定为无效。而对于技术可解释性较弱的学习型算法,行政主体也应保证机器学习算法运行与演化的整体可控性,确保能以充分的、非专业术语的语言表达向相对人清楚解释该算法的技术可靠性。[59]
然而,节点式信任构建的路径虽然具有一定的合理性,但仍不足以控制算法行政的风险,亟须相应的变革与改进。算法系统不仅仅是技术架构,而且是“社会技术系统”。[60]由于算法系统不是单一的技术实体,而是实现特定行政目标导向下有机组织起来的相互关联的元素,因此对算法技术的信任不仅包括与性能有关的因素,还包括个人与之互动所必需的因素。这些因素包括行政专业知识和人性特征、组织环境或文化影响;等等。在行政活动中使用人工智能等未知的复杂技术,不仅需要技术层面的制衡,还需要对技术专家无法直接观察或认知的政治过程与行政过程的信任。人工智能系统的开发、部署和使用中的信任不仅涉及技术的固有属性,还涉及人工智能应用的社会技术系统的质量。因此,对可信人工智能的承诺不仅涉及人工智能系统本身的可靠性,还需要一种系统性的整体方法,其中包括社会技术系统背景下的所有参与者和流程。“以技术制约技术”应当转向“以社会技术制约社会技术”,从节点化信任迈向系统性信任。这种必要性主要体现在:
第一,涵盖对象的全面性。
忽视算法的社会技术属性,无法完整、全面地评估算法行政带来的风险,尤其是辅助型算法带来的风险。例如,有学者认为,人工智能的技术特性决定了由其作出实体决定可能会使行政权内容正当性的传递陷入不确定状态;不过,若是人工智能只承担决定作出的辅助性角色,或者只是用自动化、数字化程序代替人力程序,并不会阻断行政主体作出行政行为的正当性。对于数字化行政方式仅作用于行政程序实施的情形,即便数字化的具体细节仍缺乏全面规定,但因行政程序的辅助性和实体决定的人为性,使得这种单纯程序数字化的行政权行使,仍可以通过行为最终外部决定的“组织—人员”和“实体—内容”正当性传递有效地回溯至人民的意志,因此这类算法行政依然具有很高可接受度。[61]
这类观点看似具有合理性,但细究之下实则武断。一方面,这类观点忽视了内部行政视角下“人—机”互动的复杂性,大多数人工智能系统都将人类和机器结合在一起,从而发挥各自的决策优势。人类要么在环内,即保留控制权,机器只提供建议或技术辅助;要么在环上,即扮演监测或监督角色,有能力进行干预或控制,很少有政府算法系统是完全自动化的设计。在非完全自动化的情况下,组织环境对算法的认知和实施有很大影响。算法的风险很大程度上受到嵌入算法的文化、规范和结构的影响。很多与算法行政相关的严重错误或者事故可以追溯到组织的需求与管理结构缺陷,而不仅仅是编码错误。比如说,即便保留人员对实体决定的控制,在特定的官僚文化下,执法人员也可能高度依赖算法的建议,或是仅在算法的建议基础上进行微调,这依然可能造成决策的不当。对此,已有学者在研究中指出,由于欧盟法律主要规制的是全自动行政行为,行政机关可以通过插入极少的人机互动操作来规避法律控制,这无疑值得警惕。[62]
另一方面,从外部视角观察,辅助性的算法用于调查、预测与分配执法资源之时,也可能带来执法结果的不平等。例如,执法机构的算法预测可能会更多地落在小企业身上,因为这些企业与大公司不同,由于缺乏稳定的计算机科学家而无法对执法机构的算法进行逆向分析。在美国,证券交易委员会识别潜在的违法行为人并对其进行更严格审查的算法,几乎肯定会更多地落在小型投资公司身上,因为这些公司往往缺乏稳定的定量专家和计算机科学家;大型公司则可以反向破解监管机构的算法工具,并努力使自己的活动远离该机构的瞄准线。[63]又如,在智慧警务当中,即便摄像头抓拍后的照片由人工审查后再作出处理决定,不构成全自动化行政处罚,但这些技术系统仍可能会延续种族、性别和其他偏见。典型的例子是,摄像头分布不均和质量标准不同可能导致执法偏差,过多地针对某些地区和群体,加剧现有的不平等。[64]由此,如果公民发现辅助性算法系统带来的种种不利后果,而这些危害后果被先行的法律框架所忽略,那么对数字政府的政治支持就会大大减弱,甚至可能出现“背信厌恶”的糟糕后果。
第二,风险评估方法的科学性。
算法行政具有显著的整体性、系统性和协同性特征,大数据处理与算法运用涉及多主体、多环节,组织和文化因素与技术因素交织,带来了更大的复杂性,这是无法简单从技术层面理性认知、评价和控制的。风险控制应当关注到整个数字行政的生态环境受到影响和污染,关注整个数字行政的结构性、生态性和整体性问题,这是节点式、个体式、分散式的法律控制技术与审查方法所解决不了的。
一方面,算法技术本身是动态和适应性的,其性能会随着时间的推移而变化,特别是当计划目标或运行环境发生变化时。人机交互的复杂性和信任度的校准可能会随着时间的推移和一系列组织因素的影响而发生变化。宣称是支持性、辅助性的算法可能会变成决定性的算法;而即使是意在决定性的算法,只要仍有人类决策者参与,也可能随着时间的推移而失去其突出地位。学者梅根·史蒂文森(Megan Stevenson)展示了算法系统的用途如何随着时间和治理需要而转变。他提示,系统设计者必须持续监控错误率、偏差以及系统对一线用户控制感和伦理设定的侵蚀。否则,部署前的评估可能很快就会过时,只能为已经脱离了最初面貌的系统提供象征性的合法化要件。[65]阿米特·海姆(Amit Haim)敏锐地指出,从本质上讲,围绕代码公开与技术评估展开通知和评论程序,往往不可能捕捉到这些复杂性。由此,并非所有的问题都能在算法部署前通过技术手段被识别出来,下游开发者或部署者可能会对人工智能系统进行微调,这会改善或加剧上游开发者的工件中存在的危险。行为者也可能基于组织的需求,以意想不到的方式部署或使用人工智能系统。[66]与此同时,法院会发现很难理清算法行政中行政机关复杂的多层次结构及其技术运作限制。[67]例如,法官的一个常见选择很可能是指示机构只能将算法系统作为一种咨询或支持工具,并将这一地位告知机构员工,进行表面化的审查工作,就像“卢米斯诉威斯康星州刑事风险评估案”中所做的那样。[68]
另一方面,算法技术的风险可能是多环节、因果复杂的。故而,有必要结合多元视角、意见和知识,对算法行政的风险形成更加综合、整全的理解。比如说,上游的硬件设施设置、分布及数据挖掘若是与下游算法的设计逻辑不匹配,虽然各自引发的问题都不大,但导致的整体性问题可能是危害巨大的。在当下,数字技术的运用跨多个层级与地域,也可能跨多个部门,并被算法模型的技术外衣遮蔽,算法运营者将独立开发的多个模块组合成一个整体,但局部相互作用与影响可能导致算法行政的性能下降甚至失败。[69]就此,单个部门的算法模型纠偏若是不涉及对数据汇集架构的充分监督,也很难完整地识别其风险。[70]
相较而言,系统性信任的视角可以提示我们观察数字行政的整体生态,回应算法行政本身的社会技术系统属性。正如,相对于“芯片级”事项(例如测试数据集的准确性、代码设计与法律文本的契合性),人们更希望相信系统本身具有确保值得信任的适当机制。毕竟,与公众信任最相关的不是技术与组件,而是使用人工智能的系统。因此,为了促进信任,机构代表需要“明显地借鉴和再现决定机构系统可信度的结构维度”。[71]而在结构维度上,对算法行政的节点化的“抓拍”难以回应系统性、整体性问题,应当转向系统性信任的构建路径。行政法应当关注“作为官僚工具的算法系统应用”,围绕着对数字行政的内外部生态、权力互动关系展开风险识别与处置,展开系统性的信任构建,才能够更加到位地分析原有的各类法律控制工具的局限及其改进方向。[72]
(二) 构建系统性信任的制度方案
根据社会理论中的信任研究,构建算法行政中的系统性信任的方法主要包括:(1)专家信任或知识信任,科研人员必须开展深入的跨学科合作,将仍未明确的“值得信赖的人工智能”原则转化为协作的知识生产。(2)通过完善的规范制度和监管体系形成的制度信任与机构信任,即风险管理机构应当通过明显地维护公共价值观和法律规范来促进信任。[73]算法治理不仅要控制技术,还要约束技术背后的人与官僚体制。专家可以佐证技术的可靠性,制度则能够规范关联人的行为。经有权威的知识中介与机构中介的背书、说明与沟通,公众可以在不具备计算机科学与数据科学专业知识的情况下依然接纳和使用算法,提高对算法风险的接受度。[74]在合适的知识生产架构与信息传播模式下对算法行政展开公正、持续的评价和监管过程,方能有效维持与调适公众对算法行政的信任。
在知识信任层面,需要警惕的是“技术中心主义”的风险控制方式,即假定只有对技术有很高了解的人才能理解系统的复杂性,应当以其为核心参与知识形成与风险评估。欧盟《人工智能法》便强调技术知识在监管中的核心地位,例如第65条规定,委员会应通过实施法案,就设立独立专家科学小组作出规定,要求吸纳在人工智能领域具有特定的专业知识和能力以及科学或技术专长的专家,以支持本条例下的执法活动。然而,科学知识的性质是社会建构性的,这对传统科学知识的性质和专家角色构成挑战,官僚对于算法的运用偏好,社会主体对于政治、社会、经济不利影响的感知、对无形损害的估计等应当作为价值判断更强地植入到风险评估的过程中。[75]否则,如果就技术谈论技术,整个算法系统运用的社会影响就可以被行政机关进行选择性的说明与披露乃至营销性的政策欺瞒,营造表演性的风险沟通与算法透明。克服“算法风险”模糊性和主观性的难点正在于揭露技术系统运行的真实过程及内外部生态环境,进一步厘清“算法风险”社会建构所需的规范性要求、流程与知识。在此意义上,“技术中心主义”的知识中介形成方式存在很大的缺陷,亟须迈向更加开放、多元的知识协作生产模式。例如,梅根·史蒂文森指出,当下的人工智能风险控制注重通过技术细节对算法技术在实践中的影响进行评估,而不是对工具本身、使用方式及其所包含的政策结构的共同评估,这带来了很多片面化的评估结论与处置措施,亟须得到纠偏与改进。[76]在美国,纽约《政府部门自动决策系统法案》(Auto Decision System Task Force Law)意识到了这一点,要求成立包括熟悉自动化决策系统的多学科专家和受自动化决策系统影响的公民组织代表在内的工作组,专门强调对算法行政风险的识别应当汇集多种视角、专业领域和经验,综合多学科知识以及公众的反馈,精准分析多元的算法行政手段究竟会对政治及社会结构产生何种政策影响。[77]
在制度信任与机构信任层面,对公民算法信任产生更大影响的很可能不是技术本身,而是其运行机构与制度环境。风险管理机构的公正性和独立性将成为公民信任人工智能前景的基本规范要素。然而,控制算法行政风险的一个实践难题在于,公共部门往往既是监管者,也是监管对象。赋予数字技术使用者极大的裁量权,由其自行决定是否承担风险以及何种保障措施是最为合适的,但难以保证风险规制的公正性与有效性。比如,算法影响评估可能被用作“口头服务”使侵权性数据处理操作合法化,而实际上并未提供人们所希望看到的实体性保护。[78]在这方面,欧洲和美国目前的制度建设都存在相应的经验教训,值得我国参照与警惕。在美国,由于在法律上缺乏明确的算法行政监督规范,各个机构对算法技术适用的信息披露往往是一般性的,缺乏有用的细节。此外,由于法律并没有直接强制联邦机构降低人工智能风险,缺乏相应的法律责任与外部监督,很多机构都没有在风险控制上作出足够努力。风险规制方案取决于实践者的法治意识、外部呼吁及政治压力,很难形成稳定的信任机制。[79]在欧洲,根据《人工智能法》规定,针对大多数高风险的人工智能系统,开发者仍可自由选择是依靠内部控制还是让第三方审计师参与。此外,欧盟人工智能数据库要求高风险人工智能登记,但其内容多是提供者或部署者自己对于系统的描述、说明或摘要,与此同时缺乏明确的关于救济与举报监督权利的规定,这被批评为是一种内部管理式、封闭式、家长式的监管路径,忽视了外部专家与公众参与的重要性,赋予人工智能开发者和使用者过多的裁量权,可能带来“象征性”或“合谋性”的信息披露与风险管理。[80]
以行政规制的组织体制为例,为了提升规制机构的独立性、集中监管资源,有学者建议在中央层面设立独立机构,如专门负责监管和公开公共部门算法应用的中央算法委员会。一方面,中央机构有权发布和执行强有力的披露和公平要求;另一方面,独立机构能够确保算法的问责制和公平性落到实处。[81]不过,这一观点的潜在缺陷也需要注意:各地行政部门面临的技术能力挑战不同,且每个算法决策系统的具体情况差异显著。算法在不同行政领域、不同地域中的作用复杂多样,社会技术影响也各不相同,因此通过集中式流程设定统一标准既不可行也不理想。尽管某些普遍要求(如披露和非歧视)是必要的,但过于统一的规则可能忽视具体行业和算法应用的特殊需求。因此,风险管理机构的组织配置不应采用集中式流程或单一规则集,而应被授予足够灵活的权力,在统一的风险管理基本原则与底线标准的基础上,形成适应各自领域内有影响力的算法系统的定制考虑,在集中规制与分散规制间寻求理性的中道。
五、 结语
算法行政既是推动政府数字化转型的重要工具,也是对现有行政法治框架的巨大挑战。作为一种新型治理工具,算法不仅赋能了公共决策的效率与精准度,还在其透明性、可解释性和问责性上引发了前所未有的争议。强风险预防理念下的法律控制无法完全应对算法的复杂性和多样性,应当推动风险管理从强预防原则向可容忍风险理念的转型。算法行政的法律控制不可能一劳永逸,需要反思性、开放性、试验性的态度。未来,算法行政的信任构建将依赖多维度的努力。从根本上看,算法行政中的风险不仅是技术层面的问题,更是社会技术系统运作的结果,涉及多个层次的技术设计、数据管理、行政决策与权责分配问题。因此,单纯依赖“以技术制约技术”或对个别节点进行法律控制的方式,难以形成长效的信任机制。只有从系统性信任的角度出发,关注算法行政背后的组织环境、文化规范以及技术与人机互动的多层次动态,才能有效识别和控制算法行政的潜在风险。相较于节点式信任的方案,系统性信任的制度设计能够更加全面、科学地评估与应对算法风险,推动利益相关方之间的妥善沟通,培育公众对整个社会技术系统的信任,促进算法行政的行稳致远。
【注释】
基金项目:国家社会科学基金重大项目“社会信用体系的法律保障机制研究”(项目批准号:21&ZD199);2025年国家建设高水平大学公派研究生项目(项目编号:202506010235)。
See D.F.Engstrom & D.E.Ho,Artificially Intelligent Government:A Review and Agenda,in Roland Vogl ed.,Research Handbook on Big Data Law,Edward Elgar Publishing,2021,p.60.
参见王静、张红:《人工智能在数字政府建设中的应用及其法治化路径——基于DeepSeek在数字行政中应用场景的分析》,载《中外法学》2025年第3期。
代表性观点,参见王正鑫:《“立法性”算法权力的兴起与法律规制》,载《法制与社会发展》2023年第2期。
参见张欣:《算法行政的架构原理、本质特征与法治化路径:兼论〈个人信息保护法(草案)〉》,载《经贸法律评论》2021年第1期;黄智杰:《行政活动中个人信息权益救济的两种路径》,载《法制与社会发展》2023年第5期。
See K.Crawford,J.Schultz,AI Systems as State Actors,119 (7) Columbia Law Review 1941 (2019).
See Danielle Keats Citron,Technological Due Process,85 Washington University Law Review 1249 (2007).
参见刘东亮:《技术性正当程序:人工智能时代程序法和算法的双重变奏》,载《比较法研究》2020年第5期:谢尧雯:《生成式人工智能价值链行政监管与侵权责任的匹配》,载《政法论坛》2025年第2期。
See D.F.Engstrom & A.Haim,Regulating Government AI and the Challenge of Sociotechnical Design,19 Annual Review of Law and Social Science 278 (2023) .
See Z.Xu,From Algorithmic Governance to Govern Algorithm,39 AI & Society 1141 (2024),https://doi.org/10.1007/s00146-022-01554-4.
See K.A.Hoff & M.Bashir,Trust in Automation:Integrating Empirical Evidence on Factors that Influence Trust,57 (3) Human Factors 407 (2015).
R.Lukyanenko,W.Maass & V.C.Storey,Trust in Artificial Intelligence:From a Foundational Trust Framework to Emerging Research Opportunities,32 (4) Electronic Markets 1993,2006 (2022).
High-Level Expert Group on AI,Ethics Guidelines for Trustworthy AI,2019,https://www.europarl.europa.eu/cmsdata/196377/AI%20HLEG_Ethics%20Guidelines%20for%20Trustworthy%20AI.pdf,accessed June 12,2024.
A.Tamò -Larrieux et al.,Regulating for Trust:Can Law Establish Trust in Artificial Intelligence?,18 (3) Regulation & Governance 780,794 (2024).
Alon Jacovi et al.,Formalizing Trust in Artificial Intelligence:Prerequisites,Causes and Goals of Human Trust in AI (arXiv,January 20,2021),http://arxiv.org/abs/2010.07487.
T.Z.Zarsky,Incompatible:The GDPR in the Age of Big Data,47 Seton Hall Law Review 995,1017 (2016).
参见苏宇:《风险预防原则的结构化阐释》,载《法学研究》2021年第1期。
参见查云飞:《人工智能时代全自动具体行政行为研究》,载《比较法研究》2018年第5期。
代表性文献,参见赵宏:《公共决策适用算法技术的规范分析与实体边界》,载《比较法研究》2023年第2期。
U.Peters,Explainable AI Lacks Regulative Reasons:Why AI and Human Decision-Making Are Not Equally Opaque,3 (3) AI and Ethics 963 (2023).
参见展鹏贺:《数字化行政方式的权力正当性检视》,载《中国法学》2021年第3期。
Cary Coglianese & Alicia Lai,Algorithm vs.Algorithm,72 Duke Law Journal 1281 (2022).
See J.Thornton,Cost,Accuracy,and Subjective Fairness in Legal Information Technology:A Response to Technological Due Process Critics,91 New York University Law Review 1821 (2016).
S.Ranchordas,Empathy in the Digital Administrative State,71 Duke Law Journal 1341,1360 (2021).
J.Kleinberg et al.,Discrimination in the Age of Algorithms,10 Journal of Legal Analysis 113 (2018).
参见孙雨:《技术治官为何受地方政府官员欢迎?——以S省L市环境移动执法系统升级工作为例》,载《公共管理与政策评论》2024年第3期。
Mathews v.Eldridge | 424 U.S.319 (1976).
Daniel Busche,Verwaltungsautomation 2.0 Automatisiert erlassene Verwaltungsakteim Bereich von Spielräumen,S.50.
C.Coglianese & D.Lehr,Regulating by Robot:Administrative Decision Making in the Machine -Learning Era,105 The Georgetown Law Journal 1147,1163-1166 (2016).
参见崔金魁:《基于深度学习和大数据分析的智慧交通流量预测模型研究》,载《信息化研究》2024年第3期。
段玲玲、赵铭珊:《人工智能在环境监测中的应用分析》,载《环境与发展》2020年第10期。
Mariano-Florentino Cuéllar,Cyberdelegation and the Administrative State (October 1,2016),Stanford Public Law Working Paper No.2754385,p.140,available at SSRN:https://ssrn.com/abstract=2754385.
M.C.Claudy,K.Aquino & M.Graso,Artificial Intelligence Can't Be Charmed:The Effects of Impartiality on Laypeople's Algorithmic Preferences,13 Frontiers in Psychology 898027 (2022 Jun 29).
H.Kempt,J.C.Heilinger & S.K.Nagel,Relative Explainability and Double Standards in Medical Decision-Making:Should Medical AI Be Subjected to Higher Standards in Medical Decision-Making Than Doctors 24 (2) Ethics and Information Technology 20 (2022).
关于人机双重标准下的算法厌恶机制,可参见戴昕:《无过错责任与人工智能发展——基于法律经济分析的一个观点》,载《华东政法大学学报》2024年第5期。
A.Ingrams,W.Kaufmann & D.Jacobs,In AI We Trust?Citizen Perceptions of AI in Government Decision Making,14 (2) Policy & Internet 390,395 (2022).
A.F.T.Winfield & M.Jirotka,Ethical Governance Is Essential to Building Trust in Robotics and Artificial Intelligence Systems,376 Philosphical Transaction Royal Society A 20180085 (2018),https://doi.org/10.1098/rsta.2018.0085.
See M.C.Elish & D.Boyd,Situating Methods in the Magic of Big Data and AI,85 (1) Communication Monographs 57 (2018).
K.Yanovskiy,“Robots’ Invasion”:New Attack of Luddism or Real Challenge?available at SSRN 4741821,2024.
H.De Bruijn,M.Warnier & M.Janssen,The Perils and Pitfalls of Explainable AI:Strategies for Explaining Algorithmic Decision-Making,39 (2) Government Information Quarterly 101666 (2022).
C.R.Sunstein,Laws of Fear:Beyond the Precautionary Principle,Cambridge University Press,2005;J.L.Failer,Laws of Fear:Beyond the Precautionary Principle,4 (3) Perspectives on Politics 579-580 (2006).
参见宋华琳、邹志:《可接受风险理念下行政规制的法律改革》,载《社会科学》2024年第6期。
D.Kaur et al.,Trustworthy Artificial Intelligence:A Review,55 (2) ACM Computing Surveys (CSUR) 1,28 (2022).
参见丁晓东:《人工智能风险的法律规制——以欧盟〈人工智能法〉为例》,载《法律科学》2024年第5期。
参见刘子婧:《欧盟〈人工智能法〉:演进、规则与启示》,载《德国研究》2024年第3期。
参见宋华琳:《人工智能立法中的规制结构设计》,载《华东政法大学学报》2024年第5期。
参见蔡培如:《欧盟人工智能立法:社会评分被禁止了吗?》,载《华东政法大学学报》2024年第3期。
See Rogier Creemers,China's Social Credit System:An Evolving Practice of Control (May 9,2018),available at SSRN:https://ssrn.com/abstract=3175792 or http://dx.doi.org/10.2139/ssrn.3175792.
Dario Sansone & Anna Zhu,Using Machine Learning to Create an Early Warning System for Welfare Recipients,85 (5) Oxford Bulletin of Economics and Statistics 959 (2023).
S.E.Middleton et al.,Trust,Regulation,and Human-In-The-Loop AI:Within the European Region,65 (4) Communications of the ACM 66 (2022).
Manuel Wörsdörfer,Mitigating the Adverse Effects of AI with the European Union's Artificial Intelligence Act:Hype or Hope 43 (3) Global Business and Organizational Excellence 106 (2024).
N.A.Smuha et al.,How the EU Can Achieve Legally Trustworthy AI:A Response to the European Commission's Proposal for an Artificial Intelligence Act,available at SSRN 3899991,2021.
J.Laux,S.Wachter & B.Mittelstadt,Trustworthy Artificial Intelligence and the European Union AI Act:On the Conflation of Trustworthiness and Acceptability of Risk,18 (1) Regulation & Governance 3 (2024).
参见杨一健、王锡锌:《数字行政的算法风险及法律规制:法国经验与中国意义》,载《行政法学研究》2024年第4期。
参见赵宏:《法治国下的目的性创设——德国行政行为理论与制度实践研究》,法律出版社2012年版,第41—51页。
参见黄宇骁:《行政法学总论阿基米德支点的选择》,载《法制与社会发展》2019年第4期。
代表性文献,参见唐曼:《自动化行政许可审查的法律控制》,载《现代法学》2022年第6期;曹梦娇:《自动化给付的正当性基础及适用展开》,载《浙江学刊》2024年第4期。
参见胡敏洁:《自动化行政的法律控制》,载《行政法学研究》2019年第2期。
K.Siau & W.Wang,Building Trust in Artificial Intelligence,Machine Learning,and Robotics,31 (2) Cutter Business Technology Journal 47 (2018).
见前注[53],杨一健、王锡锌文。
参见张涛:《通过算法审计规制自动化决策——以社会技术系统理论为视角》,载《中外法学》2024年第1期。
见前注[20],展鹏贺文。
T.Z.Zarsky,Incompatible:The GDPR in the Age of Big Data,47 Seton Hall Law Review 995,1017 (2016).
See D.F.Engstrom & D.E.Ho,supra note [1].
S.M.G.Rankin,M.Moses & K.L.Powers,Automated Stategraft:Electronic Enforcement Technology and the Economic Predation of Black Communities,Wisconsin Law Review 665 (2024).
See M.Stevenson,Assessing Risk Assessment in Action,103 Minnesota Law Review 303 (2018).
See Amit Haim,The Administrative State and Artificial Intelligence:Toward the Internal Law of Administrative Algorithms,14 UC Irvine Law Review 103 (2024).
Ibid.
See Loomis v.Wisconsin,881 N.W.2d 749 (Wis.2016),cert.denied,137 S.Ct.2290 (2017).
See D.F.Engstrom & D.E.Ho,supra note [1],at 57-86.
参见徐曦昊、宋华琳:《美国行政法上的机构协调及其借鉴》,载《交大法学》2023年第6期;邓栩健:《新技术背景下数字法治政府建设的检视与思考》,载《东北大学学报(社会科学版)》2024年第4期;黄智杰:《目的限定视角下行政机关间共享个人信息行为的法治约束》,载《现代法学》2025年第2期。
Frens Kroeger,Facework:Creating Trust in Systems,Institutions and Organisations,41 (2) Cambridge Journal of Economics 487 (2017).
See Amit Haim,supra note [66].
B.Knowles & J.T.Richards,The Sanction of Authority:Promoting Public Trust in AI,Proceedings of the 2021 ACM Conference on Fairness,Accountability,and Transparency,2021,p.262-271.
参见戴维、王锡锌:《算法透明机制的局限性及其克服》,载《华东政法大学学报》2025年第1期。
A.D.Selbst,An Institutional View of Algorithmic Impact Assessments,Harvard Journal of Law & Technology 35,117 (2021).
See M.Stevenson,supra note [65].
Rashida Richardson ed.,Confronting Black Boxes:A Shadow Report of the New York City Automated Decision System Task Force,AI Now Institute,December 4,2019,https://ainowinstitute.org/ads-shadowreport-2019.html.
D.Kloza et al.,Data Protection Impact Assessments in the European Union:Complementing the New Legal Framework Towards a More Robust Protection of Individuals,1 Policy Brief D.Pia.Lab 1 (2017).
See Alex Engler,The AI Bill of Rights Makes Uneven Progress on Algorithmic Protections,The Brookings Institution,February 9,2023,https://www.brookings.edu/2022/11/21/the-ai-bill-of-rights-makes-uneven-progress-on-algorithmic-protections/.
See J.Laux,S.Wachter & B.Mittelstadt,Trustworthy Artificial Intelligence and the European Union AI Act:On the Conflation of Trustworthiness and Acceptability of Risk,18 (1) Regulation & Governance 3 (2024).
See N.Bunnell,Remedying Public-Sector Algorithmic Harms:The Case for Local and State Regulation Via Independent Agency,54 Columbia Journal of Law & Social Problems 261 (2020).