算法如何平等：算法歧视审查机制的建立
关键词：算法歧视；平等权；算法审查；算法审计
一、问题的提出
人工智能自20世纪中叶诞生以来，逐渐对人类生活、世界经济和社会进步产生深刻的影响。从宏观层面看，人工智能为城市规划治理、公共安全风险评估、智能预防犯罪、定向扶贫等提供决策支持。从微观层面看，人工智能已经成为个人日常生活的一部分，在自动驾驶、人脸识别、投资决策等方面都发挥了巨大的作用。人们普遍认为，人工智能的应用能够帮助人们对各类事项决策进行理性准确的决断。然而，实际情况并非完全如此，算法得出的决策可能会导致更为隐蔽和严重的算法歧视（Algorithmic Discrimination）。
算法（Algorithm）是指计算机在计算或解决其他问题的操作中要遵循的一个或一组规则。算法是计算机程序运行的数学公式，有三个特征：（1）它必须在某一点停止；（2）它必须有明确的指令和具体步骤；（3）它必须有效解决其旨在解决的问题。换句话说，算法就是将输入转换为输出的计算步骤的序列，在当代语境下，算法通常被限缩界定为可以由计算机等具有信息处理能力的装置所执行的解决某一问题的具体处理过程。而算法歧视是伴随大数据产生的一种新型歧视途径，是指算法设计中含有对某些特征群体的区别、排斥、限制或优惠，或者算法运行结果对某些特征群体产生了区别、排斥、限制或优惠的效果，且无正当理由证明其区别、排斥、限制或优惠措施是合理的。
如今算法运行逐渐取代人脑，人类只需统筹计算机的编程，随后便交由计算机自行运算，依据个人偏好，决定向用户投放的产品以及相关推送。无可厚非，算法的确减少了决策成本，提高了运行效率，但计算机程序并非人们设想的绝对中立，天然中立，算法可能因歧视性数据的输入结果也带有歧视，即“偏见进，偏见出”的模式。即使算法决策者使用了客观中立的基础数据，但这些客观中立的数据结合在一起仍可能产生歧视结果，如公司将通勤时间作为录用员工的标准，通勤成本高则拒绝录用，这可能会对住在城市周边地区的低收入人群构成歧视。还有大数据“杀熟”这种“看人下菜”的歧视模式，源自于计算机的深度学习，计算机通过对人们浏览、交易、评价等海量数据分析不断改进算法模型，更新算法决策结果并智能化地针对个人进行定价或推送。2018年3月底,媒体即爆出“滴滴利用大数据杀熟客”的消息，有网友在同一出发点和目的地，同一时段用不同账户打车时显示的价格不一致。滴滴针对新人通过低价吸引其继续使用，对老用户则提高价格获取更多利润。
在传统的物理社会，歧视比较容易被辨识，而在大数据时代，算法歧视具有较强的隐蔽性，有时甚至是无意识的，随着算法被广泛应用于社会各个领域，算法歧视也会呈现普遍性，多维度，多领域的特征。若数据和算法结果中带有歧视，不仅会损害公民基本的平等权利，也会导致社会财富和资源分配不公，引发一系列社会问题、伦理问题和法律问题，我们需要建立完善的法律制度进行指导和监督。
二、理论检视：算法规制的正当性基础
算法是经济发展科技进步的产物，目前算法被大多数互联网企业应用以提高决策效率，追求效益最大化。对于算法产生的负外部性，现实中不仅有市场自我调节，还有政府规制。市场主体基于市场竞争、商誉考量、利益最大化等内在动机会进行自我规制，且市场自我规制具有灵活性、低成本、高合规率的优势，而公权力规制虽然高效，但难免会产生僵化、滞后问题。然而，对于建立一个公平理性的算法世界来说，公权力的规制是必不可少的，并且应当发挥更大的作用。对此，我们需要讨论国家权力介入算法规制的正当性基础。
（一）平等权保护理论
平等的观念源远流长，追求平等是人类社会古老的理念。我国早在春秋时期就产生了“不患寡而患不均”的思想。随着人类智识的成熟和进步，最初的平等理念、平等原则逐渐发展为平等权，近现代随着宪法的有效实施，大多数民主国家已经将这项权利宪法化。平等权也是我国宪法规定的基本权利体系中的重要组成部分。我国宪法第33条第2款规定了平等权的一般条款：“中华人民共和公民在法律面前一律平等。”
平等权包含以下特点：首先，平等权作为一项基本人权，可从人权的普遍性原则中找到其逻辑根源。人权普遍性的主旨在于，基于人作为人的尊严和价值，基于人类有着共同的利益和共同的道德而不论其种族、肤色、性别、语言、宗教、政见、财产等状况如何，都应当享有他应当享有的权利。然而算法的出现使此种平等理念面临巨大挑战，美国一项研究表明，相对于非洲裔美国人，如果申请者的名字是欧洲裔美国人，即使简历内容相同，后者所能获得的面试邀请将比前者多出50%。根据种族因素进行不合理的差别对待，对非洲裔美国人的歧视使其未享受到应当享受的权利，造成了实质的不平等。
其次，平等权作为一项宪法上的基本权利，其并没有自身的具体内容，也就是说平等权只有在权利主体行使其他权利时才能实现，如通过实现政治、经济、文化、社会、家庭的平等来体现其权利价值。例如在消费领域，大数据出现之前，消费者大多会看到相同的广告并受到相同的优惠，但人工智能可以通过深度学习顾客的浏览记录，购物行为等为不同的顾客提供个性化的商品和服务，形成针对特定人的特殊规则，可能使得高收入人群享受服务时要付出更高的对价，此时法律则通过规制经济领域的不平等，甚至就业、教育等其他领域可能出现的歧视来保障公民在宪法上的平等权。
最后，平等权包含获得平等保护的权利和平等保护请求权两个层次的内容，平等保护请求权指公民有权积极要求国家为一定行为，以保证其不受不公平待遇或者纠正歧视行为。从自然法视角来看，权利保护是现代政府的天然责任。人们让渡自己的权利和自由给一个共同体来解决所面临的共同问题，这个共同体就是国家。既然人们组建国家的目的是为了保护自身权利，那么当一个人或一个群体被区别对待时，国家必须积极做出回应，履行职责，通过制度的力量使受到侵害的平等权获得保护。现如今算法歧视的产生对国家的平等权保护义务提出了更高要求，国家有义务建立完备的制度保护公平的平等权免受算法侵害。
（二）国家保护义务理论
国家保护义务理论来源于德国公法学上的基本权利的客观价值秩序功能。在德国宪法的理论与实践中，基本权利被认为有“主观权利”和“客观法”双重属性。主观权利属性是指个人得依据自己的意志向国家提出要求，而国家必须按此要求作为或者不作为，其核心功能是所谓“防御权功能”，要求国家承担消极的不侵犯义务，如果国家权力侵犯了公民权利，则公民有权依据《联邦德国基本法》第19条第4款规定提起宪法诉愿以保障自己的权利。德国在1958年“吕特案”中又创立了不同于主观权利的公民基本权利的“客观法”属性，其基本涵义是：基本权利除了是个人的权利之外，还是基本法所确立的“价值秩序”，这一秩序构成立法机关建构国家各种制度的原则，也构成行政权和司法权在执行和解释法律时的上位指导原则。换言之，“客观法”属性要求国家公权力的行使必须在基本权利的“价值秩序”下，时刻以维护保障基本权利作为自己的基本考量，运用一切可能的手段去促进和保障基本权利的实现。基本权利的双重属性要求国家一方面不得侵犯公民的基本权利，另一方面还有义务积极保护宪法确立的价值秩序不受侵害。
在客观价值秩序理论中，客观价值秩序的功能主要包括制度性保障、组织与程序保障和狭义的保护义务。狭义的保护义务是指国家保护公民免受来自第三方的侵害的义务，亦为本文所讨论之对象。如前文所述，算法在实际运用中会不可避免地产生算法歧视，当公民的平等权受到第三方私主体侵害时，即使此时法律关系主体都为私主体，而非国家-公民之间的权利义务关系，但在国家保护主义理论视角下，国家应当通过立法、行政、司法等国家机关履行保护义务，保障宪法确立的客观价值秩序的实现。首先是立法机关，须制定相应的法律法规以实现国家保护义务的价值，理智地平衡来自各方面的利益冲突，并通过具体化的法律创制来实现基本权利的保护，行政、司法机关继而以法律法规为依据，直接适用法律来促成基本价值的实现。因此，当公民的基本权利受到来自国家和公民之外的第三方，主要包括私人的侵害时，国家有义务通过立法、执法和司法来保障其基本权利。
（三）国家风险预防义务理论
国家风险预防义务实质是国家保护义务的扩大。国家保护义务要求国家保护公民的基本权利免受来自第三方的侵害，此种侵害不仅包含实害结果发生后的消除，风险社会下国家对潜在损害的识别、评估也尤为重要。随着工业时代到来，人类步入现代化社会，世界观逐渐由危险世界观向风险世界观转变。与之相适应，行政法也由传统的干预行政向现代给付行政转变，行政法的任务并不囿于公民消极自由之保障，还要积极重塑社会，实现社会公平、正义、和谐与保障社会安全。中国也正在步入风险社会，“风险预防”日益成为公共安全立法的关键词，预防重大风险是当代中国治国理政“底线思维”的要求。
什么是风险？重要社会学家卢曼认为，危险或风险都意味着某种损失，而这种损失是各种系统认识和判断的结果。风险是系统主观判断与自我认识评价的结果，是一种潜在的、非现实的损失，故特别强调对其进行评估与预防。关于风险概念的法律构建，从德国宪法教义学的角度看，“风险”是指有证据表明某种损害后果可能发生且立法者有能力预防，立法者的相应义务在于“排除”。我国宪法文本对于政治、经济、社会等领域可能面临的风险同样规定了相应的预防手段，如政治领域的风险，《宪法》第1条第2款规定：“禁止任何组织或个人破坏社会主义制度”；经济领域的风险，《宪法》第7条规定：“国家保障国有经济的巩固和发展”，这些规定体现了国家在宪法层面对于社会各领域的风险预防义务。
有学者认为，人工智能为我们描绘的未来图景可以引用英国文学巨匠狄更斯在《双城记》中的开篇语，“这是最好的时代，也是最坏的时代”。一方面人工智能现已成为新一轮革命和产业变革的着力点，云计算、大数据、深度学习算法的出现催发了新的产业形态，使得人类生活走向精细化、智能化和人性化，创造了巨大的经济价值和社会财富。另一方面，人工智能所展现的负面效应也引发人们思考，如何应对人工智能带来的风险。如今算法决策的规模化应用可能使得算法歧视已经延伸到社会生活的细枝末节之中，其不仅存在于我们已知的“杀熟”情景之中，还潜藏于未来求职就业信贷等更多领域。传统的行为主义方法论不能有效应对算法歧视，“权利保护―司法救济”这种事后处理模式不仅为时过晚，并且成本甚高、收效甚微，应当从“事后危险消除”模式走向“事前风险预防”模式，事前预防和事后监督双管齐下，才能实现算法歧视的有效治理。
三、实践考察：算法歧视的现有规制方式
对于算法产生的歧视及其他伦理问题，目前主要有市场和政府两个规制主体。市场自我规制的正当性在于企业追求商誉、经济效益等内在动力的要求，而政府规制的正当性基础已在前文详细论述。接下来将分别阐述实践中两个主体的具体规制措施。
（一）行业自律性规制
人工智能技术的发展离不开数据，数据作为基础性的生产资料，日益成为企业提升竞争力的核心资产，个人信息的收集、多方流转、比对与再利用成为价值创造的源泉。科技的发展加剧了个人与网络平台之间的信息不对称，平台对个人信息的密集追踪，大量机器对机器的被动收集往往不被用户所知悉。为了加强算法歧视的自律性规制，美国计算机协会发布了关于算法透明度及可审查性的七项基本原则，其中之一是算法数据可靠性原则，即算法的设计者需要对基础数据的来源及可靠性进行说明，并不得使用来源违法的基础数据、敏感性数据和产生歧视性后果的数据。2016年通过并于2018年生效的欧盟《通用数据保护条例》赋予数据主体获取信息权、修正错误信息权、遗忘权、限制信息使用权等多项权利从而保护公民的隐私和信息安全。
我国《网络安全法》借鉴了欧盟模式，赋予消费者知情权和自主选择何种信息被收集的权利，强调个人信息的收集、使用必须经过信息主体的同意。有学者提议企业应通过完善隐私政策进行自我规制，所谓隐私政策是指互联网企业以在线文件的方式自愿披露其对用户个人信息保护的原则和措施。如腾讯在隐私政策中发布了企业收集的个人信息范围、如何分享个人信息以及确保信息安全等。企业隐私政策是实施告知与选择机制的方式，告知意味着企业须向用户公布收集使用数据的相关流程，然后基于用户的知情、同意而进行选择，这样既保障了个人隐私和信息安全，又提升了网站运作的透明度，并且这一机制具有自愿性，不会对数据的合理流动造成不必要的限制，便于企业执行，几乎所有大型互联网企业均自发制定了隐私政策并加以实施。
但是，个人信息流转的多元复杂性为平台在隐私声明中清晰阐述带来严峻挑战，信息后续创新多次利用的目的往往难以在收集时预知，平台为遵循法律要求往往列出晦涩冗长的隐私声明，现实中用户通常缺乏耐心仔细阅读，直接点击同意越过隐私声明。事实上，用户并无实际选择的权利，为使用产品或服务用户除点击同意之外并无其他选择。此外，由于算法对数据和算力的掌握，已经使得匿名化处理、知情同意等个人数据和隐私保护措施形同虚设，用户虽有选择何种信息被收集的权利，但是信息被收集是必然的，大数据技术通过个人信息的累积及分析、比对，构建出完整的人格图像，极易挖掘出个人不愿为他人知晓的敏感信息，以及挖掘出许多并非属于个人但却能清晰识别特定个人的信息，换言之，大数据时代所有人都是透明的。
（二）政府他律性规制
我国在鼓励人工智能技术开发应用的同时，也从国家政策、法律法规层面对于人工智能的发展方向给予指引。2017年7月国务院发布的《新一代人工智能发展》已认识到人工智能可能引发的冲击法律与社会伦理、侵犯个人隐私等社会问题，国务院在要求大力发展人工智能的同时，也提出必须高度重视可能带有的安全风险挑战，确保人工智能安全、可靠、可控发展，加大对数据滥用、侵犯个人隐私、违背道德伦理等行为的惩戒力度。2019年6月17日，国家新一代人工智能治理专业委员会发布《新一代人工智能治理原则――发展负责人的人工智能》，提出人工智能治理的框架和行动指南，强调了包括尊重隐私、安全可控、敏捷治理等八项原则。
在人工智能算法应用于自动化决策的场景下，相关法律法规也在立法层面对企业应用自动化决策技术提出了具体要求。我国《电子商务法》第17条规定了“电子商务经营者应当全面、真实、准确、及时地披露商品或者服务信息，保障消费者的知情权和选择权”，第18条规定“电子商务经营者根据消费者的兴趣爱好、消费习惯等特征向其提供商品或者服务的搜索结果的，应当同时向该消费者提供不针对其个人特征的选项”，从而减少算法自动化决策过程中抹杀用户前面了解商品信息的机会，达到尊重和平等保护消费者合法权益的目的。2018年5月1日，全国信息安全标准化技术委员会发布的《信息安全技术个人信息安全规范》正式实施，该规范为企业落实《中华人民共和国网络安全法》中个人信息保护原则提供指引，被行业在数据合规工作中广泛采用，也是监管部门管理和执法的重要参考依据。2020年2月1日，信安标委发布《信息安全技术个人信息安全规范（草案）》，将个人信息处理是否可能对个人信息主体合法权益造成不利影响，导致歧视性待遇作为个人信息安全影响评估工作的主要内容之一。2019年5月28日国家互联网信息办公室发布了《数据安全管理办法（征求意见稿）》，该办法征求意见稿继承了《网络安全法》对个人信息收集、适用的“明示+同意”原则性规定的基础上，从法规层面明确了“网络运营者不得依据个人信息主体是否授权收集个人信息及授权范围，对个人信息主体采取歧视行为”。
首先，不论是行业自律性规制还是政府他律性规制，都立足于数据合规和个人信息保护。（不可否认，）算法的应用离不开数据，“数据是大数据时代的新石油”，算法依靠全量数据的“投喂”运算、学习从而完成任务，一方面数据资源多少会直接影响算法赋权的大小，另一方面数据质量会影响算法处理的结果。隐私政策可以控制数据资源的多少，却无法控制输入端数据的质量，继而无法控制因偏见数据带来的算法歧视风险。歧视基于的数据是特征数据，其范围远大于敏感数据和隐私数据。现有的隐私政策多关注在信息收集伊始，对信息使用环节并没有规定。企业可以在商业利益的驱动下将用户数据特征分类从而采用不同对待措施来获取利益最大化，而这一做法并不违反隐私政策，因为企业没有擅自抓取用户数据或将用户隐私或敏感信息泄露、共享或转售给第三方。企业自我规制无疑可以使企业在追逐经济利益的同时承担一定社会责任，但也需要政府他律性规制来平衡企业经济利益和社会公共利益。
其次，从算法歧视的可规制阶段来看，主要包括算法歧视的孕育阶段和实害阶段。孕育阶段包括数据输入、算法设计、深度学习等过程，即使信息保护措施中规定网络平台在搜集数据时要强制进行技术性脱敏（敏感性因素排除），以规范可能构成歧视的算法自动化决策中的“目标变量”，尽可能保证输入端的数据中立客观，但仍然无法覆盖解决算法在设计以及深度学习过程中可能出现的变异，甚至算法中立但却出现歧视性结果。所以应该建立算法的审查与评估机制，使其得到专家、决策者和公民的验证，尽可能不受偏见和无意识歧视作用的影响。
再次，在实害阶段，当算法决策存在歧视且给当事人造成不利后果时，公民只能选择诉讼途径向算法决策者或使用者追究责任，而面对拥有巨大技术、信息、资本，相对来说具有支配优势的网络平台企业时，个体与之对抗的能力微乎其微。尽管行业自律性约束可以一定程度上减少算法歧视，但国家权力的介入仍然必不可少，并且算法歧视作为依托大数据的一种新型歧视方式，对于传统的“损害――救济”的法律监管方式模式带来了严峻挑战，这警醒我们需要寻找新的应对方案来保障公民权利。
综上，借鉴国内外成熟的经验和做法，笔者认为应当建立专门机构，即算法审查委员会来应对算法歧视。建立专门机制，首先可以对算法运行的全过程，包括数据输入、算法设计、算法运行、结果影响进行有效的审查监督。其次，专门机构由专业人员遵循特定程序监管算法，可以保证审查相对独立、专业、公平的进行。最后，建立专门机构并赋予其预先备案、事后介入调查等职能，可以实现“事前预防”和“事后救济”双管齐下，更加全面有效地规制算法歧视。
四、制度愿景：建立算法歧视审查机制
（一）算法歧视审查的主体
随着算法技术的不断成熟扩展，算法歧视随之伴生在越来越多领域，价格歧视，就业歧视，信用歧视等，且算法具有高技术性、复杂性、模糊性，如果不同领域的算法歧视由不同领域的执法机构审查规制，规制成本较高且短时间内缺乏可行性，所以一个值得考虑的选择是建立专门统一的算法审查机关。例如，反就业歧视是一个监管难度颇大的领域，美国为解决这一问题，专门建立了平等就业机会委员会（Equal Employment Opportunity Commission）。该机构是《1964年民权法案》实施机制的核心，作为重要的独立联邦行政执法机构在美国反就业歧视立法和执法方面起着重要的作用。在我国，中央网络安全与信息化委员会办公室和国家互联网信息办公室（简称网信办）一套机构，两块牌子，负责指导、协调、督促有关部门加强互联网信息内容管理。结合域外制度经验及我国国情，可以赋予网信办算法审查相关职能，在网信办中设立算法审查委员会，为保证审查过程和结论的客观公正，除由行政机关人员参与外，还应吸纳相关领域的专家、消费者代表、业界代表，行使备案、调查、调解、支持诉讼等职能，专门处理各个领域的算法歧视案件。
该机构的职能可以包括如下方面。
第一，接受算法设计者和使用者在使用算法前将算法模型、数据和决策过程的备案。之所以是备案而不是审查，是因为审查所需程序复杂，时间较长，不符合经济市场瞬息万变的特征，备案制度可以更好的兼顾经济利益和公共利益。备案时要明确算法的设计者和使用者，算法设计目的，算法模型，数据来源，这样便于损害发生时算法可被审计。算法审计（Algorithm Auditing）是美国法的概念，在计算机科学中，“审计”是指“对软件产品和流程与相关法规，标准，指南，计划，规范和程序是否一致进行独立评估”。审计旨在揭示计算机是否遵循了适当的程序，并揭露任何篡改计算机系统操作的行为。算法审计原则的逻辑是，算法决策过程如同黑匣子看不见且有时无法被解释，但是算法输入和输出可见，发生损害性后果后由算法审查委员会对其进行事后审计，这样可以倒逼算法设计者和使用者合法合规设计和使用算法，承担一定的社会责任。危害和歧视就是算法决策的社会成本，备案审计制度通过公开算法背后的人来强制其履行社会责任从而将社会成本内化，相比算法透明原则，即要求公开源代码，输入和输出，审计原则更现实可行且可以更有效的规制算法。
第二，受理、调查相关的算法歧视指控，针对歧视指控协调双方进行自愿和解。这是算法审查委员会的一个重要职能。公民在生活中如果遭受算法歧视，可以向算法审查委员会投诉，算法审查委员会根据投诉可以展开调查；委员会如果在执法中发现算法歧视行为，其也可以主动展开调查。为了平衡算法使用者和相对人之间不对称的权力关系，国内有学者提出算法解释权，即认为自己可能遭受算法侵害的人，有权要求知晓个人数据处理的逻辑，可以向算法做出的决定提出异议并要求其更正错误。算法使用者一般是大型的互联网公司、企业等，个人要求其解释算法运行要花费较大的成本，而算法审查委员会可以提供一个沟通平台，传递双方诉求，分享其调查的信息，鼓励被指控人与指控人自愿和解，这样可以大大节约时间和金钱成本。若双方不同意和解，则算法审查委员会可根据调查结果出具审查意见书，认定是否构成算法歧视。算法审查委员会还可以向互联网行政管理机关提出算法歧视行为的处理建议。这种建议应当具有法定地位和权威，能够成为互联网行政管理机关作出行政处罚等处理决定的主要依据。
第三，支持公民提起算法歧视诉讼。算法歧视仍然属于歧视的范畴。针对歧视，我国没有专门的反歧视行政执法机构，只在部门法中规定了歧视的司法救济，如《就业促进法》规定，实施就业歧视的，劳动者可以向人民法院提起诉讼。虽然实践中存在受害人因歧视提起诉讼维权成功的案例，但由于我国反歧视立法的不健全，人民法院认定构成歧视还是非常艰难的。并且，在算法歧视案件中若个人提起民事诉讼，由于对算法技术缺乏了解、企业内部管理决策信息难以获取、歧视难以证明等问题，个人在调查取证方面处于弱势地位，胜诉的可能性较低；加上司法诉讼的时间和金钱成本相对较高，现实中很多受害人会选择放弃救济。在美国，国会最初只授予了平等就业机会委员会调查和和解的权限，但是后来国会扩大了其职能，赋予其针对非法雇佣行为提起民事诉讼的权力，其可以选择以自己的名义代表群体受害人提起诉讼，也可以加入由原告提起的民事诉讼。但我国目前可以提出公益诉讼的主体范围有限，可以考虑由算法审查委员会为公民提供法律咨询、专家意见、证据材料支撑等服务，从而平衡原被告双方力量，使得公民有能力通过司法途径维权。
（二）算法歧视审查的标准
算法歧视可能不被公众所熟知，但对于歧视，公众却不陌生。1989年，联合国人权事务委员会（Human Right Committee）通过十八号《一般性意见：不得歧视》，第一次对歧视做了明确界定：“所用‘歧视’一词的含义应指任何基于种族、肤色、性别、语言、宗教、政治或其他见解、国籍或社会出身、产生、出生或其他身份的任何区别、排斥、限制或优惠，其目的或效果为否认或妨碍任何人在平等的基础上认识、享有或行使一切权利和自由。”而所谓算法歧视是指，算法设计中含有对某些特征群体的区别、排斥、限制或优惠，或者算法运行结果对某些特征群体产生了区别、排斥、限制或优惠的效果，且无正当理由证明其区别、排斥、限制或优惠措施是合理的。所以基于目的歧视和效果歧视，可以将算法歧视大体分为直接歧视和间接歧视两类。不同类型歧视的隐蔽性不同，侵权损害程度也不同，故应采用不同的审查标准。
1.直接歧视――差别性对待标准
直接歧视又可以称为有意歧视，即歧视者主观上是故意的。在美国法上，直接歧视是指基于特殊类别，如性别、种族等，对不同个人或群体采取不同措施，使其受到差别性对待（Disparate Treatment）。有学者认为，“直接歧视是指在本质相同的情况下以种族、民族、宗教信仰、性别、婚姻状况、社会出身、年龄、身体特征等理由实施的损害他人或特定群体合法权利不合理的差别对待。对于直接歧视，应当采用差别性对待标准，重点在于判断“对待”上的差别性正当与否。在此种审查标准下，存在主观故意或固有刻板印象，是算法使用者承担责任的前提条件，算法使用者没有歧视的主观故意或固有刻板印象，即使算法给当事人形成了歧视并造成了伤害，也不用承担责任。
算法决策的直接歧视主要包括以下两种表现形态：第一种形态是，算法的设计需要编写明确的指令和记录指令的代码，算法设计者在设计过程中直接将民族、性别、宗教、经济状况等受保护群体的特征因素作为变量纳入算法设计中，并人为操纵算法的各个或部分环节从而获得一个歧视性结果，这种歧视直截了当，是算法对人为偏见的复制。但在多数情况下，算法设计者会采用更“聪明”的做法，选择上述特征因素的公然替代因素（Blatant Proxy）作为算法设计参数，这是算法歧视的第二种形态。例如美国禁止种族歧视，算法设计者可以采用邮政编码作为种族的替代因素，通过邮政编码来辨别和筛选是白人或黑人；身高和体重也可以作为性别的替代因素，饮食习惯作为宗教的替代因素等。并且随着大数据的发展，替代因素必然会呈现多样化的趋势，这些替代因素就像一层“面具”，使得算法歧视的意图更加不易被察觉，这也要求算法审查者需要更“聪明”，撕下这层伪装。
因此，我们在对算法歧视的主观“故意”进行认定时，应注意有些“故意”具有极强的隐蔽性，它可能不会对歧视群体表现出强烈的差别对待，而是通过常见的却有区分效果的特征来达到不同待遇的目的，此种特征要求对算法决策起着实质性作用，才能认定其为具有歧视意图的算法。在认定歧视的证据方面可通过间接证据证明，因为被告很少承认他们在决策过程中考虑了受保护群体的特征。并且，算法歧视的主观意图是一个宽泛的概念，它并不仅指算法设计者的主观意图，也可以通过算法运行过程中的一系列表现形态推导出来，这个过程需要各种间接证据来加以推断证明。
2.间接歧视――差别性影响标准
在美国法上，间接歧视是指规则虽然面向全体人群，但却对特殊群体产生不利后果，使其受到差别性影响（Disparate Impact）。周伟教授对其的定义是“虽然在形式上没有以种族、民族、宗教信仰、性别、婚姻状况、社会出身、年龄、身体特征等理由的差别对待，但行为与其实现目的无直接关系，要求的条件不合理、不必要、不合比例，实施的效果损害了他人或特定群体的合法权利，并且其合理性可以用与区别无关的客观标准予以证明。”间接歧视的判断重点在于差别性“影响”是否具有正当性。
算法设计中立并不意味着算法产生的结果一定中立。算法可以被粗浅的分为两类。第一类是将人类定义的模型应用于数据的算法，这类算法可以自动化计算，也可以非自动方式（即通过人工）执行，因其采用预定义的模型，所以其输出结果原则上是可预测的，其产生的歧视相对易于辨别和纠偏。第二类是使用数据生成模型的算法，这类算法不仅可以自动配合模型的应用，还可以从数据中生成和选择模型，它可以完成和第一类算法不同的预测任务，因为他们能够学习，即随着时间的推移改进他们的模型，这种学习被称为“机器学习”（Machine Learning）。机器学习的结果就是设计者有时也无法控制和预测。结果带有歧视的原因可能是输入歧视性数据，也可能计算机在深度学习过程中“无意间”产生歧视。所以间接歧视责任的承担不以主观故意为要件，而是看算法决策产生的实际结果是否导致了差别性影响。
法律既禁止不合理的区别对待措施，也认可基于合法目的的正当区别。当实际结果产生差别性影响时，应回溯至算法自动化决策过程中目标变量的选择和使用与其追求的目标之间是否有直接的相关性，模型蕴含或生成的区别要件是否合理、必要、合比例。首先，算法要实现的目标必须具有正当性，其设计参数、模型的选择与目标的实现具有直接关联性，如果手段与目的不相关，则认定存在算法歧视。其次，即使手段与目的具有直接关联性，仍然需要进一步审查。有些领域基于特殊的行业标准、专业标准或生理标准等，需要对面向人群作出区分，如某些岗位不可避免的要对性别提出条件；某些产品只能针对特定人群销售。此种情境下要求区分须是“合理、必要、合比例”的，即区别对待的理由是合理的，合理的标准是基于客观现实，而不是主观擅断；采取的算法是必要的，没有其他的算法能够替代此种对特定人群产生不利影响的算法；并且产生的差别性影响是“合比例”的，即对特定人群产生的不利影响不显著大于对社会其他公众产生的影响。若不满足上述要件，则构成算法歧视。
（三）算法歧视审查的效力
首先，备案的效力。作为一个程序性事项，备案的功能一是促使算法在出现算法歧视时可以追溯责任主体。可应当通过立法方式明确算法备案的情形、程序及法律责任。如果义务主体未履行备案义务，应当承担不理的法律后果，如给予信用惩戒以及行政处罚。这样的事后处罚机制可以督促算法使用者主动备案，及时履行备案程序，同时减轻执法人员负担。
其次，审查意见书的效力。算法审查委员在调查算法歧视案件后，如果双方达成和解，应当书面制作和解协议。如果未达成，则委员会必须出具审查意见书，其内容主要包括案件说明、调查过程、调查结果，相应救济和处罚建议等。该审查意见书具有法律约束力，能够成为当事人主张权利救济的依据。
最后，争议解决机制的效力。双方达成和解协议后，如果一方当事人反悔，则另一方当事人不可以再针对同一案件向算法审查委员会投诉，可以直接寻求司法部门救济。如果最终由算法审查委员会出具审查意见书，当事人对算法歧视认定及后续的行政处罚不服，可以依法申请行政复议或提起行政诉讼。
五、结语
人工智能的出现不仅改变了社会基础、商业模式和生活方式，也使我国法律制度面临“破窗性”的挑战。大数据时代每个人都面临被机器追踪，算法评估决策的境遇，并且随着算法应用领域的拓宽，未来司法领域也可能走向智能化，身份识别、证据认定、瑕疵审查等有智能机器辅助人类进行，因此算法是否客观中立影响我们的切身利益，我们应对其给予足够的重视。目前，我国没有统一的反歧视立法，也没有专门规制算法运行的法律，信息科学技术飞速前进的同时也要克服效率导向、利益导向下的算法黑箱造成的歧视性算法操作，积极架构与新技术、新社会相适应的权利保护框架，更好地促进人工智能时代法律的变革与转型升级。
参见刘宪权：《人工智能时代的刑事风险与刑法应对》，《法商研究》2018年第1期，第4页。
See Bradley Williams, Preventing Unintended Internet Discrimination: An Analysis of the Computer Fraud and Abuse Act for Algorithmic Racial Steering, 2018 U. Ill. L. Rev. 858 (2018).
参见张吉豫：《智能社会法律的算法实施及其规制的法理基础――以著作权领域在线内容分享平台的自动侵权检测为例》，《法制与社会发展》2019年第6期，第82页。
See Talia B. Gills & Jann L. Spiess, Big Data and Discrimination, 86 U. Chi. L. Rev. 459, 467(2019).
Tal Z. Zarsky, Understanding Discrimination in the Scored Society, 89 Wash. L. Rev. 1375 (2014).
参见李树忠：《平等权保护论》，2006年中国政法大学博士学位论文，第21页。
参见斯眉：《卫报：人工智能已出现种族和性别偏见》，《北京科技报》2017年4月24日，第007版。
参见李树忠、侯晓光：《平等保护请求权研究》，《政法论坛（中国政法大学学报）》2004年第4期，第35页。
参见李树忠：《平等权保护论》，2006年中国政法大学博士学位论文，第77-78页。
参见张翔：《基本权利的双重性质》，《法学研究》2005年第3期，第24页。
参见《联邦德国基本法》第19条第4款规定：“任何人的权利收到公权力的侵犯，都可以向法院起诉。”
参见张翔：《基本权利的双重性质》，《法学研究》2005年第3期，第25页。
张翔：《基本权利的双重性质》，《法学研究》2005年第3期，第28页。
梁洪霞、王芳：《从“996工作制”看我国休息权的国家保护义务》，《西南政法大学学报》2019年第6期，第65页。
曾�S：《风险社会背景下行政法范式的流变：预防行政概念的提出》，《社会科学战线》2010年第7期，第179页。
王旭：《论国家在宪法上的风险预防义务》，《法商研究》2019年第5期，第112页。
前引④，《论国家在宪法上的风险预防义务》，第113页。
前引④，《论国家在宪法上的风险预防义务》，第116页。
参见吴汉东：《人工智能时代的制度安排与法律规制》，《法律科学（西北政法大学学报）》2017年第5期，第129页。
参见崔梓靖：《算法歧视挑战下平等权保护的危机与应对》，《法律科学（西北政法大学学报）》2019年第3期，第33页。
参见范为：《大数据时代个人信息保护的路径重构》，《环球法律评论》2016年第5期，第93页。
参见郑智航、徐昭曦：《大数据时代算法歧视的法律规制与司法审查――以美国法律实践为例》，《比较法研究》第2019第4期，第117页。
参见高秦伟：《个人信息保护中的企业隐私政策及其政府规制》，《法商研究》2019年第2期，第17页。.
参见腾讯网：《隐私政策》，https://privacy.qq.com/，2020-03-05。
参见前引①：《个人信息保护中的企业隐私政策及其政府规制》，第17，19页。.
参见范为：《大数据时代个人信息保护的路径重构》，《环球法律评论》2016年第5期，第93-94页。
张凌寒：《<电子商务法>》中的算法责任及其完善》，《北京航空航天大学学报》2018年第6期，第19页。
See generally Daniel J. Solove, The Future of Reputation: Gossip，Rumor and Privacy on the Internet (2007), http://docs.law.gwu.edu/facweb/dsolove/Future-of-Reputation/text/futureofreputation-ch1. pdf.
参见高秦伟：《个人信息保护中的企业隐私政策及其政府规制》，《法商研究》2019年第2期，第21页。
参见陈际红、韩璐：《<数据安全管理办法（征求意见稿）>解析》，http://www.zhonglun.com/Content/2019/05-29/1520544924.html，2020-04-01.
参见周辉：《算法权力及其规制》，《法制与社会发展》2019年第6期，第116页。
参见郑智航、徐昭曦：《大数据时代算法歧视的法律规制与司法审查――以美国法律实践为例》，《比较法研究》第2019第4期，第115页。
参见郑智航、徐昭曦：《大数据时代算法歧视的法律规制与司法审查――以美国法律实践为例》，《比较法研究》第2019第4期，第116页。
参见崔梓靖：《算法歧视挑战下平等权保护的危机与应对》，《法律科学（西北政法大学学报）》2019年第3期，第33页。
See Mary Kathryn Lynch, The Equal Employment Opportunity Commission: Comments on The Agency And Its Ｒole In Employment Discrimination Law, 20GA. J. INT'L＆COMP. L. 1990, pp.96－97.
See IEEE Computer Society, IEEE Std 1028 - IEEE Standard for Software Reviews and Audits § 8.t (Aug. 15, 2oo8), http://ieeexplore.ieee.org/document/46o1584 [https://perma.cc/WLD6-VPUN].
Joshua A. Kroll; Solon Barocas; Edward W. Felten; Joel R. Reidenberg; David G. Robinson; Harlan Yu, Accountable Algorithms, 165 U. Pa. L. Rev. 661 (2017).
杨成越、罗先觉：《算法歧视的综合治理初探》，《科学与社会》2018年第4期，第11页。
Jack M. Balkin, 2016 Sidley Austin Distinguished Lecture on Big Data Law and Policy: The Three Laws of Robotics in the Age of Big Data, 78 Ohio St. L.J. 1217 (2017).
张凌寒：《风险防范下算法的监管路径研究》，《交大法学》2018年第4期，第58页。
参见唐颖侠、范金梅：《美国反就业性别歧视救济机制及其对中国的启示》载《反歧视评论》2015年第二辑，第120-121页。
载HPI/GEN/1/Ｒev.9(Vol.Ⅰ).
周伟：《中华人民共和国反歧视法学术建议稿》，《河北法学》2007年第6期，第11页。
郑智航、徐昭曦：《大数据时代算法歧视的法律规制与司法审查――以美国法律实践为例》，《比较法研究》第2019第4期，第118页。
See Tal Z. Zarsky, Understanding Discrimination in the Scored Society, 89 Wash. L. Rev. 1375 (2014):1394-1395.
Texas Dep’t of Cmty. Affairs v. Burdine, 450 U. S. 248，101 S. Ct. 1089，67 L. Ed. 2d 207（1981）．
Stephanie Bornstein, Antidiscriminatory Algorithms, 70 Ala. L. Rev. 519, 521（2018）．
周伟：《中华人民共和国反歧视法学术建议稿》，《河北法学》2007年第6期，第11页。
See Bryce Goodman, Discrimination, Data Sanitisation and Auditing in the European Union's General Data Protection Regulation, 2 Eur. Data Prot. L. Rev. 493 (2016):495-496.
马长山：《智能互联网时代的法律变革》，《法学研究》2018年第4期，第20页。 作者简介：韩铄，中央财经大学法学院硕士研究生。 文章来源：《南海法学》2020年第2期 发布时间：2021/1/18