算法是一系列解决问题的步骤和指令,是程序设计的核心,算法的优劣在很大程度上影响着程序的效率1。一般认为,算法同数据一样本质是中立的,一旦其与数据相结合,数据便可通过算法技术形成高价值的信息资源。如何获取数据,获取什么数据,如何筛选数据,这些问题都依赖于算法,算法日益成为数字经济时代必不可少的工具,有学者甚至将当前的社会称之为算法社会(AlgorithmicSociety)2。
一、问题的提出
什么是算法歧视?巴罗卡斯(SolonBarocas)和塞布斯特(AndrewD.Selbst)认为,算法自动化决策可能给某些群体带来歧视性的不利结果。郭哲引用马克思·韦伯的观点3,指出“算法权力证件逐渐形成一种‘准公权力’,使得传统的权力格局发生了权力主体去中心化、权力作用范围的延展化和权力互动的双向化之变迁,改变了原有的权利——权力格局。”需要注意的是,当算法从权利转变为权力,其就拥有了对社会的强制力,但由于算法具有技术专业性、单方性和隐蔽性的特征,这种强制力便很可能是被疏于监控的。刘友华4把算法偏见分为损害公众基本权利的算法偏见(具体包括性别歧视和种族歧视两类)和损害竞争性利益的算法偏见,并指出为了维护经营者和消费者双方的权益,应当对运用算法限制竞争的行为予以规制。刘晓楠5进一步把目光投入到AI领域,他指出,在应对算法歧视的对策上,应当主要从严控数据质量、透明性、可解释性等方面入手,以规制AI适用的伦理困境。
近年来,随着社会生产方式的变革,算法频频出现不公平的运算结果。在斯坦福疫苗分配一案中,支疫苗在算法的运算下只分配给了一线医护人员了7支,而绝大多数疫苗却分配给了退居二线的高级教职人员,不禁让斯坦福大学的医师们喊出了“算法去死”的口号6。这是一种算法自动化决策带来歧视性不利后果的典型表现。一对夫妻一起申请了AppleCard,但丈夫获得的信用额度确是妻子的20倍——即便是夫妻两人共同报税,而且妻子的信用积分更高。此外,美国信息技术行业企业家Hansson则明确表示,他认为AppleCard的程序存在性别歧视。他的信用额度也是他妻子的20倍,但即使他还清了最低还款额后,AppleCard也不会在下一个结算期前批准妻子的任何支出额度7。更有甚者,今年2月20日,谷歌EthicalAI(AI伦理)团队的创始人玛格丽特·米切尔更是因为其文章中所描述的对于AI人工智能中所蕴含的对少数边缘群体偏见的言论而被解雇。
大数据杀熟在如今也广为诟病8。“大数据杀熟”的逻辑是根据用户的消费记录和其他个人信息,判断用户消费能力。消费能力强的,价格就贵一点,消费能力弱的或者新用户就便宜一点。价格歧视存在的一大重要前提是,企业能够区分对商品需求程度不同的消费者群体。这在大数据时代很容易实现,互联网公司可以通过账户资料、搜索记录、购物历史等形成用户画像,对其消费能力和消费意愿作出较为准确的判断。
大数据杀熟这个词于年3月首次进入大众视野。当时有一名网友无意中发现,自己长期在某网站预订的酒店房间价格在-元之间,而用朋友的账号查看时,同一间的价格只有元左右9。大数据杀熟远不止价格歧视这么简单,优先级降低也是杀熟的一种表现。上海徐汇区居民汤先生,为了送女儿上学,在某网约车服务平台上购买了多张代金券。本来是图个优惠,但却总是打不到车。从未买过券的妻子,打车却是一叫一个准10。以信息差减少用户选择迫使用户高消费也是大数据杀熟的体现之一,北京朝阳区某外企从事咨询业务的张玲常在某OTA(在线旅行社)上预定高档酒店11。一次她去外地出差时发现,用自己账号登录在线旅行社时显示,某酒店只剩高级客房,但退出账号查询,平台却显示还有多间普通客房。
不仅如此,大数据杀熟在某些领域甚至上升到“大数据售假”的阶段。一些平台代购化妆品,对于Dior、阿玛尼这些昂贵的化妆品,会根据其掌握的买家的收入、消费状况进行细分:如果系统判断购物者是个富裕的人,平常一直用此类昂贵化妆品,就会邮寄正品;如果系统判断购物的人是一个消费水平较为一般的人,可能很少、甚至不会购买专柜里的化妆品,就会邮寄A货12,反正以此类人的消费水平,大概率未曾购买过正品,自然无法识别其购买的产品是否具备应当具有的质量。而商家同时会标榜发布“7天无理由退货”,即使被发现是假货,只要同意退货就能够解决问题,这将不会对商家造成除了运费以外的任何损失。然而现实情况下,退货率只有2%而已。
这不禁带给我们深思,算法歧视的本质是什么?以大数据杀熟为典型的算法歧视之法律性质如何认定?如何有效规制算法歧视?
二、算法歧视运用的现状
年,白宫发布了一份题为《大数据:抓住机遇,保护价值》(Podestaetal.,)的报告13。该报告认为,受数据来源的特定性和算法设计者主观意图的影响,算法自动化决策往往会对申请者的工作、教育或信贷构成隐性偏见。这种结果可以自我强化,从而系统性地减少个人获得信贷、就业和教育的机会,这会使他们的处境恶化并在未来的申请中处于不利地位14。此外,该报告指出算法定向投送针对性内容也并非全是坏处,其具备一定完美个性化的福利与双赢。融合大量不同类型的数据并实时处理他们,就有可能在消费者开口之前便已提供给他们正确的信息、产品或者服务,这既为消费者提供了便利,也增加了商户的销量,提高了交易的效率。
然而,“完美的个性化”(“perfectpersonalization”)也会在定价、服务与机会方面造成微妙的或是不明显的歧视。例如,国外的一项研究表明15,涉及到黑人常用名(例如,“杰梅因(Jermaine)”)的网络搜索比涉及到白人常用名(例如,“杰弗里(Geoffrey)”)的搜索结果中更容易出现含有“逮捕”意味的广告。这项研究无法确定为什么种族偏见的结果会产生,因为从算法的角度来看,广告显示的生成是一个基于多变量的综合决策过程。显然,不同的群体通过不同的信息服务所产生的结果,有可能对个人造成真实的伤害,这种伤害可能发生在任何时候,比如求职、买房甚至只是简单搜索信息的时候。还有一处值得