荷兰法院裁定黑盒子福利欺诈检测系统违反人权

 
荷兰法院裁定，荷兰政府部署了一种算法风险评分系统，以试图预测社会保障索偿者将兑现福利或税收欺诈的可能性违反了人权法。
荷兰政府的系统风险指示(SyRI)立法使用了未公开的算法风险模型来描述公民的身分，并且仅针对大多数低收入和少数民族居民的社区。人权运动家称其为“福利监督国”。
荷兰的许多公民社会组织和两名公民煽动了针对SyRI的法律诉讼-试图阻止其使用。法院今天下令立即停止使用该系统。
这项裁决被人权运动家誉为具有里程碑意义的判决，法院的判决依据是欧洲人权法，尤其是《欧洲人权公约》(ECHR)第8条所规定的享有私生活的权利-而不是欧盟数据保护框架(GDPR)中与自动化处理相关的专门规定。
GDPR第22条规定，个人有权不受制于可能产生重大法律效力的完全自动化的个人决策。但是，如果有人在循环中某个地方，这是否适用，可能会引起一些模糊性，例如审查有关异议的决定。
在这种情况下，法院裁定SyRI直接干扰ECHR中规定的权利，从而回避了此类问题。
法院特别指出，SyRI立法未通过《欧洲人权公约》第8条中的平衡测试，该测试要求权衡任何社会利益与侵犯个人私生活的权利，并要求公平合理的平衡。法院认为，自动化风险评估系统未能通过这项测试。
法律专家建议，该决定对英国公共部门如何利用人工智能工具设定了明确的限制，法院特别反对算法风险评分系统的运作方式缺乏透明度。
在有关判决的新闻稿中(使用Google翻译将其翻译成英文)，法院写道，对SyRI的使用“不够清楚和可控制”。根据人权观察，荷兰政府在听证会上拒绝透露有关SyRI如何使用个人数据来推断可能欺诈的“有意义的信息”。
法院通过指出算法上的“黑匣子”和耸耸肩，显然试图对该州试图规避对人权风险的审查持淡淡的看法。
法院的推理并不意味着应该进行全面披露，但显然希望获得关于模型和评分的开发方式(客观标准)以及解决个人特殊风险的方式的更多可靠信息。
联合国极端贫困与人权问题特别报告员菲利普·阿尔斯通(Philip Alston)通过向法院提供人权分析来干预此案，对该判决表示欢迎，称该判决“对于所有理所当然地关注这一严重罪行的人来说，是一个明显的胜利。数字福利系统对人权构成的威胁。”
“这项裁决为其他法院树立了强有力的法律先例。这是世界上任何地方法院第一次以福利为由停止福利机构使用数字技术和丰富的数字信息，”他在一份新闻声明中补充说。
早在2018年，阿尔斯通(Alston)警告说，英国政府急于应用数字技术和数据工具对社会上大规模提供公共服务的工程进行重新设计，可能会对最弱势群体的人权产生巨大影响。
因此，荷兰法院的裁决可能会对英国在这一领域的政策产生近期影响。
该判决并没有完全关闭各国使用自动配置文件系统的大门，但确实表明，欧洲的人权法对于权利风险工具的设计和实施必不可少。
正是在关键时刻，欧盟决策者正在制定一个规范人工智能的框架，欧盟委员会承诺制定规则，以确保以人为本的道德规范应用AI技术。
委员会是否会推动对AI在公共部门的特定用途(例如用于社会保障评估)的泛欧盟限制还有待观察。最近泄露的有关AI法规的白皮书草案表明，它倾向于风险评估和基于风险的规则的拼凑而成。