那是2021年10月，44岁的Imane是三个孩子的母亲，几周前做的腹部手术还在疼痛中。她当然不想待在现在的地方:坐在鹿特丹市中心附近一栋大楼的小隔间里，听两名调查人员审问她。但她必须证明自己的清白，否则就有可能失去她用来支付房租和购买食物的钱。

　　Imane小时候随父母从摩洛哥移民到荷兰。在与丈夫离婚后，由于健康问题，她成年后开始领取福利。从那以后，她一直靠福利金和零星的清洁工作艰难度日。伊曼妮说，她愿意做任何事情来离开福利制度，但慢性背痛和头晕让她很难找到工作并保住工作。

　　本文是Lighthouse Reports和WIRED联合调查的一部分。阅读该系列的其他故事，请点击这里。

　　2019年，伊曼内的健康问题迫使她辞掉了一份清洁工作，她首次引起了鹿特丹欺诈调查人员的注意。她受到了盘问，失去了一个月的救济金。“我只能付房租，”她说。她回忆起从邻居那里借食物的压力，并让还在上学的16岁儿子去打工以帮助支付其他账单。

　　现在，两年过去了，她再次受到怀疑。在鹿特丹社会服务部会面的前几天，伊曼尼已经精心准备好了文件:她的租赁合同、荷兰和摩洛哥护照的复印件，以及几个月的银行对账单。家里没有打印机，她就去图书馆打印。

　　“我花了两年时间才恢复过来。我精神崩溃了。”

　　Imane，鹿特丹居民

　　在狭窄的办公室里，她看着调查人员翻阅着那堆文件。她说，其中一名男性大声说话，当他的指责在薄薄的隔间外回荡时，她感到很羞愧。他们告诉她，她带错了银行对账单，并当着他们的面强迫她登录自己的账户。在她拒绝之后，他们暂停了她的福利，直到她两天后提交正确的声明。她松了一口气，但也很害怕。她说:“与市政当局开会的气氛很糟糕。”她补充说，这种折磨已经造成了损失。“我花了两年时间才恢复过来。我精神崩溃了。”

　　伊曼娜(Imane)并不是唯一一个这样做的人，她要求不使用真实姓名，以免受到市政府官员的影响。每年，鹿特丹都有成千上万的人接受福利欺诈官员的调查，他们会寻找滥用该制度的人。自2017年以来，该市一直在使用一种机器学习算法，该算法在之前的12707次调查中受过训练，以帮助确定个人是否有可能实施福利欺诈。

　　机器学习算法为鹿特丹大约3万名福利接受者中的每一个人生成风险评分，城市官员在决定调查谁时考虑这些结果。Imane的背景和个人经历意味着该系统将她列为“高风险”。但她被标记的过程是一个受到道德问题和技术挑战困扰的项目的一部分。2021年，该市暂停了风险评分模型的使用，因为政府支持的外部审计人员发现，市民无法判断他们是否被该算法标记过，而且它使用的一些数据可能会产生有偏见的输出。

　　作为对Lighthouse Reports和WIRED调查的回应，鹿特丹提交了有关其系统的大量细节。其中包括机器学习模型、训练数据和用户操作手册。这些信息的披露，让人们前所未有地了解了一个被用来对数万人进行分类和排名的系统的内部运作。

　　有了这些数据，我们能够重建鹿特丹的福利算法，看看它是如何给人们打分的。这样做揭示了某些特征——为人父母、女性、年轻、荷兰语不流利、或正在努力找工作——会增加某人的风险得分。该算法将像Imane这样的单身母亲列为特别高危人群。审查了我们调查结果的专家表示，他们严重担心这一制度可能存在歧视。