即使是最好的面部识别算法，也仍然难以识别黑人面孔，尤其是对于女性。这是根据9月份在2020年欧洲计算机视觉大会(ECCV)上举行的面部识别和分析竞赛的结果得出的，该竞赛显示较高的错误识别和较低的假阴性率(正确匹配)黑人妇女，眼镜佩戴者和年幼的孩子。
ECCV挑战的目标(即2020年ChaLearn公平人脸识别与分析挑战赛)旨在通过一组面部识别算法评估性别和肤色方面的偏见。要求参与者开发，测试和提交算法方法，以减少偏差。挑战从4月到7月进行，包括开发阶段和测试阶段。根据组织者的说法，它总共吸引了151名参与者，他们提交了1,800多种方法。
值得注意的是，这项比赛是由AnyVision赞助的，这是一家面部识别厂商，最近从未公开的投资者那里筹集了4,300万美元。该公司声称已经在全球数百个站点试用了其软件-我们自己的分析表明，该软件显示出种族偏见-包括俄克拉荷马州普特南县和德克萨斯州德克萨斯市的学校。
每个团队都必须使用相同的数据集，其中包含152,917张6139位男性和女性的照片，年龄从34岁到65岁以上。AnyVision注释器根据年龄，肤色和其他属性标记图像，并由多个注释器验证将数据集分为训练，验证和测试子集之前的准确性标签。
另一个挑战是，组织者确保数据集中的照片捕获了一系列头部姿势，并显示出“黑人”比“黑人”多得多的白人男子，他们说这更好地反映了现实世界中的情况。
通过准确性和算法表现出识别偏差的程度对团队进行排名。当前十种方法比较不同人的照片时，肤色最深的女性最有可能受到歧视(45.5%的时间)，而肤色较浅的男性受到的影响最小(12.6%)。而且，许多方法都被戴眼镜的人的照片所困扰。在对结果进行分析之后，组织者发现，与老年人相比，数据集捕获的年轻人戴眼镜的可能性较小(图中未满35岁的年轻人中只有16%戴眼镜)，这可能导致偏见。
不幸的是，结果并不令人惊讶-无数的研究表明，面部识别很容易产生偏差。科罗拉多大学博尔德分校的研究人员去年秋天发表的一篇论文表明，来自亚马逊，克拉里菲，微软和其他公司的AI可以使顺式男女的准确率保持在95%以上，但将跨性别男人误认为女性的准确率高达38%。Gender Shades项目和美国国家标准与技术研究院(NIST)对主要供应商系统进行的独立基准测试表明，面部识别技术表现出种族和性别偏见，并建议当前的面部识别程序可能会非常不准确，从而将人员分类错误占96%的时间。
挑战后的分析表明，最成功的解决方案结合了不同的策略来缓解偏见，例如面部预处理，数据分布均匀化，使用偏见感知损失函数和集成模型等，这表明存在组织者总结说：“这不是一种适用于所有情况的通用方法。”“尽管具有很高的准确性，但所有方法都没有偏差。”
