亚马逊弃用了一个故意不招女性给简历评分的工具

路透社近日披露，亚马逊在去年弃用了一个筛简历的 AI 工具——它好像发展出了性别歧视倾向，直接通过关键词筛掉了一堆女应聘者。

信源告诉路透社，亚马逊从 2014 年起就开始开发这个用于评价简历的程序，它会给所有简历按 1-5 星打分（就像在亚马逊上给货品评分一样）。

“每个人都想要圣杯，” 一个信源说道，“他们真的就想把这个软件发展成那样的引擎，给它 100 个简历，它立马给你排出最优秀的 5 个，我们直接雇佣他们就好了。”

可是，这个程序被人类投喂的训练资料是过去 10 年亚马逊收到的简历。它在回顾这些简历后挑选出 5 万个关键词用作评判标准，学习到的是人类 HR 招人的模式。

该模式显然有不完善之处。在这个本来就由男性主导的科技界，招聘中有话语权的人因为种种原因更乐意招入男性。这也告诉了系统，具有男性特质的简历总会是公司青睐的选择，因而它耿直地把带有“女子的”（women’s）名词降权（比如“女子象棋俱乐部”），直接筛掉两所女校的毕业生，并且倾向使用“男性化”用语的简历，比如“执行”（executed）和“捕捉”（captured）。

工程师们在一年后发现了这个问题，立刻修改了程序，期望它在某些问题的判断上对所有人都持中立”态度。然而这并不能保证软件不会在其他地方、以别的形式歧视某个人群。而且亚马逊还发现，软件有时会留下根本不达标的候选人，智能比较有限。他们最终在去年年初放弃了这个工具，因为高层对它的表现失去了信心。

有越来越多的公司开始使用 AI 软件筛第一轮简历，据悉有 55% 的美国人力资源经理说 AI 会在 5 年内成为他们日常工作的助手。这个案例可能会给予他们一些启示——机器从人类给予的材料中习得他们潜意识中的偏见，最终在“算法偏见”的影响下区别对待被评判的对象，做出错误判断或显示错误结果。

这种机器偏见跨越各个领域：一个叫做 COMPAS 的系统通过计算罪犯再次犯罪的可能来给罪犯量刑提供指导，但是它的结果明显表现了种族倾向，当一个白人犯罪老手和黑人新手同天被录入系统时，机器认为黑人更可能在未来犯罪（两年后，白人因抢劫罪被判刑 8 年，黑人未受任何指控）；今年 2 月，MIT 发现三大性别识别 AI（分别来自 IBM、微软和旷视）判断白人男性的准确率达到 99%，对黑人女性的准确率是 35%，因为在它们接受的识图训练里，白人男性数量远远超过黑人女性。

深度学习公司 MetaMind Richard Socher 曾指出，AI 已经渗透了我们的生活，所以它们不带任何偏见是至关重要的，没人有意将系统设计得具有偏见，但是“如果用糟糕的数据去训练它，它就会做出糟糕的判断”。

令专家们感到担忧的是，虽然有越来越多的系统显出了偏见，但是很多公司和政府决策者，要么过于相信系统，要么对限制这种偏见并不感兴趣。