该软件自2014年起实施,旨在通过挖掘大量应用程序来寻找顶尖人才。AI会对申请人的评分为1到5星,就像您可能会对亚马逊上的产品评分一样。
“每个人都想要这个圣杯,”参与该算法的人告诉路透社。“他们真的希望它成为一个引擎,我将给你100个简历,它会吐出前五名,我们会雇用那些。”
该模型经过培训,可以查看亚马逊在过去十年中为软件开发人员工作和技术职位招聘的模式。虽然从表面上讲这是有道理的 - 在过去的10年里,亚马逊已经发展壮大,这是一个很好的迹象,它已经聘请了合适的人 - 在实践中它只能重现已经存在的性别偏见。事实上,过去10年中大多数雇员都是男性,算法开始考虑到这一点。
它开始惩罚包括“女性”一词的简历,意思是“志愿与女性代码 ”这样的短语将被标记为针对申请人。它专门针对两所全女子大学,虽然消息来源不会告诉路透社哪些大学。
该公司能够编辑算法以消除这两个特定的偏差。但是出现了一个更大的问题 - 其他偏见是人工智能的加强还不是那么明显吗?没有办法确定。在多次尝试纠正该计划后,亚马逊高管最终在2017年失去了兴趣。该算法被放弃了。
事件表明,由于人类不完美,他们的不完美之处可以融入为避免此类问题而构建的算法中。人工智能可以做我们可能永远不会做的事情,但我们永远不能忽视一个危险且不可避免的事实:他们必须向我们学习。