研究人员发现AI不利于预测GPA，勇气，迁离，职业培训，裁员和物质困难

由160个数据和社会科学团队的112多位研究人员合着的一篇论文发现，人工智能和统计模型用于预测儿童，父母和家庭的六个生命结局，即使接受了来自13,000多个数据点的训练，也不是很准确4,000个家庭。他们断言，这项工作是关于使用预测模型的警示故事，尤其是在刑事司法系统和社会支持计划中。

研究共同负责人，普林斯顿大学社会学教授，中心临时主管马特·萨尔加尼克(Matt Salganik)表示：“在这里，我们有数百名参与者和丰富的数据集，即使是最佳的AI结果也仍然不准确。”伍德罗·威尔逊公共与国际事务学院的信息技术政策。 “这些结果向我们表明，机器学习不是魔术;在预测人生历程时，显然还有其他因素在起作用。”

脆弱的家庭研究

这项研究于本周发表在《美国国家科学院院刊》上，是《脆弱家庭挑战》的一项成果，该研究是一项多年合作计划，旨在招募研究人员通过使用相同的方法预测相同的结果来完成预测任务。相同的数据。应用了457个以上的组，其中选择了160个组，并使用误差度量对他们的预测进行了评估，该误差度量评估了它们预测保留数据(即组织者拥有的数据，但对于参与者不可用)的能力。

挑战来自普林斯顿大学，哥伦比亚大学和密歇根大学的脆弱家庭研究(以前称为脆弱家庭和儿童福祉研究)的结果，该研究一直在研究1998年之间在美国20个大城市出生的约5,000名儿童的研究。和2000年。它旨在对这些城市中未婚夫妇的出生率进行过度抽样，并解决研究人员和决策者感兴趣的四个问题：

未婚父母的条件和能力

未婚父母之间关系的性质

这些家庭中的孩子如何生活

政策和环境条件如何影响家庭和儿童

“当我们开始时，我真的不知道大规模合作是什么，但是我知道将我们的数据介绍给一组新的研究者：数据科学家是个好主意，”威廉·S·托德(William S. Tod)萨拉·麦克拉纳汉(Sara McLanahan)说。普林斯顿大学社会学和公共事务教授。 “结果令人大开眼界。”

脆弱家庭研究数据集由模块组成，每个模块大约由10个部分组成，其中每个部分都包含有关孩子的父母，照顾者，老师和孩子本身的问题。例如，可能会询问一位最近分娩的母亲与亲戚关系，政府计划和婚姻态度的关系，而可能会向一个9岁的孩子询问父母的监护，同胞关系和学校。除调查外，语料库还包含家庭评估的结果，包括心理测验，生物特征测量以及对邻居和房屋的观察。

挑战赛的目的是预测15岁儿童的社会结果，其中包括1,617个变量。从变量中选择六个作为焦点：

平均绩点

砂砾

家庭搬迁

物质困难

初级护理人员裁员

主要照顾者参加工作培训

提供给研究人员的匿名背景数据来自4,242个家庭和每个家庭的12,942个变量，以及训练数据，其中包含一半家庭的六个结果。挑战赛结束后，将使用保留数据对所有160个提交的内容进行评分。

最后，即使是提交的3,000多种模型中最好的模型(通常使用复杂的AI方法并可以访问数千个预测变量)也没有出现。实际上，它们仅比不依赖任何形式的机器学习的线性回归和逻辑回归更好。

麦克拉纳汉补充说：“运气在人们的生活中起着重要作用，或者我们的理论因社会科学家而缺少一些重要的变数。” “目前尚无法确定。”

用确定系数或最佳模型的预测与真实数据的相关性来衡量，“物质困难”(即15岁儿童的父母是否遇到财务问题)的准确度为0.23或23%。 GPA预测为0.19(19%)，而坚毅，迁离，职业培训和裁员分别为0.06(6%)，0.05(5%)和0.03(3%)。

“结果提出了与简单的基准模型相比，复杂的机器学习模型的相对性能问题。在“挑战”中，只有几个预测变量的简单基准模型仅比最准确的模型稍差一点，并且实际上优于许多模型。”研究的共同作者总结道。 “因此，在使用复杂的预测模型之前，我们建议决策者确定可达到的预测准确性水平是否适合使用预测的环境，复杂模型在其环境中是否比简单模型或领域专家更准确，以及预测性能的可能改进是否值得创建，测试和理解更复杂模型的额外费用。”

该研究小组目前正在申请拨款，以继续该领域的研究，他们还在名为《社会学》(Socius)的一期特刊上发表了研究小组的12项研究成果，这是美国社会学协会的新开放获取期刊。为了支持其他研究，所有提交挑战的材料(包括代码，预测和叙述性解释)将公开提供。

算法偏差

挑战并不是第一个揭露AI和机器学习模型的预测缺陷的人。致力于负责任使用AI的非营利性联盟AI伙伴关系在去年的首份报告中得出结论，算法不适合自动化预审保释程序或将某些人标记为高风险并将其拘留。众所周知，在法官的决策中使用算法会产生基于种族的不公平结果，更有可能将非裔美国囚犯标记为有再犯危险。

众所周知，人工智能存在偏见问题。例如，词嵌入是一种常见的算法训练技术，涉及将词链接到向量，不可避免地会拾取(最糟糕的是放大)源文本和对话中隐含的偏见。美国国家标准技术研究院(NIST)最近的一项研究发现，与高加索人的面孔相比，许多面部识别系统更容易误识别有色人种。据报道，亚马逊的内部招聘工具(接受了十年内提交的简历的培训)被报废了，因为它显示出对女性的偏见。

已经提出了许多解决方案，从算法工具到可以通过众包大型培训数据集来检测偏差的服务。

在2019年6月，Microsoft与AI公平性专家合作，修订并扩展了用于训练Face API的数据集.Face API是一种Microsoft Azure API，提供用于检测，识别和分析图像中人脸的算法。去年五月，Facebook宣布了“公平流”，如果算法根据种族，性别或年龄对一个人做出不公平的判断，它将自动发送警告。 Google最近发布了What-If工具，这是TensorBoard Web仪表板的TensorFlow机器学习框架的偏差检测功能。值得一提的是，IBM于去年秋天发布了AI Fairness 360，这是一个基于云的全自动套件，可以“持续提供[见解]”，以了解AI系统如何做出决策并建议进行调整，例如算法调整或平衡数据。可能会减少偏见的影响。