欢迎光临
我们一直在努力
您的位置:首页>资讯 >

LinkedIn开源工具包可衡量AI模型的公平性

LinkedIn今天发布了LinkedIn Fairness Toolkit(LiFT),这是一个开放源代码软件库,旨在支持AI和机器学习工作流程中的公平性度量。该公司表示,可以在训练和评分过程中部署LiFT,以测量训练数据集中的偏差,并评估模型的公平性,同时检测各个子组之间的性能差异。

在AI中有无数的公平定义,每个定义都体现了对用户公平的不同方面。根据这些定义监视模型是确保获得公平体验的一步,但是尽管有一些工具包可以解决与公平相关的挑战,但是大多数工具包都无法解决大规模问题,并且与特定的云环境相关。

相比之下,LiFT可以用于临时公平性分析或作为任何大型A / B测试系统的一部分。它可用于探索性分析和生产中,其偏差测量组件可以集成到机器学习培训和服务系统的各个阶段。此外,它引入了一种新颖的度量不可知的测试框架,该框架可以检测在不同子组之间测量出的统计上显着的性能差异。

LinkedIn表示,LiFT具有可重用性,可使用包装和用于部署的配置语言。在最高级别,该库提供了一个由简单配置提供支持的基本驱动程序,从而无需编写代码和相关的单元测试即可对数据集和模型进行公平性测量。但是,LiFT还提供对高层和低层API的访问,这些API可用于在所有粒度级别上计算公平性指标,并具有扩展键类以启用自定义计算的能力。

为了实现可伸缩性,LiFT利用Apache Spark,仅使用主键,标签,预测和受保护的属性将数据集加载到组织好的数据库中。计算数据分布并将其存储在单个系统内存中,以加快后续公平性度量计算的计算;用户可以在这些发行版上进行操作,也可以处理缓存的数据集以获取更多相关指标。

到目前为止,LinkedIn表示已在内部应用LiFT来测量模型训练数据集的公平性指标,然后再进行训练。未来,该公司计划通过更深入地整合LiFT来不断增加用于测量和缓解偏差的管道数量。

“新闻头条和学术研究都强调,基于人类偏见的广泛社会不公正现象可以反映在用于训练AI模型的数据和模型本身中。研究还表明,受这些社会偏见影响的模型最终可以加强这些偏见并永久歧视某些群体。” LinkedIn高级软件工程师Sriram Vasudevan,机器学习工程师Cyrus DiCiccio以及应用研究人员Kinjal Basu在博客中写道。“我们正在努力通过避免模型中的有害偏见并确保具有同等才​​能的人们平等地获得工作机会,来创建一个更加公平的平台。”

免责声明:本网站图片,文字之类版权申明,因为网站可以由注册用户自行上传图片或文字,本网站无法鉴别所上传图片或文字的知识版权,如果侵犯,请及时通知我们,本网站将在第一时间及时删除。