FairTest: Discovering Unwarranted Associations in Data-Driven Applications

最新推荐文章于 2024-11-18 19:00:00 发布
最新推荐文章于 2024-11-18 19:00:00 发布
阅读量522 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： 机器学习公平性测试 文章标签： 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhu1534120216/article/details/108527376
本文介绍了fairnessbugs的概念，即受保护属性与算法输出间的显著关联，提出了UA框架，一种全面的测试工具，用于检测和调试图像分类、收入预测等领域的公平性错误。通过递归分割用户空间，最大化不公平效应的用户亚群关联度，帮助开发者理解和修正算法偏见。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

       文中最先提出了“fairness bugs”的概念。他们认为受保护的属性和算法输出之间在统计上显著的关联是一个公平错误，在这篇论文中特别命名为“无保证的关联”。他们提出了第一个全面的测试工具，旨在帮助开发人员通过“易于理解”的错误报告来测试和调试公平性错误。该工具可用于各种应用领域，包括图像分类、收入预测和医疗预测。

 

       算法递归地将用户空间分割成更小的子集，以最大化算法输出与受保护用户之间的关联度量。细粒度偏差发现是系统的核心组成部分并提出了一种新的关联引导树形构造算法，以有效地搜索具有强烈不公平效应的用户亚群。提出的测试工具是UA框架，我们用回归模型(逻辑回归或线性回归)对受保护属性S和大量依赖输出标签O之间的关系进行建模。框架结构和基本算法如图：

这种方法包含5个步骤：

1.数据选择和预处理：受保护属性S，上下文属性X，解释性属性E

2.整合可解释的因素：关联并不一定是bug,一些关联是可以接受的或者甚至是必要的关联，这部分关联被视为可解释的因素

3.选择恰当的度量标准：度量标准用来测试输出和受保护属性之间是否存在一定的关联，一般有4种度量标准，这四种又可以被归为3类：频率分布度量，关联性度量，回归度量

 

4. 粒度和统计上的严格测试用户的亚种群：提出了关联导向树构建

5.适应性调试

职场初体验：入职6个月的数据科学家为你指路
读芯术的博客
10-25 428
全文共3030字，预计学习时长8分钟 图源：unsplash 六个月前，笔者从咨询顾问正式转职成为了数据科学家。半年时间里，我从这一趣味盎然的领域里收获了出乎意料的满足感，笔者想要将工作期间积累的六个经验教训分享给大家。 阅读arXiv论文 arXiv论文库是卓越思想和先进技术的源泉，也许你已经意识到阅读arXiv论文很有收获。 在这一平台上收获的大量可行性建议令笔者感到惊喜。例如，笔者可能曾经并没有从零开始训练BERT模型所需要的16个TPU（张量处理单元）和7000美...
【多线程】Java多线程中的锁机制
qq_40939454的博客
02-21 476
Java多线程中的锁机制 一、锁机制 为什么要使用锁？ 多线程为了保证线程安全，让多个线程执行的情况和单线程一样，在读的时候是不影响线程安全的，但如果对数据操作，增加或者删除，几个线程同时进行，就会发生删多或者增加多的情况，这时候为了保证线程安全，就可以加锁。 二、锁的种类 一、重量级锁 在1.6版本之前，加锁的操作是涉及到操作系统进行互斥操作，就是会把当前线程挂起，然后操作系统进行互斥操作修改，由mutexLock来完成，之后才唤醒。操作系统来判断线程是否加锁，所以它是一个重量级操作。挂起、唤
一文了解分布式系统测试方法
编程是一门实践技术
04-10 1496
现阶段按压测不是什么新鲜事，已经不存在技术瓶颈和资源问题，在一些成熟企业中甚至成为了一项日常事务性工作，甚至已经固化到某些应用程序版本的迭代流程中了。但压测也绝没简单到只在压测平台上设置参数、运行脚本，然后看压测报告中某个指标是否满足压测要求那么简单。在笔者最近参与的一项压测工作过程中就出现了很多细节的问题，导致与QA同学就压测计划和压测指标等方面再次沟通并进行了二次压测，浪费了很多工作量，所以才有了这篇文章。
【多目标跟踪】FairMOT项目测试
怡宝2号
06-10 3128
参考自:https://blog.csdn.net/sinat_33486980/article/details/105611295 效果好不好不知道，但是肯定简单易懂。 1. 项目地址 https://github.com/ifzhang/FairMOT 2. 效果 FAIRMOT多目标跟踪 3. 依赖 gcc5.4 pytorch>=1.2.0 torchvison==0.4
NYOJ1058部分和问题
大肉包的博客
07-29 457
部分和问题 时间限制：1000 ms | 内存限制：65535 KB 难度：2描述 给定整数a1、a2、…….an，判断是否可以从中选出若干数，使它们的和恰好为K。输入 首先，n和k，n表示数的个数，k表示数的和。 接着一行n个数。 （1<=n<=20,保证不超int范围） 输出 如果和恰好可以为k，输出“YES”，并按输入顺序依次输出是由
Fairness in Machine Learning: A Survey 阅读笔记
Catherine_he_ye的博客
11-26 1777
FAIRNESS IN MACHINE LEARNING: A SURVEY（A PREPRINT） Simon Caton, Christian Haas Keywords fairness, accountability, transparency, machine learning
Concurrent - Semaphore - Semaphore(int permits)
jvisualvm
12-05 318
原创转载请注明出处：http://agilestyle.iteye.com/blog/2342878   Semaphore所提供的功能完全是synchronized关键字的升级版，但它提供的功能更加的强大和方便，主要的作用是控制线程并发的数量。 Semaphore(int permits)   设置permits为1 Service.java package org.fool....
6个月的数据科学
weixin_26729763的博客
10-08 215
Since my title flipped from consultant to data scientist six months ago, I’ve experienced a higher level of job satisfaction than I would have thought possible. To celebrate my first half year in this...
201910个人笔记
zhanghu0905的博客
02-14 7406
动向MYJAVA java -jar /usr/local/zh/JavaApplication6/JavaApplication6.jar & java -jar /usr/local/zh/callback/callback.jar & 可通过在线生成Cron表达式的工具：http://cron.qqe2.com/ 来生成自己想要的表达式 zh_shell restar...
FairTest-crx插件
04-04
FairTest是一个浏览器扩展，可用于管理在线测试。 由于COVID-19，许多学术考试必须在线进行。 测试管理员发现很难监视用户是否以公平的方式进行测试。 FairTest会监视考生系统中打开的选项卡，并将已由考生打开的...
AI 在软件开发
最新发布
shangzhiqi的博客
11-18 1823
随着 AI 技术的不断发展，AI大模型正在重塑软件开发流程，从代码自动生成到智能测试，未来，AI 大模型将会对软件开发者、企业，以及整个产业链都产生深远的影响。欢迎与我们一起，从 AI 大模型的定义、应用场景、优势以及挑战等方面，探讨 AI 是如何重塑软件开发的各个环节以及带来的新的流程和模式变化，并展望未来的发展趋势~
公平性机器学习中基于分类间隔的歧视样本发现和消除算法
大肉包的博客
12-02 1153
发表于中国科学：信息科学 主要是提出了提出了一种基于分类间隔的加权方法用于处理二分类任务中的歧视现象, 并在 demographic parity 和 equalized odds 公平性判定准则上实现分类公平。通过发现和消除原始数据集中的歧视样本寻找生成公平数据集的方法。 论文中总结了机器学习公平性的研究，大致归为以下 3 大类： 第 1 类方法通过数据预处理消除歧视样本. 主要策略是通过修改训练集来平衡分类公平性和准确性, 如修改样本属性、 修改样本标签、 修改训练集大小； 第 2 类方法在模型的
THEMIS 机器学习公平性测试
大肉包的博客
07-22 1082
我们的因果歧视评分是一种更强的歧视测量，因为它在软件中寻找因果关系，测量输入的分数，改变特定的输入特征导致输出改变。因果辨别评分确定哪些特征会直接影响输出结果，例如，虽然群体和明显的歧视得分惩罚软件提供贷款给不同的分数对于不同种族的个人，因果歧视评分会惩罚向一个种族的个人提供贷款的软件，而不是向另一个种族的相同个人提供贷款的软件。 群体歧视(算法1)测量群体歧视得分相对于其输入特征X '的子集。根据定义3.6,GroupDiscrimination将X '固定在特定的值上(第2行)，以计算固定了X '
Handling Conditional Discrimination（可解释歧视和确切的歧视）
大肉包的博客
09-21 563
文章创新点在于提出了一种新的概念，可解释属性和敏感属性之间的关联导致了可能存在一些“歧视”，这种“歧视”是可以被理解和接受的，可以被忽略和剔除的。再者，剔除的方法也是论文的一大改进之处。 Dall= Dexpl+ Dbad Dexpl：举例子，学校录取学生，假设男女生各录取20人。其中男生报名的有100人，录取20人，录取率为20%。女生报名的200人，录取20人，录取率为10%。此时，总体上看男女生录取率是存在20%-10%=10%的偏差的，可能会误以为存在对女生的歧视，歧视值为10%。但是实际上呢，
Fair Attribute Classification through Latent Space De-biasing
大肉包的博客
12-14 528
题目：通过潜在空间去偏的公平属性分类 研究背景：大规模监督学习一直是视觉识别发展背后的驱动力。然而，最近人们越来越担心这些视觉识别系统的不同影响。人脸识别系统从没有充分代表某些种族群体的数据集训练，对这些群体显示出较低的准确率。在被描述的人的活动性和性别表达高度相关的数据集上训练的活动识别模型已经过度放大了这些相关性。计算机视觉系统是一种经过训练的统计模型，可以在大多数例子上获得最大的准确性，它们通过利用数据集中最具鉴别性的线索来做到这一点，这可能是不受欢迎的。在这项工作中，我们引入了一种新的训练计算机视
On Formalizing Fairness in Prediction with Machine Learning
大肉包的博客
07-22 516
公平的定义和衡量标准 文献中提出了几种公平的定义，但还没有形成明确的共识。然而，这些定义可以用作在ML测试中检测违反公平性的预言。 为了帮助说明ML公平性的形式化，我们使用X表示一组个体，Y表示在对X中的每个个体进行决策时的真实标签集。设h是训练好的机器学习预测模型。设A为敏感属性集，Z为剩余属性。 1)Fairness Through Unawareness 无意识公平。无意识公平(FTU)意味着只要在决策过程中没有明确使用受保护的属性，算法就是公平的[206]。这是一种成本相对较低的界..
bais mintigation post-processing for individual and group fairness
大肉包的博客
10-08 430
为个人和群体的公平性的后处理偏见消除（post-processing）这篇论文理解的不是很清晰，没有给详细的方法介绍，没有代码。 数据处理的阶段一般分为三种：pre-processing，in-processing，post-processing,本篇论文是post-processing 后处理算法的优点是它们不需要访问训练过程，因此适合于运行时环境。此外，后处理算法以黑箱方式操作，这意味着它们不需要访问模型的内部，它们的衍生物等，因此适用于任何机器学习模型(或模型的合并) 现有的所有后处理算法都是针
Neutralizing Self-Selection Bias in Sampling for Sortition
大肉包的博客
11-18 429
题目：消除抽样选择中的自选择偏差 研究背景：由于人的主观意识的影响可以做出不同的决策，这些决策关系到结果的公平性，从而会导致结果因为个人的选择产生一定的偏差。例如，一个组织邀请一部分公民参加专家小组，一般情况下，只有2 - 5%的公民在被联系时愿意参与panel。此外，那些参与的人表现出自我选择的偏见，也就是说，他们并不代表整个群体，而是倾向于具有特定特征的特定群体。这就是抽样过程中常常产生的自选择偏差，这篇论文的工作就是消除抽样过程中的这种子选择偏差。 创新点：论文提出了一个更有原则的抽样..
Fairness in Deep Learning: A Computational Perspective
大肉包的博客
10-31 429
深度学习的公平性:计算的角度 利用深度学习缓解歧视性，从三个方面：Discrimination via Input，Discrimination via Representation，Prediction Quality Disparity的三个阶段Pre-processing，In-processing，Post-processing论述缓解的方法。 一、Discrimination via Input （1）Pre-processing：用替代值替换这些对公平性敏感的特征 （2）In-proc.
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值