近日，国际机器学习顶级会议 ICML 在官网公布了 2018 年度的最佳论文名单，来自 MIT 和 UC Berkeley 的研究人员摘得最佳论文的桂冠。其中，UC Berkeley 团队的研究关注到了一个不但与学界业界相关，还与我们每一个人有关，那就是 AI 的“歧视”问题。
机器学习系统在训练时常以最小化训练误差为目的，在涉及到性别或种族等较敏感的特征时，常常会因此引入歧视性行为（discriminatory behavior）。数据中的历史性偏差（historical bias）可能是其中的一个原因。在贷款、雇用、刑事司法以及广告等应用场景中，机器学习因可能潜在地伤害到弱势群体，一直为人诟病。
而这篇论文主要讨论了在调整以长期社会福利（long term social welfare goals）为目的的机器学习决策方面的近期相关工作。通常来说，机器学习模型会为每个个体产生一个得分（score）来描述关于这个个体的信息。比如，信用得分描述了某个个体的信用历史和财务行为，它可以被银行用来评定这个个体的信用等级。本文中仅以贷款场景为例，详细介绍这一问题。
任何用户群体在信用得分上都有其特定分布，如下图中所示。
图 1 信用得分与还款行为分布图
定义阈值之后，得分就可以用来做决策。比如得分高于阈值的人群承诺还款，得分低于阈值的人拒绝还款。这种决策规则叫阈值策略（threshold policy）。
我们也可以将得分理解为贷款违约的估计概率。比如，信用得分为 650 的人中，90% 的人会偿还其贷款。这样银行就可以预测给那些信用得分为 650 的用户提供相应贷款的期望收益。同样，也可以预测给信用得分高于 650（或任何给定阈值）的全体用户提供相应贷款的期望收益。
图 2 贷款阈值对结果的影响
不考虑其他因素的情况下，银行总会尝试最大化其总收益。收益取决于收回的偿还贷款额与在贷款违约的损失额之间的比。在上图中，收益损失比为 1：-4，由于相较于收益，损失通常代价更高，因此银行在决定是否放贷上会更加保守，并提高放贷阈值。我们将得分高于这一阈值的人数占比称为选择率（selection rate）。
图7 最大化收益策略
结果曲线
贷款决策不仅影响银行机构，也会影响贷款人。一次违约行为（贷款人无法偿还贷款）中，不仅会使银行利益受损，贷款人的信用得分也会变低。而在成功的贷款履约行为中，银行会获得收益，同时贷款人的信用得分也会得到提升。在论文提到的这一贷款案例中，用户信用得分变化比为 1（履约）：-2（违约）。
对阈值策略来说，结果（outcome）被定义为某群体得分的变化期望，这一期望可以参数化为选择率的函数，称此函数为结果曲线（outcome curve）。随着某一群体的选择率变化，这一群体的结果也会变化。这些群体级别的结果既取决于偿还概率（由得分编码间接得到），也取决于对某一个体的贷款决策带来的成本和收益。
图 3 某一典型群体的结果曲线
上图为某一典型群体的结果曲线。当群体内获得贷款并成功偿还的个体足够多时，其平均信用得分就可能增加。这时，无约束收益最大化结果将导致其平均得分变化（纵坐标）为正。如果我们偏离收益最大化，给更多人提供贷款时，平均得分变化会增大到最大值。这种情况叫做利他最优化（altruistic optimum）。我们也可以将选择率（横坐标）提升到某个值，此时平均得分变化低于无约束收益最大化时的平均得分变化、但依然为正，即图中黄色点状阴影所表示的区域。我们称此区域中的选择率将导致了“相对损害”（relative harm）。然而，如果无法偿还贷款的用户过多，则平均得分就会降低（平均得分变化为负），从而进入红色横线（阴影）区域。
图 4 贷款阈值与结果曲线之间的关系
多群体情况
给定阈值策略会怎样影响不同群体中的个体？具有不同信用得分分布的两个群体将会有不同的结果。现在有两个群体，假设第二个群体和第一个群体的信用得分分布不同，而且该群体内人数也更少，我们就将其理解为历史弱势群体（historically disadvantaged minority），表示为蓝色群体。我们希望保证银行的贷款政策不会不平衡地伤害或者欺骗到这一群体。
我们假设银行可以对每一群体选择不同的阈值，虽然这可能不合法，但为防止由于固定阈值决策可能产生的差别结果，这样做是不可避免的。
图 5 贷款阈值与结果曲线之间的关系
很容易想到一个问题：选择什么样的阈值可以让蓝色群体的得分分布得到改善?正如前文所提到的那样，不加限制和约束的银行政策将会使收益最大化，他们会选取一个使得收支平衡的阈值点，此时发放贷款会获得收益。事实上，收益最大化的阈值（信用得分为 580）在两个群体中是相同的。
公平性准则
具有不同得分分布的群体其得分曲线也不同（可以参照原文图 6 的上半部分，展示了基于真实信用得分数据的一个简单模型的结果曲线）。作为无约束利润最大化的一种替代策略，即公平性约束——通过某些目标函数让不同群体间的决策平等。目前已提出多种公平性准则来保护弱势群体。根据结果模型，我们可以明确地回答：公平性约束是否真的产生了积极的影响。
有一个较为常见的公平性准则，人口统计平等（demographic parity），要求银行在两个群体中借出相同比例的贷款。在此前提下，银行继续尽可能最大化收益。另一个准则，机会平等（equality of opportunity），强调两个群体中的真正率（true positive rate）要相等，这要求银行对两个群体中会偿还贷款的个体给出相同的贷款比例。
图6 人口统计平等策略
图7 机会平等策略
图 8 有约束条件下的贷款决策模拟
尽管从考虑达到静态决策公平（equalizing static decisions）的角度出发，这些公平性准则都看似合理，但是它们基本都忽略了这些准则对每一类群体未来产生的潜在的效应。图 8 通过比较最大化收益、人口统计平等和机会平等下的策略结果，可以说明这一点。我们可以看到在不同贷款策略下银行收益和信用得分的变化。与收益最大化策略相比，人口统计平等和机会平等策略都降低了银行收益，但对蓝色群体（即弱势群体）来说，与收益最大化策略相比，这些策略真得让弱势群体获得了更好的结果吗？虽然相较于利他最优化，最大化收益策略对蓝色群体贷款比率过低，但机会平等策略则（相较于利他最优化）贷款过多，而人口统计平等策略下则贷款过多已经达到了“相对损害”区域。
如果采用公平性准则的目的是提升或公平化所有群体的长期幸福感，那这个展示的结果表明，在某些场景下，公平性准则实际上违背了这一初衷。换句话说，公平性约束会进一步减少弱势群体中的福利。建立更加准确模型，以预测每种策略对各类群体可能产生的影响，也许在将来可以缓解由于引入公平性约束可能产生的意料以外的伤害。
对所谓公平机器学习的思考
本文基于长期结果视角对机器学习的公平性进行了讨论。如果不仔细研究长期结果的模型，我们很难预测加入公平性准则之后对分类系统的影响。然而，如果我们拥有精确的长期结果模型，我们就可以更加直接的对正例结果进行优化，而非通过各种公平性准则。具体而言，结果曲线显示，偏离收益最大化策略能够最直接地提升结果。
结果模型是在分类过程中吸收相关领域知识的一个具体方法，这种模型也与很多公平机器学习相关的场景敏感的研究相匹配。结果曲线也为本文所提及的涉及权衡的应用提供了一种可解释的可视化工具。
更多细节，可以参考原论文。本研究只是对“结果模型如何缓解机器学习算法对社会产生各类不良影响”的初步探索。我们相信，随着机器学习算法会影响到更多人的生活，未来也会有越来越多的研究工作，来确保这些机器学习算法的长期公平性。
