科技中商网 2023-11-01 507浏览

人工智能需要一种审计文化，而不是把用户当小白鼠

来源：DeepTech深科技

著名人工智能研究员和活动家乔伊·布奥拉姆维尼（Joy Buolamwini）戴着她标志性的厚框眼镜，在她波士顿的家中参加了我们的 Zoom 访谈。

作为麻省理工学院的毕业生，她似乎对我们伦敦办公室挂着的《麻省理工科技评论》的旧封面很感兴趣。这是 1961 年的一期，上面写着：“你的儿子会上大学吗？”

（来源：NAIMA GREEN）

我看得出来，布奥拉姆维尼觉得这个封面很有趣。她给它拍了一张照片。自 1961 年以来，世界发生了很大变化。在她的新回忆录《揭露人工智能：我在机器世界中保护人类的使命》中，布奥拉姆维尼分享了她的人生故事。她在很多方面都亲身体会了科技自那时以来已经取得的进步，以及它还需要走多远。

布奥拉姆维尼最为人所知的事迹发生在 2017 年，她与人工智能研究员蒂姆尼特·格布鲁（Timnit Gebru）共同撰写了一篇开创性论文，题为《性别阴影（Gender Shades）》。该论文揭露了商业面部识别系统常常无法识别黑人和棕色人种的面孔，尤其是黑人女性。她的研究和倡导促使谷歌、IBM 和微软等公司改进了他们的软件，以减少偏见，并不再向执法部门出售他们的技术。

现在，布奥拉姆维尼有了新的目标。她呼吁对人工智能系统的构建方式进行彻底的重新思考。布奥拉姆维尼告诉《麻省理工科技评论》，她认为在当前的人工智能炒作周期中，让科技公司制定适用于它们的规则存在非常现实的风险：（我们正在）重复一个错误，而正是这个错误导致了偏见和压迫性技术的发展。

“我担心的是，我们给这么多公司发放了通行证，或者我们在赞扬创新的同时却不去注意伤害。” 布奥拉姆维尼说。

布奥拉姆维尼表示，一个特别值得关注的问题是，我们构建当今最亮眼的人工智能玩具的基础，即所谓的基础模型。在技术人员的设想中，这些多功能模型将成为许多其他人工智能应用程序（从聊天机器人到自动化电影制作）的跳板。

它们是通过从互联网上抓取大量数据而构建的，其中不可避免地包括受版权保护的内容和个人信息。许多人工智能公司现在被艺术家、音乐公司和作家起诉，他们声称他们的知识产权在未经同意的情况下被盗用。

布奥拉姆维尼表示，人工智能公司目前的做法是不道德的，是一种“数据殖民主义”，并且“完全无视同意（许可）”。

“如果没有法律保护，那这些东西就只能眼睁睁地被掠夺。”她说。作为一名作家，她完全相信自己的书、诗歌、声音和专栏（甚至是博士论文）都会被人工智能模型“收入囊中”。

“如果我发现我的任何成果被这些系统抓取，我一定会大声说出来。这就是我们该做的。”她说。

布奥拉姆维尼表示，真正值得称赞的创新是，公司可以展示对气候产生积极影响的模型和来源合法的数据。

“对于为先进技术提供动力的压迫性系统，我从中看到了从过去的许多错误中吸取教训的机会。我希望我们朝不同的方向前进。”她说。

我问她，如果能重复“性别阴影”的成功，那么她今天会审计人工智能系统的哪些方面。布奥拉姆维尼毫不犹豫地表示，她希望人工智能拥有一种审计文化，而不是一次单一的审计。

在这种文化中，系统在部署到现实世界之前要经过严格的测试。她希望看到人工智能开发人员对他们提出的任何系统提出一些基本问题，例如它是如何做到这一点的？我们是否应该使用它？

“现在我们处于豚鼠模式，系统尚未经过充分测试……这是不负责任的，尤其是当这些系统的使用方式会影响人们的生活经历和生活机会时。”她说。

偶然成为了活动家

十年来，布奥拉姆维尼一直处于提高人们对人工智能危害认识的最前沿。但她成为杰出研究员和活动家的道路却非同寻常。

她的回忆录让我们深入了解到，她是如何从一个年轻的、不想面对“后果和人类”的计算机科学专业学生，变成了一个无法对严重技术缺陷视而不见的人。

在书中的一个重要时刻，她描述了自己发现常见的面部识别软件可以识别白色万圣节面具，但不能识别她自己的脸。尽管她感到不安，但布奥拉姆维尼的最初反应是其他人，也许是经验更丰富的人工智能研究人员，会解决这个问题。但她看到的算法偏见的例子越多，就越难控制自己不去做一些事情。

当还是一名博士研究员时，在面部识别研究成果的推动下，布奥拉姆维尼创立了算法正义联盟 (Algorithmic Justice League，AJL)，这是一个与算法偏见和不公正作斗争的非营利组织，并成为对有偏见的人工智能系统所造成危害的重要发声机构。2019 年，她就面部识别技术及其对公民权利和自由的影响，向美国国会提交了两份专家证词。

虽然布奥拉姆维尼的故事在某种程度上鼓舞人心，但同时也是一个警告。提高人们对人工智能危害的认识，以及公开反对世界上一些最强大的公司的压力也带来的伤害。在书中一个特别悲伤和感人的部分，布奥拉姆维尼描述了自己在考试前一天晚上被送往急诊室，除了频繁的旅行和宣传之外，连续的国会作证也让她精疲力竭。

在攻读博士学位期间，她多年来一直在努力建立 AJL 并为政府提供有关人工智能的建议，但她陷入了很严重的“倦怠模式”，以至于她在 2021 年给教授们写了一封信，称自己可能会退学。她要求他们论证麻省理工学院博士学位的实际好处，因为这将是她的第四个大学学位。

在撰写毕业论文期间，她休息了一个月，并开始玩滑板。“也许现在成为一名职业滑板运动员，并可能代表加纳参加下一届奥运会还为时不晚。”布奥拉姆维尼半开玩笑地写道。

最终，她决定完成博士学位，并于 2022 年毕业。她写道，她之所以决定这样做，是因为她意识到，作为一名有色人种女性，退学将被视为一种失败。

高风险，高回报

布奥拉姆维尼还描述了她与科技巨头亚马逊对抗的一段经历。她关于审计面部识别系统的博士研究引起了该公司高管的公开攻击，当时该公司正在与微软竞争一份价值 100 亿美元的合同，为五角大楼提供人工智能服务。

在布奥拉姆维尼和另一位人工智能研究员伊尼奥鲁瓦·黛博拉·拉吉（Inioluwa Deborah Raji）的研究表明，亚马逊的面部识别技术存在偏见，随后亚马逊副总裁马特·伍德（Matt Wood）声称她的论文和媒体报道具有“误导性”，并得出了“错误的结论”。

她说，亚马逊是唯一一家对布奥拉姆维尼的研究采取强硬态度的科技公司。她担心自己会让当时还是本科生的拉吉陷入危险。“未来的计算机科学系可能会认为她风险太大，而科技行业未来的雇主可能会将她列入黑名单。”布奥拉姆维尼写道。

“我担心，如果其他研究人员看到亚马逊对我们所做的事情，而没有学者站出来辩护，其他研究人员会认为此类研究的专业风险太高，布奥拉姆维尼补充道。

很多人都在支持她。马萨诸塞州美国公民自由联盟和乔治城隐私与技术法律中心在 X （原推特）上公开支持她。在研究界，当时负责谷歌人工智能伦理工作的玛格丽特·米切尔（Margaret Mitchell）和格布鲁（Gebru）发表了一封公开信，支持布奥拉姆维尼的工作，包括图灵奖得主约书亚·本吉奥（Yoshua Bengio）在内的 75 名研究人员在上面署名。

她说，令人失望的是，她获得的大部分公众支持都来自麻省理工学院以外。她在书中写道，她觉得自己“当时基本上被麻省理工学院的大多数领导层抛弃了”。

“我以为麻省理工学院的媒体实验室（Media Lab）会为我辩护，因为它展示了我的作品以吸引学生和新闻报道。我感到很失望，因为我不得不请求保护，但得到的却很少。”布奥拉姆维尼写道。（我们已联系麻省理工学院媒体实验室征求对此指控的评论，如果他们回复，我们将更新这篇文章。）

她对那些想要说出他们所看到的问题的科技界年轻人有何建议？

“在自己跳入深渊之前就要知道它有多深。”布奥拉姆维尼说。她希望更多的人在看到不公正现象时能够大声疾呼。

但与此同时，她也建议他们寻找身边那些可以提供支持和保护的人。“你的声音很重要。”她说。

支持：Ren

运营/排版：何晨龙