不要失去人群——AI-CI 交叉口的设计张力

Connect Asia Data learn, and optimize business database management.
Post Reply
jrineakter
Posts: 853
Joined: Thu Jan 02, 2025 7:05 am

不要失去人群——AI-CI 交叉口的设计张力

Post by jrineakter »

虽然有很多机会,但人工智能和 CI 的结合也带来了一些设计压力。我们在下面预览了一些主要的权衡,特别关注人工智能可能对参与动机、群体动态和高风险情境中的责任产生的影响。

部署算法以提高项目效率与考虑对志愿者/参与者参与度的潜在影响
人工智能集成到 CI 项目中的几个例子执行了以前可能由志愿者执行的任务。公民科学项目(如 Zooniverse平台和Cochrane Crowd)特别强调了使任务变得太难或单调,从而打击志愿者的积极性的风险。除了可能损害与投入大量时间(有时是数年)帮助这些项目的志愿者的关系之外,还可能因微任务自动化程度的提高而失去辅助社会影响,例如公民科学中的科学教育。

在速度设计与谨慎部署之间取得平衡
算法通常会针对准确性和/或速度进行优化。在 CI 的背景下,优先考虑这些特征可能并不总是那么重要。例如,当公民聚集在一起讨论有争议或复杂的问题时,就像在数字或协商民主倡议中一样,您可以选择优化透明度和包容性,这实际上可能会减慢进程。

开发准确率最高的算法,而不是开发出“足够好”的算法,与人群一起进行分类
在工业和学术界的人工智能和软件开发中,对优化工具的痴迷可能会分散人们对其他驱动因素的注意力,而这些驱动因素应该与优化标准同等重要。例如,算法准确性的迭代增量改进可以成为推动投资和资源分配的主要成果衡量标准之一。然而,在 CI 项目中,人工智能可以与人类的重大贡献一起使用,例如通过专家和人群的额外验证。因此,对于 CI 项目来说,优先事项通常是获得一个具有“足够高”准确性的人工智能工具,从而能够切实改善扩展问题,而不是需要投入额外的资源来不断改进工具以获得额外的 1-2% 的准确性。

基于 CI 的解决方案总是需要将人工智能带入“混乱”的现实世界,而风险很高
一些最前沿的人工智能方法目前正在封闭的实验室环境或行业环境中进行开发和测试,在这些环境中,方法论的进步比可解释性更重要,而且数据集可能缺乏现实世界的混乱性。

深度学习是人工智能研究前沿领域最有前途的技术之一,但它经常因逃避质询而受到批评。现实世界的 CI 计划中通常看到的部署规模增加了出错时的潜在风险,当实验室方法被带入混乱的现实世界环境时,可能会发生这种情况。这给 CI 项目负责人带来了更大的责任负担,以确保他们充分理解其中使用的人工智能工具。我们的研究突出了一些案例,在这些案例中,为了满足与公共部门合作所规定的更严格的问责规范,深度学习方法被试用并被放弃,转而采用可解释的经典机器学习方法。这种风险规 加拿大电话号码数据 避是可以理解的,但也可能阻碍对人工智能-CI 交互的更具想象力的探索。

当 AI-CI 出错时会发生什么
人工智能集成最常见的失败之一是在部署人工智能工具时忘记充分考虑正在进行的人机交互和群体行为。未能按预期发挥作用的举措包括谷歌流感趋势,它曾被誉为搜索查询抓取的成功案例,但后来发现它容易受到过度拟合和搜索行为变化的影响。完全专注于构建自动化工具的公民科学活动可能会忽略志愿者的需求,例如对任务进行充分培训,从而导致数据质量低劣,不足以训练人工智能。即使是出于良好意图的项目,比如谷歌 Jigsaw 和维基百科开发的“Detox”工具,使用众包结合机器学习来识别恶意评论,也可能只能在短时间内有效,直到“坏人”想出如何反击这些评论。当自动化方法更新频率不够高,无法对不断变化的环境保持敏感时,这种易受游戏影响的弱点就是它们的一个常见特征。

最后,当前“数据饥渴型”人工智能方法依赖于大量干净的、机器可读的数据。即使在存在此类数据的公共部门环境中,如果有许多利益相关者参与协商必要的数据共享,人工智能的部署也会遭遇长时间的延迟。例如,纽约市消防局长期以来一直承诺推出增强型人工智能版本(Firecast 3.0)的火灾风险预测模型,但由于组织文化的原因,该部门面临许多困难。
Post Reply