【长期施工中】论文翻译:无先验知识下激发的思维层次

Work in Progress (15%)

Source: [2109.10619] Eliciting Thinking Hierarchy without a Prior (arxiv.org)

摘要

当我们运用群众的智慧时,一般是根据答案的受欢迎程度进行排名,尤其是在我们无法验证答案的情况下。然而,这在大多数人成体系的犯错的时候非常危险。这就产生了一个根本的问题:我们能够在没有任何的先验知识情况下根据回答的排序建立一个体系,其中排序并不取决于大多数,而取决于更老练的人?为解决该问题,我们提出了 1) 一个描述人们思维层级(thinking hierarchy)的新模型;2) 两个为了在没有任何先验知识的情况下得到认知层次的算法;3) 基于以上理论框架一个新的基于开放回答的群智感知(crowdsourcing 1 )方法。除了理论依据(justifications)外,我们进行(conduct)了四个实证的群智感知研究,结果表明: a) 我们的研究的排名结果的准确度比基于简单多数票法(plurality voting2)要高很多(在一个问题中,多数回答有 74 人的赞同(respondents)但正确回答仅有 3 人赞同。我们的方法在没有先验知识的情况下把后者设为了最高);b) 我们的模型有很好的拟合优度(goodness-of-fit 3),尤其是对于我们的排名首位的回答是正确的问题。据我们所知(To the best of our knowledge),我们第一个提出有在一般问题解决场景进行实证验证思维层级模型,也第一个提出在基于实证开放回答的方法,这种方法在没有任何先验知识的情况下击败了多数投票。

正文

引言

群体的智慧比个体的在解决问题以及做决策上更好得到了广泛验证,尤其是在我们没有足够的先验知识去区分专家个体的情况下[1–3]。多数表决是最常见的整合群体意见的方法。群体内的意见通常按照持有者的人数排名。然而,这在大多数人存在系统性偏见(systematically biased)的情况下非常危险。以下是我们进行的真实世界工作。我们问了来自顶级大学4的学生们以下的问题。

圆 A 的半径是圆 B 的三分之一。圆 A 绕圆 B 转一圈,试问圆 A 转了几圈。(为避免翻译不清搬出原文:The radius of Circle A is 1/3 the radius of Circle B. Circle A rolls around Circle B one trip back to its starting point. How many times will Circle A revolve in total?)

我们收集到了以下回答:「1(11 人)、2(8 人)、3(134 人)、4(16 人)以及6(27 人)」。如果按照多数投票的答案是 3 ,是大小球的半径之比。然而,正确答案是仅有 16 人回答的 45

在有像是来自每个回答者的专业水平的先验知识的情况下,我们或许就能找出正确答案。然而,有时获取(obtain)先验知识的成本很高、难度很大,尤其是在新领域下。

为了弄清楚以上的问题,Prelec 等[4]提出了一个出乎意料很受欢迎的(surprisingly popular)新方法。他们准备了很多问题,让应答者(respondents)选择一个选项,更重要的是,他们还让应答者预测其他人有多大可能选择什么回答。他们用这些应答者给出的预测值去构造一个关于回答的先验分布(prior distribution),再关于选择那些比先验(回答)更加受欢迎的回答来最为修正(do sth. such that the bias is corrected)。很多其他的工作发展了这个通过使用先验或预测回答来纠正错误的想法。

然而,首先,这对于从前面的方法纳入运行实例的实操是不可应用的,因为那些研究依赖先验知识来设计出选项。这对得到应答者关于所有选项的整体分布情况(whole distribution)特别费力。

第二,此前的研究专注于使用预测去修正错误,本质上有趣的是,这是用他们的预测去构建思维层次。这也导致了层次在答案之间(amaong)存在。知名的认知层次理论(cognitive hierarchy theory, CHT)[5–7]在人们玩游戏的场景中构建了思维层次,我们可以因此了解到玩家的行为背后不同的老练等级(熟悉程度?原文是 the actions of players of different sophistication levels)。然而(Nevertheless),CHT 只为博弈论环境(game-theoretic setting)而被设计的。

我们关于设计一个通用的问题解决场景的思维理论很好奇。其中关键是更复杂的人们知道处在更低思维层次的人是什么想的,反之不亦然(简单来说就是思维的向下兼容)[5,8]。我们想要应用这种洞察力(insight)在没有先验知识的情况下了解不同思维复杂程度的人的答案,谓之思维层次(thinking hierarchy)。

关键问题 我们打算去搭建在没有先验知识的情况下了解到思维层次的一个方法论。基于思维层次,我们可以

我们的办法

相关工作

学习思维的层次

思维层次
(Non-negative Congruence Triangularization, NCT)
利用答案-预测联合分布(answer-prediction joint distribution, \(\mathrm{M}\))推断思维层次
答案-预测联合分布 \(\mathrm{M}\) 的中间值(proxy var)

工作

结果

讨论

致谢

附录

数据收集

回答排名算法

证明

实证结果的详细解释

Glossary

(我考虑是单独用这个还是用脚注。)

原文 翻译 含义

生词

原文 翻译 原文 翻译
aggregate 整合 fundamental 根本的;基本的
hierarchy 层级;体系 sophisticated 老练的
address 处理;解决(尝试了) propose 提出
novel 小说;新颖的;新奇的 validation 检验;认证
empirical 实证的 intrinsically 本质上

Footnotes

  1. 也可以翻译成「众包」(群众外包)。可以粗暴的理解为一大群携带智能设备的人,协作完成某项任务。 ↩︎

  2. 指在选举制度中,一个候选者(可以是人、项目等等)的结果超过其他任何候选者(即获得复数(plurality))即可被选中。 ↩︎

  3. 一个统计模型的拟合优度意味着它能够多么拟合观测值。 ↩︎

  4. 作者来自清华大学。 ↩︎

References

[1]
SUROWIECKI J. The Wisdom of Crowds/James Surowiecki[J]. NY.: Anchor, 2005.
[2]
BUDESCU D V, CHEN E. Identifying expertise to extract the wisdom of crowds[J]. Management science, 2015,61(2):267~280.
[3]
WELLER S C. Cultural consensus theory: Applications and frequently asked questions[J]. Field methods, 2007,19(4):339~368.
[4]
PRELEC D, SEUNG H S, MCCOY J. A solution to the single-question crowd wisdom problem[J]. Nature, 2017,541(7638):532~535.
[5]
CAMERER C F, HO T-H, CHONG J-K. A cognitive hierarchy model of games[J]. The Quarterly Journal of Economics, 2004,119(3):861~898.
[6]
STAHL D O. Evolution of smartn players[J]. Games and Economic Behavior, 1993,5(4):604~617.
[7]
STAHL D O, WILSON P W. On players′ models of other players: Theory and experimental evidence[J]. Games and Economic Behavior, 1995,10(1):218~254.
[8]
KONG Y, SCHOENEBECK G. Eliciting expertise without verification[C]//Proceedings of the 2018 ACM Conference on Economics and Computation.