在调查表单避免偏差(a.k.a歪曲研究数据来证明这一点)

在公正的研究和设计伦理。

开幕式上的设计我关注的博客发送一个调查的屏幕
开幕式上的设计我关注的博客发送一个调查的屏幕

有一天,我收到了来自Prototypr问卷链接,的一个我关注的设计博客。在UX工作了几年,现在和培育的研究在认识偏差有浓厚的兴趣,我觉得测试调查表,特别快乐。虽然客户调查可以在客户产生显著的见解,他们也可以在情况下,责任调查问卷提出了自己的缺陷。很多时候,不可靠的调查反馈的最常见的原因是偏向调查问题。

建立公正的调查表是不是一件容易的事。不过,由于这项调查是从设计的组织来了,我很好奇,调查他们的熟悉是在用户体验研究的最佳实践。一些挖后,我发现自己更加的营销举措调查。

对于背景下,派出调查该公司正试图建立一个竞争对手中:为博客平台和内容共享,不具有溢价的故事任何付费墙。介质的模型,这里笔者不得不把他们的故事,以支付他们的写作受付费墙保护的选择,是对传统广告驱动的内容平台的立场,其中页面访问量(和广告观看次数)无论比什么都重要 - 导致低质量的内容,clickbait标题,内容营销和广告。这是Patreon模型与Youtube的Adsense的模型。你要么充电金钱或充电了人们的注意/时间。

大约有多少人恨付费墙的一项调查,由正试图建立没有付费墙产品的公司创造出来的?

当然,我需要点击链接和调查等等。

什么是偏见的调查问题?

如果一个形式问题的措辞、设计或格式使人们倾向于一个特定的答案,那么它就可以被认为是有偏见的。在大多数情况下,这种偏差是无意中产生的。在某些情况下,这是“调查发起者”(不能真正称他们为研究者……)的一种明确的策略,将结果偏向于特定的结果。从被调查者的角度来看,调查问题偏差会使问题更难理解,更难诚实回答。

于是我点击“开始” ...

调查表询问的主理人,为什么他们在网上分享他们的工作
调查表询问的主理人,为什么他们在网上分享他们的工作

期望偏差

“人们可能会与答案,他们觉得是可取的调查作出回应,并避免给不良答案不管他们的真实感受如何。和其他类型的偏见一样,这是因为人们希望被看作是一个能正确思考、正确说话和正确做事的人。”(资源

在上面的例子中,人们可能会觉得不舒服承认他们更感兴趣的是展示自己的工作或赚钱比“回馈社会”。虽然知名度和金钱可能是一个强有力的理由,为什么人在网上分享他们的工作,它会觉得在道义上和社会上“不正确”让他们承认这些是他们的首要原因。

抽样偏差

WHO你调查一样重要怎么样你调查他们。如果你只测量现有的追随者(谁往往更可能与你的观点达成一致),调查结果将固有偏见。

如果你想对某一特定群体得出结论,你需要确保该群体中的每个人都有平等的机会收到邀请,对你的调查做出回应。”(资源

关于这一步骤的其他问题:

  • 不必要的限制。不清楚为什么不允许人们选择一个以上的答案。我认识的大多数人都在网上分享内容,因为他们想要回馈社区,他们想要为自己的工作建立可见性,并建立长期的声誉。在某些情况下,他们也想从写作中赚钱。
  • 肖像的偏见。该表情符号,有助于偏置人民对选择某些答案。心和星星⭐(即通常与积极情绪相关的表情符号)可以影响人们选择前两个选项。
  • 暧昧副本。“在网上分享你的工作”可能意味着不同的人不同的东西。想想插画家分享他们对Instagram的工作与在业界的思想领袖谁在分享上一篇博客文章中他们的视野 - 两个非常不同的场景。缺乏上下文或筛选之前,人们开始调查必将创造不可靠的数据。
  • 缺少“其他”选项。受访者可以感到沮丧时,调查迫使他们从狭隘的组选项中进行选择。这就像问别人为自己喜爱的音乐类型,但只给他们4个选项。他们可以很明显继续并选择所提供的选项中自己喜欢的音乐风格,但这并不意味着调查将确定哪些人最喜爱的音乐流派实际上是。这一个简单的解决方案是提供一个开放式的输入文本字段中的“其他”选项。

就个人而言,如果我分享我的“工作”在网上,我希望它能够得到补偿。这就是所谓的“工作”是有原因的

调查表问人们他们感觉如何payways设计内容
调查表问人们他们感觉如何payways设计内容

统计错误

添加统计到具体的问题是一个很好的技巧,使整个调查显得更加可信。如果混合使用个人意见统计的正确的剂量,有一个很好的机会,人们不会注意到这是一个偏颇的问题。在这个例子中,调查创建者使用一个宏观趋势(增长付费墙在各个行业,内容类型和格式)建立针对特定使用案例的情况。就像是在看美国减少肉类消费量数据,并将其链接到民主党人试图完全禁止汉堡包。

数字偏置

在调查中,规模通常为1至5内置:“编码这些选项为1-5中的一个等距量表可以帮助你得到更准确,更有效的答案。”(资源)。在这个特别的调查中,创建者偏离了一个共同的标准,在这个范围内加入了选项“0”。

  • 当你提供1-5的等级时,如果答案是同样在所有评级分布,平均为3。
  • 当您提供0-5级,如果答案是同样在所有评级分布,平均为2.5。这是朝着说,人讨厌付费墙倾斜的结果的一个聪明的办法。

负载的或假设的问题

调查指出,“封闭式内容对作者来说是一种很好的奖励,但同时也会限制重要信息的可获得性”,这意味着付费墙只有一个好处和一个坏处。实际上,这是一场更为微妙的讨论。一些人说,封闭的内容往往质量更高,点击率更低。另一些人说,为内容付费不仅是一种支持作者的方式,也是一种支持所有基础设施的方式,以确保内容被托管和在线发布。

引导性问题会促使人们以这样或那样的方式回答问题,而不是给客观的回答留有余地。如果你看过法律剧,你可能已经熟悉诱导性问题了。在看到他的证人被长篇大论地指责后,律师提出了“引导证人”的反对意见,也就是让证人说出自己的想法。诱导性问题通常是无意的,但如果客户认为你的问题是有操控性的,那么你简单的诱导性问题可能会导致更高的调查落脚点,对你的公司的负面印象,或者一组严重偏见的回答。这些结果中的一种就会极大地削弱你为客户体验项目所努力的最终结果。”(资源

调查表询问他们的工作状态的人,同时显示一个链接到一个职位公告板
调查表询问他们的工作状态的人,同时显示一个链接到一个职位公告板

需求效应

很多时候,当用户响应的一项调查显示,他们正在试图找出该研究的最初目的,使他们能够提供更好的答案。受访者想为研究提供了“正确”的答案,让他们觉得自己不是他们的反应风险被无效的某些原因。如果你给他们的您从调查试图提取什么见解任何迹象显示,他们更容易适应他们的反应,以匹配该研究的预期。

延伸阅读:需求调查实验效果的实证
评估

在上面的例子中,具有到“我们可以帮助”(链接驱动参与者从调查路程,到由该公司提供的产品之一),可以使他们更容易了解其中调查创建更广阔的背景。在同样有关说明,使用放大镜的表情符号旁边的选项之一,可影响结果也是如此。作为设计师,我们知道如何添加视觉元素旁边列表上的项目的人会让人更可能点击该项目。

调查问题,询问人们是否相信开放的网络,教育内容对任何人都是可访问的
调查问题,询问人们是否相信开放的网络,教育内容对任何人都是可访问的

期望偏差(再次)

我们这个笑话在用户体验研究中加入了“你喜欢免费的钱?”当你试图在调查中获得更多的YESes问题。问人,如果他们认为教育内容应该是任何人都可以访问就像问一个人,如果他们希望世界变得更美好。谁也说不呢?

这是一个很常见逻辑谬误。这个问题可能被添加到调查中,以便在宣布调查结果时,调查创建者可以说97%的受访者同意教育内容应该对所有人开放,那么为什么我们要把内容放在收费墙后面呢?

默认偏置

“人们往往希望时,他们回答问题,过得很惬意。调查的受访者并没有什么不同 - 他们往往可以给出答案,他们认为他们应该给(而不是给答案,他们真正的意思)。
这意味着,如果你的调查中有问题要求被调查者同意或不同意一个陈述,他们更有可能同意。”(资源

减少默许偏差的一种方法是确保您洒在整个研究矛盾的陈述测试诚实的人怎么样了。

调查表问人们什么他们认为优质内容。图像显示的选项已经通过调查中途改变
调查表问人们什么他们认为优质内容。图像显示的选项已经通过调查中途改变

编辑响应时的调查正在进行中

有一件事在写这篇文章,我注意到的是,本次调查的创造者已经改变了第2天的问题,该调查是活的。固定错别字不被视为一个问题,但在这种情况下,你可以看到从“电子书”,以“书”的变化将显着影响的结果。人们更愿意支付书比电子书,所以现在的话说“书”,“课程”和“专业新闻”将创建“博客”(选项,调查创建者可能试图去对更多的对比)。

关于这一步骤的其他问题:

  • 使用钱袋图标旁边的字高级内容。保费通常被认为是一个积极的话。但要确保的事情平衡了,调查创作者加入了钱袋子的表情符号旁边。
  • 缺少“其他”选项。非常基本的。
调查问题,问人们在付费墙后,他们更大的动机是什么
调查问题,问人们在付费墙后,他们更大的动机是什么

在这一点上你这是怎么回事的要点。为什么只有这些选择?为什么比较苹果和橘子?为什么做这些选项“要么/或”?为什么我不能尝试用我的写作达到更大的观众,让他们的钱?为什么读者明确的1000?Yadda,yadda,yadda。

你偏置显示,我累了。

现在,让我们退后一步

这里强调的问题是相当有策略的——而且完全诚实地说,它们发生的频率比人们想象的要高。这很好。犯错误的人。我不想只讲这个调查;我想以此为例,从更广泛的意义上,对整个设计界提出一个批判性的分析。

  • 调查作为营销举措。在假新闻和误导的年龄,这并不奇怪,看看调查和数据是对一个公司想要讲述的故事歪斜。让人吃惊的是看到,从设计单位或设计人员为重点的社会到来。
  • 每个人都认为自己是设计师(可以进行研究)。如果你想运行一个研究,为什么不录用......嗯......研究员?或者,也许适当的设计师?我见过的开发商是谁在UI设计上令人难以置信的才华,但UX / Research是一个不同的野兽一起。为什么你会低估你的追随者的智商那么多吗?
  • 试图将洞察更新到产品战略中。运行一个调查,了解人们在非付费专区博客平台的兴趣可能是什么,应该发生之前该产品的开发和推出。这样的调查认为是试图用“消费者洞察”现在证明这已经建成的东西。
  • 伟大的内容可能不是免费的,这很好。我很幸运,因为我不必依靠写作来谋生,所以老实说,我没有强烈的动机去提倡或反对付费墙。但我确实认为,对我来说,为阐明我的设计理念所花费的时间得到补偿是公平的——无论是为我的客户还是其他人。

感谢您的阅读。

UX星球

UX星球是相关的一切的一站式资源......

注册设计新闻

通过用户体验的星球

从UX设计领域获得的最新消息看一看

通过注册,您将创建一个媒介帐户,如果您还没有一个。我们回顾隐私政策 浏览更多有关我们私隐措施的资料。

检查你的收件箱
媒介您发送电子邮件到要完成订阅。

克里斯廷·凯恩

写的

沟通。新闻。研究。可用性。

UX星球

UX地球是一切有关用户体验的一站式资源。万博体育

克里斯廷·凯恩

写的

沟通。新闻。研究。可用性。

UX星球

UX地球是一切有关用户体验的一站式资源。万博体育

媒体是一个开放的平台,其中1.7亿读者来找洞察力和动态思维。在这里,专家和未被发现的声音都潜入任何主题的心脏和表面带来新的理念。学到更多

按照作家,出版物和主题,此事给你,你会看到他们在您的主页,并在您的收件箱。探索

如果你有故事要讲,有知识要分享,有观点要讲——欢迎回家。在任何主题上发表你的想法都是很容易而且免费的。写在中

使用Medium应用程序

一个按钮,上面写着“在App Store下载”,如果点击它会导致你的iOS应用商店
一个按钮,说'Get it on,谷歌Play',如果点击它会带你到谷歌Play store