小谈游戏研发中的数据调研和数据分析

GameUI

原帖地址：http://youyi.163.com/bbs/viewthread.php?tid=3248

    常常看到有人说，中国网络游戏的研发水平很低。这个观点，赞同者有之（但常被指责为愤青），反对者亦有之（以史玉柱先生为首）。我们不可能无视在中国市场上取得巨大成功的几款原创MMORPG，但也不可能随随便便就称它们是世界级的大作。
    在中国的游戏研发——事实上不仅仅是游戏研发，也包括很多传统软件行业的研发，往往采用的是两种方法之一：要不然是完全凭主观判断力，凭直觉——我们常常称这种方法为“拍脑袋”；要不然就是通过大量的数据调研和数据分析，以数据说话。一般而言，后者的可靠性和规范程度显然应该高于前者，但是，数据调研和数据分析真的那么可靠么？
    笔者曾经在一家网络视频公司工作过，也曾经做过不少用户调查工作。让笔者十分困惑的一个问题在于，用户反馈回来的意见和他们的真实行为往往存在着巨大的差距。用户在客服论坛上需求最为迫切的视频内容实际的收视用户寥寥无几，用户声称喜欢的功能事实上无人问津，而真正用户欢迎的内容却在调查中得不到任何一点反馈。笔者被迫的以对用户非常不敬的心态去思考一个问题：他们到底在想什么？
    笔者做出的几个猜测：
    1.不满的用户比满意的用户有强的多的表达欲望。一个互联网产品（包括网络游戏）的某一次改动，如果使得90%的用户满意，10%的用户不满，那么在用户反馈上所反映出的，很可能是99%的不满和1%的满意。用户并没有为产品开发者/运营者歌功颂德的习惯，发泄不满和要求改进才是他们的习惯性需求。
    2.用户因为社会评价原因掩饰自己的真实需求。仍然以笔者做网络视频时的经验为例，《猫和老鼠》，《多拉A梦》这种一般认为很幼稚的节目有着非常高的收视人气，但是在客服论坛上，几乎从来没有人提出过这方面的需求。会不会是用户不愿意承认自己很幼稚，因而不愿意提出这些要求呢？
    3.调查对象偏性。仍以上一条中的例子来分析，假如说《猫和老鼠》，《多拉A梦》这类节目的主要用户是年龄偏低的用户的话，那么这些用户参与调查，主动反馈意见的意愿和能力与成年人相比有多大的差异呢？有多少用户是从来不看网页，懒得注册，懒得发文的用户呢？我们的调查如何去获得他们的数据呢？
   
    由于以上的种种问题，笔者一向对于用户调研持非常谨慎的态度。那么另一方面的，通过技术上的直接数据收集做出的数据分析又如何呢？
    前一段看到一个消息，一个互联网调查得出了这样一个结果：07年个人用户盗版率下降9%。新闻中这样描述这一现象：“《报告》认为，盗版率下降的主要原因在于，一方面政府部门和企业推广的软件正版化工作已取得成效；另一方面收费计算机软件比例明显下降，免费、开源软件和预装正版软件快速发展。”
    需要指出的一点是，报告在分析这一数据时，没有对中国个人用户的正版意识做出任何的评论。大部分人在面对这一数据时的第一反应都可能会是中国个人用户的正版意识有所提高。但是，事实上，造成盗版率下降的核心原因并不是我们直观理解的正版软件市场覆盖率上升，而是因为大量的“第三类软件”，即免费的非盗版软件的普及。网络游戏装机量的上升，单机游戏装机量的下降，这就是盗版率下降的一个核心的原因。而问题就出来了，我们如何通过数据调研和分析来准确的定位到结论？
    一款网络游戏，玩家都很喜欢组队，是因为玩家确实有一起玩的需求，还是因为不组队玩不下去？《魔兽世界》的玩家内心是否也期望着可以Solo游戏？
    一款网络游戏，玩家总是喜欢刷怪练级而不愿意去做任务，是因为任务不好玩，还是因为任务收益不够高？
    一款网络游戏的更新在论坛上遭到了痛骂，是否意味着这个更新是彻底失败的？
   
    表面上的数据结论，在没有经过逻辑分析和处理前就作为结论来指导研发，这是当前以数据为基础的研发者常见的弊病。
    如果说数据调研是对于之前的既有数据的一种机械的总结的话，那么这种数据主义和经验主义是否有一些异曲同工呢？

    以笔者的观点，对于用户思路，用户整体倾向的数据调研和数据分析往往只能带来表面的结论，而这种表面的结论的内因分析则往往处于空白。与之对应的，对于用户的具体行为，单一行为的分析带来的结论往往是更加可靠和直接的，但这部分的分析在当前的游戏研发行业基本属于空白。到底用户喜欢用什么样的操作打怪？他们打怪和做任务之间的串联关系是如何的？用户在游戏中的虚拟道具消费究竟是如何的时间和数量分布？对于任何一家既有成熟产品的公司来讲，通过既有产品进行数据采集并不是非常困难的事情，但是，这部分的数据缺失之严重则让人感到汗颜。

    如果我们连用户在做什么都不知道，却奢谈去了解他们究竟是怎么想的，为什么去做各种事情，这可能么？我们在讨论数据挖掘的时候，是否首先应该知道从哪里挖下去呢？

ab_946

动物学家在研究动物行为的时候，往往会在某几只样本动物头上套个项圈，以此来检测动物的当前位置
在网络游戏里，也可以在某些样本玩家的头上套个看不见的项圈嘛

netdragonx

我也在这方面做过一些工作，特别是最早之前做产品测试的时候。
很多时候，你没办法采集真正用户群的反馈意见。这点在艾瑞和17173的数据里就特别明显，征途的枪稿一堆恶心，但实际呢？业绩至少是很不错的。
我认为几个问题尤其严重：
第一、数据来源存在问题；
第二、采集范围存在问题；
第三、用户自身无法表达。
问卷上问题不明确、或者调查覆盖范围有偏差，这些都很容易导致我们在错误的数据上下过多的功夫。
所以解决思路和楼主的很类似，一方面是针对实例去调查；另一方面是在问题设计上下功夫。
不过真做起来很让人吐血的。

不圆

我有点纳闷,也许是"调查工作"和"市场调研"不同,当然,仅仅是在网游上.

调研组的结果应该是非常非常重要的,他们的立论和结论应当是产品开发和运营的大脑.

但是现实情况往往是调研组,理论组跟不上产品开发的节奏,经常是一个系统成功了,一个潜在市场被发掘了这时候调研和理论的结果才慢悠悠的跟出来,甚至总结的还是一些产品部的人私下认定了的东西.

这和调研组在公司的地位,给的人手,调研控制处理数据的能力都有关系.如果真得有这样的人才,通过精准的分析,做到比产品先行,那这对产品开发可是大大有利的.征途是个典型的例子.

天际

"对于任何一家既有成熟产品的公司来讲，通过既有产品进行数据采集并不是非常困难的事情，但是，这部分的数据缺失之严重则让人感到汗颜。"

这一点,楼主有误解
这部分数据,各公司都保管得相当好，只有少数几个决策者能接触到的
我试过两次,进入游戏公司和通过交谈套话,结果呢?
高层们要么一无所知,要么讳莫如深.
一般高层都不让知道,中层和普通员工,是根本没机会的.

网游不是一个良性发展的行业,多数投资者是纯粹为短期暴利而来,并不是看到这个行业的前景.
为这些投资者和公司打工的人，也很清楚这一点.

这是个信息爆炸的时代,不公开信息的企业,从长远来说，是没有前途的.
问题是在公信力缺失的今天,透露任何有用信息和为公司作长期计划都是危险的.
索性大家都保持距离,各自摸索,只要有短期利益,至少可以生存下去,足矣.

至于说数据分析,是不能让懂的人来做的,因为比如你我,一旦接触这些核心数据,只需要一眼，就能看出很多东西.换了你做老板,也不肯给人看的.
所以,一般的分析,都是找应届生来做,以分段方式,不让每个人接触全部,只给一段,然后用安全的方式,把他们的分析汇总,而最后的报告,除了绝对老板,其他任何人都需要经过特许,才能看到.

因此,现代的科学统计和分析方法,以及结论,其实是有用的,只是你看不到而已。

icedew

不错

CNCSNAKE1

很精彩，不过数据毕竟是数据，直接表达现象的东西，很多人还是更信奉这个到崇拜的程度

我觉得很多时候正像1楼所有，什么东西都不能帮助你直接成功，理性分析你的资源，挑拣出正确的东西才是真正的方法

不过，有时候我觉得，如果你针对数据进行筛选、分析的话，那不就落回主观影响客观的怪圈了吗？

不知道1楼如何阐述这个问题