什么是好的定量研究?

今天,咱们圈子引荐一份“什么是好的定量研究”思考,它值得各位学者深入思考和讨论。

1. 好的定量研究需要展示作者对定量研究的哲学基础和定量研究局限的认识。

定量研究的哲学基础是后实证主义常规科学。在一篇好的定量研究的文章里,尽管作者不用对之进行专门的讨论,但是作者行文的字里行间,到作者变量的选择和测量的使用,以及对研究意义和发现的陈述,都应该展示作者对以逻辑实证主义为基础的,以统计推断为方法的定量研究的深刻理解。这一理解决定了作者如何在一系列的限制条件之下,进行变量的选择和测量,以及统计方法的使用和对数据的分析。

2. 好的定量研究应该高度重视变量的测量。

定量研究是逻辑实证主义为基础的,强调的是对社会科学研究对象的概念化,可操作化和测量。好的定量研究对测量,以及测量工具的使用有很高的要求。过往公共管理研究包括美国公共管理研究一个很大的问题,是过度依赖对问卷的使用。通过发放问卷,使用莱克特量表,对研究的因变量和自变量进行测量。随着公共管理定量研究的发展,人们对使用问卷进行变量的测量,产生了相当大的疑虑。尽管这个疑虑有一定原因,但是也不能把问卷方法一棒子打死。如果测量和研究的是主观心理和态度,问卷研究方法仍然是一个重要的研究方法。在这时候,我们关注问卷设计的科学性,看是不是能得到对心理和态度的真实和可靠的测量。问卷使用中的共同性偏差的问题(Common Biases)已经得到了各主流学术杂志的高度重视,这使得定量研究中使用单一问卷收集数据的文章越来越难以发表。过往不少研究对把通过问卷收集来的对变量的测量即对主观感知的测量当成是客观测量的代理变量的做法现在已经很难被接受了。越来越多的国际公共管理研究期刊希望研究者使用不同数据源的数据(多个问卷的数据或来自不同数据源的主客观数据的混合)进行论文写作。当下随着行为大数据研究的兴起和实验研究的兴起,定量研究的重点开始从对态度的研究向行为转变,这个时候大数据和实验会是下一步公共管理定量研究的重点。公共管理研究领域中方兴未艾的行为公共行政学研究就是希望通过使用实验,即使是使用问卷实验,在一定程度上挽救长期以来一直被批评的问卷研究方法。

3. 好的定量研究一定要有理论支持和理论贡献。

好的定量研究的对于定量研究应该构建什么样的理论及其理论意义高度重视。尽管定量研究和其他研究范式在理论构建上,先天不足。但是通过定量研究发展理论是非常重要的。Sutton & Staw 对管理学领域定量研究的理论化做出了批评。他们指出定量管理学者对什么是理论存在很多误解。他们指出 1.堆砌参考文献不是理论;2. 数据本身不是理论;3. 罗列变量和构建(Construct)不是理论;4 . 图表不是理论;5. 假设或预测不是理论。和管理学一样,公共管理学研究发展的不是元理论和宏大理论,公共管理理论是中层理论,是一系列阐明变量间关系的定理的集合。Whetten 认为好的管理学理论贡献就是要明确回答,谁,什么,在哪里,什么时候和为什么,还有如何的问题。在所有这些需要回答的问题里,最重要的理论问题是为什么的问题。Kaplan 和 Merton 都明确指出理论就是对why 问题的回答。理论就是关于现象的联系,关于为什么行为,实践,和思想会发生。理论强调的是因果关系的本质,界定时间发生和因果的顺序。一个好的理论就是要深挖潜在过程,以帮助我们发现和理解一个特定事件发生和不发生的系统性原因。一些定量研究学者对公共管理研究中的理论认识的不够,经常堆砌文献,以为呈现数据及其关系以及罗列研究假设,画模型图就是理论,忽视对理论最重要和核心问题,因果逻辑链条的分析和深入讨论。好的定量研究会在呈现出变量之间的相关性后,进行统计学上的或理论分析上的分析,对变量间因果逻辑的验证和讨论。

4. 好的定量研究一定要建立在已有的研究基础之上,对已有研究在理论和方法上进行扩展。

对公管定量研究理论性不够的批评主要集中在两个方面,一是定量研究者对国内、国外文献的述评非常不够。不少作者就是找一个有一定实践价值的问题,匆忙建模,然后跑数据,之后对数据发现进行分析,而且分析的结果高度依赖统计软件跑出来的结果,比如系数的大小,显著性和方向。一个很大的问题是这样的研究如果没有充分的对已有理论的述评,没有很好的建立在以前研究的基础之上,模型的建构会出很大问题。模型界定(Model Specification),遗误变量(Missing Variables) 问题会非常严重,这会直接导致统计推断有严重偏差和不一致。对于高度依赖统计结果的研究,这是致命伤。

好的定量研究具有知识的积累性,会对研究问题进行充分的文献述评,不仅将研究建立在已有的理论基础之上,更要强调研究的积累性,即该研究是否建立在以往的研究基础之上的知识累加型进步,贡献于整个理论的建立和完善。这是检验一个定量研究理论意义的重要标准。一个例子是于文轩在2016 年公共管理学报上发表的《中国智慧城市建设的技术理性与政治理性》一文后, 楚志华和李志超先后都从理论框架和研究方法上进行了扩展和更新,这一系列研究帮助我们理解了中国地级市智慧型城市建设的原因和动力机制,对智慧型城市研究在理论上和方法上都有贡献。

此外好的定量研究要对普遍理论有贡献。好的定量研究不能只停留在中国研究的层面。好的定量研究应该对一般性理论体系有贡献。有的作者在讨论自己的定量研究时,指出已有的研究没有用中国数据进行检验,自己的研究的贡献就是用中国数据扩展了理论的一般性。这样的研究如果没有指出使用中国数据带来的理论的重大改变和解释为什么中国数据会带这样的变化,理论贡献是非常有限的。可喜的是国内的学者已经开始在这方面有所突破,在国际学术期刊发表研究,用中国做为案例,贡献于国际公共管理研究的知识增长的研究越来愈多。

5. 好的定量研究的结果不仅仅是常识(Common sense)的,也应该是愉悦(Delight)

优秀的定量研究论文不单单可以对Common sense 给出实证证据,优秀的定量研究论文往往可以让我们有很多惊喜,在我们熟视无睹的现象背后发现规律和出人意料的关系。一个优秀的定量研究论文读后可以让人恍然大悟和充满喜悦。如Weick 所言,一个好的研究可以解释,预测,也可以让我们愉悦(Delight)。

6. 好的定量研究必须使用合适的科学的研究方法。

好的定量研究其实对研究者的要求很高。不仅研究者需要有深刻的理论功底,发现有意思的研究问题。研究者更要对收集来的复杂的数据进行技术分析,寻找最适合数据分析的研究方法。这是一个非常技术和复杂的过程。在数据清理和分析的过程中,研究者要创造性的解决定量研究教科书上没有介绍的各种问题。由于发展的比较晚,传统的公共管理定量研究方法的传授基本上停留在统计和计量经济学教学本科生的阶段。学生对定量研究方法知其然而不知其所然。对数据分析方法的使用的原因,特别是在条件非常复杂的实际研究过程中不甚了了,垃圾进,垃圾出,使用所谓的程序模版进行研究,非常容易忽略特定定量研究方法所依赖的假设和条件。如前文所言,在过去的10 多年里,计量经济学领域对传统计量经济学的教学进行了反思,批评了以往计量经济学教学领域过于重视理想状态下的数学推导,而忽视了在复杂现实里的应用。因此计量经济学教学和科研兴起了“可置信的革命”。对于以应用和实践为导向的公共管理学而言,应该继续进行定量研究方法使用的更新和成熟,使公共管理学定量学者拥有可以在真实数据环境下进行数据分析的能力。此外由于公共管理研究的对象非常复杂,除了理论上要进行要素和机理的分析,为了使统计模型的建立和统计推断的结果更可靠,公共管理定量研究还要在稳健型检验上(Robust Check)上下大功夫,采用各种方法,检验和证明理论模型的稳健性和可信赖性。

7. 好的定量研究必须是清晰的、透明的和可复制的。

当前中国公共管理的定量研究一个非常突出的问题就是文章的作者对整个研究方法、数据的出处、属性,自己的模型,以及研究发现都没有充分和仔细的汇报。有的研究介绍完因变量和自变量之后,匆匆地说一下自己是什么方法,连模型的建构都不谈,就直接汇报结果了。模糊不清晰的研究过程的汇报,会让人对研究结果的可信度和质量产生深深的怀疑。是整个研究过程需要透明,数据要透明,模型要透明,数据分析过程和分析软件的代码要透明。

90 年代美国哈佛大学政府系教授Gary King 就开始在美国政治学界大力倡导研究过程和研究数据的透明。要做到作者提供的信息,足可以复制作者发表的全部内容。今天,美国经济学和政治学界的顶级期刊,要求作者在论文被接受后提供论文的数据和统计软件的程序代码,以供查验和其他学者的复制。这样的做法一是可以保证文章的质量,二是有研究指出提交了数据和程序的文章会大大提高研究的被引用率和影响力。Gary King 的研究也指出由杂志出面进行数据开放和透明,是最有效的形式。中国公共管理学科的研究能力和成果评价体系正在从已发表数量为主到发表质量为主的转换,在这个节点上,推动数据公开和透明,可以极大提高国内定量研究教学和研究质量的改进和提高。中国学者现在使用的大量的数据是使用纳税人的公币完成收集的,本来就应该公开。当然,中国的政策环境,学术共同体的建立和学术发表的环境和美国不同,如何推动数据和研究过程的透明和公开,推进研究的可复制化还需进一步深入研究。如果一旦可以得到推动,对中国公共管理定量研究的教学和研究质量的提升将有重大意义。

微信公众号微信公众号