迈向混合方法的社会科学研究
复旦大学特聘教授 复旦大学复杂决策分析中心主任 唐世平
“研究设计”不仅仅是方法
方法的突飞猛进让许多学生甚至老师都认为,研究设计(research design)就是方法论的训练。这样的一个立场至少是值得商榷的。我的立场是,(社会科学中的)“研究设计”并不只是学习方法和方法论,而是一个介于方法和“社会科学哲学”之间,同时还要考虑其他诸多问题的任务。
更具体地说,要写好一篇好的博士论文(或是篇幅比较大的文章,甚至一部实证社会科学的专著),需要从选题、理解文献(包括文献批评)、理论化、实证方法、具体实证过程、讨论这几个方面做通盘的考虑。而具体的实证方法(和具体的做法)仅仅是一个环节。
特别重要的是,理论化(theorization)要远远大于“提出实证假说(deriving empirical hypotheses)”。因为实证假说只是对某种对应结果或者某些痕迹存在的期待,因此,如果(不能)找到或者发现这样的结果,实证假说将会获得支持或者不支持。而理论则需要给出这些观察结果背后的因果解释(causal explanation)。更进一步地说,“提出实证假说”应该是理论化基本结束之后的工作。如果一个研究只“提出实证假说”,可以说是没有理论化。而如果发现某些实证结果之后再去理论化,可能就有“自圆其说”的嫌疑。
因此,给出因果解释(causal explanation)或者说理论化要比“因果推断(causal inference)”更难:前者大于或者说包含了后者,无论后者是基于定量还是定性的实证。
如此一来,研究设计除了要基于特定的方法训练之外,还需要特别在如何理论化,如何让理论规制“实证假说”的提出,核心变量的概念化、测量,以及不同方法如何混合使用是最为有效的做法上下工夫。仅仅是具体方法的训练还不是完整意义上的“研究设计”。
从《设计社会科学研究》到《重思社会科学研究》
我认为,“Designing Social Inquiry (DSI)”(即KKV 1994) 译为《设计社会科学研究》是更加准确的翻译,而不是采用目前《“社会科学中的研究设计”》的译法。
《设计社会科学研究》(Designing Social Inquiry,即KKV 1994)开启了一场席卷政治学的方法论大辩论。但该书的主要立场是社会科学研究只有一种范式或者逻辑(即“因果推断”的逻辑)是错误的。
在本体论上,其中最为基础性的错误认识在于,尽管《设计社会科学研究》的作者们宣称是基于自然科学中的实验方法来讨论社会科学的方法,但他们至少没有完全弄懂自然科学中的实验。最为关键的是,自然科学中的实验其实不止费希尔(Fisher)和内曼(Neyman)发明的“(农业)田间实验”一种,而是至少还有一种实验逻辑,那就是通常在化学和分子生物学、分子遗传学等领域中最为核心的实验逻辑:以甄别或者确立“机制” (mechanism)或者说是“路径” (pathway)、“串联” (cascade)为目标的实验。比如,大家所熟悉的有丝分裂、减数分裂、三羧酸循环、细胞凋亡、DNA结构和复制过程、基因表达调控(如著名的“操纵子”理论)等机制或过程,都是由后一类实验贡献的结果。事实上,几乎所有的诺贝尔生理学或医学奖都是授予给后一类实验的结果。(关于这两种不同的实验逻辑,请参见我的工作论文:Tang, Shiping, 2019. “Two Logics of Experiment in Biology and Medicine: Mechanistic/Pathway versus Populational/Treatment.” https://fudan.academia.edu/ShipingTang/Papers)。
因此,我还认为,统计分析不等同于计量经济学方法。事实上,最为棘手的统计问题一直是在生物医学领域。而在社会科学领域,经济学面临的“因果推断”挑战不一定就比政治学和社会学更难。“计量经济学方法”的提法其实也体现了“经济学帝国主义”。
以上的两种实验逻辑,对于接受过基本的化学和分子生物学训练的人来说应该是常识。而由于《设计社会科学研究》的作者们认定,自然科学中的实验就只有“(农业)田间实验”一种,他们进而认定,从费希尔和内曼开创的基于群体样本的“随机控制干预”(Randomly controlled treatment, RCT)的实验才是最理想的实验,因而也是社会科学必须尽可能逼近的方法。这当然是错误的。不幸的是,很多《设计社会科学研究》的批评者也没有意识到这一点。事实上,即便在自然科学哲学中,这两个不同的实验逻辑也没有被清晰地定义。
在社会科学中,面对观察数据,如何运用统计分析技术,逼近RCT的境界而获得确定的“因果推断”,肯定更加棘手。而如果社会科学能够都做严格的RCT,在这一种实验逻辑上,那么就和自然科学的实验逻辑没有区别了。这背后的挑战非常棘手,也是绝大部分定量分析方法试图解决的核心问题(如果不是唯一核心的问题的话)。
在认知论水平上,《设计社会科学研究》认为“因果推断”覆盖了一切我们的研究任务。事实上,绝大部分时候我们希望的研究目标是获得“因果解释”。显然,“因果解释”要比“因果推断”更难。而“因果推断”通常只是获得“因果解释”的一个步骤或者部分。
事实上,《设计社会科学研究》的作者们显著引用霍兰德的研究(Holland,1986)就明确指出,统计方法只能够获得“因果推断”,或者说是确立 “导因的影响”(effects of causes),而不能获得“因果解释”[或者说是确立“结果的导因(causes of effects)”],而《设计社会科学研究》的作者们完全忽略了这一关键点。
而建立在对《设计社会科学研究》的批评的基础上的《重思社会科学研究》则是开启了混合方法的潮流的一本书。
《重思社会科学研究》的第一版更多的是对《设计社会科学研究》的批评和回应,其中的几章非常中肯:Collier、Mahoney、Seawright、Munck、McKeown。这些批评包括来自定量分析领域的资深人士(Freedman、Brady),以及定性比较分析的资深人士(Collier、Bennett、Tarrow)。而回应则主要来自定性比较分析(QCA)。
《重思社会科学研究》的第二版则是真正开启混合方法的潮流的一本书,因为这一版有了很多建设性的发展,尽管还保留了一些对《设计社会科学研究》有尖锐批评的章节。第二版也包括了定量分析的人士以及混合方法的坚定支持者(Dunning、Seawright)的批评和发展。在本书的第二版中,我特别推荐其中的几章:Bartles、Bennett、Brady、Freeman、Seawright。
特别是作为一位杰出的统计学家,戴维·A.弗里曼(David A. Freeman,1938-2008)特别强调,即便在流行病学和医学这样特别需要定量分析的领域,定性分析同样重要,甚至可能特别重要。他用了“牛痘”“产热病”“霍乱”、青霉素等几个在流行病学和医学有重大意义的例子表明,那些获得了科学突破的医生、科学家等,都是首先依赖个案或者少数观察,进行逻辑推理才获得突破的,他们几乎没有用到任何现代统计分析技巧。作为一个一直对社会科学中的统计问题,特别是对统计模型和“因果推断”给予关注的统计学家,弗里曼对许多问题的理解要比加里·金更加贴近问题。我高度推荐他的一本论文集:《统计方法和因果推断:和社会科学的对话》(Statistical Models and Causal Inference: A Dialogue with the Social Sciences)。
当然,《重思社会科学研究》也有不少遗憾,对机制本身以及对因素和机制之间的关系都讨论较少或者很差。特别是没有引用Bunge和Bhaskar两位杰出的(社会)科学哲学家的著作。为此,这里特别推荐三本(社会)科学哲学的相关著作:
Mario Bunge. 1999. Finding Philosophy in Social Sciences. Transaction Publishers
Phyllis M. Illari & Frederica Russo. 2014. Causality: Philosophical Theory Meets Scientific Practice. Oxford: Oxford University Press.
Marie Kaiser et al. (eds.) 2014. Explanations in the Special Sciences: The case of biology and history. Springer.
《设计社会科学研究》出版于1994年。建立在对《设计社会科学研究》的批评和发展之后,研究方法方面的文献出现井喷。2000年至2010年之间出版的著作至少包括:
Ragin, Charles. 2000. Fuzzy Set Social Sciences. Chicago: University of Chicago Press.
Ragin, Charles. 2008. Redesign Social Inquiries: Fuzzy Sets and Beyond. Chicago: University of Chicago Press.
Goertz, Gary. 2006. Social Science Concepts: A User’s Guide. Princeton: Princeton University Press.
George, Alexander L., and Andrew Bennett. 2005. Case Studies and Theory Development. Cambridge: MIT Press.
Gerring, John. 2007. Case Study Research: Principles and Practices. Cambridge: Cambridge University Press.
Morgan, Stephen L. & Christopher Winshop. 2008. Counterfactuals and Causal Inference Methods and Principles for Social Research. Cambridge: Cambridge University Press.
Angrist, Joshua D. and Jorn-Steffen Pischke. 2009. Mostly Harmless Econometrics. Princeton: Princeton University Press.
混合方法的新趋势
《重思社会科学研究》第二版出版之后,研究方法进一步加速发展。最新的一些著作包括:
Goertz, Gary, and James Mahoney. 2012. A Tale of Two Cultures: Qualitative and Quantitative Research in the Social Sciences. Princeton: Princeton University Press.
Goertz, Gary. 2017. Multimethod Research, Causal Mechanisms, and Case Studies. Princeton: Princeton University Press.
Derek Beach and Rasmus Brun Pedersen. 2013. Process-Tracing Methods, 1st ed. Ann Arbor: University of Michigan Press.
Derek Beach and Rasmus Brun Pedersen. 2016. Causal Case Study Research. Ann Arbor: University of Michigan Press.
Derek Beach and Rasmus Brun Pedersen. 2019. Process-Tracing Methods, 2nd ed. Ann Arbor: University of Michigan Press.
基于Judea Pearl发展的有向循环图(Directed Acyclic Diagram,DAG)方法:
Pearl, Judea. 2009. Causality. 2nd ed., Cambridge: Cambridge University Press.
Pearl, Judea (and Dana Mackenzie). 2018. The Book of Why. New York: Basic Books.
Morgan, Stephen L. & Christopher Winshop. 2014. Counterfactuals and Causal Inference Methods and Principles for Social Research,2nd ed. Cambridge: Cambridge University Press.
我对基于DAG的方法在社会科学中的前景目前还是持保留态度。原因倒不是说这类方法不好,而是其要求非常高(比如,一个研究者如何得到可靠的有向循环图)。如此,如果定量社会科学要求以DAG为基础,估计几乎就没有什么定量分析文章可以发表了。因此,我认为这一方法在社会科学中的应用前景比较狭窄。
混合方法的趋势从近期的博士论文中就已可窥一斑:最近的绝大部分博士论文都是运用混合方法,包括定量分析、定性比较分析(QCA,比较案例分析)、实验方法、博弈论、QCA等等。我本人和我的学生也都坚定地践行这种努力,尽管我们可以做得更好。最重要的是,我们不能因为有数据才做研究,我们应当关心重要的问题,即便没有数据我们也要研究。
与此同时,一些曾经非常流行的新颖方法也广受质疑,其中最为显著的是“工具变量”。根据其他人的研究和我自己的观察,能够真正满足排斥性约束(exclusion restriction)的工具变量几乎不存在,这其中也包括著名的“殖民者死亡率”的工具变量。相关研究包括:
Bazzi, Samuel and Michale A. Clemens. 2013. “Blunt Instruments: Avoiding Common Pitfalls in Identifying the Causes of Economic Growth.” American Economic Journal, Macroeconomics 5 (2): 152-86.
Heckman, James J., and Sergio Urzua. 2009. “Comparing IV with Structural Models: What Simple IV Can and Cannot Identify.” NBER Working Paper 14706, National Bureau of Economic Research.(相对更加纯技术一些)
Young, Alwyn. 2022. “Consistency without Inference: Instrumental Variables in Practical Application.” Working Paper.
混合方法的未来:迈向整合了因素和机制的因果解释
一个“科学实证论”的解释显然认定,因素和机制都是因果解释的有机组成部分。不存在独立于因素的机制,而因素也需要机制才能造就结果。
更为重要的是,和许多人的误解不同,其实机制可以非常广泛,不仅在自然科学如此,也适用于社会科学,尽管社会科学中的机制不大可能像自然科学中的机制那样广泛或者“普遍”(universal)。
比如,氧化作为一个机制,是高度广泛的。但是氧化剂和还原剂则是可以多种多样的。在生物学中,最为伟大的机制当然是达尔文率先提出的“突变-选择-遗传”:这样一个机制适用于宇宙中的任何物种的演化,但是因为环境以及基因、发育、随机事件的多样性,推动物种演化的因素的组合是无穷的。
因此,恰恰和许多社会科学家的误解相反,机制可能比因素要更加“普遍”。在社会科学中,“集体行动的逻辑” “社会动员” “安全困境、螺旋机制” “群体间与群体内部互动”等都是非常广泛的,甚至可以说是“普遍”的机制。
基于以上的理解,我们可以认定:定量分析和定性(案例)分析的优劣势是互补的,或者说这两种方法的互补意味着他们对实证的目标是不同的。定量研究适合确立“因素的影响”,同时也适合推广对某些因素的理论化(因为定量总是对一个群里进行处理)。当然,如果一个理论推断是某些因素需要经过几个步骤才能导致的结果,那么进行多个阶段的定量分析也是能够支持这个理论的。
相比之下,定性研究最重要的能力是甄别、确立并且推广机制。这里要特别强调,机制当然需要因素才能起作用。因此,因素和机制对于一个理论都是必要的。
归根结底,所有的实证研究最终还是需要理论化深度的支撑和约束。没有理论化的实证是“滑溜的” (slippery),因为实证研究没有被规制,定性研究容易出现“自圆其说” “随意剪裁证据”,而定量研究则是“发现相关性之后找解释”,以及更加恶劣的“篡改P值”(P-hacking),比如,不少关于民主支持经济增长的研究都是这样的产物。