心理教育研究的样本量怎么定?一份预注册方案里的功效分析
“工作记忆训练的迁移效应”被试内实验:从携带效应、先验功效分析到 Williams 拉丁方,写成一份 12 节的预注册方案。
“样本量为什么是 30?”“因为前人也用了 30。”这样的对话,在心理学和教育学的开题答辩上并不少见。随着预注册越来越普遍,审稿人和导师都更关心样本量背后的计算依据。PaperOK科研助手官网公开了一个心理教育模式下的真实运行案例:为“工作记忆训练的迁移效应”设计被试内实验,做先验功效分析、安排顺序平衡,最后写成一份可以用于预注册的研究方案。
先指出设计里的坑
用户要求:设计一个被试内实验。科研助手在动手算样本量前就提出了问题:训练效应不可逆,练过双n-back的人不可能“忘掉”再做对照条件,因此AB/BA交叉设计并不成立。
它改为“以对照训练期作基线”(fixed-order design):前测-4周对照训练-中测-4周双n-back训练-后测-12周追踪。这种设计的代价就是训练类型和时期混淆,在方案的局限部分明确指出了这一点。先指出设计中存在的缺陷,再讨论样本量的问题,这样的顺序是正确的。若设计有问题,算得再好又有什么用呢?将局限性摆出来,才便于审稿人和阅读者判断研究结果可推广的范围。
207 名完成者是怎么算出来的
功效分析从“最小关注效应”出发,即研究者认为多大的效应才是值得关心的。在案例中为0.25,复测相关为0.75,转换为配对设计的dz=0.20。在单侧α=.05、功效.90的情况下,需要207名完成者;若采用双侧检验,则需255人。
为什么要用“最小关注效应”,而不是直接引用他人研究报告的效应量?发表的研究的效应量可能会偏大(尤其是小样本研究),据此计算出的样本量会偏小,导致最终得到一个功效不足的样本量结果。先想清楚“多大的效应在理论或实践上有意义”,再据此倒推样本量,算出来的数字更经得起追问。最后要提醒的是,被试内设计中有一个容易忽略的步骤——效应量需要由复测相关的换算得出dz,同样原始效应,复测相关越高所需人数就越少。
真实运行案例:工作记忆训练实验的功效分析
dz = 0.20、单侧 α = .05、功效 .90 → 需完成者 207 人。预计流失 25%,招募 276 人,按 16 人区组取整为 288 人。2 万次模拟复核:复合对称结构下功效 .901,相关随时间衰减时为 .917。敏感性:复测相关 r = .65 需 290 人,r = .85 需 125 人。我们用 statsmodels 重算,数字完全一致。
此处有两个细节可供借鉴。第一点就是先通过解析公式计算后,再用2万次模拟进行验证,同时考虑到两个相关的结构,以防公式假设与数据不符。提供样本量敏感性表,复测相关由.65至.85,所需人数从290减少到125。复测相关一般只能从先前的研究中估计出来,敏感性表可让你看到这个估计所带来的影响。
顺序平衡与 12 节预注册方案
当训练顺序固定后,仍需平衡测验水平的顺序效应。方案使用两个4x4的Williams拉丁方来平衡测验的版本和会话内测验的顺序,交叉得到16个平衡单元,然后按照区组随机产生288人的分配。288 正好是16的倍数,这也是为什么招募人数由276取整为288。
最后,科研助手按 OSF 模板写成 12 节的预注册方案,包括:
· 假设与判据,以及“近迁移显著后才检验远迁移”的顺序门控
· 等效检验、排除标准、缺失数据处理
· 偏离预注册时的记录方式
分析脚本已在模拟数据上跑通。方案列出 18 条参考文献,其中 17 条带 DOI,经 Crossref 核对全部真实;另 1 条是 Ekstrom 等 1976 年的 ETS 认知测验手册,没有 DOI,AI 自己标注了“书目待核实”。交付的文件包括预注册方案、功效分析与分配表生成脚本、288 人平衡分配表和样本量敏感性表。
最小关注效应的设大、复测相关的取值、单双边的选择,都是研究者根据理论和前人研究做出的可以为之辩护的选择。科研助手能够精确计算和预警风险,但预注册的假设必须是研究者真实的检验计划。
关于 PaperOK科研助手
懂科研的 AI 搭档,运行在你的电脑上:文献、数据、写作与汇报,一个对话框完成。支持 macOS、Windows、Linux,免费下载,了解 PaperOK科研助手 免费下载