More Related Content
What's hot (20)
Viewers also liked (19)
Recently uploaded (18)
效度的概念
- 1. 心理测量学中 效度概念的新发展 2009.5.31. 小组成员：甘嘉文、曹琳珠、左东朔 徐帅哲、骆莎、张雪华
- 2. 效度概念 ?发展至今，效度已经从一个单薄的相关系数变 成一个内涵丰富、多维的概念系统 ?现在效度概念包括了测验全过程的多个方面： ? 测验内容 ?分数解释的价值内涵 ?测验实施可能带来的社会后果 ?反映了： ?测量理论本身的发展 ? 谨慎、客观和科学的态度 ?精确的要求
- 3. 效度概念发展的第一阶段 ?“ 相关即有效” ?20 世纪 50 年代之前 ? Bingham, 1937 ：测验的成绩与采用其他 客观方法进行度量所得结果之间的相关 Guilford, 1946 ：只要一个测验与某事物相关 ，那么对于该事物来说它就是有效的 ?缺点：可能会得出无意义的结果
- 4. 效度关注的是具有方向性的因果关系 ?测量是一个因果关系，不是一个相关概念，效 度也是这样 ?“ 世界上的任何事情，往往都有相关” ?“ 完美的相关不一定有完善的效度” ?“ 相关是依据总体的统计，它对总体被测量的 属性的差异量非常敏感”
- 5. 效度概念发展的第二阶段 ?20 世纪 50 年代至 70 年代 ?美国心理学会、美国教育研究学会和国家教育 测量委员会 1966 年联合出版的《教育与心理测验 的标准和指南》 ?关联效度 —— 能力测验 ?构想效度 —— 人格测验 ? 内容效度 —— 成就测验 ?“ 不同测验有不同的效度要求”
- 6. 如何寻找效度 ?构想效度的获得一般采用两种途径 ? 一是与度量同类构想的测验是否相关 ? 二是与不应有关的东西是否无关 ?效度它仅仅向我们说明一个属性，由一个理论 术语所指派的属性。由于这个属性存在，对这个属 性的测量能够用一个给定的测验完成 ?属性差异是测验得分差异的原因
- 7. 如何寻找效度 ?效度研究的第一步是形成一个有关属性差异和 测量得分差异间因果关系的理论解释 ?最佳的测量效度与最佳的预测性并不是一回事 ?测验效度的大部分工作应该关注测验构想环节 , 而不应该关注测验分析环节
- 8. 效度概念发展的第三阶段 ?20 世纪 70 年代至今 ?效度是一元且多维的 ?“ 泛泛地谈论某一测量工具的效度是不负责任 的，因为效度指的是事实和理论对由测验分数所 得解释的支持程度，被评估的是对测验成绩所作 的解释而不是测验本身” ?构想效度的六个方面 ? 内容方面、实在性方面 ? 结构方面、概括化方面 ?外部方面、后果方面
- 9. Sam Messick ?效度是一种总体性的、评价性的判断 , 代表了 实验证据和理论原理在多大程度上证明了由测验 成绩所得解释的充分性和恰当性。 ?将效度划分为多种类型的做法所得到的效度是 支离破碎的、不完整的 , 而且这种做法缺乏对测验 成绩的价值内涵和社会后果的考虑。 ?新的、一元的效度概念将这些方面统合起来组 成一个更为全面的效度理论。 ?Meaning and Values in Test Validation, 1989
- 10. 定性研究中的“效度” ?在定性研究（质的研究）中，所研究的内容与 分析解释，同样需要考虑其代表被研究者的程度 ，所以尽管质的研究者，对“效度”的概念持不同意 见，但仍旧沿用“效度”一次来探讨研究的真实性问 题。所以在定性研究中，效度可以粗略的理解为 研究的有效程度和真实程度。 ?陈向明教授分析了马克思威尔（ Maxwell ）对 于效度的分类，做出如下理解 ?描述型效度、解释型效度 ?理论型效度、评价型效度
- 11. 叁个问题 ?“ 是否测量”和“想测量什么”问题（ Cattell & Kelley ） ?“ 测验得分之间的经验关系与一个法理学网络 中的理论关系是否相匹配”问题（ Cronbach & Meehl ） ?“ 解释和行为依据测验得分是否公正”的问题： 不仅仅依据科学证据 , 同时依据社会和伦理使用测 验的结论的问题（ Messick ）。
Editor's Notes
- #5: 1 在现实生活中，任何事情遭遇零相关的可能性本身就非常小。因此，若把相关看成有效性的决定特性，在某种程度上说对任何事情的测量都变得有效了，这是不合理的。但这种不合理性在因果理论中不会出现，因为任何事情都具有因果关系是不大可能出现的。 2 效标关联效度把效度的程度与相关系数的水平等同起来 , 相关越高 , 效度越高。若两个变量的相关非常完美 , 则效度也非常完美。这种推论实际上也存在问题。举例来说 , 假设某个人测量打雷的出现。阅读文献可能会查到其与闪电的出现有一个完美的相关 , 因为它们都是云层光电发射的结果。然而虽然它们有很好的相关 , 但却不是同一回事。当一个测验有效的测量了打雷的出现时 , 它没有有效的测量闪电的出现 , 原因很简单 , 因为它根本没有测量闪电的出现。所以完美的相关不一定有完善的效度。这种不合理性在因果理论中不会出现 , 因为闪电出现的变化不是打雷出现的变化的原因。 3 , 但有时候这一点也会有很多不合理性。假设测竿子的长 , 测量工具使用的是米尺 , 同时假设这一测量没有误差 , 测量结果和真实长度之间的相关对大部分总体是一致的。但在一个总体中它们的相关却是零 , 这个总体就是相同长度的竿子。因此 , 根据数据结论个体会认为在这样的总体中 , 米尺对测量长度是无效的。这是一个奇怪的结论。在因果关系中 , 这种荒谬性不会出现。因为因果关系是有方向性和条件性的 : 因果叙述认为如果属性间有差异 , 这些差异就会造成测量结果的差异 ; 同样的 , 如果属性间没有差异 , 那测量结果也不会有差异。 对应小莎莎同学《因果 vs 相关》
- #7: 对应小莎莎同学：《本体论 vs 认识论》
- #8: 1 许多效度研究关注创建一个相关系数表格，然后检查它们是否有一个正确的方向。虽然这种宏观水平的相关是重要的，但效度研究的首要目标不是创建有一个正确方向的相关，而是提供测量结果形成过程的一个理论解释。 2 纯粹的经验主义的方法，依据外部相关的最优化，是不大可能产生被认为是效度测量的测验。因为关注预测性指标对效度没有好处，其原因是测量同一属性的条目间会有相关，但这些相关的条目对预测没有作用，它们产生了多重线性。最优的预测性条目是条目间无相关，而与效标有高相关。这也说明最佳的测量效度与最佳的预测性并不是同一回事 3 目前效度研究的问题不是难以发现测量了什么，而是难以确定所要测量的属性。我们甚至可以认为效度不是也不可能单纯是方法论问题 , 当然这并不是说方法论和心理测量学的技术与效度研究无关。但对“测验是如何工作 ?” 这一问题的理解首先是属性的真实存在性而不是方法论。所以我们绝对不会认为一个效度测验就是一个矩阵结构。效度的构想是一个属性的存在对得分的因果影响 , 任何矩阵表都不会是这种因果影响的替代物。因此 , 属性反映的因果过程来自于真实存在的心理学过程 , 而不是方法论原理。
- #9: 对应小莎莎同学：《参照 vs 意义》