제2장 평가도구의 질 판단 기준 컴퓨터 정창면
Download as PPTX, PDF0 likes959 views
제2장 평가도구의 질 판단 기준-컴퓨터 정창면.pptx
![[Imr]week02 1](https://cdn.slidesharecdn.com/ss_thumbnails/imrweek021-150310065705-conversion-gate01-thumbnail.jpg?width=560&fit=bounds)
More Related Content
Similar to 제2장 평가도구의 질 판단 기준 컴퓨터 정창면 (20)
More from Minsoo Jung (20)
제2장 평가도구의 질 판단 기준 컴퓨터 정창면
- 1. 제 2장 평가도구의 질 판단 기준 학과 : 컴퓨터교육과 학번 : 20140301 이름 : 정창면 지도교수님 : 정민수 교수님
- 2. 평가도구의 질 판단 기준 타당도 • 검사도구가 ‘무엇’을 측정 하고 있는가와 관련된 개 념. =실제 검사도구가 측정하 는 것이 검사도구가 측정 하려는 것과 얼마나 근접 한지의 개념. =검사의 적절성 여부에 대한 질문. 신뢰도 • 평가의 방법이 ‘어떻게’측 정하고 있는가와 관련된 개념. =재야할 것을 얼마나 오 차가 없이 일관되게 재고 있는가에 대한 개념. =검사의 정밀성 여부에 대한 질문.
- 3. 타당도 • 1. 전통적 관점 – 내용 타당도 – 예측 타당도 – 공인 타당도 – 구인 타당도 • 2. 통합적 관점(증거) – 검사내용에 기초한 증거 – 반응 과정에 기초한 증거 – 내적 구조에 기초한 증거 – 다른 변수와의 관계에 기 초한 증거 – 검사결과에 기초한 증거
- 4. 신뢰도 • 1. 검사 관련 신뢰도 – 재검사 신뢰도 – 동형검사 신뢰도 – 내적 일관성 신뢰도 • 반분검사 신뢰도 • KR-20/KR-21 • Cronbach a • 2. 채점 관련 신뢰도 – 채점자 내 신뢰도 – 채점자 간 신뢰도
- 5. 타당도 - 전통적 관점 1) 내용 타당도 ● 평가도구가 평가내용(교육목표, 교과과정, 교재의 내 용-내적 준거)을 충실히 측정하는 지 분석측정. (성적 검사 타당도와 비례) ● 주로 성적 검사의 타당도를 확인, 결정. ● 지능, 적성, 흥미, 자아개념 검사에서도 쓰임. ● 검사 내용을 전문가의 판단으로 추정하기 때문에 수 치로 나타낼 수 없음.
- 6. 타당도 - 전통적 관점 2) 예측 타당도 ● 평가도구가 목적하는 준거를 정확히 예언하는 가를 말함. ● 예측타당도의 준거는 검사가 예언하고자 하는미 래의 행동 특성(외적 준거)이 됨. ● 추정은 선행검사(점수)X와 준거(미래 행동특성)Y 와의 상관계수로 표시됨.
- 7. 타당도 - 전통적 관점 3) 공인 타당도 ● 공인이란, 공통적인 요인을 말함. ● 예측 타당도와 다르게 행동의 준거가 ‘현재’. ● 검사X와 준거Y가 동시에 측정됨. ● 준거의 성질이 ‘예언’이 아닌 ‘공인의 유무’. ● 새로운 연구 및 가능성 탐색, 새로운 해석 가능.
- 8. 타당도 - 전통적 관점 4) 구인 타당도 ● 검사가 심리적 특성을 구성하는 구인들을 얼마나 잘 포함 했는지의 정도. ● 새로운 개념이나 구인에 과학적 이론과 타당화를 부여하 는 과정. ● 검사 자체보다도 준거의 확인과 이론 형성이 중심. ● 이론 정립에 많은 방법이 쓰일 수 있기 때문에 구인타당 도의 정도를 어떤 단일 지수로 표현 불가함.
- 9. 타당도 – 통합적 관점(증거) 1) 검사 내용에 기초한 증거 : 검사의 내용과 측정하려는 구인, 검사 점수의 해석간의 관계의 적절성에 관한 것. 2) 반응 과정에 기초한 증거 : 측정하려는 구인과 수험자의 반응과의 적절성에 관한 것. 3) 내적 구조에 기초한 증거 : 검사문항과 검사 구성 요소간의 관계가 구인과 일치하는 정도를 나타내는 것. 4) 다른 변수와의 관계에 기초한 증거 : 검사 점수와 외재적 변수간 관련성이 구인과 얼마나 일관성을 갖는 지를 분석하 는 것. 5) 검사 결과에 기초한 증거 : 검사의 사용 결과를 분석하는 것. 단, 타당도와 관련이 있는 지 구별해야 함.
- 10. 신뢰도 – 검사 관련 신뢰도 1) 재검사 신뢰도 : 하나의 측정도구를 동일한 대상에 두 번 실 시하여 처음에 얻어진 점수와 두 번째로 얻 어진 점수와의 상관계수를 통해 신뢰도를 구 하는 것. 시험에 적용했을 때, 두 번째 시험의 기간을 검사 내용에 따라 잘 조절해야 함. 신뢰도가 변하기 때문에.
- 11. 신뢰도 – 검사 관련 신뢰도 2) 동형검사 신뢰도 : 검사 한 개와 동형의 검사, 2개의 검사를 동일 한 대상에게 시행해서 결과가 일치하는 정도 를 상관계수로 추정. 현실적으로 동형의 검사 제작이 쉽지 않고, 두 번 실시 한다는 것 자체로 어려움이 있음.
- 12. 신뢰도 – 검사 관련 신뢰도 3) 내적일관성 신뢰도 1) 반분검사 신뢰도 : 평가를 구성하고 있는 문항들 간의 내적 일 치도를 검사하는 것으로, 검사를 양분하여 두 개의 부분 검사간의 유사성에 의해 신뢰도 추정. 하나의 검사로 신뢰도를 구할 수 있지만, 검 사를 나누는 방법에 따라 신뢰도가 달라짐.
- 13. 신뢰도 – 검사 관련 신뢰도 3) 내적일관성 신뢰도 2) KR-20/KR-21 : 문항 점수의 분산과 공분산 개념을 이용하 여 신뢰도를 추정, 검사를 두 번 하지 않고 신 뢰도를 추정할 수 있음. 하나의 문항들을 독립된 검사들로 보고 반응 의 일관성 등으로 신뢰도 추정.
- 14. 신뢰도 – 검사 관련 신뢰도 3) 내적일관성 신뢰도 3) Cronbach a : 하나의 검사에 포함되어 있는 문항들이 얼마 나 서로 일치하는가에 따라서 신뢰도를 추정 함. 신뢰도를 다른 도구에 비해 과소 추정하는 경향이 있음. 단점이 될 수도 있지만 검사 도 구의 질을 분석할 때는 바람직한 것임.
- 15. 신뢰도 – 채점 관련 신뢰도 1) 채점자 내 신뢰도 : 동일한 평가자가 시간이 흐름에도 기준이 변 하지 않고 얼마나 일관되게 측정하는 지를 의미함. 2) 채점자 간 신뢰도 : 두 명 이상의 채점자가 평가할 때 결과가 채점 자 간에 일치하는 정도를 의미함.
- 16. 신뢰도에 영향을 주는 요인 • 검사 도구 – 검사도구에 따라서 신뢰도가 다르고, 각각의 장점과 단점이 다르기 때문에 상황에 맞게 사용하되, 신뢰도의 도구 중에서 내적 일관성 신뢰도가 가장 좋음.
- 17. 신뢰도에 영향을 주는 요인 • 문항의 수 – 검사를 구성하는 문항의 수가 많아지면 오차 가 적어짐. 단, 문항이 검사 내용과 관련이 없으면, 신뢰 도와 상관관계가 없으므로 양질의 문제를 개 발하여 문항 수를 늘려야 함.
- 18. 신뢰도에 영향을 주는 요인 • 주어진 시간 – 시간이 충분하지 못 할 경우, 피험자들이 안정 적으로 질문에 응답하지 못함. 그래서 신뢰도 가 낮아질 수가 있음. 그러므로 정해진 시간의 속도 검사 보다는, 시간 제한이 없는 역량 검사에서 신뢰도가 높 음.
- 19. 신뢰도에 영향을 주는 요인 • 문항의 난이도와 변별도 – 검사가 너무 어려우면 불안해져 응답이 일관되지 못할 수 있음. 쉬운 부분을 앞에 두면 신뢰도가 높게 나옴. 너무 어려우면 찍어서 맞추는 경우가 있으므로 주 의해야 함. 적절한 난이도와 변별력이 있는 문제를 만들어야 함.