狠狠撸

狠狠撸Share a Scribd company logo
2014年11月2日(土)16:00~18:00 於:富山国際会議場 
日本認知?行動療法学会第40回大会自主企画シンポジウム 
「失敗しない研究計画入門:エビデンスの『質』を評価するための国際基準の理解」 
一事例実験研究の質の評価 
~RoBiNT Scale に学ぶ事例研究の読み方 
~ 
高橋史(たかはしふみと) 
信州大学教育学系
発表内容 
① 事例研究の質のお話 
② 「RoBiNT Scale」による一事例実験の評価 
ポイント9選 
③ 行動療法研究の事例論文を「RoBiNT Scale」 
で評価してみよう
「事例」研究の質???? 
事例報告の読者は何を得ているのか? 
① 治療経過の疑似体験 
「△△性障害と××性障害を併発した人の治療って、 
こんな経過をたどるのか」 
② 対応のハウツーを学ぶ 
「○○訓練法って、こんなふうに使うのか。こんな 
ホームワークがあったか!」 
③ 治療効果の確認 
「△△性障害の人には○○法が効果的なんだな」
事例「研究」の質 
対照試験 
無作為割付対照試験 
(Randomized Controlled 
(Controlled Trial) 
量的事例研究(一事例実験) 
Trial: RCT) 
丹野(2004)を参考に高橋史が一部改訂 
治療効果の根拠の階層性 
メタ分析 
質的事例研究、権威者の意見etc…
事例「研究」の質 
量的事例研究(一事例実験) 質的事例研究
事例「研究」の質 
事例報告に「研究」としての価値を付加できるか? 
? The 15-item Risk of Bias in N-of-1 Trials (RoBiNT) 
Scale(第一著者:Robyn L Tate) 
? 一事例実験研究の質を評価する、15項目の評価尺度。
Internal validity 
1. Design 
2. Randomisation 
3. Sampling behaviour 
4. Blinding 
patient/therapist 
5. Blinding assessors 
6. Inter-rater reliability 
7. Treatment adherence 
→交絡要因を排除して治療技 
法の効果を抽出するための 
研究デザインの質 
RoBiNT Scale の構造 
External validity and 
interpretation 
8. Baseline characteristics 
9. Therapeutic setting 
10.Dependent variable 
11.Independent variables 
12.Raw data record 
13.Data analysis 
14.Replicatoin 
15.Generalisation 
→事例報告としての明確さ
External validity and interpretation 
治療効果エビデンスとして事例研究を読むときのポイント 
ベースライン時点の特徴(第8項目) 
標的行動の維持要因や維持条件が、実験(介入)実施 
前に評価されていること。機能分析もその方法の一つ 
である。 
– Baseline characteristics (item 8) 
Recommended practice is that these conditions 
and variables (which serve to maintain the 
target behaviour) should be considered and 
evaluated prior to commencing the experiment. 
/// A functional analysis is one way of achieving 
this end, and ///
External validity and interpretation 
記載例をみてみましょう 
住田?杉山(2013)
External validity and interpretation 
記載例をみてみましょう 
岡島?谷?鈴木(2014)
External validity and interpretation 
治療効果エビデンスとして事例研究を読むときのポイント 
標的行動(第10項目) 
標的行動の操作的定義を行った上で(評価点1点)、 
標的行動の測定が精確かつ再検証可能な方法で行われ 
ており、何が適切な反応で何が不適切な反応なのかが 
特定されていること(すべて満たすと評価点2点)。 
– Target behavior (item 10) 
Many reports provide an operational definition of 
the target behavior (score 1 point), but fail to 
describe and/or to use a precise and repeatable 
measure of the target behavior, nor specify what 
constitutes a correct/incorrect response. All 
three elements are required to score 2 points.
External validity and interpretation 
記載例をみてみましょう 
住田?杉山(2013)
External validity and interpretation 
治療効果エビデンスとして事例研究を読むときのポイント 
ローデータでの記録(第12項目) 
各セッション単位で収集された全てのローデータと、 
圧縮されたデータ(例:平均値)が、区別されている 
こと。 
– Raw data record (item 12) 
A natural division occurs between those reports 
which provide a complete record of the raw data 
at a session-by-session level, versus those 
which provide incomplete data (e.g. aggregated 
data).
External validity and interpretation 
記載例をみてみましょう 
佐藤(2002)
External validity and interpretation 
治療効果エビデンスとして事例研究を読むときのポイント 
追試(第14項目) 
ここでいう追試とは、実験全体の再現のことであり、 
研究参加者間/体系的な追試のことである。第1項目が 
カバーしている治療効果の再現(e.g. ABAB法)のこ 
とではない。 
– Replication (item 14) 
In the context of this item, replication refers to 
the repetition of the entire experiment, which 
may be direct intersubject and/or systematic 
replication.
External validity and interpretation 
記載例をみてみましょう 
奥田?井上?山本(1999)
External validity and interpretation 
治療効果エビデンスとして事例研究を読むときのポイント 
般化(第15項目) 
反応般化および刺激般化を引き起こすための介入が組 
み込まれていること。すべてのフェイズで評価される 
ことが望ましく、介入前後のみの評価でも許容される。 
– Generalisation (item 15) 
Genaralisation measures, whether response 
generalisation to other behaviours or stimulus 
response to other settings, need to be 
intentionally programmed into the design of the 
study, rather than a passive expectation of a 
“train and hope” approach.
External validity and interpretation 
記載例をみてみましょう 
半田(2014)
External validity and interpretation 
記載例をみてみましょう 
小林?五十嵐(2013)
Internal validity 
治療効果エビデンスとして事例研究を読むときのポイント 
研究デザイン(第1項目) 
3つ以上のフェイズを用いて治療効果が示されている 
こと(例:ABAB法、6フェイズ多層ベースライン法)。 
– Design (item 1) 
At least three demonstrations of the treatment 
effect (e.g. A-B-A-B; 6-phase multiple-baseline). 
行動の測定(第3項目) 
各フェイズで、5つ以上のデータポイントがあること。 
– Sampling of behaviour (item 3) 
At least 5 data points in every phase.
Internal validity 
記載例をみてみましょう 
佐藤(2002)
Internal validity 
治療効果エビデンスとして事例研究を読むときのポイント 
評価者の盲検化(第5項目) 
治療者と独立した評価者が設けられる単一事例研究 
(評価点は1点)は増えてきているものの、評価点が 
2点与えられるためには、評価者は治療フェイズにつ 
いても知らされずに評価を行う必要がある。 
– Blinding of assessor (item 5) 
Increasingly, single-case reports use an assessor 
who is independent of the therapist (score 1 
point), however, to score 2 points the assessor 
needs to be blind to the phase of intervention.
Internal validity 
研究例を観てみましょう 
ない
Internal validity 
治療効果エビデンスとして事例研究を読むときのポイント 
評価者間信頼性(第6項目) 
人間の判断が関与せず機械的に収集されたデータであ 
れば2点、「十分に客観的な測定方法」(RoBiNT 
scaleのマニュアルを参照)で収集されたデータであれ 
ば1点が加算される。 
– Inter-rater reliability (item 6) 
Use of machine-generated data, free from 
human judgement, or “reasonably objective 
measures” (as defined in the manual) are 
awarded 2 and 1 points, respectively.
Internal validity 
記載例をみてみましょう 
住田?杉山(2013)
で、RoBiNT Scale で評価してみた結果 
Tate et al. (2013). を参考に高橋史が作成 
100% 
90% 
80% 
70% 
60% 
50% 
40% 
30% 
20% 
10% 
0% 
0点 
1点 
2点 
External validity and 
interpretation 
Internal validity
行動療法研究の事例研究の質 
内山記念賞受賞の事例研究その1 
行動療法研究, 25(1), 7-22. 1999年
行動療法研究の事例研究の質 
内山記念賞受賞の事例研究その2 
行動療法研究, 38(1), 23-33. 2012年
行動療法研究の事例研究の質 
RoBiNT Scale での部分的評価結果 
No. 項目内容奥田ら 
(1999) 
高橋ら 
(2012) 
% scoring 
1 or 2 
8 ベースライン時点の特徴2 2 85 
10 標的行動2 2 85 
12 ローデータでの記録1 1 65 
14 追試1 0 65 
15 般化0 1 50 
External Validity 6 6 M=8.70 
(SD=2.64) 
1 研究デザイン1 0 40 
3 行動の測定1 0 35 
5 評価者の盲検化0 0 0 
6 評価者間信頼性1 0 35 
Internal validity 3 0 M=1.90 
(SD=2.27) 
左記 
5項目 
の小計 
全 
8項目 
の合計 
全 
7項目 
の合計 
左記 
4項目 
の小計
事例「研究」の質 
ガイドラインがわかると付加価値がわかる 
① 治療経過の疑似体験 
「△△性障害と××性障害を併発した人の治療って、 
こんな経過をたどるのか」 
② 対応のハウツーを学ぶ 
「○○訓練法って、こんなふうに使うのか。こんな 
ホームワークがあったか!」 
③ 治療効果の確認 
「△△性障害の人には○○法が効果的なんだな」
Take Home Message 
? 事例報告を、①「治療経過の疑似体験」や② 
「対応のハウツーを学ぶ」ための教材として読 
むことに加えて、③「治療効果の確認」をする 
一事例実験研究として読んでみよう。 
? 研究デザインや従属変数の評価方法など、RCT 
の論文を読むつもりで事例報告を読んでみよう。 
? 困ったら竹林先生に聞いてみよう。
おまけ 
「Internal validityを満たす事例研究なんてなかなかない」 
という現状を逆手にとって、それを事例研究のオリジナリティ 
にできないものでしょうか???? 
例)子どものSST研究なんてもういっぱいあるし??? 
– でも、評価者の盲検化をした研究はないな。 
? じゃ、評価者の盲検化をしてみよう! 
*その他の内容は今までのSST研究と全く同じ 
– でも、介入結果のグラフについて視覚的データ分析 
をしている研究はないな???。 
? じゃ、視覚的分析をやってみよう! 
*その他の内容は今までのSST研究と全く同じ
一事例実験研究の質の評価 
高橋史(信州大学教育学系)

More Related Content

Fumitot ver.2.3

  • 1. 2014年11月2日(土)16:00~18:00 於:富山国際会議場 日本認知?行動療法学会第40回大会自主企画シンポジウム 「失敗しない研究計画入門:エビデンスの『質』を評価するための国際基準の理解」 一事例実験研究の質の評価 ~RoBiNT Scale に学ぶ事例研究の読み方 ~ 高橋史(たかはしふみと) 信州大学教育学系
  • 2. 発表内容 ① 事例研究の質のお話 ② 「RoBiNT Scale」による一事例実験の評価 ポイント9選 ③ 行動療法研究の事例論文を「RoBiNT Scale」 で評価してみよう
  • 3. 「事例」研究の質???? 事例報告の読者は何を得ているのか? ① 治療経過の疑似体験 「△△性障害と××性障害を併発した人の治療って、 こんな経過をたどるのか」 ② 対応のハウツーを学ぶ 「○○訓練法って、こんなふうに使うのか。こんな ホームワークがあったか!」 ③ 治療効果の確認 「△△性障害の人には○○法が効果的なんだな」
  • 4. 事例「研究」の質 対照試験 無作為割付対照試験 (Randomized Controlled (Controlled Trial) 量的事例研究(一事例実験) Trial: RCT) 丹野(2004)を参考に高橋史が一部改訂 治療効果の根拠の階層性 メタ分析 質的事例研究、権威者の意見etc…
  • 6. 事例「研究」の質 事例報告に「研究」としての価値を付加できるか? ? The 15-item Risk of Bias in N-of-1 Trials (RoBiNT) Scale(第一著者:Robyn L Tate) ? 一事例実験研究の質を評価する、15項目の評価尺度。
  • 7. Internal validity 1. Design 2. Randomisation 3. Sampling behaviour 4. Blinding patient/therapist 5. Blinding assessors 6. Inter-rater reliability 7. Treatment adherence →交絡要因を排除して治療技 法の効果を抽出するための 研究デザインの質 RoBiNT Scale の構造 External validity and interpretation 8. Baseline characteristics 9. Therapeutic setting 10.Dependent variable 11.Independent variables 12.Raw data record 13.Data analysis 14.Replicatoin 15.Generalisation →事例報告としての明確さ
  • 8. External validity and interpretation 治療効果エビデンスとして事例研究を読むときのポイント ベースライン時点の特徴(第8項目) 標的行動の維持要因や維持条件が、実験(介入)実施 前に評価されていること。機能分析もその方法の一つ である。 – Baseline characteristics (item 8) Recommended practice is that these conditions and variables (which serve to maintain the target behaviour) should be considered and evaluated prior to commencing the experiment. /// A functional analysis is one way of achieving this end, and ///
  • 9. External validity and interpretation 記載例をみてみましょう 住田?杉山(2013)
  • 10. External validity and interpretation 記載例をみてみましょう 岡島?谷?鈴木(2014)
  • 11. External validity and interpretation 治療効果エビデンスとして事例研究を読むときのポイント 標的行動(第10項目) 標的行動の操作的定義を行った上で(評価点1点)、 標的行動の測定が精確かつ再検証可能な方法で行われ ており、何が適切な反応で何が不適切な反応なのかが 特定されていること(すべて満たすと評価点2点)。 – Target behavior (item 10) Many reports provide an operational definition of the target behavior (score 1 point), but fail to describe and/or to use a precise and repeatable measure of the target behavior, nor specify what constitutes a correct/incorrect response. All three elements are required to score 2 points.
  • 12. External validity and interpretation 記載例をみてみましょう 住田?杉山(2013)
  • 13. External validity and interpretation 治療効果エビデンスとして事例研究を読むときのポイント ローデータでの記録(第12項目) 各セッション単位で収集された全てのローデータと、 圧縮されたデータ(例:平均値)が、区別されている こと。 – Raw data record (item 12) A natural division occurs between those reports which provide a complete record of the raw data at a session-by-session level, versus those which provide incomplete data (e.g. aggregated data).
  • 14. External validity and interpretation 記載例をみてみましょう 佐藤(2002)
  • 15. External validity and interpretation 治療効果エビデンスとして事例研究を読むときのポイント 追試(第14項目) ここでいう追試とは、実験全体の再現のことであり、 研究参加者間/体系的な追試のことである。第1項目が カバーしている治療効果の再現(e.g. ABAB法)のこ とではない。 – Replication (item 14) In the context of this item, replication refers to the repetition of the entire experiment, which may be direct intersubject and/or systematic replication.
  • 16. External validity and interpretation 記載例をみてみましょう 奥田?井上?山本(1999)
  • 17. External validity and interpretation 治療効果エビデンスとして事例研究を読むときのポイント 般化(第15項目) 反応般化および刺激般化を引き起こすための介入が組 み込まれていること。すべてのフェイズで評価される ことが望ましく、介入前後のみの評価でも許容される。 – Generalisation (item 15) Genaralisation measures, whether response generalisation to other behaviours or stimulus response to other settings, need to be intentionally programmed into the design of the study, rather than a passive expectation of a “train and hope” approach.
  • 18. External validity and interpretation 記載例をみてみましょう 半田(2014)
  • 19. External validity and interpretation 記載例をみてみましょう 小林?五十嵐(2013)
  • 20. Internal validity 治療効果エビデンスとして事例研究を読むときのポイント 研究デザイン(第1項目) 3つ以上のフェイズを用いて治療効果が示されている こと(例:ABAB法、6フェイズ多層ベースライン法)。 – Design (item 1) At least three demonstrations of the treatment effect (e.g. A-B-A-B; 6-phase multiple-baseline). 行動の測定(第3項目) 各フェイズで、5つ以上のデータポイントがあること。 – Sampling of behaviour (item 3) At least 5 data points in every phase.
  • 22. Internal validity 治療効果エビデンスとして事例研究を読むときのポイント 評価者の盲検化(第5項目) 治療者と独立した評価者が設けられる単一事例研究 (評価点は1点)は増えてきているものの、評価点が 2点与えられるためには、評価者は治療フェイズにつ いても知らされずに評価を行う必要がある。 – Blinding of assessor (item 5) Increasingly, single-case reports use an assessor who is independent of the therapist (score 1 point), however, to score 2 points the assessor needs to be blind to the phase of intervention.
  • 24. Internal validity 治療効果エビデンスとして事例研究を読むときのポイント 評価者間信頼性(第6項目) 人間の判断が関与せず機械的に収集されたデータであ れば2点、「十分に客観的な測定方法」(RoBiNT scaleのマニュアルを参照)で収集されたデータであれ ば1点が加算される。 – Inter-rater reliability (item 6) Use of machine-generated data, free from human judgement, or “reasonably objective measures” (as defined in the manual) are awarded 2 and 1 points, respectively.
  • 26. で、RoBiNT Scale で評価してみた結果 Tate et al. (2013). を参考に高橋史が作成 100% 90% 80% 70% 60% 50% 40% 30% 20% 10% 0% 0点 1点 2点 External validity and interpretation Internal validity
  • 29. 行動療法研究の事例研究の質 RoBiNT Scale での部分的評価結果 No. 項目内容奥田ら (1999) 高橋ら (2012) % scoring 1 or 2 8 ベースライン時点の特徴2 2 85 10 標的行動2 2 85 12 ローデータでの記録1 1 65 14 追試1 0 65 15 般化0 1 50 External Validity 6 6 M=8.70 (SD=2.64) 1 研究デザイン1 0 40 3 行動の測定1 0 35 5 評価者の盲検化0 0 0 6 評価者間信頼性1 0 35 Internal validity 3 0 M=1.90 (SD=2.27) 左記 5項目 の小計 全 8項目 の合計 全 7項目 の合計 左記 4項目 の小計
  • 30. 事例「研究」の質 ガイドラインがわかると付加価値がわかる ① 治療経過の疑似体験 「△△性障害と××性障害を併発した人の治療って、 こんな経過をたどるのか」 ② 対応のハウツーを学ぶ 「○○訓練法って、こんなふうに使うのか。こんな ホームワークがあったか!」 ③ 治療効果の確認 「△△性障害の人には○○法が効果的なんだな」
  • 31. Take Home Message ? 事例報告を、①「治療経過の疑似体験」や② 「対応のハウツーを学ぶ」ための教材として読 むことに加えて、③「治療効果の確認」をする 一事例実験研究として読んでみよう。 ? 研究デザインや従属変数の評価方法など、RCT の論文を読むつもりで事例報告を読んでみよう。 ? 困ったら竹林先生に聞いてみよう。
  • 32. おまけ 「Internal validityを満たす事例研究なんてなかなかない」 という現状を逆手にとって、それを事例研究のオリジナリティ にできないものでしょうか???? 例)子どものSST研究なんてもういっぱいあるし??? – でも、評価者の盲検化をした研究はないな。 ? じゃ、評価者の盲検化をしてみよう! *その他の内容は今までのSST研究と全く同じ – でも、介入結果のグラフについて視覚的データ分析 をしている研究はないな???。 ? じゃ、視覚的分析をやってみよう! *その他の内容は今までのSST研究と全く同じ