インパクト評価の一方法:実験計画法
- 評価方法は、評価目的によって異なりますが、インパクト評価の場合は実験計画法を用いるのが理想とされています。
実験計画法
因果関係を測定するための評価手法の一つで、以下の手順で行われます(治療を例しています)。
①サンプル(患者)の適格性(被験者として適しているか)をチェックする。
↓
②サンプル(患者)を無作為(性別、年齢などに関係なく)に治療を受けるグループ(実験群)と治療(統制群)を受けないグループの2つに分ける。
↓
③実験群に治療を施す。
↓
④実験群と対照群の結果を比較する。
実験計画法の特徴はサンプルを無作為に分類することで、実験群と対照群を区別するものは治療の有無のみで、他の要素では同等の集団であるという前提をとることです。
だから、「実験群と統制群の間で生じる相違は治療によるもの」であり、因果関係を説明することができると理論的に保証されている点にある。
アンソニー・A・ブラガらの研究チームの評価研究
1990年代初頭、アメリカのニュージャージー州ジャージー・シティでは犯罪が多発しており、その対策が急務でした。そこで。ブラガらは実験計画法を用い、新しい犯罪対策を行う地域(実験群)と、これまでの犯罪対策しか行わない地域(対照群)を設定し、犯罪認知件数、警察への緊急通報件数、秩序違反状況、犯罪の転移・利益の拡散の有無を比較して、新しい犯罪対策の効果を評価しました。
→海外事例:ジャージー・シティ問題志向型ポリシングの評価(参考にしたい事例編)
準実験計画法
類似したサンプルを選択し、取組みを実施する実験群と実施しない対照群にサンプルを分けて比較する手法が準実験計画法です。
無作為割付をしないことから、実験群と対照群を完全に同等とすることができないので、因果関係の証明において実験計画法に劣るとされます。
因果関係の証明には実験計画法が望ましいのですが、現実には(特に社会調査の場合)無作為割付をすることは難しいものです。そこで、利用されるのが準実験計画法です。