偶然に p < 0.05 になるまで、データセットをサブグループごとにサブグループにスライスします。その後、新しいサンプルを観察して、その結果が本物なのかまぐれなのかを判断します。
治療には実際の効果はありません。そのため、重要な意味を見つけてもノイズに過ぎません。データをサブグループにフィルターし、p 値が 0.05 未満になるまで何度でもテストを再実行し、「結果」を審査員に提出します。ひねり: レプリケーション チェックでは、新しい独立したサンプルが抽出され、正確な主張が再テストされます。実際の効果は存続します。 p-hack は消えます。そして、そのギャップこそが教訓なのです。
Cherry Picker は、p-ハッキング、多重比較、そしてなぜレプリケーションが重要なのか、つまり統計の整合性をテーマとしています。
サブグループに絞り込んでは検定をやり直し、何かが有意になるまで続けるのはデータ・ドレッジング、すなわちpハッキングである。多数の検定を行い、有意となったものだけを報告することだ。
独自の設計は、処置に実際の効果がまったくないことである。したがって見つかる結果はすべて、構造上ノイズである。
これがこのことを教える唯一の誠実な方法である。抽象的に語られると、pハッキングは注意深い人なら決してしない不正のように聞こえる。空っぽであることが保証されたデータでそれを実際に行ってみると、有意性がいかにたやすく現れるかがわかる。そしてこれは性格の欠陥ではなく、多重比較問題なのである。
Cherry Picker は、p ハッキング、多重比較、およびレプリケーションが重要な理由に関する統計ゲームです。これは、PlayPendium 用に構築されたオリジナルの無料ブラウザ ゲームです。