世の中には、無数の異なったデータの種類に対して、無数の異なった検定方法があります。検定をするにあたっては、自分がどんな種類のデータを持っているかを理解することです。変数は量的でしょうか、それとも質的でしょうか?どんな検定がどんなタイプのデータに向いているかは、データのサイズであったり、分布や尺度の種類に左右されます。加えて、データの標本がどのように異なりうるかを理解することは重要です。量的データのを特徴づける3つの主な要素は、中心、広がり、形状です。

Two examples of how the means of two distributions may be different, leading to two different statistical hypotheses
分布の種類は同一だけど、平均値が異なっている。


ほとんどの人が「検定」を行うとき、「中心を表す代表値」をテストしがちです。なぜでしょう?今、あなたは2つのデータセットを持っていて、それらが異なるものか否かを知りたいと思っているとしましょう。これをテストする1つの方法は、それらの中心(例えば、それらの平均値)が異なるか否かを調べることでしょう。


2つの左右対称なベル型のカーブと、それらの中央にまっすぐに引かれた直線(このページに表示してあります)をイメージしてください。もし一方の標本が他方と大幅に異なっていれば(値が非常に大きく出ている、等)、平均値は典型的な異なりを見せるでしょう。だから、2つの標本が異なっているかを見るための検定では、普通は2つの平均値を比較します。


2つの中央値(メディアン、これも中心を表す代表値)を比較することもできます。また時には、2つの標本が同じ広がり(分散)を持っているかを知るために検定を行いたいということもあるかもしれません。中心を表す代表値、広がりを表す代表値、etc. の統計値は別々の分布に従うため、異なる検定手法がなされ、活用されなければなりません。


最後に。大半の人は仮説検定の結果をある特定の数値―p値によって要約します。もしp値が有意水準(普通はですが、科学の他の分野、例えば医学ではもっと低い水準であることもあります)を下回っていたら、帰無仮説は棄却されます。しかし、これは対立仮説を受容するということを意味してはいません。p値は本質的には、極めて観測されにくいような検定統計量の値が得られる確率です。もしp値が有意水準よりも大きかったら、帰無仮説の棄却に失敗したということですが、これは帰無仮説が正しいことを意味しているのではありません。