§B4.7データの可視化と外れ値

最終更新

グラフを読むときは、形だけでなく、軸、単位、対象数、階級幅、集計方法を確認します。

1 四分位数の規約

四分位数には複数の計算法があるため、本記事で用いる規約を定めます。

定義 1.1 (四分位数と四分位範囲). データを小さい順に並べ、中央値を第2四分位数Q2Q_2とします。データ数が奇数の場合には中央値を除き、下半分の中央値を第1四分位数Q1Q_1、上半分の中央値を第3四分位数Q3Q_3とします。データ数が偶数の場合には前半と後半の中央値をそれぞれQ1,Q3Q_1,Q_3とします。四分位範囲を

IQR=Q3−Q1IQR=Q_3-Q_1

と定義します。

例 1.2 (四分位数の計算). データ1,2,3,4,5,6,201,2,3,4,5,6,20では、Q2=4Q_2=4です。中央値4を除いた下半分1,2,31,2,3と上半分5,6,205,6,20から、Q1=2Q_1=2、Q3=6Q_3=6、IQR=4IQR=4を得ます。

2 箱ひげ図と外れ値候補

定義 2.1 (本記事の箱ひげ図). 箱はQ1Q_1からQ3Q_3までとし、箱の内部に中央値を示します。Q1−1.5IQRQ_1-1.5IQR以上かつQ3+1.5IQRQ_3+1.5IQR以下の観測値のうち、最小値と最大値までひげを伸ばします。この範囲の外側の観測値は外れ値候補として個別に示します。

上の例では上側の境界が6+1.5⋅4=126+1.5\cdot4=12なので、20は外れ値候補です。外れ値候補であることは、誤りであることや削除すべきことを意味しません。入力誤り、測定条件の違い、別集団の混入、まれな観測の可能性を調べます。

3 ヒストグラムと散布図

注意 3.1 (グラフを読む条件). ヒストグラムでは階級の境界と幅、縦軸が度数か相対度数かを確認します。散布図では両軸の単位と表示範囲を確認します。縦軸の切り取りや不均等な階級幅を無視すると、差や密度を誤読する場合があります。

同じデータでも階級幅を変えると山の個数や分布の偏りの見え方が変わります。階級幅が異なるヒストグラムを比較するときは、棒の高さだけでなく、各階級が表す範囲と面積を確認します。

例 3.2 (散布図から関係を読む). 5人について、1週間の練習時間を横軸、技能試験の得点を縦軸として、点(1,52),(2,55),(3,61),(4,65),(5,70)(1,52),(2,55),(3,61),(4,65),(5,70)を散布図に表します。横軸の単位を時間、縦軸の単位を点とすると、練習時間が長い人ほど得点も高いという正の関係を、この5人の標本から読み取ることができます。ただし、散布図だけから、練習時間を増やすことが得点上昇の原因であるとは結論することができません。

4 演習

データ2,3,3,4,5,6,7,8,302,3,3,4,5,6,7,8,30を考えます。

  1. 本記事の規約でQ1,Q2,Q3,IQRQ_1,Q_2,Q_3,IQRを求め、外れ値候補を判定します。
  2. 2以上30以下を幅5の階級と幅10の階級へ分けた二つのヒストグラムを作るとき、軸と単位として何を表示する必要がありますか。
  3. 30を入力誤りとして除く場合と、正しい観測値として残す場合について、平均値と中央値がどう変わるかを計算し、除外の判断に必要な追加情報を述べます。
  4. 散布図の例から読み取ることができる関係と、散布図だけでは結論することができない因果関係を、それぞれ述べます。

Q2=5Q_2=5、Q1=3Q_1=3、Q3=7.5Q_3=7.5、IQR=4.5IQR=4.5です。上側境界は14.2514.25なので30が外れ値候補です。2では横軸に変数名、単位、階級境界を、縦軸に度数または相対度数とその単位を示し、比較する二図では標本数と尺度もそろえます。30を含む平均値は68/968/9、中央値は5です。30を除く平均値は38/8=4.7538/8=4.75、中央値は(4+5)/2=4.5(4+5)/2=4.5です。30の測定方法、入力記録、対象の所属を調べずに除外を決めることはできません。4では、この5人の標本で練習時間と得点に正の関係があることを読み取ることができます。一方、他の要因を統制した比較ではないため、練習時間の増加が得点上昇の原因であるとは結論することができません。

前提記事