探索的データ分析

何を分析するか決める前に、自分のデータを探索してください。データファイル(CSV・XLSX・SPSS)と必要ならコードブック、注目する変数を伝えます。データ品質の問題を優先順位順にまとめ、欠測パターン・分布と外れ値・変数間の関係(下位群で向きが変わる関係を含む)・隠れたケースのまとまりを説明し、発見にもとづく仮説候補と候補ごとの次の分析を提案するレポートとデータプロファイル表をください。

探索的データ分析: データを分析しています

データファイルをアップロードしてください。品質の問題と欠測パターン、分布と外れ値、変数間の関係と隠れたまとまりを見つけて優先順位をつけ、発見にもとづいて次に検定する仮説候補を提案します。

こんな方に

  • データを受け取ったばかりで何から見ればよいかわからない研究者
  • 公開データや機関のデータから研究課題を探している大学院生
  • 本分析の前にデータの品質と前提を確認したい研究チーム
  • ログや運用データから目立つパターンを探したいUX・プロダクトリサーチャー

受け取る結果

結果は2つです。レポートには発見と仮説候補が、データプロファイル表にはすべての数値が入ります。

  • 探索レポート データで見つかったことと次にすること · ひと目で(主な発見 F1…)、要約、データ構造、品質の問題(深刻度順)、欠測パターンとLittleのMCAR検定、分布と外れ値、変数間の関係(下位群での向きの反転を含む)、主成分とクラスタ、仮説候補(根拠・別の説明・次の分析)、修正の提案、図 · MD(PDF・PNG変換エージェントで共有用PDFに)
  • データプロファイル表 レポートのすべての数値 · シート:Findings · Profile · Quality issues · Missingness · Distributions · Outliers · Associations · Clusters · Hypotheses · XLSX

レポートで確認できる項目

発見には番号(F1、F2 …)が付き、仮説候補はその番号を根拠に挙げます。計算したコードは各ステップのコードボックスに残ります。

  • 品質 重複行・重複ID、一定の列、数値と文字の混在、綴りだけ違うカテゴリ、999などの欠測コード、範囲外の値、まれなカテゴリ
  • 欠測 列・パターンごとの欠測、LittleのMCAR検定、欠測と他の変数の関係
  • 分布・外れ値 歪度・尖度・二峰性・床/天井、3つの規則(MAD・IQR・IsolationForest)のうち2つ以上で検出したケース
  • 関係・構造 型に合った関連指標(ρ・V・η)、下位群で向きが変わる関係、非線形の関係、主成分・クラスタ

このように依頼してください

添付したデータを探索して。{関心のあるテーマや変数(任意)}を中心に見て。 — 下線部を自分の研究に合わせて書き換えて送ってください。

  • 関心のあるテーマや変数:空欄ならすべての変数を均等に見ます。

一緒にあるとよいもの

  • データファイル(CSV・TSV・XLSX・SPSS .sav・Stata .dta) 1行が何か(1人・1測定)を教えてもらえると品質チェックが正確になります
  • 変数の説明(コードブック) 欠測コードと値の許容範囲を品質チェックに使います
  • データの集め方 収集方法による偏りもあわせて見ます

こんな依頼もできます

  • 添付した公開データから研究課題になりそうなパターンを探して。 → 仮説候補5〜10件と根拠の発見、候補ごとの次の分析
  • 本分析の前にこのデータに問題がないか確認して。 → 品質の問題、欠測パターン(MCAR)、分布・外れ値、修正の提案
  • 顧客ログで似たユーザー同士をまとめて。 → 主成分・k-meansクラスタ、クラスタごとの特徴表

マイ指示

必要な項目だけ選んで設定してください。設定しない項目は既定値で進めます。 レポートの1ページ目に、反映した指示と仮定したことを示します。

  • 注目する変数 (探索) 中心に見る変数 · 例: 満足度 · 離脱の有無 · 既定値: 依頼から判断、なければすべての変数を均等に
  • 構造の探索 (探索) 主成分とケースのクラスタ · 例: クラスタのみ · オフ · 既定値: Proから主成分 + k-means(クラスタ数はシルエットで)
  • 仮説候補の数 (探索) 提案する仮説候補の数 · 例: 5件 · 10件 · 既定値: Lite 3 · Pro 5 · Expert 10
  • ID列 (データの扱い) 参加者・記録を区別する列 · 例: user_id · 1人が複数行 · 既定値: 行ごとに値が異なる列があればそれ
  • 欠測コード (データの扱い) 欠測を意味する値 · 例: 999と-9は欠測 · 既定値: 依頼・コードブックに書かれたコードのみ(その他は表示のみで変更しない)
  • 許容範囲 (データの扱い) 値が入るべき範囲 · 例: 満足度 1–5 · 年齢 18–99 · 既定値: 依頼・コードブックに書かれた範囲のみ
  • レポートの言語 (報告の仕方) 作成する言語 · 例: 英語で作成 · 既定値: 依頼の言語

この方法で進めます

データは変更せずに調べます。すべての確認と計算はコードで行い、モデルは発見の番号(F1…)だけを根拠に仮説候補を書きます。探索の結果は結論ではなく候補です。

  • データ確認 行うこと: 形式・変数の型・欠測・固有値、注目する変数とID · 設定できること: 注目する変数 · 確認すること: 1行の意味
  • 品質チェック 行うこと: 重複・一定の列・型の混在・綴りの揺れ・欠測コード・範囲外の値・1単位に複数行(行が独立でない) — 深刻度3段階 · 設定できること: ID列、欠測コード、許容範囲 · 確認すること: 問題の実際の原因
  • 欠測パターン 行うこと: 列・パターンごとの欠測、LittleのMCAR検定と欠測と他の変数の関係(Pro以上) · 設定できること: 欠測コード · 確認すること: 欠測の扱い方
  • 分布と外れ値 行うこと: 歪度・尖度・二峰性・床/天井、外れ値の3つの規則(IsolationForestはPro以上) · 設定できること: — · 確認すること: 外れ値を残すか除くか
  • 関係 行うこと: 型に合った関連指標、下位群での向きの反転(Pro以上)・非線形の関係(Expert以上)、調べた比較の数 · 設定できること: —
  • 隠れた構造 行うこと: 主成分とk-meansクラスタ(クラスタ数はシルエットで)、図 · 設定できること: 構造の探索 · 確認すること: クラスタの意味
  • 仮説候補 行うこと: 発見を根拠にした検定可能な仮説、別の説明、次の分析とエージェント · 設定できること: 仮説候補の数 · 確認すること: どれを研究課題にするか
  • レポート作成 行うこと: レポートとデータプロファイル表 · 設定できること: レポートの言語 · 確認すること: 修正の提案

レベル別の違い

照合

LittleのMCAR検定はEM推定から直接計算し、R `naniar::mcar_test` と統計量・自由度・pが一致しました。意図的に入れた問題(重複行・999コード・綴りの揺れ・群による欠測・下位群での反転・クラスタ)をすべて見つけるかをテストで確認しています。

この方法について

  • なぜ結論を出さないのか データをさまざまな方向から見ると、偶然のパターンも必ず現れます。同じデータで見つけて確認まですると、それが本物か判断できません。そのため見つけたものは「仮説候補」にとどめ、調べた比較の数もあわせて書きます。確認は新しいデータや事前に決めた検定(Inferential Statistics)で行います。
  • なぜ図と下位群を見るのか 要約の数値が同じでもデータの形はまったく違うことがあり、全体では関係がなく見えても下位群ごとに逆向きのこともあります。そのため関連指標1つで判断せず、下位群と図もあわせて見ます。

よくある質問

データを修正しますか?
しません。修正の提案(何を、なぜ)をお渡しします。欠測コードは指定したときだけ分析用のコピーで欠測として読みます。
クラスタはいくつに分けますか?
シルエットで2〜8個から選び、明確でなければ「明確なクラスタなし」と書きます。
大きなデータでも使えますか?
5万行を超える場合、関係・構造・図は無作為に選んだ5万行で行い、品質チェックはすべての行で行います。