統計学におけるブートストラップ法（ブートストラップほう、英: bootstrap method）とは、様々な目的に用いられる統計的推論の手法であり、再標本化法に分類されるもののひとつである。モンテカルロ法の一つ。

ブートストラップ法は母集団の推定量（分散など）の性質を、近似分布にしたがって標本化したときの性質を計算することで推定する手法である。近似分布としては、測定値から求められる経験分布を用いるのが標準的である。また仮説検定に使う場合もある。仮定される分布が疑わしい場合や、パラメトリックな仮定が不可能ないし非常に複雑な計算を必要とするような場合に、パラメトリックな仮定に基づく推計の代わりに用いられる。

ブートストラップ法の利点は解析的な手法と比べて非常に単純なことである。母集団分布の複雑なパラメータ（パーセンタイル点、割合、オッズ比、相関係数など）の複雑な推定関数に対して標準誤差や信頼区間を求めるために、単にブートストラップ標本を適用するだけで済む。

一方ブートストラップ法の欠点として、漸近的に一致する場合には有限標本が保証されず、楽観的になる傾向がある。

この手法の基本概念と価値を示すため、やや人工的な例を用いる。フィッシャーによる有名なアヤメの計測値（アヤメの花データセットを参照）を用い、バージニアアヤメ（英語版）とヘンショクアヤメ（英語版）の2種を判別するモデルを構築することを考える。

この2種を、がく片の長さのみを説明変数として判別するロジスティック回帰モデルを考え、最尤法を用いると、次表のとおりパラメータの最尤推定値と標準誤差が得られる。

モデル式

2.01×がく片長-12.57≧0のときバージニアアヤメと判別

2.01×がく片長-12.57＜0のときヘンショクアヤメと判別

（このモデル式では、バージニアアヤメは標本50個中37個、ヘンショクアヤメは50個中36個が正しく判別されている。）

最尤推定値は漸近的には正規分布することが知られている。今回の標本50個ずつのデータで出した最尤推定値（切片: −12.57、がく片長の係数: 2.01）が、どの程度正規分布に近いか、ブートストラップ法で以下のように調べることができる。

1. 元データから n 個の標本を復元抽出する。このとき n は元データの標本数である。
2. 最尤法でロジスティック回帰モデルに当てはめる。
3. このブートストラップ抽出を何度も（B 回）繰り返す。
4. こうして計算された「推定量の標本分布」は、本来の標本分布の近似になっている。

下図は10000回のブートストラップ抽出により推定された2つのパラメータのカーネル密度プロットである。

これらのパラメータの分布は当然のことながら正規分布ではない。これは、標本数が有限であり、漸近的にしか正規分布にならないためである。最尤推定値について正規分布の仮定を置かなくても、ブートストラップを用いて得た分布を使えば、最尤推定値の信頼区間の推定や仮説検定を行うことができるようになる。

ブートストラップ標本から信頼区間を推定する方法として、推定量の変位値 (α; 1−α) を使う方法がある。これをブートストラップパーセンタイル区間と呼ぶ。この例では、切片とがく片長の係数のブートストラップ95%パーセンタイル区間は、それぞれ (−20.02, −7.08) と (1.26, 3.20) となる。

一方、正規分布を仮定した95%信頼区間は最尤推定値プラスマイナス1.96倍標準誤差で求められ、それぞれ (−18.26,−6.87) と (1.10, 2.93) となる。漸近理論を用い正規分布を仮定して求めた信頼区間は対称になっており、ブートストラップを用いた信頼区間と比較すると狭い。

非復元抽出によるもの、二標本問題、回帰分析、時系列、階層的抽出、媒介分析（英語版）などの統計的問題を取り扱うような、より複雑なブートストラップ法がある。

一変量の解析では、普通は復元抽出で再標本化して構わない。しかし標本数が少ない場合にはパラメトリックなブートストラップ法の方が適切な場合もあるし、問題によっては平滑化ブートストラップ法が適切になるだろう。回帰問題の場合には様々な代替法がある。

これは毎回の繰り返しごとにわずかな（ふつうは正規分布の）ゼロ平均ランダムノイズを加える方法である。これはデータのカーネル密度推定量から再標本化することと等価である。

パラメトリックなモデルを（たいていは最尤法により）データに当てはめ、このモデルからランダムな個数の再標本化を行う方法である。

回帰問題において、個々のケース（たいていはデータセットの各行）について再標本化を行う単純な方法をいう。データセットが十分大きければ、たいていこういう単純な方法でも構わない。しかし議論の余地はある。

説明変数はたいてい固定されているか、少なくとも従属変数よりも支配的である。また説明変数の範囲がそこから引き出される情報を規定する。したがって個々のケースを再標本化することは、ブートストラップ標本は何らかの情報を失っていることを意味する。したがって他のブートストラップ法を考慮すべきである。

回帰問題におけるブートストラップを行うもう一つの方法は、残余を再標本化するものである。すなわち、

1. モデルを当てはめ、当てはめた値を ˆμ_i, 残余を r_i (i = 1, ..., n) とする。
2. 説明変数 x_i と従属変数 y_i の組 (x_i, y_i) のそれぞれについて、ランダムに標本化した残余 r_i を従属変数 y_i に加える。
3. モデルを再度当てはめ、目的の量（たいていは推定したパラメータ）を記録する。
4. 2と3のステップを B 回繰り返す。

この方法は説明変数の持つ情報を保持しているという利点がある。しかしどの残余を標本化するのかという疑問が起こる。そのままの残余を用いる手もあるし、（線形回帰では）スチューデント化残差を用いることもできる。スチューデント化残差を使う方が好ましいという議論はあるのだが、実際にはほとんど差がでない上、双方を用いて互いに結果を比べることは容易である。

前項と同様だがランダムに標本化した残余の符号をさらにランダムに変えるものである。これは残余の分布が対称なことを仮定しており、元の標本数が少ない場合に利点がある。

ブートストラップ法は正規性を要求せず少ない標本数（N < 20）でも効果的であるため、媒介変因（英語版）を検定する手法として一般的になりつつある^[1][2]。しかしバロンとケニーの論理^[3]やソーベル検定（英語版）により（もしかしたら不適切に）決定されることがいまだに多い。

ニューカムの光速のデータを用いる。このデータセットには2つの明白な外れ値が含まれており、このため推定する場所としては平均値よりも中央値が好ましい。ブートストラップ法は中央値の信頼区間を推定するのに採用されることが多い。しかし中央値は離散統計量であり、このことはブートストラップ標本の分布で際立って明らかになる。

中央値の離散性を平滑化するために、毎回のブートストラップ標本に N (0, σ²) に従う、わずかなランダムノイズを加えることができる。標本数 n に対して σ = 1/√n とする。

ブートストラップ標本と平滑化ブートストラップ標本のヒストグラムを以下に示す。ブートストラップ標本では中央値として取り得る値が限られているため非常にギザギザした分布になっている。平滑化ブートストラップ標本ではこの点が克服されている。

ブートストラップ分布の方は見づらく直感的には誤っているように見えるが、しかしこれから得られる信頼区間はさほど悪くない。95%パーセンタイル区間はブートストラップ分布で (26, 28.5), 平滑化ブートストラップ分布で (25.98, 28.46) である。

ジャックナイフ法（英語版）は外れ値の検出に、クロスバリデーションは再現性の確認に用いられるものである。

• 汪金芳; 大内俊二; 景平; 田栗正章「ブートストラップ法」『行動計量学』第19巻、第2号、50–81頁、1992年。doi:10.2333/jbhmk.19.2_50。 
• Efron, Bradley (1979). “Bootstrap Methods: Another Look at the Jackknife”. The Annals of Statistics 7 (1): 1–26. 
• Efron, B. (1981). “Nonparametric estimates of standard error: The jackknife, the bootstrap and other methods”. Biometrika 68: 589-599. 
• Efron, B. (1982). “The jackknife, the bootstrap, and other resampling plans”. Society of Industrial and Applied Mathematics CBMS-NSF Monographs: 38. 
• Diaconis, P. & Efron, B. (1983). Computer-intensive methods in statistics. Scientific American, May, 116-130.
• Efron, B., & Tibshirani, R. J. (1993). An introduction to the bootstrap. New York: Chapman & Hall, software.
• Mooney, C Z & Duval, R D (1993). Bootstrapping. A Nonparametric Approach to Statistical Inference. Sage University Paper series on Quantitative Applications in the Social Sciences, 07-095. Newbury Park, CA: Sage
• Bradley Efron; Robert Tibshirani (1994). An Introduction to the Bootstrap. Chapman & Hall/CRC 
• Edgington, E. S.(1995). Randomization tests. New York: M. Dekker.
• Davison, A. C. and Hinkley, D. V. (1997): Bootstrap Methods and their Applications, software.
• Simon, J. L. (1997), Resampling: The New Statistics, http://www.resample.com/content/text/index.shtml 
• Hesterberg, T. C., D. S. Moore, S. Monaghan, A. Clipson, and R. Epstein (2005): Bootstrap Methods and Permutation Tests, software.

表 話 編 歴 統計学
標本調査	標本 母集団 無作為抽出 層化抽出法
記述統計学	連続データ 位置 平均 算術 幾何 調和 中央値 分位数 順序統計量 最頻値 階級値 分散 範囲 偏差 偏差値 標準偏差 標準誤差 変動係数 決定係数 相関係数 自己相関 共分散 自己共分散 分散共分散行列 百分率 統計的ばらつき モーメント 分散 歪度 尖度 カテゴリデータ 頻度 分割表
推計統計学	仮説検定 パラメトリック t検定 ウェルチのt検定 F検定 Z検定 二項検定 ジャック–ベラ検定 シャピロ–ウィルク検定 分散分析 共分散分析 ノンパラメトリック ウィルコクソンの符号順位検定 マン・ホイットニーのU検定 カイ二乗検定 イェイツのカイ二乗検定 累積カイ二乗検定 フィッシャーの正確確率検定 尤度比検定 G検定 アンダーソン–ダーリング検定 コルモゴロフ–スミルノフ検定 カイパー検定 マンテル検定 コクラン・マンテル・ヘンツェルの統計量 その他 帰無仮説 対立仮説 有意 棄却 区間推定 信頼区間 予測区間 モデル選択基準 AIC BIC WAIC MDL その他 偏り 偏りと分散 過剰適合 推定量 点推定 最尤推定 尤度関数 尤度方程式 最小距離推定 メタアナリシス ブートストラップ法
ベイズ統計学	確率 主観確率 ベイズ確率 事前確率 事後確率 最大事後確率 その他 ベイズ推定 ベイズ因子
相関	交絡変数 ピアソンの積率相関係数 順位相関（スピアマンの順位相関係数・ケンドールの順位相関係数）
モデル	一般線形モデル 一般化線形モデル 混合モデル 一般化線形混合モデル
回帰	線形 リッジ回帰 ラッソ回帰 エラスティックネット 非線形 k近傍法 回帰木 ランダムフォレスト ニューラルネットワーク サポートベクター回帰 射影追跡回帰 時系列 自己回帰モデル 自己回帰移動平均モデル ARCHモデル 対移動平均比率法 トレンド定常 傾向推定 共和分 構造変化
分類	線形 線形判別分析 ロジスティック回帰 単純ベイズ分類器 単純パーセプトロン 線形サポートベクターマシン 二次 二次判別分析 非線形 k近傍法 決定木 ランダムフォレスト ニューラルネットワーク サポートベクターマシン ベイジアンネットワーク 隠れマルコフモデル その他 二項分類 多クラス分類 第一種過誤と第二種過誤
教師なし学習	クラスタリング k平均法（k-means++法） DBSCAN 密度推定（英語版） カーネル密度推定（カーネル） その他 主成分分析 独立成分分析 自己組織化写像
統計図表	棒グラフ バイプロット（英語版） 箱ひげ図 管理図 フォレストプロット ヒストグラム 円グラフ Q-Qプロット ランチャート 散布図 幹葉図 バイオリン図 ドットプロット ヒートマップ 階級区分図
生存時間分析	生存時間関数 カプラン＝マイヤー推定量 ログランク検定 故障率 比例ハザードモデル
歴史	統計学の創始者 確率論と統計学の歩み
応用	社会統計学 疫学 生物統計学 系統学 統計力学 計量経済学 機械学習 実験計画法
出版物	統計学に関する学術誌一覧 重要な出版物
全般	統計 頻度主義統計学 統計学および機械学習の評価指標
その他	方向統計学 S言語 R言語 統計検定 社会調査士 JDLA Deep Learning For GENERAL JDLA Deep Learning for ENGINEER 実用数学技能検定 品質管理検定
カテゴリ