母平均約50，母標準偏差約15の母集団から無作為に5つの標本を得て，その平均から母平均を推定したらどうなるでしょうか？
なおこのシミュレーションは講談社ブルーバックスB-1403 パソコンで遊ぶ数学実験　涌井良幸・涌井貞美著についているCD-ROMのプログラム（No.17）によって行いました．

このように5つの標本ではかなり平均がばらつきます．場合によっては平均が高いときで70点，低いときで35点にもなりました．

標本平均の分布の性質から標本数を増やせば，母平均からはずれる程度は小さくなります．すなわち下のようになります（標本数100のとき）．

しかし，標本をたくさんとることはたいへんな労力が必要になりますし，たくさん取ったからといって，それから推定した母平均がどの程度信頼できるかを客観的に示せたわけではありません．たくさん取った方がましということしかわかりません．さらに点推定では2つか3しか標本を取らないで得た点推定値も，何千もの標本から得た点推定値もみかけはまったく同じです．これではたくさん標本を取り，より正確に母平均を推定しようとする気にはならないでしょう．では推定した母平均の信頼性をどうやって評価するのでしょうか？