При сборе статистических данных населения невозможно учесть каждого человека, поэтому выборка происходит из малых групп. Результаты анализа малой группы в целом отражают статистику всего населения. За достоверность такого закона от частного к общему ответственна центральная предельная теорема.
Обратимся к задаче: необходимо узнать среднее значение веса людей, живущих в Великобритании. Измерив вес случайных прохожих, найдём выборочное среднее — средний вес человека в группе из, например, ста. Это число достоверно отражает средний вес человека в Великобритании. Но вдруг наша группа уникальна и состояла только из людей большой или, наоборот, малой массы?
Для того чтобы получить достоверное значение, нужно взять много групп по сто человек и найти их среднее. Если эти средние значения будут сильно различаться (скажем, среднее значение веса изменялось в диапазоне от 10 до 100 кг), то наш метод оценки трудно назвать истинным.
Среднее от распределения Гаусса (то есть общее среднее значение из среднего малых групп, находящееся в вершине колокола) равно среднему значению веса всего населения. Отклонение от этой величины, определяющееся диапазоном колокола, зависимо от величины выборки: отклонение тем больше, чем меньше выборка. Согласно предельной теореме, для крупной выборки указанное распределение выборки (ранжирование среднего веса в малых группах) сходится с распределением Гаусса (которое имеет колоколообразную форму).
При удовлетворительном объёме выборки (из 30 и более) малое отклонение распределения Гаусса свидетельствует о том, что найденное среднее значение веса стремится к истинному среднему всего населения. Обычно предельная теорема представлена в более общем виде, чем здесь описано. Но именно она гарантирует статистическую точность полученных значений.