중심극한정리

중심극한정리는 서로 독립이거나 충분히 약하게 의존하는 여러 확률변수의 합과 평균이 조건에 따라 정규분포에 가까워진다는 확률론의 핵심 결과다.

원래 관측값의 분포가 정규분포가 아니어도 표본평균의 분포를 근사할 수 있게 한다.

이 정리는 실제 자료 자체가 정규분포가 된다는 말이 아니다.

같은 크기의 표본을 반복해서 뽑아 계산한 평균들의 분포가 정규 형태에 가까워진다는 주장이다.

개별 관측값의 분포와 통계량의 표본분포를 구분해야 한다.

표본분포는 같은 모집단에서 같은 방식으로 표본을 반복 추출할 때 통계량이 이루는 확률분포다.

현실에서는 한 표본만 관찰하는 경우가 많지만 이론적으로 가능한 반복을 생각해 추정량의 변동을 계산한다.

표본평균은 표본마다 달라진다.

모집단 평균이 일정하더라도 우연히 큰 값이 많이 뽑힌 표본과 작은 값이 많이 뽑힌 표본이 존재한다.

표본분포는 이런 표본 간 변동을 표현한다.

표본평균의 기댓값이 모집단 평균과 같으면 불편추정량이라고 한다.

표본평균의 표준편차인 표준오차는 독립이고 동일한 분포의 관측에서 모집단 표준편차를 표본 크기의 제곱근으로 나눈 값이다.

여러 독립적인 요인이 더해지면 한 요인의 극단적인 영향이 다른 요인의 다양한 값과 섞인다.

합을 적절히 중심화하고 크기를 조정하면 세부적인 원래 분포의 모양보다 평균과 분산의 영향이 두드러진다.

동전 앞면의 수처럼 이산적인 합도 시행 횟수가 늘면 가운데가 높고 양쪽이 낮은 형태를 보인다.

주사위 눈의 평균도 작은 표본에서는 가능한 값이 울퉁불퉁하지만 표본 크기가 커질수록 정규곡선에 가까운 모양이 나타난다.

이 직관은 증명을 대신하지 않는다.

극단값이 너무 자주 나타나 분산이 존재하지 않거나 관측이 강하게 의존하면 일반적인 형태의 정리가 적용되지 않을 수 있다.

합이나 평균은 표본 수가 늘면서 중심과 퍼짐이 달라진다.

비교 가능한 분포를 얻기 위해 기대값을 빼고 표준편차로 나누는 표준화를 한다.

독립 동일분포 변수의 평균에서 모집단 평균을 빼고 표준오차로 나눈 값은 표본 크기가 커질수록 표준정규분포에 가까워진다.

이 결과를 이용해 평균의 확률 범위와 근사적인 신뢰구간을 계산한다.

표준화는 단위를 제거하지만 이상값이나 편향을 고치지는 않는다.

표본이 대표성을 잃었거나 측정이 잘못되었다면 정규근사가 정확해도 모집단에 관한 결론은 틀릴 수 있다.

큰 수의 법칙은 표본평균이 표본 수가 늘수록 모집단 평균에 가까워진다는 수렴을 다룬다.

중심극한정리는 그 평균이 평균 주변에서 어떤 모양과 속도로 변동하는지를 설명한다.

큰 수의 법칙만으로 오차의 분포가 정규라는 결론은 나오지 않는다.

중심극한정리는 표본평균과 모집단 평균의 차이를 표준오차 단위로 보았을 때의 근사 분포를 제공한다.

두 결과 모두 장기적 성질이지만 유한한 표본에서 얼마나 잘 맞는지는 원래 분포에 달려 있다.

표본 크기만 보고 기계적으로 적용하지 말고 시뮬레이션과 자료의 꼬리를 확인해야 한다.

가장 익숙한 형태는 확률변수들이 독립이고 같은 분포를 따르며 유한한 평균과 분산을 갖는다고 가정한다.

이보다 약한 조건에서도 다양한 중심극한정리가 존재하지만 어떤 정리를 사용하는지 구체적으로 밝혀야 한다.

독립성은 표본이 서로 아무 관계도 없다는 일상적 표현보다 수학적으로 엄격하다.

시간자료의 연속 관측, 같은 가구 구성원과 같은 학교 학생은 서로 관련될 수 있다.

의존 구조를 무시하면 표준오차를 과소평가할 수 있다.

동일분포 조건도 절대적 요구는 아니지만 서로 다른 변수 하나가 전체 합을 지배하지 않도록 하는 조건이 필요하다.

각 항의 분산과 꼬리가 합 전체에 비해 충분히 작아야 정규근사가 가능하다.

중심극한정리는 일정한 표본 수를 모든 상황에 보장하지 않는다.

원래 분포가 대칭이고 꼬리가 가벼우면 비교적 작은 표본에서도 근사가 좋을 수 있다.

강하게 치우치거나 극단값이 잦으면 훨씬 큰 표본이 필요하다.

성공확률이 매우 낮은 이항자료에서는 시행 횟수가 커 보여도 기대 성공 횟수가 작으면 정규근사가 나쁠 수 있다.

평균뿐 아니라 사건 수와 분포의 비대칭을 살펴야 한다.

히스토그램과 분위수 그림, 반복 시뮬레이션은 유한 표본에서 표본평균 분포의 모양을 확인하는 데 도움을 준다.

다만 관찰한 한 표본만으로 모집단 꼬리를 완전히 알 수 없다는 한계가 있다.

이항분포의 시행 횟수가 충분히 크고 성공과 실패의 기대 횟수가 모두 크면 정규분포로 근사할 수 있다.

이산 분포를 연속 분포로 바꿀 때 연속성 보정을 사용해 경계의 차이를 줄이기도 한다.

포아송분포도 평균 발생 횟수가 커지면 정규분포에 가까워진다.

발생률이 작을 때는 비대칭이 강하므로 원래 분포를 직접 사용하는 편이 정확하다.

근사는 계산을 단순하게 하지만 현대에는 정확한 분포 계산과 시뮬레이션도 쉽게 사용할 수 있다.

편리함만으로 근사를 고집하지 않고 오차가 의사결정에 미치는 영향을 비교해야 한다.

모집단 분산을 알 때 표본평균의 표준화 분포를 정규분포로 근사해 평균에 관한 검정과 구간 추정을 할 수 있다.

분산을 표본에서 추정하면 작은 표본에서는 추가 불확실성을 반영한 t분포가 사용된다.

회귀분석에서도 많은 추정량은 여러 관측의 기여가 합쳐진 형태다.

적절한 정규성 근사를 이용해 회귀계수의 표준오차와 검정을 구성한다.

하지만 군집, 이분산과 모형 오지정은 별도의 강건한 방법이 필요하다.

표본비율도 베르누이 변수의 평균이므로 조건이 맞으면 정규근사를 적용할 수 있다.

비율이 0이나 1에 가깝거나 표본이 작으면 단순한 대칭 구간이 범위를 벗어나거나 실제 포함률이 나빠질 수 있다.

코시분포는 평균과 분산이 일반적인 의미에서 존재하지 않으며 표본평균을 내도 분포가 좁아지지 않는다.

이 경우 익숙한 중심극한정리를 적용할 수 없고 극단값의 영향이 계속 남는다.

모든 관측이 같은 공통 충격에 의해 움직이면 표본 수를 늘려도 독립적인 정보가 늘지 않는다.

복제된 자료를 서로 다른 관측처럼 세면 표준오차가 인위적으로 작아진다.

모집단 자체가 시간에 따라 변하면 동일한 분포에서 반복 추출한다는 해석이 약해진다.

추세와 구조 변화, 계절성을 모형에 포함하고 추론의 기준 기간을 분명히 해야 한다.

표본 수가 30이면 언제나 정규분포를 사용할 수 있다는 규칙은 정확하지 않다.

30이라는 수는 일부 상황의 교육적 기준일 뿐이며 분포의 치우침, 꼬리와 분석 통계량에 따라 필요한 크기가 달라진다.

중심극한정리가 원자료의 이상값을 무해하게 만들지는 않는다.

하나의 극단값이 평균을 크게 바꿀 수 있고, 표본이 작을 때 영향은 더 크다.

자료 오류 여부와 강건한 요약값을 함께 살펴야 한다.

정규근사가 가능하다는 사실은 인과 추론이나 대표성을 보장하지 않는다.

편의표본의 평균도 계산상 정규에 가까울 수 있지만 목표모집단을 대표하지 않으면 일반화할 수 없다.

원래 분포를 정하고 같은 크기의 표본을 수천 번 생성해 매번 평균을 계산하면 표본평균의 경험적 분포를 볼 수 있다.

표본 크기를 바꾸며 평균, 표준편차와 모양이 어떻게 변하는지 비교할 수 있다.

시뮬레이션 결과는 사용한 모형에 관한 근사 실험이다.

난수 생성과 반복 횟수, 모수 선택을 기록해야 재현할 수 있으며 실제 모집단이 그 모형과 맞는지는 별도로 평가해야 한다.

중심극한정리는 다양한 원래 분포에서 공통된 정규 형태가 나타나는 이유를 설명한다.

그 힘은 넓은 적용 범위에 있지만 조건과 유한 표본의 근사 오차를 확인할 때만 책임 있는 통계 추론의 기반이 된다.

통계 용어는 계산식만 외우기보다 자료가 어떻게 만들어졌는지와 결론의 적용 범위를 함께 살펴야 한다.

모집단, 표본, 관측 단위, 변수의 정의가 바뀌면 같은 이름의 분석도 다른 질문에 답한다.

분석 결과를 볼 때는 연구 대상, 자료 수집 시점, 제외 기준과 결측값 처리 방법을 먼저 확인하는 것이 좋다.

통계적 모형은 현실의 일부 특징을 단순화한다.

독립성, 동일한 분포, 선형성이나 특정 분포 형태 같은 가정은 계산을 가능하게 하지만 언제나 자동으로 성립하지 않는다.

가정이 어긋났을 때 결과가 얼마나 달라지는지 민감도 분석과 대안 모형으로 확인해야 한다.

표본 수가 크면 우연한 변동은 줄어드는 경향이 있지만 편향이 저절로 사라지지는 않는다.

잘못된 측정 도구나 특정 집단이 빠진 표본은 규모가 커져도 모집단을 정확히 대표하지 못한다.

정밀도와 타당성을 구분하고, 숫자의 소수점보다 자료 생성 과정의 품질을 우선해야 한다.

통계적 유의성과 실제 중요성도 다르다.

차이가 매우 작아도 표본이 크면 통계적으로 뚜렷할 수 있고, 중요한 차이라도 표본이 작으면 불확실하게 나타날 수 있다.

효과의 크기, 불확실성 구간, 비용과 위험을 함께 제시해야 의사결정에 도움이 된다.

분석 계획을 자료를 본 뒤 계속 바꾸면 우연히 그럴듯한 결과를 선택할 가능성이 커진다.

핵심 가설과 분석 방법을 미리 정하고, 탐색 분석과 확인 분석을 구분하며, 여러 비교를 했다면 그 사실을 밝혀야 한다.

재현 가능한 코드와 자료 설명은 계산 오류를 줄이고 다른 사람이 결과를 검토하게 한다.

그래프는 분포와 이상값, 집단 차이를 이해하는 데 유용하지만 축의 범위와 집계 방식에 따라 인상이 달라질 수 있다.

평균 하나로 자료를 요약하기 전에 중앙값, 분위수, 표준편차와 실제 관측값의 퍼짐을 함께 보는 것이 좋다.

통계는 결론을 대신하는 권위가 아니라 근거와 불확실성을 정리하는 언어다.

통계 사례를 읽을 때는 먼저 무엇을 한 건으로 셌는지 확인한다.

사람 수, 방문 수, 거래 수처럼 단위가 달라지면 분모와 반복 관측의 의미가 달라지고, 같은 사람이 여러 번 포함된 자료를 독립적인 사람 수로 해석하면 오류가 생긴다.

비교 집단이 같은 시점과 같은 측정 방식으로 관찰되었는지도 중요하다.

한 집단은 온라인 응답이고 다른 집단은 대면 조사라면 응답 환경의 차이가 결과에 섞일 수 있다.

기간 중 정의나 장비가 바뀌었다면 단순한 전후 비교보다 연결 보정이 필요하다.

결측값을 0으로 처리했는지 제외했는지, 이상값을 어떤 규칙으로 제거했는지도 결과를 바꾼다.

여러 합리적인 처리 방법에서 결론이 유지되는지 비교하고, 결과가 특정 선택에만 의존하면 그 불안정성을 밝혀야 한다.

마지막으로 분석 대상과 결론 대상을 비교한다.

특정 플랫폼 이용자 자료에서 얻은 관계를 모든 시민에게 적용하거나 한 나라의 짧은 기간 결과를 다른 제도에 그대로 옮기면 외적 타당성이 약하다.

좋은 통계 설명은 계산값과 함께 어디까지 말할 수 있고 어디부터 추가 자료가 필요한지를 제시한다.