가설검정

가설검정은 모집단에 관한 주장을 자료로 평가하는 통계적 절차다.

관찰된 차이가 우연한 표본 변동만으로도 나타날 만한지 계산하고, 미리 정한 판단 규칙에 따라 귀무가설을 기각할지 결정한다.

검정은 어떤 주장이 참임을 완전히 증명하지 않는다.

자료와 모형 아래에서 특정 가설이 얼마나 부합하는지 평가하며, 표본오차와 잘못된 가정 때문에 언제든 판단 오류가 생길 수 있다.

귀무가설은 보통 효과나 차이가 없다는 기준 주장이고, 대립가설은 연구자가 탐지하려는 차이나 관계를 나타낸다.

두 가설은 분석 전에 측정 가능한 매개변수로 명확히 정의해야 한다.

신약군과 대조군의 평균 차이가 0이라는 주장을 귀무가설로 놓을 수 있다.

대립가설은 차이가 0이 아니라는 양측 형태 또는 특정 방향으로 크다는 단측 형태가 될 수 있다.

자료를 본 뒤 유리한 방향으로 바꾸면 오류율 통제가 깨진다.

귀무가설을 기각하지 못했다고 두 집단이 동일하다고 증명되는 것은 아니다.

자료가 부족하거나 변동이 커서 의미 있는 차이를 탐지하지 못했을 수 있다.

동등성을 주장하려면 허용 가능한 차이를 정한 동등성 검정 같은 별도 설계가 필요하다.

검정통계량은 자료와 귀무가설의 차이를 하나의 수로 요약한다.

평균 차이를 표준오차로 나눈 값처럼 효과의 크기와 표본 변동을 함께 반영한다.

귀무가설이 참일 때 이 통계량이 어떤 분포를 따르는지 알아야 극단성을 판단할 수 있다.

검정 종류는 자료의 척도, 집단 수, 독립 여부와 분포 가정에 따라 달라진다.

평균 비교, 비율 비교, 범주형 자료의 독립성 검정과 회귀계수 검정은 서로 다른 통계량을 사용한다.

이름이 익숙하다는 이유로 자료 구조에 맞지 않는 검정을 선택하면 p값의 의미가 사라진다.

유의수준은 귀무가설이 참일 때 이를 잘못 기각할 확률의 상한으로 미리 정한다.

관례적으로 0.05가 자주 사용되지만 연구의 위험과 분야에 따라 더 엄격하거나 다른 기준이 적절할 수 있다.

검정통계량이 귀무분포에서 매우 드문 영역인 기각역에 들어가면 귀무가설을 기각한다.

유의수준을 낮추면 거짓 양성을 줄이는 대신 실제 효과를 놓칠 가능성이 커질 수 있다.

판단 기준은 오류의 비용을 비교해 정해야 한다.

p값은 귀무가설과 분석 가정이 참일 때 관찰 결과만큼 또는 그보다 더 극단적인 결과가 나올 확률이다.

귀무가설이 참일 확률이나 연구 결과가 우연일 확률과는 다르다.

p값이 작다는 것은 자료가 귀무가설과 잘 맞지 않는다는 신호지만 효과가 크거나 중요하다는 뜻은 아니다.

표본이 매우 크면 사소한 차이도 작은 p값을 만들 수 있고, 표본이 작으면 큰 차이도 불확실하게 보일 수 있다.

0.049와 0.051은 증거의 강도에서 갑작스러운 단절이 없다.

기준 양쪽의 값을 성공과 실패로만 나누면 불확실성과 효과 크기를 놓친다.

정확한 p값, 효과 추정치와 신뢰구간을 함께 보고하는 것이 좋다.

제1종 오류는 귀무가설이 참인데 기각하는 거짓 양성이다.

제2종 오류는 대립가설에 해당하는 효과가 있는데 귀무가설을 기각하지 못하는 거짓 음성이다.

유의수준은 제1종 오류를 통제하지만 제2종 오류는 효과 크기, 표본 수, 변동성과 검정 방식에 달려 있다.

두 오류를 동시에 임의로 작게 만들 수는 없으며 더 많은 양질의 자료가 필요하다.

의료 선별검사에서는 질병을 놓치는 오류와 불필요한 추가 검사를 만드는 오류의 비용이 다르다.

가설검정도 분야의 맥락에 따라 어떤 오류를 더 엄격히 줄일지 결정해야 한다.

검정력은 특정한 실제 효과가 있을 때 귀무가설을 올바르게 기각할 확률이다.

표본 수가 크고 효과가 크며 자료의 변동이 작을수록 일반적으로 검정력이 높아진다.

연구 전에 의미 있다고 판단한 최소 효과, 목표 검정력과 유의수준을 정해 표본 크기를 계획한다.

관찰된 자료로 사후 검정력을 단순 계산하는 것은 p값을 다른 형태로 반복하는 데 그칠 수 있어 주의한다.

검정력이 낮은 연구에서 유의하지 않은 결과는 효과가 없다는 강한 근거가 되기 어렵다.

반대로 유의한 결과만 출판되면 작은 연구의 과장된 효과가 문헌에 남을 수 있다.

양측검정은 양의 방향과 음의 방향 모두를 대립가설에 포함한다.

단측검정은 한 방향만 기각역으로 두어 그 방향의 검정력을 높이지만 반대 방향의 변화는 유의하게 판단하지 않는다.

반대 방향 결과도 과학적·실무적으로 중요하다면 양측검정을 사용해야 한다.

단측검정은 반대 효과가 사실상 같은 결론을 주거나 사전에 명백히 제외될 수 있을 때만 정당화된다.

자료를 본 뒤 단측으로 바꾸는 것은 허용되지 않는다.

독립적인 귀무가설을 많이 검정하면 각각의 유의수준이 작아도 하나 이상 거짓 양성이 나올 확률이 커진다.

많은 변수, 하위집단과 시점을 탐색한 뒤 가장 작은 p값만 보고하면 발견을 과장한다.

가족단위 오류율을 통제하는 보정은 하나라도 거짓 양성이 생길 위험을 제한한다.

거짓발견율 방법은 발견으로 선언한 결과 가운데 거짓의 기대 비율을 관리한다.

어떤 오류를 통제할지는 분석 목적에 따라 선택한다.

핵심 결과와 탐색 결과를 구분하고 수행한 모든 주요 검정을 보고하는 것이 중요하다.

사전등록은 결과를 보기 전의 계획과 이후 변경을 구분하는 데 도움을 준다.

많은 모수 검정은 관측의 독립성, 분포 형태와 분산 구조를 가정한다.

짝지어진 자료를 독립 표본처럼 분석하거나 군집 자료의 상관을 무시하면 표준오차가 잘못 계산될 수 있다.

정규성 검정 하나만으로 분석의 타당성을 결정하지 않는다.

그래프, 이상값, 표본 크기와 검정의 강건성을 함께 살피고 필요하면 순열검정, 부트스트랩이나 적절한 비모수 방법을 고려한다.

자료를 얻은 설계가 가장 중요하다.

무작위 배정이 없는 관찰연구에서 유의한 관계가 나타나도 교란 요인 때문에 인과효과라고 단정할 수 없다.

평균 차이, 비율 차이, 위험비와 상관계수 같은 효과 크기는 변화의 방향과 규모를 알려 준다.

표준화 효과 크기는 단위가 다른 연구를 비교하는 데 도움을 주지만 실제 단위의 의미도 함께 제시해야 한다.

신뢰구간은 자료와 모형 아래에서 효과 추정의 불확실성을 범위로 보여 준다.

구간이 귀무값을 포함하는지 여부만 볼 것이 아니라 실제로 중요한 크기를 포함하는지 살펴야 한다.

통계적 판단은 손실함수나 정책 기준과 분리될 수 있다.

작은 건강 효과가 많은 사람에게 적용되면 중요할 수 있고, 큰 효과라도 비용과 부작용이 지나치면 채택하기 어렵다.

검정 결과에는 가설, 표본 설계, 검정통계량, 자유도, p값, 효과 크기와 불확실성 구간을 포함한다.

제외한 자료, 결측값 처리, 다중비교와 계획 변경도 공개해야 한다.

유의한 결과를 확정적 사실로 쓰거나 유의하지 않은 결과를 효과 없음으로 쓰지 않는다.

자료가 지지하는 범위와 남아 있는 대안 설명을 분명히 적는다.

가설검정은 결정을 구조화하는 한 도구다.

연구 설계와 자료 품질이 약하면 정교한 검정도 신뢰할 만한 결론을 만들 수 없으며, 반복 연구와 누적 증거가 한 번의 기준 통과보다 중요하다.

통계 용어는 계산식만 외우기보다 자료가 어떻게 만들어졌는지와 결론의 적용 범위를 함께 살펴야 한다.

모집단, 표본, 관측 단위, 변수의 정의가 바뀌면 같은 이름의 분석도 다른 질문에 답한다.

분석 결과를 볼 때는 연구 대상, 자료 수집 시점, 제외 기준과 결측값 처리 방법을 먼저 확인하는 것이 좋다.

통계적 모형은 현실의 일부 특징을 단순화한다.

독립성, 동일한 분포, 선형성이나 특정 분포 형태 같은 가정은 계산을 가능하게 하지만 언제나 자동으로 성립하지 않는다.

가정이 어긋났을 때 결과가 얼마나 달라지는지 민감도 분석과 대안 모형으로 확인해야 한다.

표본 수가 크면 우연한 변동은 줄어드는 경향이 있지만 편향이 저절로 사라지지는 않는다.

잘못된 측정 도구나 특정 집단이 빠진 표본은 규모가 커져도 모집단을 정확히 대표하지 못한다.

정밀도와 타당성을 구분하고, 숫자의 소수점보다 자료 생성 과정의 품질을 우선해야 한다.

통계적 유의성과 실제 중요성도 다르다.

차이가 매우 작아도 표본이 크면 통계적으로 뚜렷할 수 있고, 중요한 차이라도 표본이 작으면 불확실하게 나타날 수 있다.

효과의 크기, 불확실성 구간, 비용과 위험을 함께 제시해야 의사결정에 도움이 된다.

분석 계획을 자료를 본 뒤 계속 바꾸면 우연히 그럴듯한 결과를 선택할 가능성이 커진다.

핵심 가설과 분석 방법을 미리 정하고, 탐색 분석과 확인 분석을 구분하며, 여러 비교를 했다면 그 사실을 밝혀야 한다.

재현 가능한 코드와 자료 설명은 계산 오류를 줄이고 다른 사람이 결과를 검토하게 한다.

그래프는 분포와 이상값, 집단 차이를 이해하는 데 유용하지만 축의 범위와 집계 방식에 따라 인상이 달라질 수 있다.

평균 하나로 자료를 요약하기 전에 중앙값, 분위수, 표준편차와 실제 관측값의 퍼짐을 함께 보는 것이 좋다.

통계는 결론을 대신하는 권위가 아니라 근거와 불확실성을 정리하는 언어다.

통계 사례를 읽을 때는 먼저 무엇을 한 건으로 셌는지 확인한다.

사람 수, 방문 수, 거래 수처럼 단위가 달라지면 분모와 반복 관측의 의미가 달라지고, 같은 사람이 여러 번 포함된 자료를 독립적인 사람 수로 해석하면 오류가 생긴다.

비교 집단이 같은 시점과 같은 측정 방식으로 관찰되었는지도 중요하다.

한 집단은 온라인 응답이고 다른 집단은 대면 조사라면 응답 환경의 차이가 결과에 섞일 수 있다.

기간 중 정의나 장비가 바뀌었다면 단순한 전후 비교보다 연결 보정이 필요하다.

결측값을 0으로 처리했는지 제외했는지, 이상값을 어떤 규칙으로 제거했는지도 결과를 바꾼다.

여러 합리적인 처리 방법에서 결론이 유지되는지 비교하고, 결과가 특정 선택에만 의존하면 그 불안정성을 밝혀야 한다.

마지막으로 분석 대상과 결론 대상을 비교한다.

특정 플랫폼 이용자 자료에서 얻은 관계를 모든 시민에게 적용하거나 한 나라의 짧은 기간 결과를 다른 제도에 그대로 옮기면 외적 타당성이 약하다.

좋은 통계 설명은 계산값과 함께 어디까지 말할 수 있고 어디부터 추가 자료가 필요한지를 제시한다.