타당도, 신뢰도, 바이어스
이론과 하이라이트 히스토리를 확인 할 수 있어요.
역학에서 가장 많은 문제가 출제되는 단원 중 하나다. 민감도와 특이도, 양성예측도와 음성예측도의 정의를 헷갈리지 않고 정확히 알며, 표를 그려가며 계산 문제를 푸는 데 능숙해져야 한다. 또한 매우 다양한 종류의 바이어스가 전부 무엇을 의미하는지, 실제 용례에 적용되면 어떤 양상으로 나타날 수 있는지에 대해서도 빠짐없이 알고 있어야 한다.
1. 측정방법의 타당도와 신뢰도
1) 타당도와 신뢰도의 정의
(1) 타당도(validity): 목적한 것을 얼마나 정확하게 판정하는가?
(2) 신뢰도(reliability): 검사를 반복하여 수행 시 결과가 어느 정도 일관되는가?
* 참고로 초록색 점들처럼 일관된 방향으로 참값에서 차이가 발생할 경우 계통 오차(systematic error)가 있다고 할 수 있으며, 나아가 바이어스가 있다고 할 수 있다.
2) 타당도의 평가
(1) 7가지 지표
질병 있음 | 질병 없음 | |
검사 양성 | a | b |
검사 음성 | c | d |
① (1) 민감도(sensitivity) = a / (a+c)
• 실제로 병이 있는 사람을 검사 결과 양성으로 판정하는 분율
• 선별검사는 민감도가 높아야 함
② 특이도(specificity) = d / (b+d)
• 실제로 병이 없는 사람을 검사 결과 음성으로 판정하는 분율
• 확진검사는 특이도가 높아야 함
③ 양성예측도(positive predictive value, PPV) = a / (a+b)
• 검사 결과 양성인 사람이 실제로 질병이 있을 분율
④ 음성예측도(negative predictive value, NPV) = d / (c+d)
• 검사 결과 음성인 사람이 실제로 질병이 없을 분율
⑤ 위양성(false positive) = b / (b+d) = 1 - 특이도
• 실제 병이 없는데 검사 결과 양성으로 판정될 분율
⑥ 위음성(false negative) = c / (a+c) = 1 - 민감도
• 실제 병이 있는데 검사 결과 음성으로 판정될 분율
⑦ 효율성(efficacy) = (a+d) / (a+b+c+d)
• 실제 병이 있으면 있다고, 없으면 없다고 판정할 수 있는 분율
(2) 진단 기준의 설정
① 진단 기준에 따라 민감도, 특이도는 달라짐
• 진단기준이 엄격해짐 → 민감도↓, 특이도↑
② 따라서 최적의 진단 기준을 설정하기 위해 ROC curve를 그림
• x축에 1-특이도, y축에 민감도
③ ROC curve의 좌상부 접점이 최적의 민감도 & 특이도의 조합
④ AUC(area under the curve): ROC 곡선의 아래 면적
• 여러 진단검사의 우열을 비교할 때, AUC가 클수록 유용함
* 기타 팁: 헷갈릴 수도 있지만, 각 지표의 분수식 정의를 생각해보면 상식적인 선에서 이해할 수 있다.
① 유병률↑ → PPV↑, NPV↓
② 민감도↑ → PPV↑, 위음성↓
③ 특이도↑ → PPV↑, 위양성↓
3) 신뢰도의 평가
(1) 신뢰도에 영향을 미치는 요소
① 피검자의 생물학적 변이: 최소화하기 위해 검사 시기, 조건 등을 표준화함
② 검사자 내 변이(intra-observer variability)
• 검사자의 주관적 평가가 들어가는 검사일 때 특히 심함
ex) 영상학적, 병리학적 판독 등
③ 검사자 외 변이(inter-observer variability)
• 2명 이상의 검사자가 같은 검사를 평가할 때
• 다른 종류의 검사방법으로 하나의 질병을 평가할 때
(2) 신뢰도의 측정방법
① 일치율(agreement percent): 두 번의 검사결과가 얼마나 일치하는지 평가
② 카파통계량: 일치율 계산시 두 번의 검사결과가 우연히 일치하는 경우를 고려
2. 연구 차원의 타당도
여기서 말하는 타당도는 위에서 살펴봤던 ‘측정검사의 타당도’와는 비슷하지만 다른 개념이다. ‘측정검사의 타당도’는 한 진단검사의 측정값이 실제 참값을 얼마나 정확하기 측정하는가를 의미한다. ‘연구 차원의 타당도’는 표본의 결과가 모집단을 얼마나 정확하게 측정하는가를 의미한다. 즉, 둘 다 ‘정확도’를 의미하지만 그 정확도의 대상이 다르다. 따라서 여기서 말하는 내적타당도와 외적타당도는 ‘연구 차원의 타당도’의 개념이며, ‘측정검사의 타당도’와는 관련이 없다.
1) 단계별 연구집단의 개념
(1) 표적집단(target population): 최종적으로 연구 결과를 적용하고자 하는 집단 (가장 상위의 개념)
(2) 연구모집단(source population): 표본추출을 당하는 모집단
(3) 표집집단(sample population): 표본추출에 의해 추출된 표본
(4) 적격집단(eligible population): 추출된 표본 내부에서 inclusion, exclusion criteria를 통해 적격성을 만족한 표본의 일부
(5) 연구집단, 연구참여자(study participants): 적격집단 중 실제로 연구에 동의하고 참여한 사람들의 집단
2) 타당도(validity): 실제 모수를 얼마나 정확하게 관찰하는지를 의미
ex) 흡연실태 조사에 참여한 대전시 의사 163명에 대한 연구결과가 대한민국 의사의 흡연량을 얼마나 잘 측정하는지
3) 내적타당도(internal validity)
(1) 연구의 과정 자체에서 오류가 없었는지를 의미
(2) 좋은 내적타당도: 오류 없이 진행된 연구 → 표본의 결과가 연구모집단에게 잘 적용됨
ex) 대전시 의사 163명에 대한 연구결과가 대전시 의사 3500명의 흡연량을 잘 설명함
(3) 내적타당도의 결정요인
① 연구대상의 선정: 잘못되면 선택 바이어스 발생
② 연구의 수행과정: 잘못되면 정보 바이어스 발생
③ 자료의 분석과정
4) 외적타당도(external validity)
(1) 연구집단의 결과가 표적집단으로 일반화될 수 있는지를 의미
(2) 좋은 외적타당도: 타당한 표본추출 → 표본의 결과가 표적집단에게 잘 적용됨
ex) 대전시 의사 163명에 대한 연구결과가 한국 의사 10만 명의 흡연량을 잘 설명함
(3) 외적타당도의 결정요인: 대표성이 높은 표본 선정
* 단순히 연구모집단에서 표본추출하는 과정뿐만 중요한 것이 아니라, 표적집단에 일반화를 시킬 수 있도록 적절한 연구모집단을 선택하는 것 역시 중요하다. 예를 들어, 한국 의사의 흡연량을 측정하기 위해 대전시 의사들을 연구모집단으로 삼은 것이 얼마나 타당한지 검증해야 한다.
5) 연구 특성에 따른 내적/외적타당도의 중요성
(1) 기술역학 연구: 외적타당도가 매우 중요 (내적타당도도 중요)
* 집단의 대표값(유병률, 발생률 등)을 산출하는 연구는 목적 자체가 해당 집단을 ‘대표’하는 것이기 때문에 외적타당도가 중요할 수밖에 없다. 예를 들어, 한국 의사들의 흡연량을 측정하기 위해 서울시 정형외과 의사들을 대상으로 표본추출을 한다면 연구결과가 전체 한국 의사들을 대표한다고 일반화하기 어려울 것이다.
(2) 분석역학 연구: 내적타당도가 훨씬 더 중요
* 예를 들어, 두 치료법의 효과를 비교하는 RCT의 경우 특정 질환을 가진 소수 집단에서 효과를 보이는지가 중요하다. 따라서 외적타당도를 일부 희생하더라도 내적타당도를 높이기 위해 동반질환이 있는 사람을 제외한다던지, 병용 약물의 사용을 제한한다던지 등의 까다로운 선정 기준을 부과한다.
3. 오차(error)와 바이어스(bias)
1) 오차: 참값과 측정값의 차이
(1) 무작위 오차(random error)
① 정의: 측정값이 우연히 변해 발생하는 오차
② 종류: 표본오차, 생물학적 변이, 측정 오차 등
③ 제어: 더 큰 표본, 측정 방법 표준화, 반복 측정 등
(2) 계통 오차(systematic error)
① 정의: 참값과 차이가 일정한 방향으로 발생하는 것
② 바이어스가 이에 해당함
• 선택 바이어스: 연구대상의 선정의 이상
• 정보 바이어스: 연구의 수행과정의 이상
• 교란 바이어스: 미처 생각하지 못한 교란변수에 의해 발생
2) 선택 바이어스(selection bias): 표본이 표본추출 당시 의도했던 것과 다름
무응답 Non response | • 적격집단의 일부가 참여를 전적/부분적으로 거부 • 따라서 최종 연구집단에서 제외됨 • 해당 거부자들의 특성이 나머지와 유의미하게 달랐을 경우 발생 |
버크슨 Berkson | • 병원 환자 대상 연구에서 특정 병원에 한정해 표본을 추출할 때 발생 • 극복하기 위해서 다기관연구가 필요함 |
선택적 생존 Selective survival | • 치명적 질환을 연구할 때(특히 단면연구), 중환은 사망하거나 입원해서 제외됨 • 따라서 경한 환자만 연구에 참여해 바이어스 발생 |
자발적 참여자 Volunteer | • 자발적 참여자들은 다른 참여자들에 비해 건강상태가 다를 수 있음 • 건강 근로자 효과: 건강하지 않은 근로자가 고용 문제 때문에 건강검진을 피하는 경향이 있거나 직장을 떠나는 경향이 발생하여 유병률이 낮게 기록되는 경우 등 |
탈락 Follow-up loss, attrition | • 추적관찰이나 임상시험을 시작했으나 도중에 탈락하는 사람이 발생 • 해당 탈락자들의 특성이 나머지와 유의미하게 달랐을 경우 발생 |
기간차이 Length | • 진행이 느린 질병이 빠른 질병에 비하여 진단적으로 유리해 예후가 좋게 측정됨 |
• 제어 방법
① 더 큰 표본 사용 (n수 늘리기)
② 모집단과 유사한 연구집단 선정
③ 무작위 표본추출
2) 정보 바이어스(information bias): 측정오류의 정도가 두 집단 간에 서로 다름
면담자 Interviewer | • 연구자의 유도질문, 편견으로 인해 발생 |
측정 Measurement | • 잘못된 조사방법으로 인해 발생 • 매우 민감한 질문, 질문 이해능력 부족, 거짓말 등 |
기억 소실 Memory decay | • 기억력에 의존해 과거 요인 노출에 대한 정보를 수집할 때 발생 • 기억이 잘 나지 않아 정보의 정확성이 감소 → 연구의 타당성도 감소 |
회상 Recall | • 기억력에 의존해 과거 요인 노출에 대한 정보를 수집할 때 발생 • 물어보는 요인이 특정 질병과 관련되어 있음 • 따라서 오히려 더 잘 기억하게 되어 바이어스가 발생 |
호손 효과 Hawthorne effect | • 특별한 중재나 실험 없이도 연구에 참여하거나, 위험요인에 대해 반복 측정하는 것 때문에 행동에 변화를 유발하여 요인 자체의 변화를 가져와, 결과적으로는 요인-결과 간 관련성에 영향을 미치는 것 |
확인 Ascertainment | • 특정 위험요인에 노출된 사람과 아닌 사람이 있음 • 이 두 집단에게 질병이 발생했는지 여부를 확인하는 정도가 다름 • 이로 인해 집단마다 다른 정도의 오분류가 발생 |
시간 Time | • 시간적 흐름에 따라 요인 측정, 질병 진단이 이루어지는 연구 • 이 때 개인적 요인이 변화되거나 진단의 기준 자체가 변화되어 발생 |
조기발견 Lead time | • 건강검진 선별검사로 인해 일반적 진단 시점보다 조기진단받음 • 이로 인해 생존 기간이 길어지며 바이어스 발생 |
출판 Publication | • 연구 결과가 유의하지 않거나 기존 지식과 반대로 관찰되는 경우 이를 출판하지 않아서 발생 |
검출 Detection | • 선택바이어스와 정보바이어스의 혼합 형태 • 위험요인이 있는 대상자는 더 자주 진단검사를 받음 • 따라서 요인과 질병 간 관련성에 바이어스 발생 |
실행 Execution | • 임상시험 실행 시 blinding이 제대로 이루어지지 않아 발생 |
• 제어 방법
① 면담자 훈련
② 구조화된 설문지
③ 눈가림(blinding), 타당한 검사방법 사용 등
3) 교란 바이어스(confounder bias): 교란변수에 의해 초래되는 연구결과의 왜곡
(1) 교란변수(confounder)
① 설명변수 X와 연관성이 있음
ex) 흡연은 높은 음주량과도 상관관계가 있음
② 결과변수 Y와 연관성이 있고, 인과성도 있음
ex) 흡연은 폐암을 유발하는 원인 중 하나임
③ 이로 인해 X가 Y를 유발하는 원인이라고 연구결과가 나와도, 이는 사실 교란변수에 의해 발생한 것일 수 있음
(2) 제어 및 보정
① 연구대상의 제한(restriction)
ex) 흡연이 교란변수로 의심되면 흡연자는 연구에서 배제하고 시작
② 교란변수 의심 변수에 대한 짝짓기(matching)
③ 무작위 배정(randomization, 임상시험의 경우)
④ 회귀분석 등의 통계적 방법
예방의학과 공중보건학 제4판, pp.147-168