타당도, 신뢰도, 바이어스

(1) 타당도(validity): 목적한 것을 얼마나 정확하게 판정하는가?

(2) 신뢰도(reliability): 검사를 반복하여 수행 시 결과가 어느 정도 일관되는가?

* 참고로 초록색 점들처럼 일관된 방향으로 참값에서 차이가 발생할 경우 계통 오차(systematic error)가 있다고 할 수 있으며, 나아가 바이어스가 있다고 할 수 있다.

(1) 7가지 지표

① 민감도(sensitivity) = a / (a+c)

• 실제로 병이 있는 사람을 검사 결과 양성으로 판정하는 분율

• 선별검사는 민감도가 높아야 함

② 특이도(specificity) = d / (b+d)

• 실제로 병이 없는 사람을 검사 결과 음성으로 판정하는 분율

• 확진검사는 특이도가 높아야 함

③ 양성예측도(positive predictive value, PPV) = a / (a+b)

• 검사 결과 양성인 사람이 실제로 질병이 있을 분율

④ 음성예측도(negative predictive value, NPV) = d / (c+d)

• 검사 결과 음성인 사람이 실제로 질병이 없을 분율

⑤ 위양성(false positive) = b / (b+d) = 1 - 특이도

• 실제 병이 없는데 검사 결과 양성으로 판정될 분율

⑥ 위음성(false negative) = c / (a+c) = 1 - 민감도

• 실제 병이 있는데 검사 결과 음성으로 판정될 분율

⑦ 효율성(efficacy) = (a+d) / (a+b+c+d)

• 실제 병이 있으면 있다고, 없으면 없다고 판정할 수 있는 분율

(2) 진단 기준의 설정

① 진단 기준에 따라 민감도, 특이도는 달라짐

• 진단기준이 엄격해짐 → 민감도↓, 특이도↑

② 따라서 최적의 진단 기준을 설정하기 위해 ROC curve를 그림

• x축에 1-특이도, y축에 민감도

③ ROC curve의 좌상부 접점이 최적의 민감도 & 특이도의 조합

④ AUC(area under the curve): ROC 곡선의 아래 면적

• 여러 진단검사의 우열을 비교할 때, AUC가 클수록 유용함

* 기타 팁: 헷갈릴 수도 있지만, 각 지표의 분수식 정의를 생각해보면 상식적인 선에서 이해할 수 있다.

① 유병률↑ → PPV↑, NPV↓

② 민감도↑ → PPV↑, 위음성↓

③ 특이도↑ → PPV↑, 위양성↓

(1) 신뢰도에 영향을 미치는 요소

① 피검자의 생물학적 변이: 최소화하기 위해 검사 시기, 조건 등을 표준화함

② 검사자 내 변이(intra-observer variability)

• 검사자의 주관적 평가가 들어가는 검사일 때 특히 심함

ex) 영상학적, 병리학적 판독 등

③ 검사자 외 변이(inter-observer variability)

• 2명 이상의 검사자가 같은 검사를 평가할 때

• 다른 종류의 검사방법으로 하나의 질병을 평가할 때

(2) 신뢰도의 측정방법

① 일치율(agreement percent): 두 번의 검사결과가 얼마나 일치하는지 평가

② 카파통계량: 일치율 계산시 두 번의 검사결과가 우연히 일치하는 경우를 고려

(1) 표적집단(target population): 최종적으로 연구 결과를 적용하고자 하는 집단 (가장 상위의 개념)

(2) 연구모집단(source population): 표본추출을 당하는 모집단

(3) 표집집단(sample population): 표본추출에 의해 추출된 표본

(4) 적격집단(eligible population): 추출된 표본 내부에서 inclusion, exclusion criteria를 통해 적격성을 만족한 표본의 일부

(5) 연구집단, 연구참여자(study participants): 적격집단 중 실제로 연구에 동의하고 참여한 사람들의 집단

ex) 흡연실태 조사에 참여한 대전시 의사 163명에 대한 연구결과가 대한민국 의사의 흡연량을 얼마나 잘 측정하는지

(1) 연구의 과정 자체에서 오류가 없었는지를 의미

(2) 좋은 내적타당도: 오류 없이 진행된 연구 → 표본의 결과가 연구모집단에게 잘 적용됨

ex) 대전시 의사 163명에 대한 연구결과가 대전시 의사 3500명의 흡연량을 잘 설명함

(3) 내적타당도의 결정요인

① 연구대상의 선정: 잘못되면 선택 바이어스 발생

② 연구의 수행과정: 잘못되면 정보 바이어스 발생

③ 자료의 분석과정

(1) 연구집단의 결과가 표적집단으로 일반화될 수 있는지를 의미

(2) 좋은 외적타당도: 타당한 표본추출 → 표본의 결과가 표적집단에게 잘 적용됨

ex) 대전시 의사 163명에 대한 연구결과가 한국 의사 10만 명의 흡연량을 잘 설명함

(3) 외적타당도의 결정요인: 대표성이 높은 표본 선정

* 단순히 연구모집단에서 표본추출하는 과정뿐만 중요한 것이 아니라, 표적집단에 일반화를 시킬 수 있도록 적절한 연구모집단을 선택하는 것 역시 중요하다. 예를 들어, 한국 의사의 흡연량을 측정하기 위해 대전시 의사들을 연구모집단으로 삼은 것이 얼마나 타당한지 검증해야 한다.

(1) 기술역학 연구: 외적타당도가 매우 중요 (내적타당도도 중요)

* 집단의 대표값(유병률, 발생률 등)을 산출하는 연구는 목적 자체가 해당 집단을 ‘대표’하는 것이기 때문에 외적타당도가 중요할 수밖에 없다. 예를 들어, 한국 의사들의 흡연량을 측정하기 위해 서울시 정형외과 의사들을 대상으로 표본추출을 한다면 연구결과가 전체 한국 의사들을 대표한다고 일반화하기 어려울 것이다.

(2) 분석역학 연구: 내적타당도가 훨씬 더 중요

* 예를 들어, 두 치료법의 효과를 비교하는 RCT의 경우 특정 질환을 가진 소수 집단에서 효과를 보이는지가 중요하다. 따라서 외적타당도를 일부 희생하더라도 내적타당도를 높이기 위해 동반질환이 있는 사람을 제외한다던지, 병용 약물의 사용을 제한한다던지 등의 까다로운 선정 기준을 부과한다.