1Assistant Professor, College of Nursing · Research Institute of Nursing Science, Seoul National University, Seoul, Korea.
2Doctoral Student, College of Nursing, Seoul National University, Seoul, Korea.
3Master Student, College of Nursing, Seoul National University, Seoul, Korea.
4Associate Professor, College of Nursing · Research Institute of Nursing Science, Seoul National University, Seoul, Korea.
PURPOSE
The purpose of this study was to cross-culturally adapt the eHealth Literacy Scale into Korean (KeHEALS) and evaluate its reliability and validity.
METHODS
The cross-cultural adaptation of the KeHEALS was conducted according to the World Health Organization's guideline. To evaluate the reliability and validity, the data of 397 participants (210 young adults and 187 older adults) were collected from 2017 November to 2018 February. An online survey was conducted with young adults, while a face-to-face survey was conducted with older adults in two senior welfare centers. The reliability of the KeHEALS was examined using the internal consistency and test-retest reliability tests. Regarding the validity, the content validity index was calculated for content validity, and exploratory and confirmatory factor analyses and the hypothesized test were conducted for assessing construct validity of the KeHEALS.
RESULTS
The Cronbach's α coefficient was .89 and the intraclass correlation coefficient for the 2-week test-retest reliability was .80. The content validity index of the KeHEALS was 1.0. From the exploratory factor analysis, eight items were retained in one factor, which accounted for 58.1% of the total variance. This factor structure was confirmed by the confirmatory factor analysis. The total score of the KeHEALS was significantly correlated with the attitudes toward internet health information.
CONCLUSION
The findings of this study provide evidence for the adequate psychometric properties of the KeHEALS. The KeHEALS will be useful to evaluate the eHealth literacy among Koreans.
The purpose of this study was to cross-culturally adapt the eHealth Literacy Scale into Korean (KeHEALS) and evaluate its reliability and validity.
The cross-cultural adaptation of the KeHEALS was conducted according to the World Health Organization's guideline. To evaluate the reliability and validity, the data of 397 participants (210 young adults and 187 older adults) were collected from 2017 November to 2018 February. An online survey was conducted with young adults, while a face-to-face survey was conducted with older adults in two senior welfare centers. The reliability of the KeHEALS was examined using the internal consistency and test-retest reliability tests. Regarding the validity, the content validity index was calculated for content validity, and exploratory and confirmatory factor analyses and the hypothesized test were conducted for assessing construct validity of the KeHEALS.
The Cronbach's α coefficient was .89 and the intraclass correlation coefficient for the 2-week test-retest reliability was .80. The content validity index of the KeHEALS was 1.0. From the exploratory factor analysis, eight items were retained in one factor, which accounted for 58.1% of the total variance. This factor structure was confirmed by the confirmatory factor analysis. The total score of the KeHEALS was significantly correlated with the attitudes toward internet health information.
The findings of this study provide evidence for the adequate psychometric properties of the KeHEALS. The KeHEALS will be useful to evaluate the eHealth literacy among Koreans.
개인이 건강 관련 의사결정을 할 때 필요한 건강 정보를 획득하고, 처리하고, 이해하고, 의사소통 할 수 있는 정도를 의미하는 건강정보 이해능력(health literacy)은 대상자의 건강상태 및 결과와 관련이 있는 것으로 알려지며, 개념적으로 확대되기 시작하였다[1]. 특히 정보의 생산 및 유통이 급격히 확대되고 정보가 삶에 미치는 영향이 증가하는 지식정보사회가 도래함에 따라 낮은 건강정보 이해능력은 개인의 건강행위뿐 아니라 건강서비스 활용, 의료진과의 의사소통, 치료 과정에의 환자 참여 등 건강관리 영역까지도 부정적 영향을 미치는 것으로 나타나 그 중요성이 더욱 강조되고 있다[1, 2]. 국내의 경우, 2000년대에 건강정보 이해능력의 개념이 도입된 이후 간호학, 의학, 보건학 등 다양한 학문 분야에서 건강정보 이해능력, 건강 문해력, 의료정보 이해능력, 건강정보 활용능력 등의 용어로 꾸준히 연구에 활용되고 있다[3].
최근 건강정보 이해능력의 핵심요소인 건강정보를 대상자가 습득하는 경로가 다양해지고 있는데, 전통적 건강정보원이었던 의료진이나 TV와 같은 대중매체를 넘어 스마트폰이나 컴퓨터와 같은 디지털 매체를 활용한 인터넷의 역할이 커지고 있다. 한 예로 미국 성인의 70% 이상이 건강정보를 찾기 위해 가장 먼저 인터넷을 검색하며[4], 한국인의 건강정보원에 대한 체계적 문헌고찰에서도 인터넷이 건강정보를 찾기 위한 경로로 가장 많이 활용되는 것으로 나타났다[5]. 하지만 건강정보를 검색하는 개인은 질이 보장되지 않은 방대한 양의 건강정보에 노출되기 쉬우며, 정제되지 않은 건강정보의 오용은 대상자의 건강에 악영향을 미칠 수도 있다[6]. 이에 인터넷 환경에서 믿을 만한 건강정보를 찾고, 이해하며, 평가할 수 있는 능력, 즉 인터넷 건강정보 이해능력(eHealth literacy)이 대상자에게 필요한 기술로 요구되며 이를 정확하게 측정하는 도구의 중요성이 대두되었다[7, 8, 9].
인터넷 건강정보 이해능력에 대한 선행연구들을 통해 인터넷 건강정보 이해능력 측정하기 위한 2개의 도구가 제시됨을 알 수 있다. 첫 번째는 Norman과 Skinner에 의해 2006년에 개발된 eHealth Literacy Scale (eHEALS)이다[9]. Norman과 Skinner는 건강정보원으로서의 인터넷을 대하는 경우 기존 건강정보원과는 달리 건강정보 내용 뿐 아니라 매체가 가지는 특성에 대한 고려가 필요하다고 하며, 인터넷 건강정보 이해능력을 구성하는 6개의 영역인 전통적 이해능력(traditional literacy), 건강 이해능력(health literacy), 정보 이해능력(information literacy), 과학적 이해능력(scientific literacy), 미디어 이해능력(media literacy), 컴퓨터 이해능력(computer literacy)을 포괄적으로 사정하기 위해 자기효능감이론 및 사회인지이론을 기반으로 eHEALS를 개발하였다[9]. eHEALS는 인터넷 건강정보 이해능력의 대상자의 기술과 지식에 대한 스스로의 인지를 측정하도록 설계되었지만, 대상자의 기술과 지식에 대한 직접 측정이 아닌 그것에 대한 인지적 측면에 초점을 두고 있기 때문에 인터넷 건강정보 효능감을 사정하는 도구라는 견해도 있다[7]. 그럼에도 불구하고 eHEALS는 인터넷 건강정보 이해능력 측정에 사용할 수 있는 타당성이 확보된 유일한 도구로 스페인어[10], 이탈리아어[11], 중국어[12] 등으로 번역되어 지난 10여 년간 건강증진행위, 건강 관련의사결정 등과 같은 다양한 영역에서 사용되고 있다[7, 13]. 또한 국내의 인터넷 건강정보 이해능력과 관련된 선행연구[7, 14, 15]에서도 사용되고 있지만, 문화적 개작은 물론 신뢰도와 타당도에 대한 체계적인 검증 과정이 제시되지 않아 연구결과의 해석에 있어 왜곡이 발생할 수 있다. 또 다른 인터넷 건강정보 이해능력 측정도구인 Digital Health Literacy Instrument (DHLI)는 보다 폭넓은 인터넷 건강정보 이해능력을 측정하고자 2017년에 개발되었다[13]. DHLI는 인터넷 건강정보의 탐색, 평가, 사생활 보호, 컴퓨터 및 인터넷 사용 등의 영역에 대한 문항들로 구성되어 있으며 측정의 객관성을 확보하기 위해 개발된 행위-기반 문항들도 포함하고 있다[13]. 그러나 DHLI 개발연구에서 행위-기반 문항의 타당도 문제가 제기되었을 뿐 아니라, 도구 개발 이후 후속 연구가 아직 보고되지 않아 도구의 수용가능성에 대한 검증이 필요한 실정이다[13].
이렇듯 인터넷 건강정보 이해능력을 측정할 수 있는 eHEALS와 DHLI는 각각의 장점과 제한점을 가지고 있다. 또한 두 도구 모두 한국어 문화적 개작 과정 및 타당성 검증이 시행되지 않은 상태이기 때문에 우리나라의 사회문화적 맥락, 인터넷 및 모바일 관련 환경, 인구 집단의 특성에 적합한 인터넷 건강정보 이해능력 측정도구를 선택하는 것이 어려운 실정이다. 이에 본 연구는 한국의 사회문화적 맥락 내에서 사용하기에 적합한 인터넷 건강정보 이해능력 도구를 탐색하기 위한 과정의 일환으로 두 도구 중 타당도가 기검증되었고 다양한 연구 분야에서 사용되고 있는 인터넷 건강정보 이해능력 도구인 eHEALS의 한국어 문화적 개작 및 타당도를 검증하고자 한다. 국내외에서 인터넷을 통한 건강정보의 보급 및 활용이 활발해지는 현 시점에서 다양한 나라와 인구 집단에서 사용되고 있는 eHEALS의 한국어 개작 및 타당도 검증을 통해 우리나라 인구집단의 인터넷 건강정보 이해능력을 다른 나라 인구집단과의 비교가 가능할 뿐 아니라 인터넷 건강정보 능력 향상을 위한 중재 프로그램 개발의 초석이 될 것으로 생각한다.
본 연구의 구체적 목적은 문화적 개작을 통해 eHEALS의 한국어 버전(Korean version of the eHealth Literacy Scale, KeHEALS)을 개발하고, 개발된 도구의 타당도와 신뢰도를 검증하는 것이다.
본 연구는 인터넷 건강정보 이해능력 측정도구(eHEALS)의 문화적 개작을 통해 한국어 버전(KeHEALS)을 개발하고, 타당도와 신뢰도를 검증하는 방법론적 연구이다.
본 연구의 대상자는 van der Vaart와 Drossaert [13]의 연구에서 제시된 방법인 연령에 따른 층화를 이용한 편의추출 방법으로 모집하였다. 이 때 대상자의 연령과 인터넷 사용경험이 인터넷 건강정보 이해능력과 관련이 있다는 선행연구결과[13]를 바탕으로, 우리나라에서 인터넷 사용률이 99% 이상으로 가장 높은 만 18~34세(청년 그룹)와 상대적으로 인터넷 사용률 낮은 만 65세 이상(노인 그룹)으로 층화하였다[16]. 청년 그룹은 인터넷 포탈사이트 공고를 통해 모집하였으며, 노인 그룹은 서울특별시에 위치한 2개의 노인복지관에서 대상자를 모집하였다.
두 그룹 대상자의 포함기준은 각 그룹의 연령대를 만족하며, 최근 1개월 이내에 인터넷을 활용한 인터넷이용자[16]중 건강정보를 이용한 경험이 있는 자이다. 연구참여에 저해가 되는 인지장애나 정신질환을 진단받은 적이 있는 자 혹은 노인의 경우 한국형 간이정신상태검사(Korean Mini-Mental State Examination, K-MMSE) 점수가 24점 미만인 자를 제외 기준으로 선정하였다[17].
본 연구는 eHEALS와 DHLI의 한국어 개작 및 타당성 검증을 위해 진행된 연구 프로젝트 중 한 부분으로 연구 계획 당시의 표본 수는 두 도구의 문항수를 모두 만족시키도록 계산되었다. 도구의 타당도 검증을 위한 표본 수를 제안한 Polit과 Beck[18]은 문항 수 대비 10배, 구조모형 방정식을 이용한 확인적 요인분석에 필요한 표본 수를 제안한 Kline [19]은 문항 수 대비 최소 15배의 대상자가 필요하다고 하였다. eHEALS의 경우, 검증에 사용되는 8문항을 기준으로 최소 120명 대상자의 자료가 필요하며, 21문항인 DHLI를 기준으로 최소 315명의 대상자가 필요하였다. 이에 탈락율 20%를 고려하여 약 400명의 대상자를 모집하고자 하였으며, 결과적으로 총 402명(청년 210명, 노인 192명)에게 자료를 수집하였다. 이 중 본 연구에서 필요한 eHEALS 응답에 누락이 있는 5명을 제외한 총 397명(청년 210명, 노인 187명)의 자료를 본 연구에서 이용하였으므로 대상자 수는 충분하다. 또한 Park 등[20]이 검사-재검사 신뢰도를 위한 제안한 문항 수 대비 약 6배의 대상자 수에 근거하여 eHEALS 도구는 48명, DHLI 도구는 126명이 필요하였으며, 탈락율 20%를 고려하여 약 150명의 대상자를 모집하고자하였다. 결과적으로 총 174명(청년 84명, 노인 90명)에게 재검사 자료를 수집하여 기준을 충족하는 것으로 나타났다.
일반적 특성으로는 나이, 학력, 수입, 결혼 상태, 현재 질병상태를 묻는 5문항이 포함되었고, 인터넷 사용 관련 특성에는 인터넷 사용 기간, 인터넷 건강정보 사용 장소, 사용한 인터넷 건강정보 유형에 대한 문항이 포함되었다.
eHEALS는 인터넷 건강정보 이해능력을 측정하기 위해 개발된 도구이다[9]. 총 10문항으로 구성되어 있으나, 건강 관련의사결정 시 인터넷의 유용성과 중요성을 묻는 첫 2문항은 인터넷 건강정보 사용에 대한 대상자의 관심을 파악하기 위한 추가질문으로 점수화 과정에 포함하지 않는다[9]. 인터넷 건강정보 이해능력을 반영하는 점수의 계산과정에 포함되는 8문항(3~10번)은 5점 리커트 척도로 구성되어 있으며 인터넷 건강정보에 대한 지식, 능력, 평가, 건강정보에의 이용 등에 대한 문항이 포함된다. 8문항에 대한 총점은 8점에서 40점의 범위를 가지며, 점수가 높을수록 인터넷 건강정보 이해능력이 높은 것을 의미한다. 개발 연구에서 신뢰도 Cronbach's α는 .88이었으며, 3회(75분 후, 3개월 후, 6개월 후)에 걸쳐 측정한 검사-재검사 신뢰도는 r=.68, .46, .40로 나타났다. 구성타당도 검증에서 8문항이 1개의 요인으로 묶였으며 이때 설명력 56%였다[9]. 문화적 개작에 대해 원자자의 허락을 획득한 후 연구를 진행하였다.
KeHEALS의 가설적 관계 검사를 위해 본 연구에서는 인터넷 건강정보에 대한 태도를 측정하였다. 본 가설적 관계는 인터넷 건강정보에 대한 긍정적인 태도가 인터넷 건강정보를 찾고 이해하고 평가하는 능력인 인터넷 건강정보 이해능력과 관련이 있다는 선행연구[7, 21, 22]결과를 바탕으로 설정하였다. 이 도구는 55세 이상 고령층을 대상으로 실시한 인터넷 건강정보 활용실태 조사에서 인터넷 건강정보에 대한 태도를 알아보기 위해 Jung 등[23]이 개발하였으며, 인터넷 건강정보의 신뢰성, 유용성, 구체성, 정확성, 최신성에 대한 5문항, 5점 리커트 척도로 구성되어 있다. 총점은 5점에서 25점의 범위를 갖으며, 점수가 높을수록 대상자의 인터넷 건강정보에 대한 태도가 긍정적임으로 의미한다. 이 도구는 개발 당시 5인으로 구성된 전문가 집단(의료정보학, 간호학, 노인복지학)으로부터 내용타당도를 검증받았으며, 개발당시 신뢰도는 제시되지 않았다. 하지만 이 도구를 이용한 Chang과 Im [24]의 연구에서 Cronbach's α는 .80이었다. 본 연구에서의 신뢰도 계수는 .70이었다.
eHEALS의 문화적 개작은 World Health Organization (WHO)에서 제시한 Process of translation and adaptation of instruments [25]에 따라 진행되었다. 이 과정은 번역, 전문가 검토, 역번역, 예비조사와 인지적 면담, 최종본 완성의 단계로 진행된다. 우선 eHEALS의 번역은 간호학 분야의 이중언어자 1인에 의해 진행되었다. 완성된 번역본은 이중언어자인 간호학 교수 2인과 원 번역가 1인으로 구성된 전문가 그룹에 의해 검토되었다. 이때, 표현과 개념 등의 번역이 명확하지 않은 부분이 있는지 확인한 후, 전문가 그룹의 합의를 거쳐 한글 번역본을 완성하였다. 완성된 한글 번역본은 한국에서 거주하는 비간호학 전공자인 미국 번역가 1인에 의해 영어로 역번역 된 후원 도구와의 비교과정 및 확인을 거쳤다. 한글 번역본의 예비조사와 인지적 면담은 청년 그룹 10인과 노인 그룹 10인을 대상으로 시행하였다. 그 결과, 도구의 개념, 표현, 서술 등에서 대상자가 이해하기에 어려움이 없었으며 설문조사 시간은 청년 그룹 약 2분, 노인 그룹 약 3~5분이 소요되는 것을 확인되었다. 이러한 일련의 과정을 통해 보완 혹은 수정된 문항이나 내용은 없었으며, 최종 KeHEALS을 완성하였다.
본 연구의 자료수집은 2017년 11월에서 2018년 2월 사이에 진행되었다. 청년 그룹의 경우, 인터넷 포탈사이트의 카페 게시판에 공고문을 게시한 후 참여의사를 이메일로 밝힌 자에게 연구설명서, 인지장애 및 정신질환 진단 여부를 묻는 이메일을 발송하였다. 이때 참여를 허락하고 인지장애 및 정신질환을 진단받은 적이 없는 자에게 구글 설문지 링크를 보내어 설문조사를 진행하였으며, 이메일 주소의 비교를 통해 중복참여 여부를 확인하였다. 노인 그룹의 경우, 서울특별에 위치한 2개의 노인복지관에 공고문을 게시하여 관심을 보이는 노인에게 연구에 대한 설명을 제공하고, K-MMSE 점수를 확인하여 24점 미만인 자에게 설문조사를 진행하였다. 이들 노인복지관은 컴퓨터실을 확보하고 있으며 노인 대상 인터넷 사용 교육 프로그램을 운영하고 있어 본 연구의 선정기준인 최근 1개월 내 인터넷으로 건강정보를 검색해본 경험이 있는 노인이 많을 것으로 예상되어 선정하였다. 설문조사를 종료한 자에게 온라인 혹은 지류상품권을 제공하였다. 1차 설문 종료 시 2주 후 진행될 2차 설문참여 의향을 물은 후, 참여를 원하는 자에 한하여 2차 설문을 위해 개별연락을 취하였다. 이때 2주 간격의 재검사는 일반적 추천되는 검사-재검사 신뢰도 간격[18]일 뿐 아니라 노인 대상의 검사-재검사 신뢰도 간격을 제시한 체계적 문헌고찰 결과[20]를 바탕으로 선정하였다. 온라인 자료수집은 박사과정생 1인에 의해 진행되었으며, 노인 대상 자료수집은 대학원생 및 학부생 10인에 의해 이루어졌다. 이때, 자료수집 전 모임을 통해 연구에 대한 정보를 공유하고 설문지에 대한 이해를 높이고자 하였으며, 석사과정생 1인이 노인 그룹 대상 설문과정을 전반적으로 모니터링 하였다.
대상자의 일반적 및 인터넷 관련 특성은 서술적 통계를 이용하여 분석하였다. 타당도 측면에서는 내용타당도와 구성타당도를 검증하였다. 내용타당도 평가는 관련 분야 전문가(간호정보학 박사 1인, 소비자정보학 박사 1인, 의료정보학 박사 1인)에게 의뢰하였으며, 내용타당도 지수(Content Validity Index, CVI)를 계산하였다. 또한 구성타당도 검증을 위해 4가지 방법, 즉 집단비교 타당도(known-group validity), 가설적 관계 검사(hypothesized relationship testing), 탐색적 요인분석, 확인적 요인분석을 시행하였다. 집단비교 타당도 검증을 위해 청년 그룹과 노인 그룹의 KeHEALS 점수의 정규성 검정 결과, 정규분포 가정에 위배되어 비모수 통계법인 Mann-Whitney U-test로 분석하였다. 가설적 관계 검사에서는 선행연구를 통해 인터넷 건강정보 이해능력과 관계가 있음이 밝혀진 인터넷 건강정보에 대한 태도와의 상관관계를 Pearson's correlation analysis로 분석하였다. 또한 탐색적 요인분석을 위해 주성분 분석을 이용한 직교회전 방법 중 Varimax를 시행하였으며, 표본의 적합성과 요인분석모형의 적합성은 Kaiser-Meyer-Olkin (KMO)값과 Bartlett의 단위 행렬 검정값으로 분석하였다. 이 때 요인 적재값의 기준은 0.4로 설정하였다[26]. 확인적 요인분석의 모형 추정은 최대우도법을 이용하였으며, 수렴타당도는 평균분산 추출값(Average Variation Extracted, AVE)와 개념신뢰도(Construct Reliability, CR)로 확인하였다. 이때 AVE .05 이상, CR .7 이상이면 적절한 수렴타당도를 가졌다고 할 수 있다[26]. 확인적 요인분석 시 모형의 적합성은 χ2 (p)와 자유도, Goodness of Fit Index (GFI), Normed Fit Index (NFI), Comparative Fit Index (CFI), Turker-Lewis Index (TLI), Root Mean Square Error of Approximation (RMSEA)로 확인하였다.
신뢰도 검증을 위한 시행된 문항분석에서는 문항별 평균과 표준편차, 첨도와 왜도를 계산하였으며, 내적 일관성 검사는 문항-총점 상관(item-total correlation)과 Cronbach's α는 계수로 확인하였다. 도구의 안정성은 첫 설문 2주 후 두 번째 설문을 시행하여 문항별 Cohen's kappa 계수와 총점의 Intra-class Correlation (ICC)을 이변량 혼합모델(two-way mixed model)로 분석하였다. 확인적 요인분석은 AMOS 프로그램을 이용하였으며, 그 외 모든 분석은 SPSS/WIN 22.0 프로그램을 사용하였다.
본 연구는 인터넷 건강정보 이해능력 도구인 eHEALS와 DHLI의 한국어 개작 및 타당성 검증을 위해 진행된 연구 프로젝트의 일부로서 본 연구는 첫 번째 프로젝트인 eHEALS의 한국어 개작 및 타당성 검증에 해당하며, 두 번째 프로젝트는 DHLI의 한국어 개작 및 타당서 검증을 위한 연구이다. 본 연구가 포함된 연구 프로젝트는 서울대학교 생명윤리위원회의 승인을 받은 후 진행하였으며(Institutional Review Board No. 1708/001-011), 두 번째 프로젝트인 DHLI의 한국어 개작 및 타당성 검증 연구는 본 연구의 자료를 인용할 예정으로 별도의 IRB를 진행할 것이다. 연구 공고를 보고 참여를 희망한 자에 한하여 연구에 대해 적절하고 충분한 정보를 제공하였으며, 대상자가 스스로 판단하여 해당 연구에 참여하도록 하였다. 또한 설문조사 참여과정에서 불편감을 느끼거나 연구참여 중단을 결정하더라도 아무런 불이익이 없음을 충분히 설명하였다. 온라인 설문조사의 경우, 대상자가 본인의 이름을 입력하는 것을 통하여 동의를 확인하였으며, 노인 대상 자료수집은 2장의 서면 동의서에 날인 후 연구책임자와 대상자가 각각 1부를 보관하였다. 대상자로부터 수집된 자료의 모든 개인적 식별번호(성명, 전화번호, 이메일 주소)는 검사-재검사 신뢰도 측정을 위한 2차 설문조사 후 일련번호로 대체하였다.
본 연구대상자의 평균 연령은 47.96±24.29세였는데, 노인 그룹은 평균 73.18±4.76세, 청년 그룹은 평균 25.51±4.71세였다. 청년 그룹의 75.2%와 노인 그룹의 41.2%가 대학교 졸업의 학력을 가지고 있었다. 또한 청년 그룹의 88.1%와 노인 그룹의 72.2%가 현재의 수입에 만족하는 것으로 나타났다. 노인 그룹의 57.2%가 현재 질병을 가지고 있는 것에 비해, 청년 그룹에서는 11.0%가 질병을 가지고 있다고 하였다. 인터넷 사용기간과 관련하여 66.8%의 노인과 88.1%의 청년이 5년 이상인 것으로 보고하였다. 건강정보를 찾기 위해 인터넷을 사용하는 장소로 청년 그룹은 모바일(90.5%)과 집(67.1%)을 꼽은 반면, 노인 그룹에서는 집(83.4%)과 모바일(25.1%) 순으로 응답하였다. 인터넷을 통해 검색한 건강정보로는 청년(84.8%) 및 노인 그룹(51.9%) 모두에서 질병이 가장 많았다(Table 1).
Table 1
Personal and Internet-related Characteristics (N=397)
내용타당도 검증을 위해 3인의 전문가(간호정보학 박사 1인, 소비자정보학 박사 1인, 의료정보학 박사 1인)가 평가한 KeHEALS의 CVI는 10문항 모두 1.0으로 나타났다.
구성타당도 검증을 위해 시행된 집단비교 타당도 결과, KeHEALS의 평균 점수는 청년 그룹 30.49점, 노인 그룹 30.91점으로 두 그룹간의 유의한 차이가 보이지 않았다(U=16,276, p=.753)(Table 1). 이에 이후 신뢰도와 타당도 검증은 두 그룹을 합쳐 분석하였다.
도구의 점수화 과정에 포함되는 8문항에 대해 탐색적 요인 분석을 시행한 결과, KMO 표본 적합도는 .83, Bartlett의 단위 행렬 검정값은 1744.11 (p<.001)이 나와 적절한 것으로 확인되었다. Eigenvalue 1.0 이상인 1개의 요인이 추출되었으며 각 문항의 요인 부하량은 .65 (9번 문항)에서 .85 (4번 문항)로 나타났다(Table 2). 또한 1개의 요인에 의해 전체분산의 58.1%가 설명되었다(Table 2).
Table 2
The Results of the Exploratory Factor analysis (EFA) and Confirmatory Factor Analysis (CFA)
탐색적 요인분석 결과를 바탕으로 확인적 요인분석을 시행한 결과, 8개 문항의 표준화 요인 부하량은 .53 (9번 문항)에서 .89 (4번 문항)이었다. 모형적합도 지수 χ2=97.81 (p<.001), 자유도 18, GFI .94, NFI .94, CFI .95. TLI .93, RMSEA .08로 나타나 모형의 적합성의 기준을 모두 만족한 것으로 나타났다[26](Table 2).
가설적 관계 검사를 위해 KeHEALS의 총점과 인터넷 건강정보에 대한 태도 점수의 상관관계를 분석한 결과는 r=.51 (p<.001)로 통계적으로 유의한 양의 상관관계를 갖는 것으로 나타났다.
문항별 평균은 3.55±0.84 (8번 문항)에서 4.30±0.64 (2번 문항)의 범위를 가지며, 점수화에 포함되는 8문항의 평균은 30.69±4.42점이었다. 문항별 왜도는 2보다 작고, 첨도는 7보다 작아야 한다는 기준[27]을 만족하였다(Table 3).
Table 3
Results of the Item Analysis, Internal Consistency, and the Test-retest Reliability of the KeHEALS
신뢰도 검증을 위한 시행된 내적 일관성 검사 결과는 Table 3와 같다. 문항 삭제 시 신뢰도 Cronbach's α는 .87에서 0.89였으며, 최종 Cronbach's α 계수는 .89였다. 문항-총점 상관 계수는 r=.63 (10번 문항)에서 .77 (4번 문항)로 나타났다(Table 3).
도구의 안정성 검증을 위해 2주 간격으로 측정한 KeHEALS 점수로 검사-재검사 신뢰도를 검사한 결과는 Table 3과 같다. 문항별 Cohen's Kappa 계수는 .24 (10번 문항)에서 .45 (5번 문항)였으며 총점의 ICC (2.1)은 .80 (95% 신뢰구간 .74~.85)이었다.
본 연구는 인터넷 건강정보 이해능력을 측정하기 위해 개발된 eHEALS의 문화적 개작을 통해 한국어 버전인 KeHEALS을 개발하고, 타당도와 신뢰도를 검증하였다. 그 결과를 아래와 같이 논의하고자 한다.
구성타당도 검증을 위한 집단비교 타당도 검사를 위해 본 연구의 대상자는 연령 층화방법을 이용하여 인터넷 접근 및 사용에 가장 친숙한 18~34세 청년 그룹과 상대적으로 인터넷 사용률이 가장 낮은 65세 이상 노인 그룹으로 구성하였다. 이러한 연령 층화는 일반적으로 인터넷 건강정보 이해능력이 연령 및 인터넷 사용경험에 따라 차이가 난다는 선행연구결과에 근거한 것이었다[13, 28]. 그러나 본 연구에서는 청년 그룹과 노인 그룹의 인터넷 건강정보 이해능력이 차이가 없는 것으로 나타나 집단비교 타당도 결과가 지지되지 않았다. 이 결과는 본 연구의 대상자 선정기준과 관련이 있을 것으로 생각된다. 본 연구는 선행연구들에서 사용되는 인터넷 이용자의 정의, 즉 “최근 1개월 이내 인터넷을 이용한 자”[16]중 건강정보를 검색해본 경험이 있는 자를 선정기준으로 하였는데, 도구의 특성상 인터넷에서 건강 관련 정보를 탐색, 이해, 활용에 대한 의견과 경험을 묻는 문항이 포함되기 때문이었다[9]. 이에 본 연구의 노인 그룹의 약 67%가 5년 이상 인터넷을 사용하는 등 인터넷 사용에 친숙한 것으로 나타나 인터넷 사용률이 높다고 알려진 청년 그룹과 인터넷 건강정보 이해능력이 차이가 없었을 것으로 사료된다. 따라서 본 연구결과 해석 시에 이 점이 반드시 고려되어야 할 것으로 생각되며, 이 결과를 바탕으로 KeHEALS의 신뢰도와 타당도 분석은 청년 및 노인 그룹을 합친 전체 대상자로 분석하게 되었다.
본 연구에서 KeHEALS의 구성타당도 검증을 위해 시행한 가설적 관계 검사는 이론이나 선행연구를 통해 밝혀진 두 개념간의 관계를 확인하고, 각 개념을 측정하는 도구의 점수간의 상관관계를 검증함으로써 도구의 구성타당도를 확보하는 방법이다[18]. 그 자체만으로 도구의 구성타당도를 확보했다고 볼 수 없으나 구성타당도 확보를 위한 근거를 제시하는데 도움이 된다[18]. 이에 본 연구에서는 높은 인터넷 건강정보 이해능력이 인터넷 건강정보에 대한 긍정적 태도와 관련이 있다는 선행 연구결과를 바탕으로 검증을 시행하였고[7, 14, 15], 결과적으로 인터넷 건강정보 이해능력은 인터넷 건강정보에 대한 태도와 양의 상관관계를 갖는 것으로 나타나 선행연구에서 밝혀진 가설적 관계를 지지했다고 볼 수 있다.
KeHEALS의 구성타당도 검증을 위해 시행된 탐색적 요인분석 결과, 한 개의 요인이 추출되었는데 이는 도구개발연구[9], 스페인어[10]및 중국어[13] 검증연구의 탐색적 요인분석 결과와 같았다. 또한 본 연구를 포함한 개발 및 검증연구에서 추출된 한 개의 요인이 52.55 [10]~63.5%[13]의 설명분산(explained variance)을 갖는 것으로 나타났는데, 이는 불확실성이 많은 사회과학분야에서 적어도 50~60%는 되어야 한다는 기준에 부합하는 것으로 나타났다[30, 31]. 다만, 기준의 부합여부와 무관하게 eHEALS에서 추출된 한 개의 요인으로 인해 전체 변량 중 40~50%가 설명되지 않는 다는 점을 염두에 둘 필요가 있다. 탐색적 요인분석 결과를 바탕으로 시행한 확인적 요인분석 결과, 8문항의 표준화 요인적재량이 모두 기준치인 0.5보다 높았으며, 모형 적합도의 기준치인 0.9 이상을 만족시키는 것으로 나타나 하나의 요인을 묶인 각 문항이 동일한 개념을 측정한다고 볼 수 있다[26].
KeHEALS의 신뢰도는 내적 일관성 검사와 안정성 검사로 검증하였다. 우선, 본 연구의 내적 일관성 검사 결과는 신뢰도 계수 .88을 보고한 개발연구[9] 및 .87을 보고한 스페인어[10], 이탈리아어[11] 검증 연구와 유사한 수준이었다. 이러한 결과는 신뢰도 계수 0.7에서 0.9 사이가 도구의 일관성 검사를 위해 가장 적합하다고 제안한 Fitzpatrick 등[32]의 기준에 부합함을 알 수 있다. 또한 항목-총점 상관 계수 결과, 모든 문항의 상관계수가 수용기준인 0.2 이상[32]인 것으로 나타나 8개 문항이 인터넷 건강정보 이해능력을 측정하는데 있어 일관성을 가지고 있음을 보여준다. 이상의 결과를 통해 KeHEALS의 내적일관성이 확보되었다고 볼 수 있다.
KeHEALS의 신뢰도 중 도구의 안정성 검사를 위해 2주 간격 검사-재검사 신뢰도를 분석한 결과(ICC=0.8), ICC 0.75~0.9는 좋은(good)수준, ICC 0.9 이상은 훌륭한(excellent) 수준의 신뢰도라고 제시한 Koo와 Li [33]의 기준에 의거하여 본 연구의 ICC 결과는 좋은 수준의 안정성을 보이는 것으로 해석될 수 있다. 이 결과는 75분, 3개월, 6개월 간격으로 재검사를 실시한 eHEALS 개발연구[9]에서 제시된 상관계수 .68, .46과 .40에 비하여 높은 수준이었다. 그러나, eHEALS 개발연구의 검사-재검사 신뢰도 검증은 14~24세 청년 89명 대상의 인터넷 기반 금연 중재 및 행위 변화를 위한 실험연구의 자료를 이용하였기 때문에 시간의 흐름에 따른 eHEALS 점수의 상승으로 인해 나타난 결과로 여겨져 본 연구결과와 직접 비교는 어렵다[9]. 하지만 30일 간격의 재검사 결과를 보고한 Paramio Perez 등 [10]이 제시한 상관계수 .78과 본 연구의 결과는 유사한 것으로 나타나 KeHEALS의 안정성을 확인할 수 있었다. 또한 본 연구에서 2주 간격의 검사-재검사 신뢰도 결과를 문항별 Cohen's Kappa 값과 총점의 ICC 값으로 나누어 분석하여 KeHEALS의 안정성을 더욱 견고히 확인하였다. 이는 범주형 변수의 경우 Cohen's Kappa, 연속변수의 경우 ICC 통계방법을 이용하는 것이 적절하다는 선행연구 제안에 기초한 것이다[20, 34].
본 연구의 제한점은 다음과 같다. 첫 번째 제한점은 eHEALS 도구 자체에 대한 것이다. 앞서 서술한 바와 같이 eHEALS는 대상자가 스스로 인지한 인터넷 건강정보 관련 기술과 지식에 초점을 두고 있기 때문에 실제적 기술 및 지식과의 차이를 허용 할 수 있는 구조이며, 8문항으로 인터넷 건강정보 이해능력을 구성하는 6개 영역을 면밀하게 사정하기에 한계가 있을 수 있다. 따라서 추후 이를 사용하고자 하는 연구자들을 이러한 도구의 제한점을 고려하고 사용할 필요가 있다. 둘째, KeHEALS의 문항에 대한 리커트 척도는 원도구에서처럼 “전혀 동의하지 않는다”에서 “매우 동의한다”로 구성되어 있다. 비록 문화적 개작 과정 중 전문가 집단 및 예비조사의 대상자들로부터 리커트 척도에 대한 특별한 문제가 없다는 의견을 받은 후 진행되었지만, 이러한 척도는 한국어 질문에 대한 답가지로 적합하지 않게 보일 수 있으며, 이로 인해 대상자의 응답에 영향을 미쳤을 가능성을 배제할 수 없다. 또한 본 연구의 대상자 선정기준을 최근 1개월 이내 인터넷 건강정보 검색한 자로 설정하였다. 인터넷 건강정보 이해능력 측정도구를 검증하고자 한 본 연구의 목적에는 부합한 선정기준이었지만, 이로 인해 집단비교 타당도 검증 결과가 지지되지 않았을 가능성이 있고 인터넷 사용이 익숙하지 않은 노인의 인터넷 관련 특성을 대표하여 설명할 수는 없다. 본 연구의 청년 그룹은 참여를 원하는 자에 한하여 온라인 설문 링크를 보내는 방법으로 자료를 수집하였다. 이 과정에서 이메일 주소 확인을 통해 중복 응답을 예방하고자 하였으나, 한 대상자가 다른 이메일 주소를 이용하여 여러 번 응답을 시도했다면 이를 발견할 수 없었을 것이다. 마지막으로 가설적 관계 검사를 위해 사용된 인터넷 건강정보에 대한 태도 도구는 55세 이상 고령층을 대상으로 개발된 도구이며, 개발 당시 신뢰도와 구성타당도 등이 검증되지 않아 도구로서의 제한점을 가질 수 있다. 그러나 인터넷 건강정보의 태도를 신뢰성, 유용성, 구체성, 정확성, 최신성 등 다양한 측면에서 측정할 수 있다는 장점이 있고, 선행연구[23]에서 65세 이상 노인 대상의 활용가능성이 확인했기에 본 연구에서 사용하였다.
본 연구는 인터넷 건강정보 이해능력을 측정하는 eHEALS 도구의 문화적 개작 과정을 거쳐 한국어 버전인 KeHEALS을 완성하고 신뢰도와 타당도를 검증하고자 하였다. 그 결과, KeHEALS의 수용가능한 수준의 신뢰도와 타당도를 확인할 수 있었다. 또한 8문항으로 구성되어 있어 노인 그룹을 포함한 다양한 대상자가 부담없이 응답할 수 있다는 장점을 발견할 수 있었지만 적은 문항수로 인해 인터넷 건강정보 이해능력에 대해 구체적 내용을 포함하지 못한다는 단점이 발견되었다. 본 연구결과를 통해 다음과 같은 제언을 하고자 한다. 첫째, 비록 본 연구를 통해 KeHEALS의 타당도와 신뢰도가 검증되었으나, 그 과정에서 나타난 도구의 문제점(리커트 척도 항목의 적절성, 적은 문항 수, 상대적으로 낮은 탐색적 요인분석의 설명 분산 등)을 고려하여 인터넷 건강정보 이해능력을 정확하게 사정할 수 있는 도구로의 수정 · 보완을 위한 추후 연구가 필요하다. 또한 KeHEALS를 다양한 인구사회학적 집단에 적용하여 다속성집단에서 공통적으로 사용하기에 적합하다는 것을 증명하는 측정불변성에 대한 검증연구를 시행할 필요가 있으며, 본 연구를 통해 지지되지 않은 집단비교 타당도의 경우, 인터넷 및 인터넷 건강정보 사용이 잘 대비되는 집단을 대상으로 한 재검증을 역시 고려해야 한다.
CONFLICTS OF INTEREST:The authors declared no conflict of interest.
This research was supported by both the 2017 SNU invitation program for distinguished scholar of Seoul National University and the National Research Foundation of Korea (NRF) funded by the Ministry of Science, ICT & Future Planning (Grant No. NRF2017R1C1B5017768).
E-SUBMISSION
