Purpose
This study aimed to review the outcomes of nurse residency programs for new graduate nurses.
Methods: The inclusion criteria were peer-reviewed articles on the outcomes of nurse residency programs for new graduate nurses published in English from 2010 to 2019. A literature search was conducted in the PubMed, CINAHL, Science Direct, EMBASE, and PsycINFO databases using the search terms "nurse residency program," "new graduate nurse," and "transition to practice program." A qualitative appraisal of studies was conducted using the revised Cochrane risk-of-bias tool for randomized trials (RoB 2) and the Risk Of Bias In Non-randomized Studies of Interventions (ROBINS-I) tool.
Results: Twenty-five studies were selected. The systematic review found that nurse residency programs effectively increased the competence and confidence of new graduate nurses in 14 studies.
Job satisfaction, job stress and anxiety, and support showed different results, which were increased, decreased, or statistically insignificant after the programs. In three studies, institutional outcomes, including the retention rate in 16 surveys and hospital cost savings, were improved. Patient safety had different results depending upon the study.
Conclusion: This study's results can provide evidence for the necessity of a standardized nursing education program and for developing a system for evaluating its effectiveness to improve the quality of nursing education.
This is an open access article distributed under the terms of the Creative Commons Attribution Non-Commercial License (http://creativecommons.org/licenses/by-
This study aimed to review the outcomes of nurse residency programs for new graduate nurses.
The inclusion criteria were peer-reviewed articles on the outcomes of nurse residency programs for new graduate nurses published in English from 2010 to 2019. A literature search was conducted in the PubMed, CINAHL, Science Direct, EMBASE, and PsycINFO databases using the search terms “nurse residency program,” “new graduate nurse,” and “transition to practice program.” A qualitative appraisal of studies was conducted using the revised Cochrane risk-of-bias tool for randomized trials (RoB 2) and the Risk Of Bias In Non-randomized Studies of Interventions (ROBINS-I) tool.
Twenty-five studies were selected. The systematic review found that nurse residency programs effectively increased the competence and confidence of new graduate nurses in 14 studies. Job satisfaction, job stress and anxiety, and support showed different results, which were increased, decreased, or statistically insignificant after the programs. In three studies, institutional outcomes, including the retention rate in 16 surveys and hospital cost savings, were improved. Patient safety had different results depending upon the study.
This study's results can provide evidence for the necessity of a standardized nursing education program and for developing a system for evaluating its effectiveness to improve the quality of nursing education.
신규간호사는 임상현장에 배치되자마자 환자의 생명과 직결된 전문적이고 복잡한 간호업무를 수행해야 하며[1], 임상 역량과 업무자신감 부족, 의사소통 기술 미숙, 임상현장 적응의 어려움 등으로 스트레스와 현실충격을 경험한다[2, 3]. 이는 신규간호사의 이직과 연결되며[4], 결과적으로 병원의 신규인력 채용에 대한 재정부담의 증가와 함께 환자 재원일수와 환자 안전사고 증가 등 부정적 영향을 야기한다[5, 6].
국외에서는 신규간호사의 임상현장 적응을 향상시키고 이직률을 감소시키기 위해 다양한 지원 프로그램을 운영하고 있다[7]. 미국의 간호사 레지던시 프로그램(Nurse Residency Programs, NRP)은 간호사 면허 취득 후 근무 경력이 12개월 이내인 간호사를 대상으로 임상현장의 업무 표준을 충족하기 위한 지식, 기술, 태도를 갖출 수 있도록 훈련하는 체계적이고 통합적인 프로그램이다[8]. 이 프로그램은 간호교육 컨설팅 회사인 Versant와 University HealthSystem Consortium/American Association of Colleges of Nursing (UHC/AACN)에서 각각 1999년과 2002년에 시범사업으로 시작되었고[9], 2010년 미국의학연구소(Institution of Medicine, IOM)가 안전하고 질 높은 간호를 제공하기 위해 간호교육의 중요성을 강조하고 NRP를 명확하게 정의하면서[8] 미국 전역으로 확대되었다. 2014년에는 National Council of State Boards of Nursing (NCSBN)도 Transition to Practice (TTP) 프로그램을 개발하였고[10], 현재는 위의 3개 프로그램 외에 주 간호국(state board of nursing)이나 의료기관에서 자체 개발한 NRP 등이 시행되고 있다.
NRP 중 대표적인 3개 프로그램을 살펴보면, 우선 Versant 프로그램은 18주 동안 진행되며 사례연구(case study), 프리셉터십을 통한 현장교육과 순환근무, 체계적 멘토링, 디브리핑 등으로 구성된다. 이 프로그램의 현장교육은 팀 프리셉터십으로 진행되는데, 교육 초반에는 초보 프리셉터에게 교육을 받다가 교육기간이 경과할수록 더 경력이 많은 프리셉터에게 지도를 받는 방식이다. 프리셉터팀은 신규간호사에 대한 정보를 서로 충분히 공유하기 때문에 신규간호사는 다양한 교육인력의 지도를 받을 수 있으며, 프리셉터는 계속되는 교육업무로 인한 소진을 예방할 수 있다[11]. 또한 신규간호사는 교육기간 중 배치된 부서의 업무와 관련된 다른 부서에서도 교육을 받음으로써 병원 시스템에 대한 이해도를 높일 수 있으며, 디브리핑을 통해 정서적 지지를 받을 수 있다[12]. 둘째, 현재 Vizient/AACN NRP로 명칭이 변경된 UHC/AACN NRP는 리더십, 전문직 역할, 환자결과 향상을 위한 간호 등의 커리큘럼을 중심으로 구성되어 있으며, 1년 동안 프리셉터십을 통한 현장교육과 월별 세미나, 소그룹 토론, 근거기반 실무 과제 등이 시행된다. 이 프로그램의 차별점은 간호대학과의 파트너십을 구축하여 학부 교육과 기관에서의 신규간호사 교육 프로그램의 내용이 불필요하게 중복되지 않도록 운영한다는 것이다[13]. 셋째, TTP 프로그램은 6개월 동안 프리셉터십과 함께 모듈학습을 이수하고, 6개월 이후에는 기관의 지원을 바탕으로 모듈의 내용을 적용하는 방식으로 운영된다. 이 프로그램의 모듈학습 내용은 환자중심간호, 의사소통과 팀워크, 근거중심실무, 질 향상, 간호 정보학으로 구성되며, 각 모듈마다 환자안전과 임상추론에 대한 내용을 포함하고 있다[14].
NRP는 Benner의 ‘Novice to Expert’ 모델과 성인학습이론 등을 기반으로 개발되었으며, 근거기반실무, 비판적 사고 및 정서적 지지 등 다양한 교육 프로그램과 충분한 임상실습기회를 평균 6개월 이상 제공하고 있다[11, 13]. 또한 명확하게 설정된 교육목표에 따라 레지던시 코디네이터, 진행자(facilitator), 프리셉터, 프로그램 개발자 등 훈련된 전문 인력이 프로그램을 운영하며, 사전에 수립된 계획에 따라 교육성과와 프로그램에 대한 평가를 체계적으로 시행한다[15]. 이는 1~2개월 동안 프리셉터십 위주로 이루어지는 국내 신규간호사 교육과는 다른 점이다. 게다가 NRP를 운영하는 기관에서는 프로그램 운영과 업무환경 향상을 위한 지원을 적극적으로 제공하고, 교육기간 동안 교육대상자인 신규간호사에게 일정 급여를 지급한다[11]. 이러한 특징으로 인해 NRP는 신규간호사들의 업무자신감과 역량, 직업과 전문직 만족도를 향상시키고, 이직률을 감소시키는 효과가 있는 것으로 나타났다[16]. 또한, 신규간호사 이직률 감소로 인해 의료기관은 안정적으로 간호인력을 확보하고 인력채용과 관련된 비용을 절감할 수 있는 것으로 보고되었다[12].
우리나라 신규간호사 이직률은 2019년 기준 45.5%로, 점점 더 많은 신규간호사들이 1년 내에 임상현장을 떠나고 있다[17]. 정부는 신규간호사 교육관리체계 구축 가이드라인을 발표하고, 국공립병원을 대상으로 교육전담간호사 지원사업을 시행하여 신규간호사의 이직률 감소와 임상현장 적응 도모를 위해 노력을 기울이고 있다. 이러한 시점에서 국외의 NRP 성과 분석을 통해 NRP 도입으로 인해 기대할 수 있는 변화가 무엇인지 파악하고, 신규간호사의 성공적인 역할 이행을 지원할 수 있는 간호교육체계 구축의 방향성을 모색하는 것이 필요할 것이다. 그러나 현재까지 시행된 NRP의 성과분석에 대한 문헌고찰 연구는 간호사 재직률, 직무만족도 등을 중심으로 진행되어[1, 16], 신규간호사의 업무수행역량, 직무 스트레스, 인식된 지원정도 등 NRP의 다양한 성과를 포함한 분석이 필요하다. 따라서 본 연구는 국외에서 신규간호사를 대상으로 시행되고 있는 NRP의 다양한 성과를 신규간호사 개인 차원과 기관 차원에서 분석하여 신규간호사 교육에 대한 개선방안과 성과 평가를 위한 방향을 제시하고자 한다.
본 연구는 병원에 입사한 경력 12개월 미만의 신규간호사에게 적용된 NRP의 개인 및 기관 차원의 성과를 분석하여 신규간호사의 성공적인 역할 이행을 지원할 수 있는 교육 프로그램의 운영 방향과 교육성과의 평가 방향을 모색하기 위해 시행되었다.
본 연구는 신규간호사에게 시행되는 NRP의 성과를 파악하기 위한 체계적 문헌고찰 연구이다.
문헌검색 및 선정 과정은 Preferred Reporting Items for Systematic Reviews and Meta-Analysis (PRISMA)의 체계적 문헌고찰 보고지침[18]에 따라 시행되었다. 대상 문헌의 선정기준은 Participants, Intervention, Comparison, Outcomes, Study Design (PICO-SD) 형식에 따라 연구대상은 병원에 입사한 경력 12개월 미만의 신규간호사, 중재 또는 노출은 간호사 레지던시 프로그램, 결과는 프로그램의 개인 차원, 기관 차원의 성과를 분석한 연구로 하였다. 또한 연구설계 상 관찰연구, 실험연구, 이차자료분석연구를 대상으로 하였으며, 출판특성 상 영어로 출판된 연구와 동료평가(peer review) 연구를 선정하였다. 문헌 중 프로그램 효과평가 대상에 신규간호사와 경력간호사가 함께 포함된 연구, 군병원과 노인전문병원 등 NRP의 내용이 특수한 병원에서 시행된 연구, 질적연구, 종설, 출판되지 않은 학위논문은 제외하였다.
문헌검색과 선정은 연구자 3인에 의해 2019년 12월~2020년 1월에 실시되었다. 검색대상 문헌은 IOM이 NRP에 대한 정의를 명시한 2010년 이후 최근 10년간(2010.01.01.~2019.12.31.) 출판된 문헌을 대상으로 하였다. 선정기준과 배제기준에 따라 연구자 3인이 독립적으로 PubMed, Cumulative Index of Nursing and Allied Health Literature (CINAHL), PsycINFO, Science Direct, Excerpta Medica dataBASE (EMBASE)의 5개 데이터베이스에서 문헌을 검색하였다. 검색 시 자연어인 “nurse residency program”과 “transition to practice program”, “new graduate nurse”를 사용하여 검색하였고, 통제어 설정 없이 AND 연산자를 조합하여 “nurse residency program AND new graduate nurse”, “transition to practice program AND new graduate nurse”와 같은 형식으로 문헌을 검색하였다(Appendix 1). 또한 NRP에 대한 종설의 참고문헌[1, 15, 16]을 검토하여 문헌을 추가하였다. 문헌의 선정은 각 연구자에 의해 독립적으로 문헌목록을 작성한 후 서로 비교하여 공통된 문헌을 포함하였고, 연구자 간 누락된 문헌의 경우 합의를 거쳐 포함 여부를 논의하는 과정을 통해 시행되었다.
검색 결과 총 1,274편의 문헌이 검색되었다. 이 중 중복된 문헌을 제외한 후 904편의 문헌을 대상으로 연구 제목과 초록을 확인하여 연구대상으로 적합한 61개의 문헌을 선별하였다. 61개 문헌의 원문을 확인한 결과 NRP와 관련이 없는 문헌, 신규간호사 대상이 아닌 문헌, 프로그램의 결과를 측정하지 않은 문헌 등 36편의 문헌을 제외하였다. 최종적으로 25편의 문헌을 체계적 문헌고찰을 위한 질 평가 대상 문헌으로 선정하였다(Figure 1).
Figure 1
Flow diagram of study screening.
검색된 25편의 연구는 관찰연구 및 이차자료분석연구 22편, 실험연구 3편이었으며 실험연구 중 2편은 집단무작위통제연구(cluster randomized control trials)였다. 2편의 집단무작위통제연구는 revised Cochrane risk-of-bias tool for randomized trials (RoB 2)[19]를 사용하여 문헌의 질을 평가하였고, 관찰연구, 이차자료분석연구, 비무작위 실험연구는 Risk Of Bias In Non-randomized Studies of Interventions (ROBINS-I) [20] 도구를 통해 문헌의 질 평가를 실시하였다. 문헌의 질 평가는 연구자 3인이 독립적으로 실시한 결과를 종합하여 평가자 간 의견이 일치하지 않는 경우 논의를 통해 합의점을 도출하였다.
RoB 2는 무작위 배정과정에서 발생하는 비뚤림, 의도한 중재에서의 이탈, 결측자료, 결과 측정, 보고된 결과의 선택 5개 항목과 전반적 연구 비뚤림 위험을 평가한다. 각 문항별로 비뚤림 위험을 yes, probably yes, no, probably no, no information의 5단계로 평가하며, 각 영역은 최종적으로 영역별 평가 알고리즘에 따라 low, some concerns, high의 세 단계로 판정된다. 질 평가 결과에 따른 문헌의 제외여부는 전반적 질 평가 결과가 high인 경우를 기준으로 하였다.
ROBINS-I는 교란변수, 참여자의 선택, 중재의 분류, 의도된 중재의 분리, 결측자료, 결과 측정, 보고된 결과의 선택 등 7개 항목과 전반적 연구의 비뚤림 위험을 평가한다. 평가 단계는 low, moderate, serious, critical, no information의 다섯 단계로 구성되어 있다. 문헌의 전반적 질 평가 결과가 critical인 경우 연구진 간 논의를 거쳐 문헌의 제외여부를 결정하였다.
체계적 문헌고찰을 위해 대상 문헌의 저자, 출판년도, 연구 설계, 자료수집 국가 및 기관, 시행된 프로그램의 종류와 기간, 대상자, 측정시기 및 간격, 측정도구, 측정 변수, 결과 및 통계치를 추출하여 Microsoft Excel 2016 프로그램을 사용하여 기록하였으며, 추출한 내용의 정확성을 확보하기 위해 연구자 3인이 독립적으로 분석을 실시한 후, 교차 검토하였다. 추출된 내용 중 연구의 특성 및 성과에 대해 Microsoft Excel 2016 프로그램을 사용하여 빈도, 백분율, 평균 및 표준편차를 분석하였다.
본 연구에서 분석한 문헌은 총 25편이며 분석 대상 문헌의 일반적 특성은 Table 1과 같다. 연구설계는 관찰연구 21편(84.0%), 실험연구 3편(12.0%), 이차자료분석연구 1편(4.0%)이었다. 자료수집 국가별로는 미국 22편(88.0%), 사우디아라비아 2편(8.0%), 캐나다 1편(4.0%)이었다.
Table 1
Included Studies (N=25)
NRP의 유형은 UHC/AACN NRP 5편, Versant NRP 2편, NCSBN TTP 프로그램 2편, 각 기관 또는 주 간호국에서 개발한 프로그램 16편이었으며, 프로그램의 시행 기간은 최소 12주에서 최대 12개월이었다. UHC/AACN NRP는 12개월 동안 근거기반간호 프로젝트, 월별 세미나, 시뮬레이션 교육, 다학제간 협력 교육 등을 통해 리더십, 환자안전, 전문직 역할을 교육하였으며, Versant NRP는 18주 동안 이론교육과 현장교육, 정서적 지원을 위한 멘토링과 디브리핑, 배치부서와 관련된 부서의 순환 근무 프로그램 등을 시행하였다. NCSBN TTP 프로그램은 환자중심간호, 의사소통과 팀워크, 근거중심실무, 질 향상, 간호정보학 등 다섯 가지 교육모듈을 6개월 간 교육하였고, 프리셉터와 수간호사가 피드백을 제공하였다. 그 외 기관 또는 주 간호국이 개발한 NRP는 교육기간이 6개월 미만인 연구가 3편, 6개월 이상인 연구가 13편이었다.
연구대상자는 프로그램 전후의 신규간호사의 변화를 경력간호사를 통해 조사한 1편의 연구를 제외하고 24편의 연구가 신규간호사를 대상으로 시행되었다. 총 표본 수는 13,673명이었으며, 표본 수의 범위는 20~6,000명이었다.
최종 선택된 연구 25편의 질 평가 결과는 다음과 같다(Table 2). 집단무작위통제연구 2편 모두 무작위 배정과정에서 발생하는 비뚤림이 some concerns이었고 나머지 5개 영역은 모두 비뚤림 위험이 낮은 것으로 나타났다. 이에 따라 전반적 비뚤림 위험은 some concerns로 평가되어 2편 모두 성과 분석에 포함하였다.
Table 2
Quality Appraisal
관찰연구와 이차자료분석연구, 비무작위 실험연구 23편에 대해서는 비뚤림에 대한 평가결과가 serious와 critical인 경우 위험도가 높은 것으로 판단하였고, critical인 경우 연구진 간 논의를 거쳐 문헌의 제외여부를 결정하였다. 개별 항목에 대한 평가 결과, 교란변수에 대한 비뚤림 위험이 높은 연구는 23편 중 16편(69.6%)이었다. 또한 참여자의 선택에 대한 비뚤림은 3편(13.0%), 중재의 분류에 대한 비뚤림은 1편(4.3%), 의도된 중재의 분리에 대한 비뚤림은 0편, 결측자료에 대한 비뚤림은 9편(39.1%), 결과 측정 비뚤림은 0편, 보고된 결과의 선택으로 인한 비뚤림은 5편(21.7%)에서 위험도가 높았다. 또한 전반적 문헌의 질 평가 결과, 7가지 항목 중 최소한 한 가지 이상 항목에서 serious와 critical로 판정된 연구가 19편(82.6%)으로 평가되어, 전반적으로 비뚤림 위험이 높은 것으로 나타났다. 선정된 문헌 중 critical로 판정된 1편의 연구는 NRP의 성과를 여러 변수로 측정했으나 사직률 변화만을 보고하였기 때문에 보고된 결과의 선택 항목에서 critical 판정을 받았고, 연구진 논의 결과 사직률 결과만을 분석 대상에 포함하였다.
NRP의 개인 차원 성과를 분석한 연구는 전체 25편의 연구 중 17편이었으며, 업무수행역량과 업무자신감, 직무만족도, 업무스트레스와 불안, 지원 및 임파워먼트 등이 연구되었다. 본 연구에서는 각 연구에서 제시한 NRP의 개인차원 성과 중 통계적으로 검정된 연구결과를 분석하여 Table 3에 제시하였다.
Table 3
Program Outcome of Individual Level (statistical analysis)
NRP의 효과로 업무수행역량과 업무자신감의 향상을 보고한 연구는 총 14편이었다. 업무수행역량 중 비판적 사고와 의사결정(critical thinking and decision making)을 따로 측정한 연구는 3편이었으며, 조직화 및 우선순위 선정(organizing and prioritizing)을 측정한 연구는 6편, 의사소통과 리더십(communication and leadership)을 측정한 연구는 10편이었다. 업무수행역량과 업무자신감의 측정도구는 각 연구마다 매우 다양하게 사용되었으며, Casey-Fink Graduate Nurse Experience Survey [21]를 사용한 연구가 8편으로 가장 많았다. 프로그램의 성과 측정은 프로그램 시행 후 1회만 측정한 연구가 1편이었고, 프로그램 전, 후 또는 중, 후에 2회 측정한 연구가 5편, 3번 이상 반복 측정한 연구가 8편이었다. 기존 오리엔테이션 프로그램을 진행한 대조군과 비교하여 프로그램 성과를 제시한 연구는 3편이었다.
NRP는 신규간호사의 전반적 업무수행역량 향상에 효과가 있는 것으로 나타났다. Ulrich 등[A2]의 연구에서는 프로그램 시행 전후로 높은 역량평가점수를 받은 신규간호사의 비율을 비교한 결과, 프로그램 시행 이후에 역량평가점수를 높게 받은 신규간호사의 수가 더 많은 것으로 나타났다. Rhodes 등[A11]은 프로그램에 참가한 신규간호사의 실무준비정도에 대해 경력간호사들의 만족도를 조사한 결과, 프로그램 시행 전 34.9%에서 프로그램 시행 후 47.9%로 증가하여, 신규간호사의 실무 준비정도에 대한 경력간호사의 만족 정도가 더 높아진 것으로 나타났다. Kowalski 등[A1]의 연구에서도 신규간호사의 전반적 역량평가 점수가 프로그램 시행에 따라 78.1점에서 111.1점으로 증가하였다.
또한 NRP 시행 결과 비판적 사고와 의사결정 역량, 조직화 및 우선순위 선정 역량, 업무자신감이 향상된 것으로 나타났다. NRP의 비판적 사고역량에 대한 효과는 두 연구에서 Clinical Decision-Making in Nursing Scale [22]로 측정하였으며, Bratt 등[A12]의 연구에서는 프로그램 진행 경과에 따라 142.1점에서 143.9점으로 통계적으로 유의한 향상이 있었고, Al-Dossary 등[18]의 연구에서는 NRP 적용군의 점수가 163.3점, 대조군의 점수가 102.7점으로 나타나 NRP가 효과가 있음을 증명하였다. 조직화 및 우선순위 선정 역량에 대한 성과는 Casey-Fink Graduate Nurse Experience Survey [21] 세부 영역의 평균점수로 측정되었으며, 4점 만점을 기준으로 프로그램 시행 후에 2.88점에서 3.28점[A7], 2.68점에서 3.10점[A10]으로 상승하는 등 프로그램 시행에 따라 향상되었다. 의사소통/리더십에 대한 성과측정 또한 Casey-Fink Graduate Nurse Experience Survey [21]가 사용되었으며, Holland와 Moddeman [A7], Olson-Sitki 등[A8], Goode 등[A10], Cline 등[A20]의 연구에서 공통적으로 프로그램 시행 전 2점대에서 프로그램 시행 후 3점대로 점수가 향상되었으나, 같은 도구를 사용한 Phillips와 Hall [A14]의 연구에서는 의사와의 의사소통에 대한 업무자신감은 감소하였고, 환자, 보호자와의 의사소통에 대한 업무자신감은 향상되는 등 세부 문항별로 향상 정도에 차이가 있었다. 업무자신감은 Letourneau와 McCurry[A24]의 연구에서 측정하였으며, 42점 만점 중 프로그램 시행 후에 지식에 대한 자신감이 33.82점에서 35.97점으로, 기술에 대한 자신감이 33.38점에서 35.61점으로 증가하였다.
NRP의 성과로 직무만족도의 변화에 대해 보고한 연구는 12편이었다. 직무만족도 측정도구 중 가장 많이 사용된 도구는 Casey-Fink Graduate Nurse Experience Survey [21]로, 총 7편의 연구에서 사용되었다. 측정시기는 8편의 연구에서 프로그램 시행기간 동안 만족도의 변화를 3번 이상 반복 측정하였고, 2편의 연구에서 프로그램 전, 후 또는 중, 후의 변화를 측정 하였으며, 2편의 연구에서는 프로그램 시행 후의 결과만을 제시하였다. 프로그램 적용군과 대조군을 비교하여 프로그램 효과를 분석한 연구는 2편이었다.
직무만족도에 대한 NRP의 성과는 연구마다 다양하였다. Phillips와 Hall [A14]의 연구에서는 기관에서 개발된 NRP를 적용한 군에서 직업선택에 대한 만족도가 상승하였다. Bratt 등[A12]의 연구에서도 NRP 시행에 따른 직무만족도가 프로그램 시행 전 79.7점에서 시행 후 81.2점으로 증가하였는데, 프로그램 시작부터 시행 후 6개월까지는 감소하다가 6개월 이후부터 증가하는 특징이 있었다. 또한 Pelletier 등[A25]의 연구에서는 참가자의 직무만족도가 입사 후 6개월보다 12개월에 더 높게 나타났다. 반면, Kowalski 등[A1], Spector 등[A17], Wilson 등[A23]의 연구에서 프로그램 시행으로 인한 직무만족도는 통계적으로 유의한 변화가 없었으며, UHC/AACN NRP를 적용한 Goode 등[A10]과 Holland와 Moddeman[A7]의 연구에서는 프로그램 시행 후에 직무만족도가 감소하는 경향을 보였다. 그러나 프로그램의 종류나 시행기간에 따른 차이는 나타나지 않았다.
Fiedler 등[A13]과 Medas 등[A15]의 연구에서는 직무만족도를 세부항목별로 조사하였는데, 공통적으로 동료에 대한 만족도는 높았으나, 교대근무로 인한 일정조정의 어려움이나 일-여가 균형에 대한 만족도는 낮은 것으로 나타났다.
신규간호사의 업무 스트레스와 불안을 측정한 연구는 총 7편이었다. 업무 스트레스 측정도구는 Casey-Fink Graduate Nurse Experience Survey [21]를 사용한 연구가 4편이었고, Pagana's Clinical Stress Questionnaire [23]와 Spielberger's State-Trait Anxiety Inventory for Adults [24], Job Stress Scale [25] 등의 도구가 사용되었다. 측정방법은 2편의 연구에서 프로그램 시행 전, 후의 업무 스트레스를 측정하였고, 나머지 4편의 연구는 프로그램 시행 전, 중, 후에 3회 이상 반복 측정하였으며, 1편의 연구에서는 프로그램 적용군과 대조군을 설정하여 프로그램 시행에 따른 변화를 반복 측정하였다.
NRP 시행 후 업무 스트레스와 불안 수준의 변화는 연구마다 다양하게 나타났으나 프로그램의 시행기간이나 종류에 따른 차이는 없었다. 7편의 연구 중 Bratt 등[A12]의 연구에서는 NRP에 참여한 지방과 도시의 신규간호사의 스트레스가 시행 전 각각 47.6점, 49.5점에서 시행 후 43.0점, 47.6점으로 나타나 시간이 지날수록 감소하였고, Kowalski 등[A1]의 연구에서는 불안 정도의 변화는 통계적으로 유의하지 않았으나, 신규간호사가 느끼는 위협감(perception of threat)이 20점 만점 기준 10.8점에서 6.1점으로 감소하였다. 나머지 5편의 연구에서는 프로그램 시행에 따라 신규간호사의 업무 스트레스와 불안에 통계적으로 유의한 변화가 나타나지 않았다.
총 10편의 연구에서 지원 및 임파워먼트의 변화를 측정하였다. 측정도구는 8편의 연구에서 Casey-Fink Graduate Nurse Experience Survey [21]를 사용하였고 Ulrich 등[A2]의 연구는 Leader Empowering Behavior scale [26]을, Pelletier 등[A25]의 연구는 Eisenberger Social Support Scale [27]을 사용하여 측정하였다. 변수의 측정시기는 프로그램 시행 전, 후에 측정한 연구가 2편, 프로그램 시행 중, 후에 측정한 연구가 2편이었고 프로그램 시행기간 동안 3회 이상 반복 측정한 연구가 6편이었다. Phillips와 Hall [A14]의 연구에서는 대조군을 통해 기존의 오리엔테이션과 NRP의 효과를 비교하였다.
Olson-Sitki 등[A8]의 연구에서는 시간이 경과함에 따라 지원과 관련된 항목 중 부서 내 간호사들의 지원 항목이 3.29점에서 3.48점으로, 간호술을 실습해 볼 수 있는 기회 제공 항목이 2.87점에서 3.23점으로 유의하게 증가하였으며, Phillips와 Hall [A14]의 연구에서도 프로그램 시행 및 시간이 경과함에 따라 인식된 지원 정도가 증가하였다. 그러나 Cline 등[A20]의 연구에서는 신규간호사가 인식하는 지원의 정도가 4점 만점 기준 3.36점에서 3.29점으로 NRP 시행 후에 감소하였고, Pelletier 등[A25]의 연구에서는 프로그램 시행 후 6개월에 조사된 지원정도 보다 12개월에 조사한 지원 정도가 더 낮았다. 또한 그 외 5편의 연구에서는 통계적으로 유의한 변화가 나타나지 않았거나 NRP 적용군과 대조군 간 비슷한 수준으로 나타났다. NRP의 종류나 시행기간에 따른 결과의 차이는 나타나지 않았다.
Medas 등[A15]의 연구에서는 신규간호사가 인식한 지원 정도를 항목별로 조사하였다. 프로그램 시행 후 부서원에게 도움을 요청할 수 있다는 응답은 증가하였으나 새로운 상황이나 처치 수행 시 부서원이 함께함, 현실적인 업무 기대, 바람직한 역할모델 등과 관련된 항목은 프로그램 시행 후에도 비슷하게 나타나거나 오히려 감소하였다.
조직몰입도(organizational commitment)는 3편의 연구에서 보고되었으며, Bratt 등[A12]의 연구에서 프로그램 시행 전 78.5점, 시행 후 74.8점으로 통계적으로 유의하게 감소하였다. 또한 Pelletier 등[A25]의 연구에서는 조직시민행동(organizational citizenship behavior), 조직적합성(person-organization fit), 소진(burnout) 등이 프로그램 시행 중 시간이 경과함에 따라 개선되었다고 보고하였다.
분석대상 문헌 중 17편의 연구가 NRP의 기관 차원 성과를 분석하였으며, 재직률, 비용 효과(financial saving), 환자안전(patient safety)에 대한 연구가 진행되었다.
NRP의 효과로 재직률 및 이직률을 제시한 연구는 전체 25편의 연구 중 16편이었으며, NRP 적용 후 신규간호사의 1년 재직률은 NRP 적용 전 또는 적용하지 않은 군에 비해 높았다. UHC/AACN NRP를 적용한 연구의 1년 재직률은 93.0~95.0%, 92.8%, 88.0~96.0%, 94.4%, 85.1~97.2% 등으로 나타났고[A5,A7,A10,A13,A16], Versant NRP를 적용한 경우는 92.9%, 93.6%[A2,A9], NCSBN TTP를 적용한 경우는 84.8%, 84.0%로 나타났다[A17,A21]. 또한 각 기관에서 개발한 프로그램은 프로그램 시행 후 1년 재직률이 최소 71.0%에서 최대 100.0%로 나타나 다른 프로그램보다 연구별 편차가 크게 나타났다. 프로그램별 신규간호사의 1년 재직률 평균은 Versant NRP가 93.3%로 가장 높았고, UHC/AACN NRP 92.7%, NCSBN TTP 84.4%, 각 기관에서 개발한 프로그램 83.3% 순 으로 나타났다(Figure 2).
Figure 2
One year retention rate.
NRP를 진행한 기관의 1년 이후의 재직률을 분석한 결과, 2년 재직률은 69.0%, 68.0~82.0%, 78.8%, 80.4%, 85.4%였으며 [A2,A5,A16,A22,A25], 3년 재직률은 56.0~63.0%, 71,4%, 78.4%였다[A2,A5,A16]. 4년 동안의 재직률은 51.0%, 65.4%, 65.8%로 나타났고[A2,A5,A16], 5년 재직률은 60.2%, 63.8%였다[A2,A16].
NRP의 효과 평가 항목으로 비용효과를 보고한 연구는 총 3편이었다. 평가 항목은 각 기관의 신규간호사 채용 및 프로그램 시행과 관련된 총 지출 비용[A3,A9,A21], 프로그램 시행으로 인해 발생하는 환자재원일수 1일당 비용 효과[A3], 신규간호사 1인당 비용 효과[A21]로 분석되었다. Frideman 등[A3]의 연구에서는 2개 병원에서 NRP 시행 전후 소요되는 비용을 비교하였고. 신규간호사 사직률 감소로 인해 간호사 모집 및 임시 인력(travel nurse) 고용에 소요되는 연간 $1,367,100의 비용이 절감되었다. Trepanier 등[A9]는 15개 의료기관에서 NRP를 운영하는 비용과 신규간호사에게 지급되는 인건비로 간호사 1인당 $13,460의 비용이 더 필요하나, NRP의 시행으로 총 $8,174,960를 절감할 수 있으며, 이는 재원일수 당 $10~15의 비용에 해당함을 제시하였다. Silvestre 등[A21]의 연구에서 는 간호사 모집에 필요한 비용이 간호사 1인당 $4,643~11,173이며 NRP의 운영에 소요되는 비용이 인당 $3,185 가량이기 때문에 결과적으로 간호사 1인당 연간 $1,458~7,988의 비용절감효과가 있는 것으로 나타났다.
프로그램의 효과로 환자안전을 측정한 연구는 2편으로, 환자오류, 안전간호활동, 부적절한 간호활동의 횟수를 조사하였 다. Wilson 등[A23]의 연구결과에서는 프로그램 시행 전보다 시행 후에 기록 오류, 표준주의 지침 위반, 업무 누락과 같은 부적절한 간호활동과 처치 누락, 투약오류 등의 의료과오를 경험하였다는 응답이 감소하였다. 그러나 Spector 등[A17]의 연구에서는 TTP 프로그램을 시행한 그룹과 비교군 간 의료과오 및 부적절한 간호활동 횟수에 통계적으로 유의한 차이를 보이지 않았다. 다만, 두 연구 모두에서 의료과오와 부적절한 간호활동의 횟수가 프로그램 적용 후 6개월에 증가하였다가 이후 감소하는 경향성을 나타냈다.
NRP는 신규간호사가 임상현장에 성공적으로 적응하고 역량 있는 간호사로 성장할 수 있도록 지원하는 프로그램으로[13, 28], 본 연구결과에서 분석한 NRP는 교육기간이 최소 12주 이상이며, 개인 차원에서 전반적 역량, 비판적 사고 및 우선 순위 결정 역량, 의사소통/리더십 등의 업무수행역량과 업무 자신감 향상에 효과가 있었다. 그러나 직무만족도, 지원 및 임파워먼트의 경우 프로그램 시행 후에 변화가 없거나 감소한 연구가 보고되었고, 업무 스트레스의 경우에도 통계적으로 증가 또는 감소, 유의한 변화를 보이지 않은 연구 등 결과가 다양하게 나타났다.
신규간호사의 업무수행역량에 대한 NRP의 효과를 평가한 연구들은 프로그램의 종류나 시행 기간에 관계없이 공통적으로 프로그램의 시행이 신규간호사의 업무수행역량 향상에 효과가 있음을 입증하고 있다. 따라서 NRP의 특징인 학습이론 에 따른 교육커리큘럼, 교육역량을 갖춘 인력에 의한 지도, 임상경험을 충분히 쌓을 수 있는 교육기간[15]을 국내 신규간호사 교육 프로그램에 도입하여 간호교육체계의 발전을 도모할 수 있을 것이다. 또한 NRP는 교육성과 평가에 Casey-Fink Graduate Nurse Experience Survey [21] 등 공통적인 도구를 사용하고 있으며, UHC/AACN NRP와 Versant NRP 등은 프로그램의 운영상황과 성과를 체계적으로 평가할 수 있도록 도구와 지침을 제공하고 있다[11, 13]. NRP의 사례와 같이 국내 간호교육에도 표준화된 평가체계의 구축을 통해 신규간호사 교육의 성과와 교육 프로그램에 대한 평가를 체계적으로 시행하고 교육 프로그램의 질 향상을 위해 개선이 필요한 점을 도출할 수 있다. 또한 신규간호사 교육성과에 대한 기관별 데이터를 구축하고 기관 간 교육 프로그램 성과지표를 공유함으로써 간호교육체계 발전에 기관 간 시너지 효과를 기대할 수 있을 것이다.
신규간호사는 업무에 대한 기대가 높은 상태로 입사하지만 임상현장에서의 현실충격과 적응의 어려움으로 인해 입사 후 6개월까지 업무와 직업에 대한 만족도가 감소하고 스트레스를 경험하는 것으로 알려져 있다[29]. 본 연구의 분석대상 문헌에서도 신규간호사의 직무만족도가 6개월 이전에 감소하다가 이후 증가하는 양상이 나타났다. 또한 NRP의 시행으로 신규간호사의 업무수행역량은 향상되었으나, 신규간호사의 업무 스트레스, 지원 및 임파워먼트에 대한 효과는 연구마다 다양하게 나타났다. 따라서 신규간호사의 성공적인 임상적응을 효과적으로 지원하기 위한 방안을 모색하고 이를 교육 프로그램에 반영할 필요가 있으며, 신규간호사에 대한 지원을 최소한 6개월 이상 지속적으로 시행하고 그 효과를 측정할 필요가 있다.
NRP의 기관 차원의 성과에 대한 분석 결과, 프로그램의 시행으로 신규간호사의 1년 재직률이 향상되었고, 이로 인해 기관의 신규간호사 채용 비용을 절감하는 효과가 있었다. 본 연구의 대상문헌 중 신규간호사 재직률을 분석한 연구는 16편이었으며, 이 중 5편의 연구만이 1년 이후까지 재직률의 변화를 평가하고 있었다. NRP가 최대 12개월까지 진행된다는 점을 고려했을 때, 프로그램 종료 1년 이후의 재직률을 측정하여 프로그램 종료 후 간호사 재직률 추이를 추적 관찰해야 하며, 국내 간호교육 프로그램 적용 시 이러한 점이 함께 반영되어야 할 것이다.
또한 기관 차원의 성과 중 환자안전과 관련하여 신규간호사가 이행 과정에서 경험하는 어려움은 환자 안전에 부정적인 영향을 미칠 수 있기 때문에[6], 환자 안전을 향상시키기 위해서는 NRP를 통한 지원과 교육성과의 평가가 중요하다. 대상 문헌 중, Spector 등[A17]과 Wilson 등[A23]의 연구에서는 환자 안전에 대한 NRP의 효과를 분석하기 위해 프로그램 시행기간 동안 의료과오 및 부적절한 간호활동 횟수의 변화를 측정하였다. 이러한 성과 지표는 프로그램의 시행으로 인한 환자안전수준의 변화를 직접적으로 제시하여, NRP의 중요성을 증명하는 근거로 활용될 수 있다. 우리나라에서도 NRP과 같이 신규간호사 교육 프로그램의 시행 전후, 또는 시행기관과 미시행기관 간의 환자안전수준의 변화를 비교하고, 이로 인한 기관 차원의 의료비용 절감 효과를 확인함으로써, 신규간호사 교육 프로그램의 확산과 개선을 위한 투자의 근거를 마련할 수 있을 것이다. 이에 활용될 수 있는 기준으로는 의료기관 인증평가 기준 중 기관 차원에서 관리하도록 규정하고 있는 환자확인율, 손위생 수행률 등의 지표와[30], 환자안전법에 따라 기관이 자체적으로 보고하고 있는 환자안전사고 발생 횟수[31] 등이 있다.
프로그램의 시행과 성과 간 인과성을 입증하기 위해서는 프로그램 시행 외에 다른 변수가 대상자의 변화에 영향을 미치지 않았다는 사실을 증명하는 것이 중요하다[32]. 본 연구의 대상 문헌 25편 중 관찰연구, 이차자료분석연구 및 비무작위 실험연구는 23편으로, 문헌의 질을 평가한 결과 교란변수에 대한 비뚤림 위험이 가장 높게 나타나 전반적 평가결과에 serious와 critical로 판정받은 연구는 19편이었다. 간호교육의 성과는 참여자의 특성, 교육환경 등 다양한 특성에 의해 영향을 받으며, NRP의 경우에도 참여한 간호사의 학업성취도[33], 프로그램 이 시행된 의료기관[34] 등에 따라 프로그램의 성과가 다양하게 나타날 수 있다. 따라서 연구결과 해석 시 이러한 요인들을 충분히 고려해야 하며, NRP 효과 측정을 위한 연구설계 시 비뚤림을 감소시키기 위한 노력이 필요하다. 대상문헌 중 Spector 등의 연구[A17], Silvestre 등의 연구[A21]와 같이 의료기관 간 협동연구를 시행하거나 보건 당국 중심의 집단무작위통제연구 등을 적용함으로써 교육 프로그램의 효과성을 더욱 명확히 증명할 수 있을 것으로 기대된다.
기존에 시행되었던 NRP의 성과에 대한 체계적 문헌고찰은 공통적으로 간호사의 업무역량과 직무만족도[1, 35], 재직률향상[1, 16, 35] 등에 효과가 있는 것으로 나타나 본 연구의 결과 와 일치하였다. 그러나 본 연구는 NRP의 성과로 업무수행역량과 업무자신감, 직무만족도, 업무 스트레스와 불안, 지원 및 임파워먼트 등 개인 차원의 다양한 성과와, 재직률 및 비용효과, 환자안전 등 기관 차원의 성과들을 종합적으로 분석하였고, 대상 연구에 UHC/AACN NRP, Versant NRP 뿐만 아니라 TTP 프로그램 및 기관 내에서 자체 개발한 NRP의 효과에 대한 연구를 포함하여 간호교육 프로그램 및 간호교육체계의 구축과 강화에 활용할 수 있는 기초자료를 제시하였다는 데 의의가 있다.
본 연구에서는 분석 결과를 바탕으로 NRP의 성과에 대한 메타분석을 시도하였다. 그러나 공통된 도구를 사용하여 성과를 측정한 연구 간에도 측정점수의 총점을 성과로 제시하거나 일부 문항만을 측정하여 결과를 분석하는 등 문헌마다 측정결과를 제시하는 방법이 다양하였고, 일부 연구에서는 효과크기 산출에 필요한 표준편차나 t 값, F 값 제시 없이 평균만을 제시하여 연구결과의 합성에 제한이 있었다. 또한 본 연구는 영어로 출판된 연구만을 문헌 검색 대상으로 포함하였기 때문에 비영어권 국가에서 시행되는 NRP의 성과가 연구결과에 포함되지 않았을 가능성이 있으며, 12개월 동안 시행되는 NRP의 경우 프로그램 이수율과 1년 재직률을 혼용하고 있었기 때문에 문헌 분석 과정에서 두 지표를 구분해서 분석할 수 없었다. 마지막으로, 대상 문헌의 질 평가 결과 전반적으로 비뚤림 위험이 높은 것으로 나타나 연구결과의 해석 및 활용에 이를 고려할 필요가 있다는 제한점이 있다.
NRP는 신규간호사가 임상현장에 필요한 지식, 기술, 태도를 갖출 수 있도록 표준화된 학습내용과 평가체계를 갖춘 간호교육 프로그램으로, 신규간호사의 업무수행역량과 업무자신감 향상에 효과가 있으며 신규간호사 재직률 증가, 기관의 비용 절감, 환자안전 향상 등의 성과가 입증되었다. 그러나 NRP의 성과 중 직무만족도, 업무 스트레스, 지원 및 임파워먼트 등은 연구마다 결과가 다양하게 나타났다. 본 연구의 결과는 간호교육 및 실무 측면에서 체계적인 간호교육 프로그램의 도입 필요성에 대한 근거를 제공할 수 있으며, 본 연구에서 분석한 NRP의 성과지표와 측정시기 및 방법은 간호교육 프로그램의 성과를 평가하고 개선하는 데 활용될 수 있다. 또한, 연구 측면에서는 연구의 비뚤림을 최소화한 연구설계를 통해 교육 프로그램의 효과성을 평가하여 간호교육의 질 향상을 위한 교육 프로그램의 발전 방향을 모색하는 것이 필요하다. 이에 본 연구는 간호교육 프로그램에 NRP의 장점을 도입하여 프로그램의 효과를 평가하는 연구와 본 연구에서 일관된 결과가 나타나지 않았던 직무만족도, 직무 스트레스, 지원 및 임파워먼트에 대한 영향요인을 규명하는 후속연구를 제언한다. 또한 프로그램의 성과평가에 교란변수의 영향을 최소화하고 프로그램 성과를 명확하게 입증할 수 있는 무작위 통제 연구, 대규모 또는 다기관 집단무작위통제연구를 제언한다.
CONFLICTS OF INTEREST:The authors declared no conflict of interest.
AUTHORSHIP:
Study conception and design acquisition - HMK and SS
Data collection - HMK, SS and KJ
Analysis and interpretation of the data - SS and KJ
Drafting and critical revision of the manuscript - HMK, SS and KJ
This work was supported by the National Research Foundation of Korea (NRF) grant funded by the Korea government (MSIT) (No. 2020R1F1A1057096).
A1. Kowalski S, Cross CL. Preliminary outcomes of a local residency programme for new graduate registered nurses. Journal of Nursing Management. 2010;18(1):96-104. https://doi.org/10.1111/j.1365-
A2. Ulrich B, Krozek C, Early S, Ashlock CH, Africa LM, Carman ML. Improving retention, confidence, and competence of new graduate nurses: results from a 10-year longitudinal database. Nursing Economics. 2010;28(6):363-75.
A3. Friedman MI, Cooper AH, Click E, Fitzpatrick JJ. Specialized new graduate RN critical care orientation: retention and financial impact. Nursing Economics. 2011;29(1):7-14.
A4. Hillman L, Foster RR. The impact of a nursing transitions programme on retention and cost savings. Journal of Nursing Management. 2011;19(1):50-6. https://doi.org/10.1111/j.1365-
A5. Setter R, Walker M, Connelly LM, Peterman T. Nurse residency graduates' commitment to their first positions. Journal for Nurses in Professional Development. 2011;27(2):58-64. https://doi.org/10.1097/NND.0b013e31820eee49
A6. Bérubé M, Valiquette MP, Laplante É, Lepage I, Belmonte A, Tanguay N, et al. Nursing residency program: a solution to introduce new grads into critical care more safely while improving accessibility to services. Nursing Leadership. 2012; 25(1):50-67. https://doi.org/10.12927/cjnl.2012.22830
A7. Holland C, Moddeman GR. Transforming the journey for newly licensed registered nurses. The Journal of Continuing Education in Nursing. 2012;43(7):330-6. https://doi.org/10.3928/00220124-
A8. Olson-Sitki K, Wendler MC, Forbes G. Evaluating the impact of a nurse residency program for newly graduated registered nurses. Journal for Nurses in Professional Development. 2012;28(4):156-62. https://doi.org/10.1097/NND.0b013e31825dfb4c
A9. Trepanier S, Early S, Ulrich B, Cherry B. New graduate nurse residency program: a cost-benefit analysis based on turnover and contract labor usage. Nursing Economics. 2012;30(4): 207-15.
A10. Goode CJ, Lynn MR, McElroy D, Bednash GD, Murray B. Lessons learned from 10 years of research on a post-baccalaureate nurse residency program. The Journal of Nursing Administration. 2013;43(2):73-9. https://doi.org/10.1097/NNA.0b013e31827f205c
A11. Rhodes C, Radziewicz R, Amato S, Bowden V, Hazel C, Mc-Clendon S, et al. Registered nurse perceptions after implementation of a nurse residency program. The Journal of Nursing Administration. 2013;43(10):524-9. https://doi.org/10.1097/NNA.0b013e3182a3e8e4
A12. Bratt MM, Baernholdt M, Pruszynski J. Are rural and urban newly licensed nurses different? a longitudinal study of a nurse residency programme. Journal of Nursing Management. 2014;22(6):779-91. https://doi.org/10.1111/j.1365-
A13. Fiedler R, Read ES, Lane KA, Hicks FD, Jegier BJ. Long-term outcomes of a postbaccalaureate nurse residency program: a pilot study. The Journal of Nursing Administration. 2014;44 (7/8):417-22. https://doi.org/10.1097/NNA.0000000000000092
A14. Phillips T, Hall M. Graduate nurse internship program: a formalized orientation program. Journal for Nurses in Professional Development. 2014;30(4):190-5. https://doi.org/10.1097/NND.0000000000000069
A15. Medas JC, Amato S, Grimm D, Radziewicz R, Rhodes C, VanHorn C, et al. Outcomes of a comprehensive nurse residency program. Nursing Management. 2015;46(11):40-8. https://doi.org/10.1097/01.NUMA.0000469353.71942.5b
A16. Rosenfeld P, Glassman K, Capobianco E. Evaluating the short-and long-term outcomes of a post-BSN residency program: findings of a retrospective study of nurse residents, 2005-2012. The Journal of Nursing Administration. 2015;45 (6):331-8. https://doi.org/10.1097/NNA.0000000000000211
A17. Spector N, Blegen MA, Silvestre J, Barnsteiner J, Lynn MR, Ulrich B, et al. Transition to practice study in hospital settings. Journal of Nursing Regulation. 2015;5(4):24-38. https://doi.org/10.1016/S2155-
A18. AL-Dossary RN, Kitsantas P, Maddox PJ. Clinical decisionmaking among new graduate nurses attending residency programs in Saudi Arabia. Applied Nursing Research. 2016;29: 25-30. https://doi.org/10.1016/j.apnr.2015.05.008
A19. AL-Dossary RN, Kitsantas P, Maddox PJ. Residency programs and clinical leadership skills among new Saudi graduate nurses. Journal of Professional Nursing. 2016;32(2):152-8. https://doi.org/10.1016/j.profnurs.2015.10.004
A20. Cline D, La Frentz K, Fellman B, Summers B, Brassil K. Longitudinal outcomes of an institutionally developed nurse residency program. The Journal of Nursing Administration. 2017; 47(7/8):384-90. https://doi.org/10.1097/NNA.0000000000000500
A21. Silvestre JH, Ulrich BT, Johnson T, Spector N, Blegen MA. A multisite study on a new graduate registered nurse transition to practice program: return on investment. Nursing Economics. 2017;35(3):110-8.
A22. Pillai S, Manister NN, Coppolo MT, Ducey MS, McManus-Penzero J. Evaluation of a nurse residency program. Journal for Nurses in Professional Development. 2018;34(6):E23-8. https://doi.org/10.1097/NND.0000000000000499
A23. Wilson T, Weathers N, Forneris L. Evaluation of outcomes from an online nurse residency program. The Journal of Nursing Administration. 2018;48(10):495-501. https://doi.org/10.1097/NNA.0000000000000657
A24. Letourneau RM, McCurry MK. The Effect of transition to practice programs on the self-assessment of newly licensed registered nurses' confidence in quality and safety competency attainment. Nursing Education Perspectives. 2019;40 (3):151-6. https://doi.org/10.1097/01.NEP.0000000000000438
A25. Pelletier LR, Vincent C, Woods L, Odell C, Stichler JF. Effectiveness of a psychiatric-mental health nurse residency program on retention. Journal of the American Psychiatric Nurses Association. 2019;25(1):66-75. https://doi.org/10.1177/1078390318807968
E-SUBMISSION
