경영, 인사, 평생교육사 등 인적자원 개발론 핵심 요점 요약 정리 16. HRD의 평가

16. HRD의 평가

▣ 학습개요
● HRD의 평가란, HRD의 개입에 의해, 개인과 조직 모두에게 효과가 있었는지를 판단하는 과정임
- HRD의 개입이 직무, 개인, 조직차원에서 어떤 효과를 창출하였으며, 그에 따라 HRD 개입활동을 계속할 것인지, 개선할 점은 있는지 등을 판단하기 위한 활동
- 이처럼, HRD 담당자가 사전에 계획한 HRD의 개입을 실천한 후에, 그 가치와 효과를 체계적/과학적으로 평가하는 것
→ HRD 담당자의 중요한 책무이며, HRD의 질적 개선과 발전을 위해서도 매우 중요
→ 이를 위해서는 평가와 관련된 전문적 능력/자질을 갖추어야 함
● 이번 시간에는 1)HRD 프로그램 평가의 정의와 목적을 살펴보고, 2)HRD 프로그램 평가의 접근방법과 3) HRD 프로그램 평가의 절차에 대해 이해하고자 함



Ⅰ. 평가의 목적 및 한계

● 평가의 일반적 개념
- 평가 : 가치(value)를 부여하고, 비평(criticizing)을 가하는 것
- 평가 : 점검(checking), 검토(monitoring) 등 간단한 의미로도 활용됨
- 그러나, 평가대상의 과거/현재 상황, 변화과정 및 결과 등에 대해 심층적으로 분석하는 종합적인 평가의 의미를 함축하고 있음
- 따라서, 평가는 사물, 사건에 대하여 가치를 부여하는 것뿐만 아니라, 어떤 사업이나 활동의 목표달성 정도 및 계획수행의 효과/효율성 수준을 검사, 조사, 점검, 심사, 판단, 평정, 측정하고, 수정/개선하는 것을 총칭하는 개념임

● HRD 프로그램 평가의 개념
- HRD 프로그램 평가 : HRD 프로그램을 실행한 후에 프로그램의 성과, 가치, 효과를 판단하는 것을 말함
- 즉, HRD 프로그램과 관련된 제반요소에 가치를 부여하고, 비평하는 일련의 과정을 의미함
☞ 제반요소 : 프로그램의 목적/의도, 프로그램 내용, 프로그램 진행과정, 프로그램의 결과 등
- 따라서, HRD 프로그램 평가는 HRD와 관련된 제반요소(즉, 프로그램 목적, 프로그램 내용, 프로그램 참여자, 프로그램 운영, 프로그램 결과)에 대해 가치를 부여하는 과정으로서, 아래와 같은 기록적/판단적 정보들을 체계적으로 수집하는 일련의 절차를 의미함
① 일어난 과정들에 대한 정보
② 훈련에 대한 훈련생의 반응
③ 학습의 양
④ 훈련으로부터 야기된 직무행동의 변화
⑤ 훈련으로 기인하는 조직성과 등

● HRD 평가의 역할 (Phillips, 1983)
- 프로그램의 목적 달성여부를 결정하는데 도움을 줌
- HRD 프로그램의 장/단점을 확인하고, 그에 따른 조정을 가능하게 함
- 투입된 비용과 그에 따른 이익이 어느 정도 인지를 알게 해줌
- 차후 HRD 프로그램에 누가 참여해야 할지를 결정하게 해줌
- 프로그램 운영으로 누가 혜택을 받고, 누가 받지 못했는지를 알게 해줌
- 훈련참가자들이 갖춰야 할 중요한 사항들을 파악하게 해줌
- 차후 프로그램의 마케팅에 도움이 될만한 자료들을 수집하게 해줌
- 프로그램의 적정성 여부를 알려줌
- 의사결정에 도움이 되는 데이터베이스를 제공해줌
☞ 요약하면, HRD 평가는 1)HRD의 가치/장점을 판단/결정하기 위하여, 2)HRD의 효과 및 영향을 파악/판단하기 위하여, 3)HRD의 목적달성 정도를 확인하기 위하여, 4)HRD에 대한 의사결정을 보조하기 위하여 실행된다고 할 수 있음.

● HRD 평가를 실시하는 이유 (Zenger & Hargis, 1982)
1) HRD 부서직원의 생존을 위해서
: HRD 부서 직원들은 자기 부서가 조직에 공헌하는 바를 입증하지 못한다면, 그 부서의 운영비나 HRD프로그램이 예산결정과정에서 삭감되거나 없어질 가능성이 크기 때문에
2) 평가작업은 조직의 최고경영자나 경영자층에게 신뢰성을 쌓아주기 때문에
3) 경영자는 HRD 프로그램의 성과를 알고 싶어 하기 때문에.

● HRD 효과평가의 한계
1) 교육훈련 효과 측정방법상의 한계
: 업적이 향상되었다고 하더라도 그것이 교육훈련의 결과라고 설명하기 곤란한 상황이 많음
2) 측정도구의 한계
: HRD의 효과는 일정한 시험(test)기준을 가지고 파악되는 것이 아니라, 업적과의 연관성을 고려하여 조사되어야 함 → 상황별 업무의 특성을 고려한 척도개발의 어려움
3) 의식/태도변화를 계량화함에 있어서의 한계
: 지식이나 기술의 변화는 어느 정도 계량화가 가능하지만, 내면의 상태나 의욕 등의 변화는 정량적으로 파악하기 곤란함


Ⅱ. HRD 프로그램 평가의 절차

● HRD 평가절차는 평가방법에 따라 다소 차이가 있음. 그러나, 여러 전문가들의 이론들을 정리해 보면 대체로 다음과 같은 단계로 진행됨
1. 계획단계 ① 교육훈련 목표 재확인
② 평가목적 및 목표 설정
③ 평가영역 및 준거 설정
④ 평가를 위한 조사 설계
⑤ 평가지표 및 도구 개발
2. 실행단계 ⑥ 평가실행 및 결과정리
3. 활용단계 ⑦ 평가결과의 활용

1. 교육훈련 목표 재확인
● HRD 평가를 위해 가장 먼저 해야할 일: HRD의 분명한 목표를 재확인하는 것
- HRD 프로그램이 얼마나 효과적인지를 측정하기 위해서는, 처음에 의도했던 목표가 무엇인지를 분명히 알아야 함.
- 따라서, HRD의 목표는 HRD 평가가 어떻게 진행되어야 할지를 결정해주는 방향타의 역할을 한다고 할 수 있음
- HRD의 목표가 모호하지 않고 정확하게 진술되어야 하는 이유가 여기에 있음

2. 평가의 목표 설정
● HRD 평가를 실시하게 된 배경과 동기를 확인하고, 프로그램 평가를 왜 실시하게 되었는가를 파악하여, 평가의 목적과 의도를 명확히 설정하는 단계
● 또한, 평가목표는 평가과정을 통해 확인하고자 하는 구체적인 내용이 무엇이며, 어느 정도 수준에서 만족할 것인지를 밝혀주어야 함

3. 평가영역 및 준거 설정
● 평가목표에 맞게 평가의 영역과 기준을 설정하는 단계
- 평가영역 : 평가의 범위와 초점을 결정하고, 평가의 윤곽을 그려주는 역할
● 일반적으로 HRD의 평가영역은 4가지로 구분됨(Kirkpatrick)
① 반응평가(reaction evaluation)
- 훈련참여자의 프로그램에 대한 반응이나 태도에 초점을 맞춤
- 즉, 프로그램에 대한 인지, 의견, 신념, 생각, 느낌에 대한 자료를 수집하여 의사결정에 반영하는 평가
☞ 정서적 반응 : 훈련생들이 훈련을 얼마나 좋아했는가?
인식된 유용성 : 이 훈련을 통해 인식된 유용성을 무엇인가?
- 긍정적 반응은 차후 실시될 프로그램에 대한 참여도를 높일 수 있게 해주는 반면, 부정적인 반응은 차후의 참여도를 저하시키며, 훈련에서 얻은 능력이나 지식을 사용하는 것을 꺼리게 만듬
- 한계점 : 참가자의 만족도 이외의 다른 목표들이 달성되었는지 여부를 알 수 없음
② 학습평가(learning evaluation)
- 훈련생들은 그들이 배우도록 의도된 것들을 배웠는가?
- 훈련생들의 학습결과를 측정하기 위해 퀴즈나 테스트를 사용하는데, 이러한 방법은 전 단계에서 반응을 분석하는 것과는 전혀 다른 방법임
- 학습결과의 측정을 통해 HRD 과정에서 최종적으로 성취해야 할 목표를 달성했는지를 확인하는 것은, HRD의 효과성에 대한 확실한 증거가 됨
③ (직무)행동평가 (job behavior evaluation)
- 훈련프로그램에 참여함으로써, 실제 현직 직무수행 능력면에서 변화가 일어났는지를 측정하는 것. 즉, 어떤 훈련에 참여했던 사람이 그 훈련의 영향으로 현직 과업수행이 개선되었는가를 알아보는 것임.
- 대표적 예 : 훈련생들은 훈련에서 배운 것을 실제 일에 적용하였는가?
- 만약, 학습된 것들이 실제 업무에 적용되지 않는다면, 훈련의 노력은 조직과 종업원들의 효과성에 아무런 영향도 미치지 못하게 됨
- 행동평가 : 직접관찰과 간접관찰의 두 가지 접근방법이 있음.
1) 직접관찰 : 행동을 관찰, 기록하기 위해 정교하게 준비된 양식을 사용하여, 숙련된 관찰자가 행동을 관찰하고 평정함
2) 간접관찰 : 감독자나 동료, 참여자가 스스로 현직에서 행동을 질문지나 평가서를 이용하여 기술 → 행동평정이라고도 불림

④ 결과평가 (results evaluation)
- 훈련이 조직의 산출이나 기업에 어떤 영향을 미쳤는지를 측정하는 것
→ 프로그램을 계속할 것인지의 여부를 결정하는데 유용함
- 대표적 예 : HRD의 노력이 조직의 효과성을 향상시켰는가?
1) 어떤 실체적 결과가 나타났는가?
2) 이 훈련이 투자에 비해 어떤 이득을 가져다 주었는가?
3) 이 훈련프로그램이 지역사회나 사회전반에 기여한 바는 무엇인가?
- 이 평가는 분석하기 가장 어려움. 그 이유는 직원들의 작업성과 이외에도 다른 많은 외부요인들이 조직의 성과에 영향을 미칠 수 있으며, 교육훈련의 효과가 나타나기 위해서는 상당한 시간이 경과되어야 하기 때문임
- 생산품/서비스의 양과 질, 장비고장률, 운영비, 결근율, 전직률, 불평수, 사고의 수, 총수입 또는 판매실적 등 → 일반적으로, 판매실적 등 경제적 자료가 수집되어 활용됨

4. 평가를 위한 조사 설계
● 평가를 위한 조사 설계 : 평가를 위한 자료수집에 중요한 역할을 함
- 따라서, 평가의 범주(반응평가, 학습평가, 행동평가, 결과평가)에 관계없이 반드시 수행되어야 함.
● HRD 담당자는, HRD 프로그램을 평가할 때, 프로그램이 실행된 이후에 나타난 변화들이 다른 요인들에 의해서가 아니라, 프로그램의 효과로 생겨난 것이라고 믿고 싶어 함
● 이를 위해서는 획득된 결과들이 훈련의 효과로 나타난 것이라는 것을 입증하는 과정이 필요함 → 과학적인 조사설계과정이 필요함.
① 사후조사설계 : 훈련 → 측정(훈련후 평가설계라고도 함)
- 참여자들이 훈련프로그램을 수료한 후에만 측정하는 것
- 어떤 것을 측정하든지, 그것이 훈련의 결과에 의한 것이라고 확신할 수 있을 때 활용가능
- 훈련대상자가 훈련을 받기 전에는 측정하고자 하는 지식이나 기능이 결여되었다는 것이 알려져 있다면, 이런 유형의 설계가 유용하게 활용됨
② 사전-사후 조사설계 : 측정 → 훈련 → 측정
- 참여자들이 프로그램을 수료하기 전과 수료한 후에 측정하는 것
1)업무수행의 수준이 훈련만에 의한 결과라고 확신할 수 없을 때 활용가능
2)외부요인들이 과업수행의 수준에 영향을 미치지 않을 것이라고 판단될 때에도 적절함
- 교육훈련 참여자들의 선수지식이나 기능이 다양한 차이가 있을 때, 훈련의 영향력이 얼마나 되는가, 즉, 교육훈련에 의해 얼마나 그 수준이 개선/증진되었는가를 측정하고자 할 때 적절함
- 그러나, 사전측정이 향후 운영하게 될 훈련프로그램이나, 사후측정에 부정적인 영향을 미칠 수도 있음
⇒ 예컨대, 참여자들이 앞으로 평가받게 될 것이라는 사실을 미리 안다면, 왜곡된 결과를 초래할 수 있기 때문에
③ 반복측정 조사설계 : 측정 → 훈련 → 측정 .......→ 측정
- 참여자들이 프로그램수료 전과 후에 측정하는 것: 사전-사후 설계와 동일
- 그러나, 사후평가후 어느 정도 시간이 경과한 후에 다시 측정 : 차이점
- 1)교육훈련의 효과가 겉으로 드러나는 데에 많은 시간이 필요한 경우 또는 2)훈련효과가 오랫동안 지속되어야 하는 경우 → 유용하게 활용될 수 있음
④ 통제집단 조사설계 : 실험집단 : 측정 → 훈련 → 측정
통제집단 : 측정 → 측정
- 교육훈련을 받지 않은 집단(통제집단)과 교육훈련에 참여한 집단(실험집단)을 비교할 수 있도록 설계한 것
- 과업수행에 영향을 미치는 다양한 외부의 영향력들로부터 훈련프로그램에 의한 효과를 구분해 내고자 할 때 활용할 수 있음
- 1)과업수행에 어떤 변화가 있는데, 그것이 직접적으로 훈련효과에 의한 것인지 확신할 수 없을 때, 2)훈련에 참여할 집단과 유사성이 높은 통제집단을 쉽게 구할 수 있을 때 적합한 설계방법임
⇒ 이상의 4가지 방법(사후, 사전-사후, 반복측정, 통제집단) 은 HRD 평가과정에서 모두 유용하게 활용될 수 있으며, 일반적으로 후반부로 갈수록 조사 설계의 과학성이 높아짐.
⇒ 그러나, 실제 평가계획을 세울 때에는 평가목적과 조사 설계에 대한 비용적인 측면을 동시에 고려하여 가장 효율적이고, 경제적인 방법을 택해야 할 것임.

5. 평가지표 및 도구개발
● 구체적으로 조사내용을 측정할 수 있는 지표와 도구를 개발하는 단계
● 측정도구의 유형 : 질문지, 필기시험, 역할연기, 업무테스트, 행동점검표, 관찰 등 매우 다양함
● 평가목적, 평가영역, 평가상황에 따라 도구개발 방법도 달라지게 됨

6. 평가실행 및 결과정리
● 평가목표를 달성하기 위한 평가내용 및 도구가 제작된 이후, 정해진 방법에 따라 평가를 실시하고, 평가자료를 분석하는 단계
● 평가실행과정에서 HRD 평가담당자의 주의사항
① 보안성
- 평가과정에서 훈련참가자 뿐만 아니라 다른 많은 사람들의 직무수행능력에 관한 내용을 취급하게 됨
- 이러한 평가결과들이 공개될 경우 오히려, 당사자 뿐만 아니라 다른 사람들을 곤란하게 만들 수 있음
- 평가과정에서 수집된 정보의 비밀보장을 위한 적절한 조치를 취해야 함
② 동의확보
- 평가대상자에게 평가목적과 평가과정, 평가결과의 활용 등을 명확하게 알려주고, 평가과정에 대한 동의를 구해야 함
- 평가에 대한 동의를 확보함으로써 → 보다 정확한 정보를 제공받을 수 있음
③ 통제집단의 훈련유보 문제
- 통제집단 설정시 → 실험집단은 교육훈련을 받게 되지만, 통제집단은 교육훈련을 받지 못하게 되는 상황이 발생됨
- 교육훈련을 통한 업무능력 향상이 봉급인상/승진으로 이어질 경우, 실험집단과 통제집단간의 형평성 문제가 발생될 수 있음
- 이러한 딜레마를 해결하기 위해 1)무작위추출법을 통한 통제집단 선정, 2) 통제집단에 대한 차후 교육훈련 보장, 3) 불평등문제에 대한 행정적 지원확보 등의 방법을 강구해야 함
④ 속임수의 문제
- 평가대상자들에게 평가하고 있다는 사실을 알려주지 않거나, 잘못된 정보를 주어 그 효과를 측정할 수 있음 → 비도덕적인 방법으로 최후의 수단으로 활용해야 함
- 속임수를 사용해야 할 경우에는 최소한의 범위에서 사용하고, 평가종료 즉시 대상자들에게 사실을 알리고, 그 이유를 충분히 설명해 주어야 함
⑤ 긍정적 결과를 얻으려는 압박감
- HRD 담당자는 평가를 통해 HRD 프로그램이 효과적이라는 결과를 얻기위해 심리적 압박감을 느낄 수 있음
- 그러나, 압박감 때문에 평가결과의 일부만 보고하거나, 편향된 평가를 시행하는 등 부정적한 행위는 금기되어야 함.

7. 평가결과의 활용
● 평가자료의 분석과 해석이 끝나면, 그 결과를 어떻게 활용할 것인가를 결정해야 함
● 프로그램 평가는 평가를 위한 평가가 되어서는 안되며, 프로그램을 개선하는데 활용되어야 함
● 평가결과는 프로그램의 개정, 변경, 폐기등에 활용될 수 있음
① 프로그램의 유지
② 수정, 내용의 추가 또는 범위의 확대
③ 프로그램의 폐기
④ 프로그램 유형 변경 또는 참여자 수 조정
⑤ 다른 프로그램 선택


Ⅴ. 요약 및 정리

● HRD 프로그램의 평가는 HRD 프로그램과 관련된 제반요소에 가치를 부여하고, 프로그램의 성과와 효과를 판단하는 과정으로서, 1)HRD 참여자들이 바람직한 지식, 기술을 습득했는가를 확인해 주고, 2)HRD 프로그램이 의도했던 목표가 실현되었는가를 설득력있게 보여주며, 3) HRD 프로그램의 목표를 보다 더 잘 달성할 수 있도록 개선되기 위해서는 어떠한 변화가 있어야 할지를 탐색하고, 4) 궁극적으로 의사결정자들이 전반적인 HRD 운영전략에 대한 의사결정을 할 수 있도록 정보를 제공해 주는 활동이라고 할 수 있음.

● 이와 같은 HRD 프로그램의 평가는 HRD 프로그램의 종료시점에서만 이루어지는 것이 아니라, 목표설정 단계에서부터 지속적으로 이루어져야 함. 즉, 모든 프로그램에서 평가는 계획에서부터 시행의 전 과정을 통괄하여 시행되어야 하며, 프로그램이 존속하는 한 계속되는 활동임.

※ 부족하지만 글의 내용이 도움이 조금이라도 되셨다면, 단 1초만 부탁드려도 될까요? 로그인이 필요없는 하트♥(공감) 눌러서 블로그 운영에 힘을 부탁드립니다. 그럼 오늘도 행복한 하루 되십시오^^