"그래서 효과가 있었습니까"에 답하는 법

지난 편에서는 진단 결과가 실제 교육 운영을 어떻게 바꾸는지 이야기했습니다. 여섯 가지 프로필 유형을 세 개의 학습 운영 그룹으로 묶고, 같은 커리큘럼 안에서 전달 방식만 다르게 적용한다는 내용이었습니다.

📚 AX, 어디부터 시작할 것인가 (전 6부)

1부. AI를 도입했는데, 왜 일하는 방식은 그대로일까 — 왜 AX인가
2부. AX에는 프레임워크가 필요하다 — AX CANVAS 6단계
3부. 역량검사 ① 'AI 좀 씁니다'로는 알 수 없는 것
4부. 역량검사 ② 같은 70점도 서로 다른 70점이다

▶ 5부. "그래서 효과가 있었습니까"에 답하는 법

6부. AX는 한 번으로 끝나지 않는다

이번 5부에서 다룰 것은 '증명'입니다. 교육이 끝난 뒤 무엇이 달라졌는지를 어떻게 확인하고, 그 결과를 어떻게 보고할 수 있는 형태로 만드는지 이야기합니다.

보고 자리에서 가장 곤란한 한 문장

교육을 마치고 결과를 보고하는 자리입니다. 자료를 넘기다 보면 거의 반드시 이 질문이 나옵니다.

"그래서 효과가 있었습니까?"

이때 담당자가 꺼낼 수 있는 자료는 보통 두 가지입니다. 수료율과 만족도 점수. 둘 다 준비되어 있고, 숫자도 나쁘지 않습니다. 수료율 95%, 만족도 4.9점.

그런데 이 숫자를 보여주면 다음 질문이 옵니다.

"그건 알겠고, 일은 달라졌습니까?"

여기서 말문이 막힙니다.

만족도는 다른 것을 묻고 있습니다

만족도 설문이 잘못됐다는 이야기가 아닙니다. 애초에 다른 질문에 답하는 도구일 뿐입니다.

만족도는 "교육을 어떻게 받아들였는가"를 묻습니다. 강사가 잘 설명했는지, 실습이 적절했는지, 자료가 도움이 됐는지. 이건 교육 운영의 품질을 보는 지표이고, 그 자체로 중요합니다.

하지만 "업무가 달라졌는가"는 전혀 다른 질문입니다. 그리고 만족도 점수는 이 질문에 대해 아무 말도 하지 않습니다.

실제로 만족도가 높은데 아무것도 달라지지 않는 교육은 흔합니다. 재미있고 유익했지만 다음 주 월요일부터 예전처럼 일하는 경우입니다. 반대로 만족도가 다소 낮은데 업무는 확실히 바뀌는 교육도 있습니다. 불편하고 어려웠지만 결국 손에 익은 경우입니다.

만족도와 역량 변화는 나란히 봐야 하는 두 개의 축이지, 하나가 다른 하나를 대신할 수는 없습니다.

같은 기준으로 두 번 검사합니다

그렇다면 무엇으로 답해야 할까요.

2부에서 이야기한 것으로 돌아갑니다. ② 현재 진단이 ⑥ 성과 검증의 기준선이 된다는 이야기였습니다.

교육 전에 검사를 하고, 교육 후에 같은 기준으로 다시 검사합니다. 그 차이가 교육이 만든 변화입니다.

이때 중요한 것은 두 검사가 같은 것을 검사해야 한다는 점입니다. 사전에는 A를 묻고 사후에는 B를 물으면 두 점수는 비교할 수 없습니다.

AX Compass의 사후검사는 사전검사와 측정하는 역량 구조가 그대로 일치합니다. 문항의 문장은 새로 씁니다. 같은 문장을 두 번 내면 응답자가 기억하고 답하기 때문입니다. 하지만 각 문항이 어느 역량을 검사하는지는 사전검사와 하나하나 대응됩니다.

그래서 종합 점수도, 네 역량별 점수도, 영역별 점수도 그대로 비교할 수 있습니다.

사전검사가 없으면 사후검사도 의미가 없습니다. 교육이 끝나고 72점이 나왔다고 해도, 시작이 몇 점이었는지 모르면 그 72점은 아무것도 증명하지 못합니다.

보고서는 이 순서로 만듭니다

두 번의 검사 결과와 만족도를 엮어 기업 제출용 보고서를 만듭니다. 순서는 이렇습니다.

왜 점수부터 보여주지 않는가

가장 중요한 숫자는 3장에 있습니다. 그런데 그것을 맨 앞에 두지 않습니다. 1장을 교육 개요로 시작합니다.

어떤 교육의 결과인지 모른 채 숫자를 먼저 보면, 그 숫자는 해석되지 않기 때문입니다.

3일짜리 집합 교육의 +12점과 두 달짜리 과정의 +12점은 전혀 다른 이야기입니다. 어떤 과정을, 몇 명이, 며칠간 들었는지를 먼저 알아야 그 뒤에 나오는 변화량이 큰지 작은지 판단할 수 있습니다.

보고서를 받는 사람은 대개 그 교육을 직접 보지 않은 사람입니다. 1장은 그 사람을 위한 자리입니다.

숫자를 믿을 수 있게 만드는 세 가지

보고서에 숫자를 적는 것은 쉽습니다. 어려운 것은 그 숫자를 믿게 만드는 일입니다. AX Compass 보고서는 세 가지 원칙을 지킵니다.

① 평균만 말하지 않고 통계로 검정합니다

"평균이 12점 올랐습니다"는 절반의 정보입니다. 그 차이가 우연으로 보기 어려운 수준인지까지 함께 확인합니다.

사람이 적으면 12점 차이도 우연히 나올 수 있습니다. 반대로 사람이 충분하면 5점 차이도 분명한 변화일 수 있습니다. 숫자의 크기만으로는 판단할 수 없기 때문에 검정을 함께 제시합니다.

② 해설 문장은 규칙으로 만듭니다

보고서의 해설은 AI가 쓰지 않습니다.

같은 자료를 넣으면 언제나 같은 문장이 나와야 하고, 근거가 없는 문장은 아예 만들어지지 않아야 하기 때문입니다. 그래서 미리 정해둔 규칙에 따라 문장을 생성합니다.

그럴듯하지만 확인할 수 없는 해석보다, 밋밋하지만 자료에서 곧바로 따라 나오는 문장이 보고서에는 맞습니다.

③ 한계를 숨기지 않고 적습니다

사후검사에 응답한 사람이 사전 응시자의 절반에 못 미치면, 그 사실을 보고서 안에 그대로 적습니다. 응답자가 한쪽으로 쏠렸을 가능성도 함께 밝힙니다.

좋은 숫자만 남기고 조건을 지우면 보고서는 예뻐집니다. 대신 다음 사이클에서 쓸 수 없는 자료가 됩니다.

여기까지 오면 답할 수 있습니다

처음의 질문으로 돌아가 봅시다.

"그래서 효과가 있었습니까?"

이제 이렇게 답할 수 있습니다.

"이 과정을 이만큼 진행했고, 참여자는 이렇게 받아들였습니다. 역량은 사전 대비 이만큼 달라졌고, 그중 이 부분은 분명한 변화입니다. 다만 이런 한계가 있습니다. 그래서 다음에는 여기를 보완하려고 합니다."

수료율과 만족도만 있을 때와는 다른 자리가 됩니다.

다음 편에서는

그런데 보고서의 마지막 장이 '다음 단계 추천'인 데에는 이유가 있습니다.

성과 검증은 끝이 아니라 입구입니다. 이번에 확인한 것이 다음 사이클의 목표가 되고, 남은 과제가 다음 경로의 출발점이 됩니다.

6부에서는 한 바퀴가 다시 처음으로 돌아가는 구조, 그리고 AX를 일회성 프로젝트가 아니라 운영 체계로 만드는 방법을 이야기하겠습니다. 시리즈의 마지막 편입니다.

📚 AX, 어디부터 시작할 것인가 (전 6부)

• 1부. AI를 도입했는데, 왜 일하는 방식은 그대로일까

• 2부. AX에는 프레임워크가 필요하다 — AX CANVAS 6단계

• 3부. 역량검사 ① 'AI 좀 씁니다'로는 알 수 없는 것

• 4부. 역량검사 ② 같은 70점도 서로 다른 70점이다

• 5부. "그래서 효과가 있었습니까"에 답하는 법 ← 지금 읽고 있는 글

• 6부. AX는 한 번으로 끝나지 않는다

㈜헬로월드랩스 조직의 AI 역량 진단부터 교육 설계, 성과 검증까지 하나의 흐름으로 연결합니다.

문의 | ax@helloworldlabs.kr · 070-8833-7771