특허 동향 분석 자동화의 누락 검산 및 정확도 측정 체계 구축_[역량강화: Claude] 기업 지식 자산화 및 지능형 업무 서포트 시스템 구현

아래 사례는 실제 참가자의 업무를 적용한 프로젝트 결과를 바탕으로 합니다.
단, 업무 데이터 등의 보안을 위하여 이미지는 AI를 활용하여 제작하였습니다.

특허 동향 분석은 결과표가 나오면 끝난 것처럼 보이는 일입니다.

이번 교육생은 원자료를 합치고, 중복을 통합하고, 소분류를 배정하고, 노이즈를 걸러 보고서를 만드는 흐름을 이미 단계별 자동화로 직접 만들어 쓰고 있었습니다. 수업에서 바란 것은 한 가지, “분류의 정확성을 더 높이는 것”이었습니다.

자동화를 함께 열어 보니 요청한 기능은 이미 모두 들어가 있었습니다.

대신 검증이 ‘통과’로 끝난 결과 안에서 일부 건이 검토 파일에도 집계에도 실리지 않고 조용히 빠지고 있었습니다. 정확도를 높이기 전에, 먼저 새는 곳을 막아야 했습니다.

기능을 새로 만드는 대신 새는 곳을 막았습니다

진단 결론은 “새로 만들 것은 없고, 새는 곳을 막고 개선을 재는 장치를 붙인다”였습니다.

기존 분석 흐름은 그대로 두고, 그 옆에서 결과를 점검하는 별도 단계를 만들었습니다.

점검 흐름

1. 기존 분석 흐름 실행

2. 원자료 총 문헌 수와 실제 입력 건수 대조

3. 입력 건수 = 사전제외 + 중복통합 + 유효 + 노이즈 + 경계사례 확인

4. 판정 대기 건수와 검토 파일 건수 대조, 소분류별 분포 출력

5. 경계사례를 일정 건수씩 나눠전량 판정, 미판정 건은 따로 표시

6. 담당자 표본 검수

7. 정답지와 대조해 누락률·오분류율·오제외율 측정

표본 데이터에서 누락이 드러났습니다

연습용 표본 데이터로 점검을 실행하자, 경계사례 가운데 일부만 검토 파일에 담겨 있다는 사실이 검산에서 바로 실패로 표시됐습니다.

소분류별 분포를 함께 보니 누락이 뒤쪽 소분류에 몰려 있다는 점도 드러났습니다. 기존 검증에서는 모두 통과로 나오던 결과였습니다.

정확도는 하나의 숫자로 뭉뚱그리지 않고, 빠뜨린 것(누락률), 잘못 분류한 것(오분류율), 잘못 제외한 것(오제외율)으로 나눠 재도록 했습니다.

정답지의 정답 열은 담당자만 채우고, 정답률이 100%로 나오면 오히려 정답지를 다시 의심하도록 안내했습니다.

기존 자동화의 수정이 필요한 지점은 수정 지시서로 정리하고, 판정 사례를 누적하는 기록 파일도 함께 두었습니다.

실제 업무에서의 흐름 변화

[ 기존 방식 ]
원자료 다운로드 → 분석 자동화 실행 →상한 초과 경계사례 소실 → 검증 "통과" → 보고서

[ 개선한 흐름 ]
원자료 다운로드(담당자) → 분석 자동화 실행 → 누락 검산 → 경계사례 전량 판정 → 표본 검수(담당자) →정답지 대조 정확도 측정 → 개선 전후 비교

자동화는 건수를 대조하고 빠진 건을 드러냅니다. 원자료 검색과 다운로드, 표본 검수, 정답지 작성, 최종 분류 확정은 담당자가 맡습니다.

개선 효과를 숫자로 확인하는 기준

이번 프로젝트는 효과를 미리 숫자로 주장하지 않고, 측정하는 방법을 남겼습니다.

보완한 흐름으로 지난 과제를 다시 처리했을 때 늘어난 유효특허만큼이 그동안 빠지던 양이 됩니다.

정답지가 쌓이면 분류 규칙을 고친 전후의 정확도도 같은 기준으로 비교할 수 있습니다.

다음 단계는 기능을 늘리는 것이 아니라, 무엇이 빠졌는지 보이게 만들고 정확도를 잴 수 있게 하는 데 있습니다.