금융 업무에 필요한 LLM 활용 역량을 설계하다
현대캐피탈 임직원을 대상으로 노코딩 LLM 실무 활용 교육을 진행했습니다.
이번 교육은 생성형 AI를 단순한 문서 작성 도구로 사용하는 데 그치지 않고, LLM이 답변을 생성하는 원리와 한계를 이해하고 금융 업무에 안전하게 적용하는 방법을 익히는 데 목적을 두었습니다.
금융·캐피탈 기업에서는 고객 문의 정리, 상품 설명 자료 확인, 내부 정책 및 계약 문서 검토, 회의록과 보고서 작성 등 문서 중심 업무가 반복적으로 발생합니다. 이러한 업무는 LLM을 통해 효율화할 수 있지만, 금융 업무의 특성상 빠른 결과보다 정확성, 보안, 근거와 사람의 검토 기준이 함께 고려되어야 합니다.
주요 과제
일반 LLM은 언어 기반 문서 작성과 요약에는 강점을 보이지만, 조직 내부의 상품 설명서, 약관, 정책, 매뉴얼과 같은 비공개 정보를 정확히 알 수 없습니다.
또한 생성된 답변이 어떤 문서를 근거로 만들어졌는지 확인하기 어렵고, 정확성과 책임이 중요한 업무에서는 AI 결과를 그대로 사용할 수 없다는 한계가 있습니다.
이에 따라 이번 교육에서는 다음 질문을 중심으로 실습을 설계했습니다.
LLM은 어떤 방식으로 답변을 생성하는가?
어떤 업무에서 AI 결과를 반드시 검토해야 하는가?
프롬프트에 어떤 역할과 기준을 부여해야 하는가?
내부 문서를 기반으로 답변하려면 어떤 구조가 필요한가?
단순 챗봇을 Agent 기반 업무 흐름으로 어떻게 확장할 수 있는가?
LLM 원리와 프롬프트 설계
첫 번째 단계에서는 LLM의 작동 원리와 한계를 이해하고, 업무 목적에 맞는 프롬프트를 설계했습니다.
수강생들은 좋은 프롬프트와 불명확한 프롬프트를 비교하며 역할, 업무 맥락, 입력 데이터, 출력 형식, 제약 조건을 구체적으로 설정하는 방법을 실습했습니다.
이를 통해 프롬프트를 단순한 질문이 아니라 AI가 업무를 수행하기 위해 따라야 하는 업무 지시서로 설계하는 방법을 확인했습니다.
Claude API를 활용한 LLM 작동 구조 이해
두 번째 단계에서는 Claude API를 통해 LLM이 실제 시스템에서 호출되고 응답을 반환하는 구조를 실습했습니다.
주요 실습 내용은 다음과 같습니다.
기본 API 호출 및 응답 확인
시스템 프롬프트를 통한 역할과 답변 기준 설정
이전 대화 맥락을 유지하는 멀티턴 대화
실시간으로 답변이 출력되는 스트리밍 응답
응답 길이와 생성 특성을 조절하는 파라미터 설정
이번 실습은 개발자를 위한 코딩 중심 과정이 아니라, 비개발자 실무자도 AI 서비스가 어떻게 업무 시스템과 연결되는지 이해할 수 있도록 구성했습니다.
PDF 문서 기반 RAG 챗봇 구현
세 번째 단계에서는 PDF 문서를 활용한 RAG 챗봇 구조를 구현했습니다.
RAG는 사용자의 질문에 LLM이 바로 답하는 방식이 아니라, 먼저 관련 문서를 검색하고 검색된 내용을 근거로 답변을 생성하는 구조입니다.
수강생들은 PDF 문서를 업로드하고, 질문과 관련된 내용을 검색한 후, 해당 문맥을 기반으로 답변을 생성하는 과정을 직접 실습했습니다.
이를 통해 다음과 같은 금융 업무 활용 가능성을 확인했습니다.
상품 설명서 기반 질의응답
내부 정책 및 업무 매뉴얼 검색
계약·약관 문서의 관련 내용 탐색
고객 문의에 대한 답변 초안 작성
답변 근거가 되는 내부 문서 확인
챗봇에서 AI Agent로의 확장
교육에서는 RAG 챗봇을 넘어 AI Agent의 개념과 확장 가능성도 함께 다뤘습니다.
기존 챗봇이 사용자의 질문에 답하는 역할을 수행한다면, AI Agent는 목표를 이해하고 필요한 도구를 선택해 여러 업무 단계를 연속적으로 수행할 수 있습니다.
예를 들어 회의록을 확인하고, 주요 결정사항을 추출하고, 담당자별 실행 과제를 정리한 뒤, 공유 메시지까지 작성하는 업무 흐름으로 확장할 수 있습니다.
이를 통해 수강생들은 생성형 AI를 개별 도구가 아니라 향후 업무 프로세스와 연결할 수 있는 시스템의 구성요소로 이해했습니다.
금융권에 맞춘 검토와 책임 기준
이번 교육에서는 AI 활용 기술뿐 아니라 금융 업무에서 반드시 고려해야 하는 활용 원칙을 함께 강조했습니다.
AI 답변의 근거와 출처 확인
최종 판단과 책임은 사람이 수행
고객 및 내부 민감정보 입력 시 보안 기준 준수
상품, 계약, 약관 관련 답변에 대한 추가 검토
업무별 AI 활용 가능 범위와 제한 범위 설정
금융권 AI 활용에서는 결과를 빠르게 생성하는 것보다 결과를 신뢰할 수 있는 구조와 검토 기준을 마련하는 것이 중요합니다.
교육 성과
수강생들은 이번 과정을 통해 다음과 같은 실무 역량을 경험했습니다.
LLM의 생성 원리와 한계 이해
업무 기준을 반영한 프롬프트 설계
Claude API 호출 및 응답 구조 이해
PDF 문서 기반 RAG 챗봇 구현
챗봇과 AI Agent의 차이 및 확장 구조 이해
금융 업무에 필요한 보안·검토·책임 기준 확인
이번 교육은 생성형 AI를 사용해 보는 단계에서 나아가, 내부 문서와 업무 시스템에 연결하기 위해 필요한 기술적·업무적 구조를 함께 경험했다는 점에 의미가 있습니다.
작은 업무 실습에서 시작하는 금융 AX
기업의 AI 도입은 처음부터 대규모 시스템을 구축하는 방식으로 시작할 필요는 없습니다.
회의록 정리, 내부 문서 검색, 상품 설명서 요약, 고객 문의 분류와 같이 범위가 명확한 업무부터 LLM과 RAG를 적용하고, 결과를 검토하며 활용 기준을 만드는 것이 현실적인 출발점이 될 수 있습니다.
헬로월드랩스 AX혁신센터는 기업의 업무 구조와 교육 목표를 바탕으로 실무 적용형 AX 교육과 AI Agent 자동화 프로젝트를 설계합니다.