논문 찾아 읽고 PPT까지, 통째로 맡길 수 있을까
교육 전 요청서 첫 줄입니다.
"검사나 제품 자료를 입력하면 임상근거를 조사하고 발표용 PPT의 구조와 내용을 작성하는 Skill"
학술 자료를 만들어 본 사람이라면 한 번쯤 바라 본 그림이죠. 교육이 끝날 때 손에 쥔 건 조금 다른 모양이었습니다.
7개바랐던 스킬 | 1개먼저 손에 쥔 스킬 | 3겹숫자를 거르는 검증 |
|---|
논문 주소를 넣었더니 한 줄도 안 열렸다
PubMed·PMC 주소를 주고 읽게 하자 제목도 초록도 안 나왔습니다. 사람인지 확인하는 인증 화면이 대신 돌아왔거든요. 그래서 일을 다시 나눴습니다.
사람이 | Claude가 |
|---|---|
논문 찾기, PDF 내려받기 | PDF 읽기, 수치 뽑기, 원문과 대조 |
이 근거가 이 진료과에 맞는지 판단 | 근거표 정리, 슬라이드 초안 |
규칙도 하나 생겼습니다. PDF 원문이 폴더에 있는 논문만 수치를 인용합니다. 초록의 Cut-off와 본문 표의 Cut-off가 다른 논문이 있어서요.
AI가 쓴 문장은 AI 눈에 이상해 보이지 않는다
Claude가 쓴 슬라이드를 Claude에게 검토시키면 거의 통과합니다. 방금 자기가 쓴 문장이니까요. 그래서 순서를 뒤집었습니다.
보통 순서 | 읽기 → 쓰기 → 검토 |
|---|---|
바꾼 순서 | 읽기 → 근거표 → 근거표 안에서만 쓰기 → 프로그램 대조 → 사람 승인 |
실습은 제품 하나, 논문 두 편으로 이 순서를 끝까지 한 번 통과시키는 3시간 50분이었습니다. Claude가 뽑은 참고치·Cut-off는 IFU를 펴 놓고 직접 맞춰 봤습니다.
숫자 옆에 붙는 네 가지 조건
같은 민감도라도 검체·대상·장비·신뢰구간이 바뀌면 다른 숫자입니다. 그래서 근거표는 숫자와 이 넷을 한 줄에 같이 적습니다. 화면은 보안상 예시 데이터로 표기하였습니다.
원문에 없으면 '원문 미기재'라고 적습니다. 빈칸이면 안 본 건지 없는 건지 나중에 모르거든요.
슬라이드에 몰래 넣은 96.7%, 바로 걸렸다
마지막 대조는 눈으로 하지 않고 프로그램이 합니다. 근거표에 없는 96.7%를 일부러 넣고 돌렸더니 바로 걸렸습니다. 근거표에 빠뜨린 측정범위도 같이요.
걸린 숫자 | 처리 |
|---|---|
표기만 다름 (0.5 / 0.50) | 근거표 몇 번인지 지정 |
원문엔 있는데 근거표에 없음 | 근거표에 추가 |
출처가 아예 없음 | 작성자 확인 후 삭제 |
끝까지 Claude에게 넘기지 않은 세 가지
허가·급여 문구 FDA cleared를 '승인'으로 옮기면 사실이 바뀝니다. 원문 그대로만 옮기고, 없으면 [허가문구 확인 필요]로 비워 둡니다.
답할 수 없는 질문 근거표에 없는 질문은 '확인 후 회신'으로 뺍니다. 그 목록이 본사에 물을 목록이 됩니다.
임상 판단 "이 값이면 감염" 같은 문장은 쓰지 않습니다. 판단은 의료진 몫입니다.
다음 발표자료부터 바뀌는 순서
지금까지 | 다음 자료부터 | |
|---|---|---|
근거 찾기 | 자료마다 논문을 다시 열어 봄 | 제품별 근거표를 그대로 다시 씀 |
수치 대조 | 다 쓴 뒤 눈으로 처음부터 | 프로그램이 먼저, 사람은 걸린 것만 |
예상 질문 | 현장에서 즉석 답변 | 답할 것 / 확인 후 회신으로 미리 나눔 |
새 시스템은 없습니다. 늘 받던 IFU와 논문 PDF, 폴더 하나입니다. 남의 문서에서 옮긴 숫자를 원문과 맞춰 봐야 하는 일이라면 같은 순서로 풀 수 있습니다.
통째로 맡기진 못했습니다. 대신 가장 오래 걸리고 가장 마음 졸이던 숫자 대조를 넘겼습니다.
