AI 활용·운영 — 두 준비축을 안전한 서비스로
AI 활용은 세 번째 데이터 정리 단계가 아니다. Data Ready와 Knowledge Ready를 모두 통과한 범위만 검색·RAG·에이전트에 제공하고 업무 효과와 위험을 계속 측정하는 단계다. NIST AI RMF Core의 Govern·Map·Measure·Manage도 출시 전 점검이 아니라 운영 전체에 반복한다.
두 입력이 모두 필요한 이유
| 상태 | 결과 |
|---|---|
| Data Ready만 됨 | 텍스트는 잘 찾지만 낡은 규칙·잘못된 약어·미승인 결정을 답할 수 있음 |
| Knowledge Ready만 됨 | 의미는 합의했지만 원문 파싱·권한·변경·삭제가 불안정해 서비스할 수 없음 |
| 둘 다 안 됨 | 데모는 가능해도 정확도·보안·운영 비용을 설명할 수 없음 |
| 둘 다 됨 | 허용된 최신 근거를 찾고 상태·범위·출처를 보여주며 모르면 거절 가능 |
운영 시작 순서
- 준비도 진단에서 두 게이트의 가장 낮은 축을 찾는다.
- 질문별로 승인된 원천과 지식 단위만 서비스 데이터셋에 게시한다.
- 문서 구조와 질문에 맞춰 청킹하고 키워드·벡터·필터 검색을 비교한다.
- 모든 주장에 원문·버전·섹션을 표시하고 충돌·무근거·무권한은 거절한다.
- RAG 품질과 운영의 골든셋으로 계층별 실패를 찾는다.
- 경영효과 측정에서 기준선·채택률·비용·위험을 함께 본다.
AI 운영 게이트
모델 교체보다 먼저 볼 것
답이 틀렸다면 먼저 원문 손실(Data), 의미·효력 오류(Knowledge), 검색 실패, 답변 생성 중 어디서 처음 깨졌는지 찾는다. 원인을 모른 채 모델만 바꾸면 오류가 이동한다.