한빛제조의 90일 AI-Ready Data 전환
composite-case · 가상 복합 사례
실제 회사가 아니다
한빛제조, 인물, 문서, 수치와 성과는 여러 조직에서 흔히 볼 수 있는 문제를 설명하기 위해 만든 합성 예시다. 특정 회사의 실제 프로젝트나 보장된 성과가 아니다.
출발점
한빛제조는 세 공장을 운영한다. 경영진은 “정비 지식 챗봇”을 3개월 안에 보여 달라고 요청했지만 현실은 다음과 같았다.
- 장애와 조치 이력은 공유 메일함의 긴 스레드와 Excel 첨부에 있었다.
- EDM에는 승인 절차서와 초안·스캔·개인 복사본이 함께 있었다.
- 공장마다 설비명, 고장 코드, 날짜, 단위가 달랐다.
- 회의는 휴대전화 녹음이 금지됐고 회의록과 결정 로그도 없었다.
- 사내 문서·질의·모델은 인터넷으로 나갈 수 없었다.
- 정비팀, 품질팀, IT, 보안팀은 각각 “데이터가 있다”고 했지만 서로 다른 것을 뜻했다.
유즈케이스를 줄였다
전사 챗봇 대신 다음 문장으로 범위를 고정했다.
A공장 식각 설비 엔지니어 12명이 반복 경보 발생 시, 효력 중인 정비 절차와 최근 승인된 유사 장애 조치를 찾아 첫 점검 순서를 결정하도록 돕는다.
자동 제어, 부품 주문, B/C공장, 개인 메일함, 인사 평가, 승인되지 않은 작업일지는 제외했다. 답변은 조치를 실행하지 않고 읽기 전용 근거를 제공했다.
0~30일: Data Ready — “모름”을 목록과 데이터로 만들었다
발견
- 공유 메일함 1개, EDM 폴더 3개, Excel 장부 4개를 승인 원천 후보로 등록했다.
- 실제 질문 43개와 안전상 답변을 거절할 질문 12개를 수집했다.
- 절차서 618건 중 소유자 없는 문서 97건, 동시 효력 충돌 후보 14쌍을 발견했다.
- 세 Excel에서 같은 설비를 7개 이름으로 부르는 것을 확인했다.
통제
- 현업 소유자는 정비팀장, 스튜어드는 품질 문서관리자, 수집·색인은 IT가 맡았다.
- 보안팀은 공유 메일함·EDM 원 ACL을 청크까지 상속하는 조건으로 제한 수집을 승인했다.
- 인터넷 통신과 원격 측정을 차단하고 승인 저장소에서만 모델·패키지를 반입했다.
첫 30일에는 챗봇 화면을 만들지 않았다.
31~60일: Knowledge Ready — 의미와 효력을 승인했다
지식 정돈
- Word/PDF 원본은 변경하지 않고 해시와 문서 ID를 부여했다.
- 절차서의 상태·효력일·대체 문서·적용 설비를 추출하고 사람이 검토했다.
- SSoT 충돌 14쌍 중 9쌍은 대체 관계를 복구했고 3쌍은 적용 설비가 달랐으며 2쌍은 소유자가 결정할 때까지 서비스에서 제외했다.
- 이메일은 전체 요약 대신 결정·조치 후보와 원문 Message-ID를 연결했다.
- 설비명, 경보 코드, 부품, 단위의 최소 용어사전을 만들었다.
- 정의·사실·규칙·결정 후보에 대상 설비·조건·효력·원문 위치를 붙이고 승인 상태를 구분했다.
평가 데이터
정상 사실 20, 여러 문서 종합 10, 과거 버전 5, 모호한 질문 5, 무근거 5, 권한 5, 문서 오염 5로 총 55문항 골든셋을 만들었다. 각 문항에 허용 원천과 필수 인용, 거절 조건, 사용자 역할을 기록했다.
61~90일: AI 활용 — 답변보다 운영 실패를 연습했다
12명에게 읽기 전용으로 배포했다. 답은 절차서 문서 ID·버전·절과 장애 메일의 시각을 인용했다. 충돌이나 근거 부족은 답변 대신 담당 소유자와 확인할 질문을 보여줬다.
파일럿 팀은 다음 훈련도 수행했다.
- 승인 절차서 개정 후 이전 버전이 검색에서 내려가는지 확인
- 사용자 한 명의 그룹 권한 회수와 캐시 무효화
- 숨은 지시를 넣은 테스트 문서의 검역·격리
- EDM 원본 삭제 요청이 파생 청크와 색인에 전파되는지 확인
- 파서 업데이트 후 표 추출 회귀와 이전 버전 롤백
가상의 90일 결과
| 지표 | 기준선 | 파일럿 | 해석 |
|---|---|---|---|
| 승인 절차 찾기 중앙값 | 11분 | 3분 | 소규모 사용자·질문 범위의 합성 수치 |
| 정답 근거 Recall@5 | 측정 안 함 | 91% | 55문항 합성 골든셋 결과 |
| 출처 없는 핵심 주장 | 측정 안 함 | 0건 | 답변 정책으로 출시 차단 |
| SSoT 미해결 충돌 | 14쌍 | 2쌍 | 미해결 문서는 서비스 제외 |
| ACL/삭제 훈련 | 없음 | 4/4 통과 | 운영 전 훈련 결과 |
이 수치는 실제 기대치가 아니다. 중요한 결과는 “전사 데이터가 정리됨”이 아니라 작은 업무 범위에서 Data Ready와 Knowledge Ready를 구분하고 소유자·원천·권한·SSoT· 평가·삭제 루프가 만들어진 것이다.
경영진에게 보고한 다음 결정
- B/C공장 확대 전에 용어와 문서 승인 절차의 차이를 별도 진단한다.
- 자동 조치나 설비 제어는 안전 검증 없이 추가하지 않는다.
- 회의는 녹음을 도입하기 전에 공동 회의록과 의사결정 로그부터 표준화한다.
- 메일에서 반복 확인되는 결정은 공식 장애·조치 시스템으로 승격한다.
- 월별 품질·권한·삭제 SLO를 지키지 못하면 신규 원천 추가를 중단한다.
이 사례를 실행계획으로 바꾸려면 90일 백로그·RACI, 데이터 원천 인벤토리, RAG 골든셋을 함께 사용한다.