경영효과·실증 근거
외부 사례의 퍼센트는 목표값이 아니다. 방법론은 가져오되 효과 크기는 우리 조직의 기준선·대조군·실사용 로그로 다시 측정한다.
측정 방법론
| 근거 | 사용할 때 | 핵심 주의 |
|---|---|---|
| NIA 공공AI 효과성 측정 방안 | 국내 공공·민간 AI 효과 사례와 지표 설계 | 보고서 내용이 NIA 공식 견해와 다를 수 있음 |
| UK Digital and Data Benefits Framework | 시간·비용·서비스·위험 편익 등록 | 영국 정부 임금·정책값을 국내에 복사 금지 |
| Green Book 2026 | 비용편익·추가성·할인·낙관편향 | 조직 공식 할인율과 평가 지침 우선 |
| Magenta Book 2026 | 과정·영향·가성비·반사실 평가 | 모든 파일럿에 RCT가 필요한 것은 아님 |
| World Bank Impact Evaluation in Practice | 무작위·DiD·회귀불연속 등 영향평가 | 실행 가능성과 윤리·표본 크기 고려 |
| GAO Cost Estimating Guide | 비용 구조·위험·민감도·범위 추정 | 미국 공공사업 가이드, 국내 회계 기준 아님 |
| KDI 정보화부문 예비타당성 표준지침 | 국내 정보화사업 비용·편익 평가 참고 | 최신 기관별 지침·적용 대상 확인 |
데이터 자체의 가치
| 근거 | 사용할 때 | 핵심 주의 |
|---|---|---|
| UK Data Valuation Framework 2026 | 시장·사용·비용 기반 가치평가와 BCR/NPSV | 데이터는 비경합적이고 간접가치라 단일 숫자 위험 |
| OECD Measuring the Value of Data | 데이터 가치 접근법과 거버넌스 관계 | 거시·민간 데이터 관점, 자산별 실측 필요 |
| ISO 55013:2024 | 데이터 자산 유용성·목표·생애주기 관리 | 재무가치 산정 방법은 명시적으로 범위 밖 |
| UK Value of Public Sector Data Estimate | 외부 접근 가치 추정 프레임 | 공공데이터 개방 맥락, 사내 기밀에 직접 적용 금지 |
가치평가 목적이 투자 우선순위라면 사용 기반을 우선한다. 검색시간 단축 → 처리량· 품질 변화 → 비용·매출·위험 효과의 연결고리를 검증한다. 구축비로 평가하는 비용 기반 가치는 하한선에 가깝고, 미래 활용가치와 같은 숫자로 다루면 안 된다.
공개된 생산성 실증
| 근거 | 관찰된 결과 | 재사용하면 안 되는 이유 |
|---|---|---|
| Generative AI at Work, QJE 2025 | 고객지원 5천여 명에서 시간당 해결 생산성 15% 증가 | 특정 도구·업무·기업, 경력별 효과가 다름 |
| Noy & Zhang, Science 2023 | 전문 글쓰기 실험에서 시간과 품질 개선 | 짧은 통제 과제, 전사 장기 ROI가 아님 |
| DWP Microsoft 365 Copilot Trial | 통제 후 하루 약 19분의 추정 절약 | 자기보고·특정 제품·영국 부처 환경 |
| UK Cross-Government Copilot Experiment | 여러 정부 조직의 사용·체감 효과 | 실험설계와 도구 기능을 함께 확인해야 함 |
| OECD GenAI Productivity Review 2025 | 실험연구의 과업·숙련도별 효과 종합 | 장기 기업 효과 연구는 아직 제한적 |
| NBER Firm Data on AI 2026 | 4개국 약 6천 임원 조사, 기대와 실적의 차이 | 설문·자기보고, 인과 효과 추정이 아님 |
| NBER Corporate Executives 2026 | 인지한 효과와 측정 생산성 사이 지연 가능성 | 약 750명 조사, 업종별 이질성 큼 |
| OECD Productivity Indicators 2025 | AI 영향이 당시 거시 생산성 통계에 아직 뚜렷하지 않음 | 거시 지표는 미시 과업 개선을 바로 포착하지 못함 |
효과가 “없다”거나 “항상 크다”는 결론이 아니다. 통제된 과업의 미시 효과가 조직의 예산·산출·매출로 전환되려면 데이터 준비, 업무 재설계, 교육, 실제 사용과 시간 재배치가 필요하다는 근거다.
경영진 숫자의 증거 등급
| 등급 | 증거 | 보고 방식 |
|---|---|---|
| A | 무작위·단계 도입·신뢰할 대조군과 실사용 로그 | 검증 효과와 신뢰구간 |
| B | 동일 업무의 반복 전후·중단 시계열 | 외부 변화와 잔여 가정 표시 |
| C | 로그 없는 자기보고 시간 절감 | 생산 여력 후보, 현금 효과 제외 |
| D | 외부 사례·벤더 주장·전문가 추정 | 가설과 민감도 범위만 제시 |
중복 계상 방지
| 효과 | 증거 | 다른 항목과의 경계 |
|---|---|---|
| 현금 절감 | 실제 감액된 계약·외주·초과근무·예산 | 단순 시간 절감 제외 |
| 생산 여력 | 기준선 대비 절약시간 × 실제 도입률 | 재배치·추가 산출을 별도 확인 |
| 품질 효과 | 오류·반려·재작업·최초 성공률 변화 | 같은 재작업 시간을 이중 계상 금지 |
| 위험 회피 | 확률 × 영향액의 전후 범위 | 규제 준수 자체를 임의 금액화 금지 |
| 데이터 자산 가치 | 실제·잠재 사용의 순편익 | 구축원가와 시장가치를 혼합 금지 |
계산과 파일럿 설계는 AI-Ready Data 경영효과 측정에서 실행한다.