- AI 요약은 내용이 쉽게 읽히도록 만들어 이해하지 못한 부분도 이해한 것처럼 느끼게 합니다.
- 이 착각이 생기면 요약에서 빠진 정보는 직관으로 채워지고 그것이 결정으로 굳습니다.
- AI 요약을 받으면 결정하기 전에 '무엇이 빠졌는가'를 먼저 묻는 습관이 착각을 깹니다.
쉽게 읽히면 이해한 것처럼 느껴집니다
다니엘 카너먼은 2011년 저서 '생각에 관한 생각'에서 인지적 유창성(cognitive fluency)을 설명했습니다. 정보가 쉽게 읽히면 사람은 그 내용을 충분히 이해했다고 느낍니다. 같은 내용을 어렵게 쓴 것과 쉽게 쓴 것을 비교하면, 쉽게 쓴 쪽을 읽은 뒤에 더 확신에 차서 답을 고릅니다. 이해가 아니라 읽힘의 느낌이 확신을 만들어 냅니다.
AI 요약은 이 유창성 효과를 극대화합니다. 30페이지 보고서를 3문장으로 요약하면, 30페이지를 직접 읽었을 때보다 핵심을 파악했다는 느낌이 더 강하게 올 수 있습니다. 원본이 길고 복잡할수록 AI 요약을 읽은 뒤의 이해 착각이 더 강해집니다.
한국 중소기업 임원이 실제로 자주 만나는 상황이 있습니다. 팀장이 AI로 요약한 시장 조사 보고서를 보고 방향을 결정합니다. 계약 단계에서 요약본에 없던 조건이 드러납니다. '그건 왜 얘기 안 했냐'는 질문에 팀장은 '원본에 있었다'고 말합니다. 임원은 요약을 읽었지 원본을 읽지 않았습니다. 양쪽 모두 맞는 말입니다.
빠진 것이 아니라 없는 것처럼 보입니다
AI 요약의 더 구체적인 위험은 요약에서 빠진 정보가 '없는 것처럼' 보인다는 점입니다. 대시보드에서 수치가 없으면 '아직 데이터가 없다'는 신호라도 줍니다. AI 요약에서 빠진 내용은 그냥 없습니다. 독자는 빠진 것을 인식하지 못하고 요약이 전부라고 가정합니다.
Stanford HAI의 2024 AI 인덱스 보고서는 AI 생성 텍스트에 대한 사용자 신뢰도가 실제 정확도보다 일관되게 높게 나타난다는 연구 결과들을 정리했습니다. 사용자는 AI가 생성한 요약을 인간이 작성한 요약보다 더 완전한 것으로 믿는 경향이 있었습니다. 빠진 부분이 있어도 없는 것으로 인식하는 이 경향이 과신의 구조적 원인입니다.
임원이 이 상태에서 결정을 내리면 빠진 정보는 직관으로 채워집니다. 이것은 나쁜 결정이 아닙니다. 빠진 부분이 있다는 사실을 모르는 상태의 결정입니다. 나중에 문제가 드러났을 때 왜 그걸 몰랐냐고 물어봐야 알 수 없습니다. 보이지 않았기 때문입니다.
AI 요약을 받고 결정할 때 한 가지를 먼저 묻습니다
Ahn Partners 판단: 아래는 AI 요약 의존 결정의 착각을 줄이는 실무 방법입니다. 인지과학 실험이 아니라 경영 현장 관찰에서 나온 제안입니다.
요약을 받으면 결정하기 전에 한 가지만 묻습니다. '이 요약에서 빠진 것이 무엇인가.' 팀장이 '없습니다'라고 답하면 그것 자체가 신호입니다. 요약 작성자가 원본을 충분히 검토하지 않았거나 무엇이 중요한지를 판단하지 못했을 가능성이 있습니다.
두 번째 조치는 결정 금액이나 계약 기간이 클수록 요약과 함께 '원본에서 빠진 조건, 단서, 수치를 하나 추가로 가져오라'고 요청하는 것입니다. 팀장이 원본을 한 번 더 열게 만드는 가장 단순한 장치입니다. 이번 주 AI 요약으로 받은 보고를 하나 골라 원본을 직접 열어 보면 요약에 없던 내용이 얼마나 있는지 확인할 수 있습니다.
점검 목록
- 지난 한 달 AI 요약 기반 결정 중 나중에 빠진 정보 때문에 수정한 것이 몇 건인가
- 팀에서 AI 요약 보고 시 원본의 어느 부분을 요약했는지 명시하는 규칙이 있는가
- 결정 금액 기준으로 요약만 검토하는 것과 원본 확인 병행의 기준을 설정해 놓았는가
출처
- Kahneman, Daniel (2011). Thinking, Fast and Slow. Farrar, Straus and Giroux. 인지적 유창성(cognitive fluency)과 이해 착각 개념.
- Stanford HAI (2024). Artificial Intelligence Index Report 2024. AI 출력에 대한 사용자 과신 경향 및 신뢰도 연구 정리.
팀원들이 AI 요약을 기반으로 보고를 올리는데 원본을 읽은 것과 같다고 볼 수 있는지 AI 요약을 읽은 뒤 설명하지 못하면 그것은 정보 소비이지 이해가 아닙니다에서 이어집니다.