AI 요약을 읽은 뒤 설명하지 못하면 그것은 정보 소비이지 이해가 아닙니다

AI 요약을 읽은 뒤 유창하게 읽혔다고 느끼는 것은 이해가 아닙니다. 읽기는 재인(recognition) 능력을 씁니다. 이해는 회상과 응용 능력이 필요합니다.
인지과학에서 설명 깊이의 착각이라 부르는 현상입니다. 익숙하게 읽히면 충분히 이해했다고 느끼지만 설명을 시도하면 얕음이 드러납니다.
이해 확인의 기준은 설명할 수 있는가, 왜 그런지 답할 수 있는가, 반론을 제기할 수 있는가입니다. 이 세 가지 중 하나라도 막히면 요약을 읽은 것입니다.

읽히는 느낌과 이해는 다른 경험입니다

팀장이 투자자 보고서를 AI로 요약해 임원에게 올렸습니다. 10페이지짜리 요약을 15분 만에 검토한 임원이 결정을 내렸습니다. 계약 실사 단계에서 상대방 법무팀이 제시한 조건 두 가지가 보고서에 없었다는 것이 확인됐습니다. 팀장은 원본에 있었다고 했습니다. 임원은 요약이 전부라고 생각했습니다. 양쪽 모두 맞습니다. 요약에 빠진 것이 아니라, 요약을 읽은 것이 이해한 것이 아니었습니다.

인지과학자 레온 로젠블릿과 프랭크 케일은 2002년 코그니티브 사이언스에 발표한 연구에서 설명 깊이의 착각(illusion of explanatory depth)을 보고했습니다. 연구 참가자들은 자전거, 변기, 지퍼 같은 익숙한 메커니즘을 충분히 이해한다고 생각했지만, 실제로 작동 방식을 단계별로 설명하도록 요청받자 대부분 초반에 막혔습니다. 설명을 시도하고 나서야 자신의 이해가 얼마나 얕은지 알게 됐습니다. AI 요약은 이 착각을 강화합니다. 읽히기 때문에 이해했다고 느끼지만, 설명이 필요한 순간이 오면 이해가 얼마나 표면적인지 드러납니다.

읽기와 이해는 다른 인지 과정을 거칩니다. 읽기는 텍스트를 처리하는 재인 능력을 씁니다. 이해는 내용을 자신의 언어로 재구성하고 응용할 수 있는 회상과 전용 능력이 필요합니다. 조사프 카르픽과 제냇 블런트가 2011년 사이언스에 발표한 연구에서, 다시 읽기보다 내용을 인출하는 연습이 장기 이해와 응용 능력에 훨씬 효과적이었습니다. AI 요약을 읽는 것은 다시 읽기와 같은 방향의 경험입니다. 설명하거나 반론을 제기하거나 적용하는 과정이 없으면 이해는 깊어지지 않습니다.

AI 요약을 읽은 뒤 이해를 확인하지 않으면 어떤 일이 생깁니까

경영 현장에서 이 차이가 가장 크게 드러나는 순간은 검토나 반론이 필요한 자리입니다. 협상 테이블, 이사회 질의, 외부 감사에서 상대방이 보고서의 특정 전제나 수치에 의문을 제기했을 때, AI 요약만 읽은 사람은 원본의 맥락 없이 답해야 합니다. 이 자리에서 다시 확인해보겠습니다는 말은 준비 부족이 아니라 이해 없이 읽었다는 신호입니다.

더 조용하게 발생하는 문제도 있습니다. 팀원이 AI 요약을 기반으로 제안을 올릴 때, 자신도 원본을 충분히 이해했다고 믿습니다. 임원도 그 요약을 읽고 같은 착각을 합니다. 결정이 내려집니다. 실행 단계에서 요약에 없던 변수나 제약이 드러납니다. 이 시점에는 이미 자원이 배정됐거나 계약이 진행 중입니다. 후속 비용이 처음 결정 비용보다 큰 경우가 많습니다.

Ahn Partners 판단: AI 요약 기반 보고를 받을 때 한 가지만 덧붙이면 이 위험을 크게 줄일 수 있습니다. 보고 직전에 작성자에게 요약의 핵심 판단을 두 문장으로 직접 말하게 하는 것입니다. 이 요청은 요약을 다시 읽는 것이 아니라 이해를 인출하도록 합니다. 설명하는 과정에서 작성자 스스로 이해가 얕은 지점이 드러납니다. 임원 입장에서는 이 두 문장이 실제로 요약의 핵심을 담고 있는지 30초면 판단할 수 있습니다.

이해를 확인하는 세 가지 질문

Ahn Partners 판단: 다음 세 가지 질문은 AI 요약 이해를 확인하는 실용적 기준입니다. 현장 관찰에서 나온 제안이며 통제 실험 결과가 아닙니다.

첫 번째 질문은 왜 그런가입니다. AI 요약은 결과나 현상을 잘 전달하지만 인과 구조는 원본보다 얕게 담는 경우가 많습니다. 팀원에게 이 결론이 왜 옳은가를 원본 없이 답하게 합니다. 두 번째 질문은 어떤 조건에서 틀릴 수 있는가입니다. 요약에서 제시된 판단에 반론이 가능한지 확인합니다. 반론을 전혀 제기하지 못하면 내용을 재인한 것이지 이해한 것이 아닙니다. 세 번째 질문은 이 판단을 우리 상황에 어떻게 적용하는가입니다. 원본의 맥락과 우리 상황의 차이를 설명하지 못하면 요약을 그대로 가져온 것입니다.

이 세 질문은 보고서 검토 회의를 길게 만들지 않습니다. 세 가지 질문에 모두 즉답할 수 있다면 이해했다는 것이고, 그렇다면 의사결정을 진행해도 됩니다. 하나라도 답하지 못하면 그 부분이 이해의 공백이며 결정 전에 채워야 할 자리입니다. AI 요약은 이 공백을 보이지 않게 만드는 것이 위험이지, 요약 자체가 문제가 아닙니다.

한 문장으로 정리하면

AI 요약을 읽은 뒤 설명할 수 없다면 그것은 정보를 소비한 것이지 의사결정에 쓸 수 있는 이해가 아닙니다. 이번 주에 점검할 것이 있습니다. 팀에서 AI 요약 기반 보고를 올리는 자리에서 작성자에게 핵심 판단을 두 문장으로 직접 말하게 하는 것을 한 번만 시도해보십시오. 설명하는 데 막히는 지점이 있다면, 그것이 요약이 빠트린 것이 아니라 이해가 없는 자리입니다.

점검 목록

AI 요약을 기반으로 올라온 보고 중 원본의 인과 구조를 직접 설명할 수 있는 것이 몇 건인가
팀에서 AI 요약 보고 시 핵심 판단을 구두로 설명하는 절차가 있는가
지난 한 달 AI 요약 기반 결정 중 실행 단계에서 처음과 다른 변수가 나타난 건수를 파악했는가