- AI가 보고서 초안을 쓰고 데이터를 정리하면 팀장이 하던 일 중 상당 부분이 사라집니다. 남은 일은 AI 결과에서 맥락 오류를 찾고, 팀이 어떤 문제를 AI에 올릴지를 설계하고, AI 추천 중 어떤 방향을 선택할지를 판단하는 것입니다. 기존 평가 기준이 이 일들을 측정하지 않으면 평가가 실제 리더십과 분리됩니다.
- 잰거와 폴크만의 리더십 역량 연구에서 최상위 리더와 평균 리더를 구분하는 핵심 변수는 결과물 완성도가 아니라 팀이 어떤 방향으로 움직이는가였습니다. AI가 결과물 완성도를 균일하게 올리면 이 변수가 더 선명하게 드러납니다.
- AI 시대 팀장 평가에서 추가해야 할 기준은 측정 가능합니다. AI 결과에서 오류를 발견한 횟수, 팀이 AI에 올린 문제의 질, AI 추천을 수정한 판단 근거의 명확성입니다. 이 기준을 넣지 않으면 AI를 가장 잘 위임한 팀장이 가장 높은 점수를 받습니다.
AI가 결과물 품질을 올리면 평가 기준이 팀장 역량을 구분하지 못합니다
제조 중견기업에서 세 팀의 팀장이 같은 분기 보고서 평가를 받았습니다. 팀 A 팀장은 AI가 생성한 생산성 분석 보고서를 검토 없이 올렸습니다. 팀 B 팀장은 AI 보고서에 현장 맥락을 추가해 수정했습니다. 팀 C 팀장은 AI 보고서에서 기준 오류를 발견하고 데이터를 재처리해 올렸습니다. 완성된 세 보고서의 품질은 비슷했습니다. 평가 기준은 납기 준수율과 보고서 오류 건수였습니다. 세 팀장의 점수 차이는 없었습니다.
이 평가 결과에서 조직이 모르는 것이 있습니다. 팀 A 팀장의 팀은 AI가 틀렸을 때 그것을 발견하는 사람이 없습니다. 팀 B와 C의 팀장은 있습니다. 다음에 AI가 더 중요한 분석에서 틀리면 그 차이가 드러납니다. 그러나 지금 평가 시스템에서는 그 차이가 보이지 않습니다.
잰거와 폴크만(Zenger & Folkman)은 리더십 역량 연구에서 결과물 완성도는 평균 리더와 최상위 리더를 구분하지 못한다고 분석했습니다. 구분하는 변수는 팀이 어떤 방향으로 움직이는가, 그리고 어려운 상황에서 팀이 어떤 판단 기준으로 행동하는가였습니다. AI가 결과물 완성도를 전반적으로 올리면 이 변수의 비중이 더 커집니다.
AI 시대에 팀장이 실제로 하는 일이 달라집니다
AI가 보고서 초안을 쓰고 데이터 분석을 처리하면 팀장이 하던 일 중 상당 부분이 사라집니다. 그 자리에 남은 것이 실제로 AI 시대 팀장의 역할입니다. 첫째는 팀이 어떤 문제를 AI에 올릴지를 결정하는 것입니다. 같은 AI 도구를 쓰더라도 어떤 질문을 올리는지에 따라 결과의 유용성이 달라집니다. 둘째는 AI 결과에서 맥락 오류를 찾는 것입니다. AI는 데이터 안에서 패턴을 찾지만 데이터 밖의 맥락을 모릅니다. 그 맥락이 결과에 미치는 영향을 판단하는 것이 팀장의 역할입니다. 셋째는 AI 추천 중 어떤 방향을 선택할지 판단하고 그 이유를 팀에 설명하는 것입니다.
대벤포트와 밀러는 2022년 저서 'Working with AI'에서 AI와 협업하는 조직의 사례를 분석하면서, 성과 차이가 AI 도구 선택보다 AI 결과를 어떻게 다루는지에서 났다고 분석했습니다. 더 좋은 AI를 쓴 팀이 아니라 AI 결과를 더 잘 판단하는 팀장이 있는 팀이 더 나은 결과를 냈습니다. 이 판단 능력이 평가 기준에 없으면 조직은 그것을 키울 이유도, 측정할 방법도 없습니다.
Ahn Partners 판단: 팀장 평가 기준 재설계에서 새 항목을 추가하는 것이 아니라 기존 항목의 측정 방식을 바꾸는 것이 출발점입니다. '보고서 완성도'는 남기되 '팀장이 AI 결과를 어떻게 수정했는가'를 별도로 기록합니다. '팀 성과'는 남기되 'AI 추천을 그대로 따랐는가, 판단을 추가했는가'를 구분합니다.
측정 가능한 새 기준으로 전환하는 방법
AI 시대 팀장 평가에 추가할 수 있는 기준은 세 가지입니다. 첫째는 AI 결과 검토의 질입니다. 팀장이 AI 결과를 그대로 올렸는지, 맥락 오류를 발견해 수정했는지를 분기별로 기록합니다. 수정 여부가 아니라 수정 이유가 타당했는지를 봅니다. 둘째는 팀이 AI에 올린 문제의 질입니다. 팀장이 팀에게 어떤 질문을 AI에 올릴지 지시했는가, 그 질문이 의사결정에 실질적으로 기여했는가입니다. 셋째는 AI 추천과 다른 판단을 내렸을 때의 근거 명확성입니다. AI 추천을 따르지 않았을 때 그 이유를 팀에 설명했는가입니다.
이 기준들은 기존 업무 평가에 결합할 수 있습니다. 연간 평가에 별도 항목을 만드는 것이 아니라, 기존 분기 보고 프로세스에 'AI 결과 검토 메모' 한 줄을 추가하는 것입니다. 팀장이 그 분기에 AI 결과를 어떻게 다뤘는지를 자신의 언어로 기록하게 합니다.
이번 주에 확인할 것은 이것입니다. 지난 분기 팀장 평가에서 AI를 가장 잘 위임한 팀장과 AI 결과를 가장 잘 판단한 팀장이 같은 점수를 받았는가. 같은 점수를 받았다면 평가 기준이 AI 시대의 리더십 역량을 아직 구분하지 못하고 있는 것입니다.
한 문장으로 정리하면
AI가 팀 결과물 품질을 전반적으로 올리면 기존 평가 기준은 AI를 가장 잘 위임한 팀장과 AI 결과를 가장 잘 판단한 팀장을 구분하지 못합니다. 평가 기준이 그 구분을 하지 않으면 조직은 AI 시대에 더 필요한 판단 역량을 키울 이유를 팀장에게 주지 못합니다.
점검 목록
- 팀장 평가 기준에 AI 결과를 그대로 올린 것과 판단을 추가해 수정한 것을 구분하는 항목이 있는가
- 지난 분기 팀장이 AI 추천과 다른 판단을 내렸을 때 그 근거를 기록하거나 공유한 사례가 있는가
- 팀이 AI에 올리는 문제의 질을 팀장의 역할로 평가하는 기준이 현재 존재하는가
출처
- Zenger, J. & Folkman, J. (2009). The Extraordinary Leader: Turning Good Managers into Great Leaders. 2nd ed. New York: McGraw-Hill. 리더십 역량 연구에서 최상위 리더와 평균 리더를 구분하는 변수는 결과물 완성도가 아니라 팀 방향 설정 능력이라는 분석. 측정 가능한 리더십 역량 16개 제시.
- Davenport, T. H. & Miller, S. M. (2022). Working with AI: Real Stories of Human-Machine Collaboration. Cambridge: MIT Press. AI와 협업하는 조직의 성과 차이 분석. AI 도구 선택보다 AI 결과를 다루는 판단 역량이 조직 성과 차이를 만든다는 사례 연구.