퍼센타일의 함정: 좋은 순위표는 표본과 비교군에서 갈린다

Kim Jin-Hyeon은 2024 J1에서 28전 28승으로 경합을 모두 이겼습니다 — 완벽한 100%, 무필터 경합 순위표의 1위입니다. 그는 골키퍼입니다. 순위표가 거짓말을 하는 게 아닙니다. 아무도 던지려 하지 않은 질문에 답하고 있을 뿐입니다.

데이터 스카우팅에서 가장 위험한 문장은 "숫자는 거짓말하지 않는다"입니다. 숫자 자체는 그렇지만, 숫자로 만든 순위표는 두 가지 설계 선택에 전적으로 의존합니다. 첫째, 어떤 선수를 표본에 넣을 것인가(표본 크기). 둘째, 그 선수를 누구와 비교할 것인가(비교군). 이 두 결정을 생략하면 순위표는 정보가 아니라 잡음이 됩니다.

아래 예시는 모두 2024시즌 J1 데이터(API-Football)에서 직접 계산한 것으로, 이 사이트의 젬·맵·퍼센타일이 왜 지금의 규칙을 쓰는지를 보여줍니다.

함정 ①: 표본 크기 — 100%의 유혹

경합 승률을 아무 조건 없이 정렬하면, 상단은 100%로 가득 찹니다. 2024 J1에서 경합 승률 무조건 1위는 세레소 오사카의 골키퍼 Kim Jin-Hyeon으로, 28회 경합에서 28승(100%)이었습니다. 골키퍼가 "몸싸움 최강"이라는 결론은 명백히 난센스죠. 그 아래로도 경합 1~2회를 모두 이긴 선수들이 줄을 잇습니다. 드리블도 마찬가지여서, 무필터 성공률 상단은 시도 1회 성공 1회(100%)나 9회 시도 9회 성공 같은 초소형 표본이 차지합니다.

해법은 최소 시도 기준입니다. 경합은 시즌 200회 이상으로 걸면 표본이 74명으로 좁혀지고, 이 집단의 평균 승률은 49.8%로 안정됩니다. 드리블은 시도 40회 이상(43명, 평균 성공률 45.0%)이 기준선입니다. 그래서 이 사이트의 모든 순위표는 "슈팅 30회 이상", "경합 200회 이상"처럼 표본 기준을 함께 명시합니다. 기준선이 없는 비율 순위는 읽지 않는 편이 낫습니다.

기준선은 두 가지 일을 동시에 합니다. 분모가 작은 항목을 걸러내고, 개별 수치를 읽을 수 있는 안정적인 비교 기준선을 만듭니다. 두 번째 기능이 없으면 선수가 실재해도 숫자는 의미가 없습니다 — 드리블 성공률 45.0%는 그 집단의 평균이 그 지점에 있다는 것을 알기 전까지는 해석할 수 없습니다.

이것이 이 사이트의 모든 순위표가 제목에 기준선을 명시하는 이유입니다 — '슈팅 30회 이상', '경합 200회 이상'처럼요. 기준선을 공개하지 않는 비율 순위표는 읽지 않은 것으로 취급해야 합니다.

함정 ②: 비교군 — 풀백과 스트라이커는 다른 경기를 한다

표본을 제대로 걸러도 두 번째 함정이 남습니다. 서로 다른 포지션을 한 줄에 세우는 것입니다. 같은 200회 이상 집단이라도 경합 승률은 포지션에 따라 크게 갈립니다 — 수비수 평균 56.1%, 미드필더 50.6%, 공격수 42.2%. 수비수는 이기기 쉬운 경합(자기 진영에서 전진 저지)을, 공격수는 이기기 어려운 경합(밀집된 상대 골문 앞)을 치르기 때문입니다.

따라서 포지션을 섞어 순위를 매기면, 그 순위표는 실력이 아니라 포지션을 측정합니다(자세한 사례는 경합 승률 칼럼 참고). 55% 승률의 수비수는 평범하지만, 같은 55%의 공격수는 리그 최상위입니다. 같은 숫자가 정반대의 의미를 갖는 것이죠.

우리는 어떻게 적용하나

이 두 함정에 대응해 이 사이트는 세 겹의 규칙을 씁니다. 첫째, 지표마다 최소 시도 기준을 두어 초소형 표본을 걷어냅니다. 둘째, 퍼센타일과 선수 맵은 언제나 같은 포지션 그룹 안에서 계산합니다 — 풀백은 풀백과, 공격수는 공격수와 비교됩니다. 셋째, 출전 시간의 하한선(약 900분, 대략 10경기)을 두어, 그 아래 표본은 젬·맵·퍼센타일에서 아예 제외합니다. 2024 데이터에서 이 기준을 통과한 선수는 240명입니다.

이 규칙들은 순위를 "덜 화려하게" 만듭니다. 100% 같은 극단값이 사라지니까요. 하지만 그게 핵심입니다. 스카우팅에서 필요한 것은 눈에 띄는 숫자가 아니라 다음 시즌에도 반복될 숫자입니다. 표본과 비교군을 먼저 고정해야, 남는 값이 비로소 신호가 됩니다.

규칙으로도 고치지 못하는 것

기준선과 비교군은 '누구를 누구와 비교하는가'를 다룰 뿐, 그 아래 지표 자체는 그대로 둡니다.

표본과 비교군을 올바르게 걸러낸 경합 승률이라도 지상전과 공중전을 구분하지 못하고, 경합에서 이기고 곧바로 볼을 빼앗긴 경우와 그대로 공격을 이어간 경우를 구분하지 못하며, 애초에 그 선수가 얼마나 자주 경합 상황에 놓였는지도 말해주지 않습니다. 제대로 만든 드리블 순위표도, 전진에 기여한 성공 드리블과 옆으로만 흐른 성공 드리블을 구분하지 못하기는 마찬가지입니다.

두 함정을 모두 걷어내면 읽을 수 있는 숫자가 나옵니다. 하지만 그 숫자가 채용 질문에 스스로 답해주지는 않습니다 — 깔끔해 보이는 순위표가 만들어내는 확신 자체도 경계해야 할 대상입니다.