소치스캔들: 소치 올림픽 여자 피겨 스케이팅 편파 판정 분석 논문 최종본 (5)
이탈리아 Tiziano Virgili 박사
http://www.mediafire.com/view/zsyuye3bea5e2kb/StatisticalAnalysisBooklet.pdf
맺음말
- 45쪽 -
심판들에 의해 점수가 주어지는 시합들의 분석을 위한 강력한 도구가 바로 통계라는 것은 나는 증명했다.
소치 여자 피겨 스케이팅 결과에 대한 통계(학)적 분석은 기술점수와 PCS 양쪽 모두에서
시스템에 의한[체계적인] 바이어스[편향]이 존재함을 보여주었다.
양쪽 경우 모두에서 최대 바이어스가 1위 스케이터(소트니코바)에게 부여되었으며,
이것이 아마 시합이 끝난 후 그 뒤를 이어 불거져온 "소동"을 설명해줄 것이다.
이 분석은 또한 다음의 결과도 보여주었다:
- 심판이 있는 거의 모든 스포츠 종목들에서 쓰이는 "절삭평균"은 바이어스[편향]을 보정하기에는
너무 정교하지 못한 수단이다. 더 나은 방법으로 평균으로부터 아주 먼 거리에 떨어져 있는 점수들만
제거해야 한다. 참고할 수 있는 거리값은 표준편차이다;
- 일반적인 심판진의 변별력은 약 1.3점이다. 이것은 약 1.3점보다 적은 점수차들에는
"객관적인" 의미가 전혀 없음을 가리키며, 그것들은 단지 통계(학)상 있을 수 있는 변이일 뿐이다.
전체 스케이터들을 고려하면, 이것은 전체 경우의 약 30퍼센트에서 일어난다.
그러나 (점수차들이 1.3점보다 큰 모든 경우에서) 약 90퍼센트에서 메달 스탠딩이
"객관적"인 것으로 간주될 수 있다;
- 피겨 스케이팅에서의 세계기록득은, 특정 심판진에 따라 (점수가) 달라지는
"포괄적 편이" 때문에, 본질적인 의미를 갖지 않는다. 점수차가 더 타당하다.
모든 경우에서 (점수차) 여자 피겨 스케이팅 세계기록 보유자는 한국의 김연아이다;
- 수행들에서의 변동/변이는 모든 스포츠에서 아주 중요하다.
남자 100미터 육상 경주에서, (내재)변동은 평균적으로 약 33%의 경우에서 연관성이 있다.
이 분석을 토대로, (소치 올림픽) 공식 점수들을 보정하기 위한 exercise도 또한 시행했다.
결과(표 3.4)는 1위가 김연아에게 돌아가야 한다는 것을 명확하게 보여준다.
다음 점수들은 (2위와 3위는) 오차 범위 안에서 거의 동점으로,
아델리나 소트니코바보다 카롤리나 코스트너가 살짝 앞선다.
어떤 경우든, 진실된, 바이어스가 없는 결과는 바이어스가 없는 심판진한테서만 나올 수 있다.
마지막 언급으로, 나는 여기에서 보여준 간단한 방법들은 원칙적으로,
점수를 받는 어떤 대회/시합이든 과학적인 검사를 수행하고 싶은 누구든 수행할 수 있음을
다시 한 번 강조하고 싶다.
- 46쪽 -
부록 1
웹상에서 벌어진 몇몇 토론들의 샘플이 아래 제시되어 있다.
이 리스트가 완벽하다거나 "공정"하다고 주장하는 것은 아니고,
단지 제가 주로 찾은 것들을 반영한 리스트이다.
- 47쪽 -
부록 2
2.1.2 단락에서 제안한 통계(학)적 테스트로 다시 돌아가,
바이어스[편이]의 양은 N의 분포를 확인함으로써 더 잘 구해질 수 있으며,
다음의 그림에서 다시 한번 기록해 놓았다.
N의 의미를 다시 상기시켜드리자면: 이것은 각 수행요소에 대해
한 명의 심판이 평균보다 높은 점수를 준 횟수이다.
그림 A.1: 이항(분포)와 비교한 N의 분포 (검은 점들)
프리 프로그램에는 12개의 수행요소들이 있기 때문에, N의 값의 범위가 0-12 사이여야 한다.
만약 한 심판이 대부분의 경우에 평균보다 높은 점수를 주었다면,
그가 편향적일[치우쳐 있을] 가능성이 매우 높다는 게 확실하다.
당신이 룰렛에서 빨강/검정이 나오는 횟수처럼, N이 이항분포를 따를 것으로 기대되기 때문에,
이 일이 발생할 가능성을 선험적으로[미리] 평가하는 것이 가능하며,
이 경우에는 시도 횟수가 12회이다.
- 48쪽 -
앞서의 그림에서 이 분포는 예상되는 이항분포(검은 점들)와 비교된다.
어두운 색으로 칠해진 부분의 엔트리값들의 수는 통계(학)적인 토대에서 예상할 수 있는 것보다
훨씬 더 크다. 이것은 점수들에 확실히 바이어스[편향]이 존재한다는 것을 가리키는데,
많은 스케이터들이 자신과 같은 국적의 심판이 (저징 패널에) 있다는 점을 고려하면,
이는 놀라운 일이 아니다.
- 49쪽 -
부록 3
바이어스가 있는[편향된] 심판들의 수 N의 기능(작용)으로서,
점수에 들어갈 수 있는 바이어스[편향]의 총량을 여기에서 계산해볼 것이다.
이 목적을 위해, 나는 개별 심판들의 수 N에 의해 주어진 점수들을 수정함으로써
모든 점수들을 재계산했다.
뒤에서 설명하겠지만, 약간의 추가 점수들을 더함으로써 이 변경[변화]를 수행했다.
숫자 N은 1부터 4까지 다양했으며
(바라건대 한 시합에서 편향된 심판이 4명을 넘지 않아야 한다!)
기술점수와 PCS에 양쪽 모두에 대한 분석 결과가 다음의 그림들에 제시되어 있다.
점수들은 쇼트와 프리 프로그램을 합친 것이다.
그림 A.2: 편향된 심판들의 수의 기능(작용)으로서 기술점수의 차이
- 50쪽 -
모든 경우에서, (최고점과 최소점을 제외시키는) "절삭평균"이 수행된다는 점을
재차 상기시켜드리고자 한다. 그림 A.2에서 "편향된 심판들"의 (최대 4명) 수 N의 기능/작용으로서
(쇼트 프로그램과 프리 프로그램의 기술점수의 합산) 점수 차들이 기록되어 있다.
검은색 점들은 심판들이 각각의 GOE에 대해 "정당한" 점수보다 1점 이상 높게 주는 경우에
해당한다 (적당한 바이어스). 예를 들어, 2명의 편향된 심판들이 있을 때,
당신은 "적당한" 바이어스의 경우 약 2점의 차이를(2점 더) 얻으며,
"강력한" 바이어스의 경우에는 3점을 (더) 얻는다.
오차막대들은 이 차가 발결될 수 있는 "범위"를 나타낸다 (이것은 점수들의 세부 내용에 따라 다르다).
약 1점의 점수차는 N=1의 경우에서도 또한 발견된다는 점을 기억하시오.
그러나 이 경우(N=1)는, 절삭평균 때문에, (그 심판의) 바이어스의 양에 영향받지 않는다.
아래의 그림에서는 (그림 4.3), PCS의 차가 검토된다.
3가지 색은 3가지의 다른 바이어스에 각각 해당한다,
0,5점(적당한 바이어스)부터 1.5점(강력한 바이어스)까지. 이것은 각각의 수행요소에 대해
N명의 심판들이 "참된" 점수보다 0.5점 이상 더 높은 점수를 준다는 뜻이다.
그림 A.3: 편향된 심판들의 수의 기능(작용)으로서 PCS의 차이
- 51쪽 -
다시 말하지만, N=1의 경우 약 1점의 차이가(상승이) 발견될 수 있으나, 절삭평균 때문에,
바이어스의 양과는 별개이다. 총점에서의 바이어스는 기술점수와 PCS의 점수차를 합산함으로써
얻어질 수 있다. 심판들이 (특정 스케이터에게 불리한) 부정적인 바이어스도 줄 수 있기 때문에
2명의 스케이터 사이의 총점 차는 그 점수의 2배가 될 수 있다는 것에 유의하시오.
기술점수의 최대 부분이 "기초점"으로부터 나온다는 점 또한 유의하시오
그러나 그것들은 여기에선 검토되지 않는다. 따라서 원칙적으로,
커다란 바이어스[편향]이 "테크니컬 패널"에 의해서도 (점수에) 유입될 수 있다.
앞서의 그림들로부터, "불공평한" (편향된) 심판들의 구체적인 수에 따라 총점에 유입될 수 있는
바이어스의 양을 평가하는 것이 가능하다.
예를 들어, n=2이고 적당한 바이어스의 경우에 (검은 점은 기술점수, 붉은 점은 PCS),
약 1.8+1.8=3.6점의 평균 바이어스가 생긴다.
심판들은 또한 점수를 낮게 줌으로써 부정적인 바이어스도 제공할 수 있는데,
상황의 대칭성으로 인해, 이 예 속의 두 스케이터들 사이의 총점 자는 약 7점이 될 수 있다!
52쪽 - 참고 자료
- The end -
출처: http://www.mediafire.com/view/zsyuye3bea5e2kb/StatisticalAnalysisBooklet.pdf
'Aart♡Sport' 카테고리의 다른 글
| [스크랩] 카타리나 비트의 베스트 프로그램 6선 (0) | 2014.12.08 |
|---|---|
| [스크랩] 소치 여자 피겨 스케이팅 통계 분석 한글판 (0) | 2014.10.02 |
| [스크랩] 이탈리아 박사의 소치스캔들 논문 최종본 (4) (0) | 2014.10.02 |
| [스크랩] 이탈리아 박사의 소치스캔들 논문 최종본 (3) (0) | 2014.10.02 |
| [스크랩] 이탈리아 박사의 소치스캔들 논문 최종본 (2) (0) | 2014.10.02 |