몇 명부터 비율이라고 부를 수 있나, 밸런스 게임의 %가 의심스러운 이유

"참여자의 73%가 부먹을 골랐습니다"라는 문장을 보면 보통 그냥 믿습니다. 그런데 참여자가 열한 명이었다면 여덟 명이 부먹을 고른 것뿐입니다. 한 명만 달랐어도 64%가 됩니다. 비율은 표본이 작으면 사실상 아무 말도 하지 않습니다. 이 글은 그 문턱을 어디에 두어야 하는지에 대한 것입니다.

한 명이 움직이는 폭

참여자가 열 명일 때 60%와 50%는 사람 한 명 차이입니다. 그 차이로 "다수파"와 "반반파"가 갈리면 결과가 우연히 정해지는 셈입니다.

왜 서른 명인가

소수파 테스트는 서른 명을 문턱으로 잡았습니다. 서른 명이면 한 명이 3.3%p를 움직이니 정확하다고는 못 합니다. 다만 70대 30 정도로 크게 갈린 문항은 서른 명에서도 방향이 보입니다.

같은 놀이터의 게임 체질 테스트와 반응속도 테스트는 문턱이 백 명입니다. 이쪽은 비율 자체가 결과의 이름(유형, 상위 몇 %)을 정하기 때문에 더 보수적으로 잡았습니다. 소수파 테스트는 비율이 틀려도 "당신이 고른 것"은 그대로 보여줄 수 있어서 문턱을 낮출 수 있었습니다.

안 하기로 한 것

참여자가 모자랄 때 쓸 수 있는 방법이 몇 가지 있습니다. 전부 안 쓰기로 했습니다.

1. 그럴듯한 초기값을 넣어 두기. 지어낸 숫자를 진짜처럼 보여주는 것이라 안 합니다.
2. 다른 사이트의 설문 결과를 가져다 쓰기. 문항이 다르면 비율도 다릅니다.
3. 적은 표본으로도 그냥 보여주기. 숫자가 우연히 정해집니다.
4. 참여자 수를 안 보여주기. 숫자를 얼마나 믿을지 판단할 근거를 숨기는 것입니다.

쏠린 문항일수록 적은 표본으로도 보인다

문턱 하나로 전부 자르는 것이 정확하지는 않습니다. 실제로는 갈린 정도에 따라 필요한 표본이 다릅니다. 90대 10으로 갈린 문항은 서른 명만 봐도 어느 쪽이 많은지 거의 틀리지 않습니다. 52대 48은 천 명을 봐도 확신하기 어렵습니다.

소수파 테스트의 문항은 한쪽으로 크게 쏠릴 만한 것들을 일부러 골랐습니다. 민트초코나 부먹 찍먹처럼 편이 분명한 것들입니다. 그래서 서른 명이라는 낮은 문턱에서도 쏠린 문항만큼은 방향이 보입니다.

다만 아슬아슬하게 갈리는 문항은 참여자가 많이 쌓이기 전까지 숫자가 들쭉날쭉합니다. 결과 화면에서 50% 근처로 나온 문항은 아직 정해지지 않았다고 보시는 편이 맞습니다.

그래서 지금 몇 명인가

결과 화면에 적힙니다. 문턱을 넘지 못했으면 "표본 몇 명"이라고 적히고, 넘었으면 "참여자 몇 명과 비교한 소수파 점수"라고 적힙니다. 어느 쪽이든 숫자가 보입니다.

테스트를 한 번 더 해 보면 그 숫자가 늘어 있는 것도 보입니다. 사람이 들어온 만큼 비율이 정확해지고 있다는 뜻입니다.

참여자 수를 숨기지 않는 것이 이 테스트에서 제일 중요한 부분이라고 봅니다. 비율만 크게 적어 놓고 표본을 안 적는 화면은 많습니다. 그러면 읽는 사람이 그 숫자를 얼마나 믿어야 할지 판단할 수가 없습니다. 열한 명 중 73%와 만 명 중 73%는 같은 글자로 적히지만 전혀 다른 말입니다.