여론조사 인원이 500명이 신뢰할수 있는지

Question

여론조사의 인원이 500명인거 이걸 전체를 대변한다고 신뢰할 수 있나요 너무 적은거 아닌가싶은데

근데 저500명에서 응답한 인원을 또 분리하는건가요? 응답률같은거.

아니면 응답한사람이 500명이란 뜻인지

Answer 1

통계학에서 표본 추출 오차는 표본의 숫자에 따라서 다랄집니다

500명을 뽑으면 4.4%p 정도입니다

전체 인구가 몇명인지는 여기에 영향을 안줍니다

우리나라에서 500명을 뽑거나

중국에서 500명을 뽑거나

오차가 똑같습니다

전제조건은 뽑힌 500명이 전체 인구의 구성을 대변해야 합니다

성별 연령 지역 이런걸 그래서 보정해서 맞춥니다

다만 가장 큰 차이를 주는 것은 응답률입니다

응답하는 사람과 응답 하지 않는 사람간의 차이가 있다면 여론조사는 이 차이를 보정하기는 어렵습니다 

응답하지 않는 사람의 의견은 알 방법이 없으니까요

Answer 2

많은 분들이 갖는 의문인데, 결론부터 말씀드리면 오백 명은 통계적으로 문제없는 숫자입니다. 다만 그 숫자보다 훨씬 중요한 게 따로 있습니다.

먼저 왜 오백 명으로 되는지부터 말씀드리겠습니다. 여기서 가장 많이 오해하시는 지점이 있는데, 조사의 정확도는 전체 인구가 몇 명인지와 거의 관계가 없습니다. 오직 몇 명을 뽑았느냐가 좌우합니다.

이게 직관에 어긋나 보이지만 이유는 간단합니다. 국이 잘 끓었는지 볼 때 한 숟갈만 떠먹어 보면 되는 것과 같습니다. 냄비가 크든 작든 잘 저어져 있기만 하면 한 숟갈로 판단할 수 있습니다. 중요한 건 냄비 크기가 아니라 골고루 섞여 있느냐입니다.

숫자로도 말씀드리겠습니다. 오백 명을 무작위로 뽑으면 오차가 대략 사점사 퍼센트 포인트 수준입니다. 천 명이면 삼점일, 이천 명이면 이점이 정도로 줄어듭니다. 여기서 눈여겨보실 점은 사람을 두 배로 늘려도 오차는 절반이 안 된다는 것입니다. 정확도를 두 배로 올리려면 표본을 네 배로 늘려야 합니다. 그래서 비용을 생각하면 오백에서 천 명 사이가 현실적인 선택이 됩니다.

그러면 오차 사점사 퍼센트 포인트가 실제로 무슨 뜻이냐가 중요합니다. 어떤 후보 지지율이 사십오 퍼센트로 나왔다면 실제 값은 대략 사십점육에서 사십구점사 사이일 가능성이 높다는 뜻입니다. 그래서 사십오 대 사십일처럼 격차가 사 퍼센트 포인트인 결과를 두고 누가 앞섰다고 말하면 안 됩니다. 이게 뉴스에서 오차 범위 안이라고 하는 표현의 정확한 의미입니다.

이제 진짜 중요한 이야기를 하겠습니다. 표본 수보다 훨씬 크게 신뢰도를 좌우하는 것들이 있습니다.

첫째는 어떻게 뽑았느냐입니다. 무작위로 뽑지 않으면 아무리 많이 조사해도 소용이 없습니다. 유명한 사례가 있습니다. 천구백삼십육년 미국 대선 때 한 잡지사가 이백만 명이 넘는 사람에게 설문을 돌리고도 예측에 크게 실패했습니다. 반면 같은 해에 갤럽은 수천 명만 조사하고 맞혔습니다. 잡지사는 자동차 등록부와 전화번호부에서 명단을 뽑았는데, 당시에 차와 전화를 가진 사람은 형편이 좋은 쪽에 치우쳐 있었기 때문입니다. 표본이 많다고 정확한 게 아니라는 걸 보여 준 사건입니다.

둘째는 응답률입니다. 요즘 전화 조사는 연결된 사람 중 실제로 답하는 비율이 상당히 낮은 경우가 많습니다. 이게 낮으면 끝까지 응답해 준 사람들이 일반적인 사람들과 다를 가능성이 생깁니다. 오백 명을 채웠더라도 어떤 오백 명인지가 달라지는 것입니다.

셋째는 조사 방식입니다. 사람이 직접 전화해서 묻는 방식과 기계 음성으로 번호를 누르게 하는 방식은 결과가 다르게 나오는 경향이 있습니다. 유선전화와 휴대전화를 어떤 비율로 섞었는지도 영향을 줍니다.

넷째는 질문을 어떻게 썼느냐입니다. 같은 사안도 문장을 어떻게 쓰느냐에 따라 답이 달라집니다. 앞 질문이 뒤 질문에 영향을 주기도 합니다.

다섯째는 가중치입니다. 표본의 성별이나 연령 분포가 실제 인구와 다르면 보정을 하는데, 이 보정을 세게 걸수록 결과가 흔들릴 수 있습니다.

그래서 어떤 조사를 보셨을 때 이렇게 확인해 보시면 좋습니다. 우리나라는 선거 관련 여론조사라면 심의위원회 누리집에 조사 개요가 등록됩니다. 표본 수, 응답률, 표집 방법, 가중값 산출 방법, 실제 질문지까지 공개되어 있어서 그걸 보시면 판단이 됩니다. 응답률이 지나치게 낮거나 질문이 한쪽으로 기울어 있으면 그 조사는 걸러 보셔도 됩니다.

마지막으로 실용적인 조언 하나만 드리겠습니다. 조사 하나의 숫자에 크게 반응하지 마시고 여러 기관의 조사를 모아 흐름을 보세요. 개별 조사는 오차와 방법 차이로 튈 수 있지만, 여러 조사가 같은 방향으로 움직이면 그건 실제 변화일 가능성이 높습니다.

정리하면 오백 명이라는 숫자 자체는 의심할 이유가 없고, 대신 어떻게 뽑았고 몇 퍼센트가 응답했는지를 보시는 게 훨씬 의미 있습니다.

Answer 3

여론조사 500명은 전화를 끝까지 받고 응답을 완료한 실제 사람이 맞습니다. 통계학상 무작위 추출만 제대로 되었으면은 500명으로도 오차범위 내에서 전체 대변이 충분히 가능해요