PM - Selection bias를 피하자

정보의 취사선택 문제는 언제나 어렵고 힘든 문제 중의 하나입니다.
얼마나 많은 정보를 확보하느냐의 단계를 넘어서고 나면 얼마나 가치있는 정보들이냐의 문제가 되고, 그 후에는 과연 이 정보가 신뢰할만한 정보냐의 문제가 되지요. 편향된 기준을 가지고 수집된 정보는 당연히 한 방향으로 치우친 결론을 내리게 되겠지요?^^
PM 업무에서 대표적인 selection bias라고 하면 아마도 영업담당자들과의 커뮤니케이션이 아닐까 합니다. Voice of market이 아무리 중요하다 해도 한정된 풀, 예를 들어 우리 담당자들에게서만 듣게 되면 왜곡되는 것이 당연합니다. 다른 PM이나 다른 풀의 존재가 반드시 필요한 이유입니다.^^
selection bias...
생각할 수록 중요한 화두입니다.


Selection Bias를 피하자
2차 세계대전 때 미군은 비행기들에 남겨진 총탄 흔적들을 분석해서 비행기의 여러 부분들 중에서 적의 공격에 가장 많이 노출되는 부분을 찾아내고 보강하는 프로젝트를 추진했다.  가장 많이 공격을 받는 부분을 집중적으로 보강하면 비행기가 공격을 받더라도 떨어지지 않고 귀환할 가능성이 커진다고 생각한 것이다. 주의 깊게 생각하지 않으면 매우 의미있는 프로젝트인 것 처럼 보인다.

하지만 이 프로젝트는 selection bias라는 근본적인 문제를 안고 있다.   분석 대상이 되는 비행기들이 모두 귀환에 성공한 비행기들뿐이기 때문이다.  치명적인 부위에 공격을 받고 귀환하지 못하고 떨어진 비행기들은 분석 대상에서 제외된 것이다. 이 프로젝트의 결과로 적의 공격에 가장 많이 노출된 것으로 파악된 부품들은 공격을 받아도 비행기에는 치명적이지 않을 가능성이 크다. 그런 부품들보다는 공격을 받고 떨어져서 귀환하지 못한 비행기들이 공격 받은 부위를 찾아야 하는데, 그런 부위는 이 프로젝트에서는 찾아낼 수가 없다.   결과적으로 이 프로젝트는 엉뚱한 부품을 보강할 가능성이 큰 것이다.

Selection bias는 2차 세계대전 때의 미군들뿐만 아니라 일반 기업들에게도 많이 볼 수 있다.   대부분의 실패 사례들은 감춰지고 성공 사례들 위주로 외부에 발표되고 알려지기 때문에, 성공 사례들만의 특성을 분석해서 성공 요인을 찾아내는 경우가 많은데 이런 경우 selection bias 문제를 안고 있을 가능성이 크다.

Source: Beware the Dangers of Selection Bias