나쁜 과학 가려내기

“나쁜 과학”을 찾아내는 개략적인 가이드 (A Rough Guide to Spotting “Bad Science”) 1. 자극적인 헤드라인 sensationalised headlines 과학기사의 헤드라인은 주로 독자로 하여금 클릭하거나 그 기사을 읽게 디자인되어 있다. 가장 좋은 경우는 연구결과를 과도하게 단순화하는 것이고, 가장 나쁜 경우는 선정적으로 만들거나 오독하여 쓰는 것이다. 선정적, 충동적 자극적 헤들라인이나 기사제목 2. 오도된 결과 misinterpreted results 그럴듯한 이야기로 꾸며서 만든 결과 뉴스 기사는 때때로 – 의도적이건 아니건 – 그럴듯한 이야기를 만들기 위해 연구결과를 오독하거나 왜곡한다. 가능하다면 단순정보를 위해 기초한 기사보다는 원래 논문 등을 읽어볼 것을 권한다. 3. 이익충돌 conflict of intersts 기업이나 기관의 이해관계에 얽매어 있는 연구결과 많은 기업들이 연구를 하거나 연구결과를 발표하기 위해서 과학자들을 고용한다. 물론 이렇게 기업이 과학자를 고용하는 것 자체가 연구를 무효화하는 데 충분조건은 아니지만, 이런 경우가 있음을 염두에 두고 연구내용을 분석해보아야 할 것이다. 연구결과 역시 사적인 이해관계로 인해 오도될 수 있다. 4. 상관관계와 인과관계 correlation & causation 우연적 상관관계를 마치 과학적 인과관계로 오도 상관관계와 인과관계 사이의 혼동을 주의해야 한다. 두 변수에 대한 상관관계가 자동적으로 하나의 변수가 다른 변수의 원인임을 의미하는 것이 아니다. 지구온난화는 19세기부터 시작되었으며, 해적들의 수 역시 19세기부터 감소했지만 해적들의 감소가 지구온난화를 가져온 것은 아니다. (역주 : 예시가 웃기긴 하지만 실제로 가장 많이 혼동하는 부분이다.) 5. 추측성 언어 speculative language 개인 주장이나 추측으로 구성된 명제들 연구에 의한 추측은 그저 ‘추측’을 뿐이다. 어떤 연구의 결론에 대한 증거가 불확실한 것처럼 보인다면 그 기사나 논문에서 ‘~일지도(may)’, ‘~할 수도(could)’, ‘~였을 지도(might)’와 같은 단어들을 찾아보라. 6. 너무 적은 표본 Sample size too small 증거표본이 아주 적거나 일부러 적게 한 경우 표본량이 적을 수록 그 표본에서 도출된 결과의 확실성이 떨어지게 된다. 비록 어떤 경우에는 적은 표본량이 불가피할 수 있지만 대체로 이러한 성향이 있음을 유념하고 결론을 도출해야 한다. 표본을 많이 확보할 수 있음에도 그렇게 하지 않은 경우에는 의심을 불러 일으킬 수 있다. 7. 대표성이 없는 표본 Un representative samples 특정집단을 대표집단처럼 보이게 한 경우 인간을 대상으로 하는 시험에서 연구자들은 인구집단을 대표할 수 있는 개인을 선택하려고 한다. 만약 표본으로 선택된 개인이 인구집단을 대표할 수 없다면 결론 역시 다르게 나올 것이다. 8. 대조군이 없는 경우 No control group used 대조군 비교없거나 자격미달의 대조군의 경우 임상시험에서 피험자로부터 나온 결과는 반드시 시험 약물 등을 복용하지 않은 대조군과 비교되어야 한다. 또한 대조군은 무작위로 할당되어야 하며, 일반적인 실험에서 대조시험은 모든 변수가 통제되는 환경에서 시행되어야 한다. 9. 맹검이 시행되지 않은 경우 No Blind Testing used 대조군/실험군의 맹검 기준이 불충분한 경우 편향을 방지하기 위해, 피험자들은 자신이 실험대상인지 대조군인지에 대해서 알아서는 안된다. 이중맹검(double-blind test)의 경우에는 실험자들 역시 시험이 끝날 때까지 어떤 피험자가 실험군인지 대조군인지에 대해서는 모르게 된다. 주의할 것은 맹검이 어떤 경우에나 가능한 것은 아니며, 항상 윤리적인 것도 아니라는 것이다. 10. ‘체리피킹’과 같은 결과 ‘Cherry-picked’ results 연구자 의도에 유리한 데이타만 결과치로 편향되게 사용한 경우 ‘체리피킹’과 같은 결과란 실험에서 데이터를 선별할 때 연구결과를 지지하는 것을 주로 택하는 반면 그렇지 않은 것들은 데이터에서 제외하는 경우를 뜻한다. 모든 경우가 그렇지는 않지만 만일 실험결과에 의해 선별된 데이터로 논문의 결론이 나왔다면 이런 결론은 ‘체리피킹’일 수 있다. 11. 재현불가능한 결과 Unreplicable results 다른 상황에서 재현되지 않는 결과로 추론된 경우 연구결과는 독립된 다른 연구에서도 재현이 되야 하며, 결과를 일반화하기 위해서는 가능한 다양한 조건에서도 시험되어야 한다. 특이한 주장일수록 특이한 증거들을 요구하기 때문에 더 많은 독립연구가 필요한 것이다. 12. 학술지와 인용 Journals & citations 연구내용보다는 학술지의 권위에만 의존하려는 논문인 경우 주요 학술지를 통해 발표된 연구들은 검토과정을 밟았겠지만 그럼에도 결함이 있을 수 있다. 따라서 주요 학술지의 내용이라고 해도 결함이 있을 수 있음을 항상 생각하며 평가해야 한다. 이와 비슷한게, 인용한 수가 많다고 해서 그 연구가 반드시 높은 평가를 받는 것은 아니다.