1,500 명의 과학자들이 과학의 재현성 위기에 대해 이야기합니다.

Wistar_rat1

다른 과학자가 재현 할 수없는 혁신을 발표하면 어떻게 되나요?

가짜 과학 보도 자료는 인터넷을 뒤 흔드는 차세대 혁신을 과시하고 있습니다. 격일로 실리콘 밸리를 덮고있는 기술 낙관주의 자 안개에서 벤처 캐피탈의 거품을 날리는 또 다른 기업가가있는 것 같습니다. 끝없는 주장의 흐름이 있고, 미디어 에코 챔버에 들어가면 과장된 실험 결과를 바탕으로 많은 것들이 베이퍼웨어로 밝혀졌습니다. 너무나 자주 아이디어는 훌륭하지만 과학이이를 뒷받침 할 수있는 것이 아니기 때문에 제품이 나타나지 않습니다.



자연 뉴스 1,500 명 이상의 연구원을 포함한 독자를 대상으로 설문 조사를 실시하여 다른 사람의 작업을 복제하고 일치하지 않는 결과를 얻는 문제에 대해 어떻게 생각하는지 알아 보았습니다. 과학적 재현성에 관해서 과학자들은 동의합니다. 휴스턴, 우리에게 문제가 있습니다.





재현성 그래픽 온라인 4그만큼 서베이 과학자들 사이에서 때때로 모순되는 태도를 보여줍니다. 설문 조사에 참여한 응답자의 절반 이상이 재현성에 심각한“위기”가 있다는 데 동의하고 있으며, 1/3 미만이 발표 된 결과를 재현하지 못한다는 것은 발표 된 결과가 거짓임을 의미하며, 대부분이 여전히 발표 된 문헌을 신뢰한다고 답했습니다. 하지만 불명확하거나 공개되지 않은 방법부터 데이터 수집, 불운 또는 노골적인 사기에 이르기까지 재현 불가능한 연구에 기여하는 다양한 문제가 있습니다.

그리고 문제는 분야에 따라 다릅니다. 응답자 물리학 자들은 자신의 분야에서 말뭉치를 매우 신뢰할 수 있다고 생각하기 때문에 물리학 법칙은 가장 적게 변하는 것으로 보입니다. 하지만 의학과 같은 비열한 분야에서는 발표 된 의학 연구 전체가 신뢰할 수 있다는 생각에 말 그대로 한 명의 응답자가 동의하지 않았습니다. 결론은 의사가 오즈 박사에게 보이는 쓰레기를 믿지 않는다는 것입니다.



오 탐지로부터 실제 발견을 분류하는 것은 정말 어려울 수 있습니다. 실험을 재현 할 수없는 경우 재현 할 수 없습니까? 서로 다른 실험실의 서로 다른 인간이 서로 다른 장비에서 절차에 대해 약간 다른 해석을 수행하는 것과 달리, 실제로 거짓이라는 가설로 귀결되는 차이는 얼마나 될까요?



놀랍게도 응답자의 압도적 다수가 자연 설문 조사에서는 실험에서 더 나은 재현성을 가능하게하는 첫 번째 요소로 통계에 대한 더 나은 이해를 꼽았습니다. 이것이 의미하는 바는 데이터를보고하는 과학자조차도 해당 데이터를 분석하는 데 사용하는 수학에 대해 항상 깊이 이해하지는 못한다는 것입니다. 의도적으로 통계를 오도하기 쉽습니다. 자신이 잘 이해하지 못하는 것을 설명하려고 할 때 실수로 통계를 오도하는 것이 훨씬 더 쉽습니다.

또 다른 주요 문제 중 하나는 우리가이를 통제하지 못했다는 것입니다. 돌이켜 보면 분명해 보입니다. 엄격하고 과학적인 방식으로 일을하면 다른 사람들이 결과를 재현 할 수 있습니다. 그러나 게시에 대한 압박, 재정적 제약, 특정 작업에 대한 눈이 너무 적기 때문에 선별적인 데이터보고에 넘기기가 매우 쉽습니다. 자금이 위태로울 때 데이터는 원하는 논문을 확인하는 지점을 중심으로 핵을 형성하는 경향이 있습니다. 과학 수행의 일부는 무서운 진실 프로그래머는 이미 알고 있습니다. 실험실이 아무리 끔찍하더라도 다른 모든 것은 정확히 함께 해킹 당하고 있으며,이를 수행 한 사람들은 당신만큼이나 적은 예산으로 당신만큼이나 빡빡한 예산으로 알고 있습니다. 큰 음모는 없습니다. 재현성은 천 번의 절단으로 죽습니다.



미리 경고합니다.

재현성 그래픽 온라인 5단순 해 보일 수 있지만 과학자들이 합창단에서 동의 한 한 가지는 계획 단계에서 실험에 재현성 단계를 구축 할 때가되었다는 것입니다. 자신의 결과를 확인하는 것은 어렵습니다. 이미 실수를했다면 작업의 온 전성을 검사 할 때 실수를 간과 할 가능성이 있습니다. 하지만이 문제를 해결할 방법이 있습니다. 사전 등록은 과학자가 데이터 분석을위한 가설과 계획을 일부 독립된 제 3 자에게 제출하여 실험을 수행하기 전에 외부인이 게임 계획을 확인하는 전략입니다. 이는 실험 설계를 강화하고 나중에 데이터를 체리 따는 것을 방지하기위한 것입니다.

하지만 문제의 핵심은 인간의 본성입니다.



수행 및 제작에 대한 압력과 결합 된 희망찬 생각은 우리가 바라는 것이 참되다는 믿음에 빠지게합니다. 언제 으르렁 거리는 웃음을 기억하나요 양파 과학적 방법에 '자금 구하기'단계를 추가하는 것에 대해 농담을 했습니까? 과학자들이 연구에 마케팅을 도입하기 위해 자금을 구걸하고 경쟁해야한다는 사실이 우리가 얻는 이유입니다. Theranos와 같은 debacles , 파괴적인 주장이 엄청난 양의 벤처 캐피탈을 모았지만 베이퍼웨어 인 것처럼 보이는 실리콘 밸리 의료 스타트 업. 우리가보고 싶은 것에 집중하는 것은 쉽습니다. 이것은 베테랑 STEM 연구자들과 마찬가지로 평신도에게도 마찬가지입니다. 결국 레이건이 옳은 것처럼 보인다 : 신뢰하지만 검증하라.