출판 결과의 재현 불가능성(irreproducibility)은 학계 내에서 가장 활발한 논의가 이루어지고 있는 주제 중 하나로 흔히 로 일컬어지고 있습니다. 결과 재현의 실패가 우려되는 이유는 이것이 잘못된 판단이나 서툰 실험 설계, 선택적 보고, 또는 통계적 요행을 뜻하기 때문입니다. 재현성에 관하여 보편적 동의를 얻은 정의가 세워지지 않았다는 점, 그리고 이 문제의 배경과 해결 방안에 대해 다양한 의견이 존재한다는 점은 ≪Nature≫가이에 대한 를 시행한 계기가 되었습니다.
≪Nature≫는 이 조사에서 약1,500명의 과학자에게 재현성에 관한 그들의 생각과 연구 결과를 좀 더 재현성 있게 만드는 방법에 관해 물었습니다. 이 조사의 몇 가지 중요한 결과를 나열해 보겠습니다.
1. 재현성 위기는 현실인가?
조사 참여자의52%는 “중대한 재현성 '위기'가 존재한다”는 시각에 동의했으며, 반면 재현성을 문제로 생각하지 않는다고 말한 참여자는 단지7%에 불과했습니다.
2. 이 문제로부터 자유로운 분야가 있을까?
본인의 각 분야 내 재현성에 대해 질문했을 때 조사 참여자의73%는 자신 분야 논문의 적어도 절반은 신뢰할 만하다고 믿고 있어 사뭇 모순된 태도를 보였습니다. 이들 중 물리학자들과 화학자들은 자신의 전공분야에서 출판되는 연구의 질에 대해 가장 자신감을 보였습니다.
3. 반복 연구를 출판하는 것이 얼마나 어려운가?
응답자의 24%는 성공적인 반복 연구를 출판한 적이 있다고 보고했으며 실패한 반복 연구를 출판한 응답자는13%였습니다. 하지만 조사에 참여한 일부 과학자들은 실패한 반복 연구를 출판하는 데 어려움이 있었다고 말했습니다.
4. 출판된 결과물과 관련하여 응답자들은 얼마나 많은 연락을 받는가?
놀랍게도 본인 연구의 재현 불가능성을 논하기 위해 다른 연구자로부터 연락을 받은 경험이 있다고 보고한 참여자는20%미만이었습니다.
5. 재현 불가능성을 부르는 요인은 무엇일까?
응답자의 60% 이상은 재현성 문제의 밑바탕에 잠재한 가장 큰 책임이 있는 요인으로 선택적 보고와 출판에 대한 압박을 꼽았습니다. 그리고 참여자의 약 50%는 “미약한 통계적 검정력 또는 형편없는 분석”을 또 다른 이유로 들었습니다.
6. 재현성을 높일 수 있는 요인은 무엇일까?
응답자의90%에 따르면, 재현성을 보장할 수 있는 세 가지 요인은 “더 탄탄한 실험 설계”, “더 나은 통계”, 그리고 “더 나은 멘토십”입니다. “저널의 기준 강화”는 응답자의69%가 (꽤 높은 비율로) 선택하여 가장 낮은 순위를 차지하였습니다.
과학자들의 반응은 재현성 위기가 정말 현실이라는 것을 분명히 보여주고 있습니다. 조사에 참여한 과학자들의 70%가 다른 연구자의 결과를 반복하는 데 실패한 경험이 있다고 보고했으나 다른 연구자로부터 실패한 반복 연구를 알리는 연락을 받은 연구자는 극소수였습니다. 이것은 과학자 상호 간 커뮤니케이션의 단절을 명백히 보여주고 있습니다. 더욱이, 실패한 반복 연구의 출판을 주저하는 저널은 과학적 진보 속도에 직접적인 영향력을 행사하는 출판 시스템이 가진 허점을 보여주고 있습니다.
이 문제는 뿌리 깊이 자리 잡고 있으며 과학의 모든 이해당사자는 좀 더 투명하고 견고한 시스템을 만들어내기 위해 다 같이 협력할 필요가 있습니다. 연구비 지원 기관과 연구 기관은 재현성을 개선할 수 있는 정책을 개발하기 위해 힘써야 하고 모든 연구자는 결함 없는 연구 결과물을 만들고 누락 없이 보고하는 것을 자신의 책무로 받아들여야 합니다. 만일 과학적 진보가 거인의 어깨 위에 올라섬으로써 더 멀리 바라볼 수 있는 것과 같이 모든 것이 발판이 되어 이루어지는 것이라면, 우리는 반드시 모든 거인이 굳건히 우뚝 설 수 있도록 만들어야 합니다.
