이 시리즈의 첫 번째 글에서는 <폴라 리서치>에서 피어리뷰어 후보를 찾는 방법에 대해 이야기를 나누었습니다. 이번에는 보다 어려운 과정, 즉 원고 검토 의향이 있는 리뷰어 두세 명을 추리는 과정에 대해 이야기해 보겠습니다.
리뷰어에게 원고 검토 요청을 한 다음에 편집자는 응답을 기다리게 됩니다. 우리가 초빙한 리뷰어로부터 긍정적인 답변을 받으면 다행이지만, 거절의 답변을 받는 경우에는 다른 사람을 초빙해야 합니다. 우리가 초빙한 검토자가 일 주일 내로 응답하지 않으면, <폴라 리서치>의 온라인 리뷰 시스템에서 자동으로 생성된 안내 메시지를 보내게 됩니다. 그 후에도 답변이 없는 경우 우리는 새로운 사람을 초빙합니다. 편집자의 일 중 가장 힘들다고도 볼 수 있는 과정입니다. 부정적인 답변이 상당히 많고, 답변이 아예 오지 않는 경우도 있습니다. 이 경우에는, 보다 적합한 피어 리뷰어를 찾아서 다시 요청하고, 또 답변을 기다리고, 또다시 답을 받지 못하기도 합니다.
1998년 제가 처음 <폴라 리서치>의 편집장을 맡았을 때부터, 지금까지 리뷰어 요청에 거절하거나 요청을 무시하는 비율은 극적으로 높아진 것 같습니다. 물론 이를 뒷받침할 데이터가 있는 것은 아니지만, 역시 <폴라 리서치>의 편집자인 잰 슈뢰더(Janne Schreuder)가 계산을 해 보았는데, <폴라 리서치>에서는 평균 일곱 명에게 원고 요청을 하고 그중 두 명이 이를 승낙한다고 합니다.
즉, 요청을 받은 검토자 중 2/3가 거절하거나 무응답으로 일관한다는 것입니다. 이는 물론 평균치입니다. 어떤 논문에 대해서는 두 사람에게 요청했을 때 둘 다 기꺼이 원고 검토에 응해주는 경우도 있고, 또 일곱 명을 훨씬 넘는 사람들에게 계속해서 재요청을 하게 되는 논문도 있습니다. 두 명의 검토자를 뽑기 위해 열 명에게 검토를 요청하는 경우는 드물지 않습니다. 저는 개인적으로 스무 명 이상에게 검토를 요청해야 했던 경우도 몇 번 있습니다. 이 과정에서 걸린 시간은 감히 계산해 볼 엄두도 나지 않을 정도입니다.
우리가 한 번에 필요한 인원보다 더 많은 사람에게 검토를 요청하는 것을 나쁜 관행으로 보며, 검토자 각자에게 이메일을 읽고 숙고할 시간을 주어야 한다는 점을 고려한다면, 피어리뷰 과정 안에서 이 과정에 어째서 많은 시간이 걸리는가를 분명히 알 수 있을 것입니다.
