연구자가 되는 길은 흥미롭고, 지적인 자극을 주는 여정이지만, 도전이 없는 것은 아닙니다. 우리가 연구자로서 직면한 부담 가운데 하나는 동료의 논문에 대한 피어 리뷰를 작성해야 하는 책임 즉, 검토자 피로입니다. 여기서 오해는 금물입니다. 피어 리뷰는 과학 연구의 품질과 무결성을 보장하는 필수적인 절차입니다. 하지만, 이는 어깨에 짊어진 무게로 느껴질 수 있습니다. 다음을 상상해 보시기 바랍니다. 실험 수행과 데이터 분석, 본인의 논문 작성을 위해 수많은 시간을 할애했습니다. 그 다음 타인의 원고에 대한 검토 요청을 받고, 과학자로서의 연구 경력에 부정적 영향을 미칠까 봐 요청을 거절한 데 죄책감을 느낍니다. 챗GPT와 같은 대규모 언어 모델(LLM)을 사용하면, 타인의 논문을 더욱 쉽게 피어 리뷰할 수 있나요? 그러면, 사용해야 할까요? 챗GPT이나 기타 LLM을 피어 리뷰 도구로 사용하는 것과 관련된 다양한 견해를 살펴보겠습니다.
AI로 생성된 피어 리뷰에 대한 실험적 조사
2021년 Checco 및 그 외 연구자들[1]은 AI가 저널의 원고 평가 과정에서 인간 피어 리뷰어의 대안 역할이 가능한지 여부를 실험으로 조사하고자 AI 도구를 개발했습니다. 그들이 개발한 시스템은 종종 인간 피어 리뷰어와 유사한 결과를 제공했으나, 가독성 및 형식 등 "다소 피상적 기능 세트"에 초점을 두고 있다는 데 주목할 만한 가치가 있습니다. 또한, LLM 및 기타 기계 학습 도구가 과거의 데이터로 훈련되어 편향될 가능성을 발견했는데, 고유한 편향성이 있을 수 있기 때문에 이러한 편향성을 원고 평가 과정에도 반영할 가능성이 있습니다.
GPT3 출시 후 권고 사항
2022년 말, 학계에 GPT3 (가장 흔히 챗GPT이라 말함) 폭풍이 휘몰아치고 난 뒤, Hosseini 및 Horbach(2023)[2]는 출판 과정에서 LLM의 활용 방안을 상세히 탐구했습니다. 그들의 연구 결과는 매우 흥미롭습니다. 다른 한편으로 LLM은 피어 리뷰 견해 요약 및 최초 초안 결정 레터를 작성하는 편리한 도구가 될 수 있습니다. 하지만, 여기서 문제가 있는데, 피어 리뷰 시스템의 기존 문제를 악화시킬 수도 있다는 것입니다. 부정 행위자들은 LLM을 이용하여 더 진실하고, 잘 작성된 거짓 리뷰를 생성할 수 있습니다. 언급할 만한 또 한 가지 사항은 LLM이 아직 초기 개발 단계에 있다는 것입니다. 지금은 처음부터 리뷰를 작성하는 것보다 리뷰 초안 개선에 사용하는 것이 더 적합합니다. 연구자들은 연구 결과를 바탕으로 저널 편집자와 피어 리뷰어에게 원고와 관련된 결정 시 LLM 사용 여부와 사용 방법에 대해 솔직해지라고 강력히 권고합니다. 투명성이 핵심입니다!
피어 리뷰에서 LLM의 단점
Donker(2023)[3]는 란셋 전염병에서 피어 리뷰 생성을 위해 LLM을 사용한 실제 경험을 공유했습니다. 그러면 무엇이 추측되시나요? 결과는 그가 기대한 것과 달랐습니다. AI가 생성한 피어 리뷰 보고서에는 진실한 댓글들이 많은 것처럼 보였지만, 여기에는 반전이 있습니다. 그 댓글들은 리뷰 중인 실제 원고와는 관련성이 전혀 없었습니다. 뿐만 아니라 LLM은 지속해서 인용할 거짓 참조를 생성했습니다. 리뷰는 표면상 전문적이고, 균형 잡힌 것처럼 보였지만, 원고 또는 설명된 연구와 관련된 특정 비판적 내용이 부족했습니다. 여기서 정말 위험한 것은 원고를 정독하지 않은 구독자들은 그게 진짜 리뷰 보고서라고 착각할 수 있다는 점입니다. 설상가상으로, 관련 없는 댓글이 논문 거부 사유로 받아들여질 수도 있습니다! 그는 이런 경험을 통해 피어 리뷰에 LLM의 사용 금지를 강력히 권고했습니다.
그럼, 논문 피어 리뷰를 위해 LLM을 사용해야 하나요?
여러분은 앞서 토론에서 피어 리뷰에서 인간의 노력을 대체하고자 현행 형식의 LLM 사용은 좋은 견해가 아님을 확인하셨을 것입니다. 그럼에도 불구하고 시간과 노력을 덜 할애하고 싶으시다면, 해당 저자와 저널에 문제가 발생하지 않도록 취해야 할 일련의 절차를 따르셔야 합니다.
저널과 출판사에서 LLM을 피어 리뷰어로 사용가능한지 허용 여부를 확인하셔야 합니다. Emerald[4] 등과 같은 출판사는 피어 리뷰를 대신에 AI 도구 사용을 승인하지 않습니다. ICCV 2023[5] 컨퍼런스 프로그램 의장은 피어 리뷰 절차의 일부에서 LLM 사용은 비윤리적이라고 명시적으로 말합니다. ICCV 2023의 모든 리뷰어는 본인이 직접 의견을 반영하고, 보고서의 일체를 AI로 생성되지 않았음을 확인해야 합니다.
저널에서 LLM 사용을 허용 여부가 확인되시면, 가장 먼저 본인이 직접 피어 리뷰 보고서 초안을 100% 일체 작성하셔야 합니다. 원고를 읽고, 강점과 약점에 대한 본인의 견해를 제시하고, 참신함과 중요성에 대한 판단을 내리셔야 합니다.
앞서 초안 작성 후에는 LLM를 피어 리뷰로 제공 가능한지에 여부에 대한 결과를 확인하셔야 합니다. LLM을 보조적 시야로 사용하여, 간과했을 만한 문제를 식별하도록 합니다. 단, 해당 분야 및 과학적 프로세스에 대한 본인의 지식을 기반으로 LLM의 모든 권장 사항을 교차 검증해야 합니다.
경우에 따라 LLM을 사용하여 피어 리뷰 보고서를 감수하거나 요약합니다. LLM은 댓글의 어조를 맞게 수정하는 데 어려움이 있거나 영어 작문 실력에 자신이 없는 경우 유용할 수 있습니다. 단, 최종 결과물을 매우 주의 깊게 정독하고, 의도한 의미가 완벽하고, 정확히 전달하였는지 여부를 반드시 확인해야 합니다.
LLM의 사용 여부와 방법을 저널에 완전히 공개해야 합니다. 이 단계는 투명성을 유지하고 피어 리뷰 절차의 무결성 보호를 위한 핵심입니다. 피어 리뷰 보고서의 모든 견해가 진정으로 본인의 것이며, 그에 대한 책임이 있음을 확인할 필요가 있습니다.
결론
LLM은 바쁜 연구자들에게 매우 효율적이고 생산적인 피어 리뷰어가 되는 지름길과 같습니다! 그러나, 지나친 환호 전에 주의사항도 있습니다. 왜냐면, LLM는 아직 개발 초기 단계에 있기 때문입니다. 윤리적 문제와 인간 판단의 중요성이 여기에서 작용하며, LLMs는 현재와 같이 인간 피어 리뷰어를 복제하지는 못할 것입니다. 하지만, 흥미로운 부분도 있습니다. 향후에 더 새롭고, 정교화 된 LLM이 등장한다고 상상해 보세요. 새로 출시될 LLM은 신뢰할 만한 보조자 역할을 할 것입니다. 그들은 피어 리뷰어가 간과할 만한 부분을 포착하도록 추가적 눈을 제공하여 인간의 전문 지식과 기술을 활용할 수 있습니다. LLM은 곧 기대할 만한 가치가 있습니다!
[1] https://www.nature.com/articles/s41599-020-00703-8
[2] https://researchintegrityjournal.biomedcentral.com/articles/10.1186/s41073-023-00133-5
[3] https://www.thelancet.com/journals/laninf/article/PIIS1473-3099(23)00290-6/fulltext
[5] https://iccv2023.thecvf.com/ethics.for.reviewing.papers-362100-2-16-21.php
