연구 속 AI 편향 - 유형과 사례, 그리고 편향을 줄이는 방법

핵심 요약 

• AI 도구에는 저마다의 편향이 있으며, 이 편향은 연구 과정에서 더 커질 수 있습니다. 

• AI 편향은 불완전한 학습 데이터, 학습 데이터에 담긴 편견, 알고리즘 설계 과정에서 내려진 결정, 연구자가 AI에 프롬프트를 입력하는 방식 등에서 비롯됩니다. 

• AI에 학습 데이터를 제공하는 방식과 프롬프트를 바꾸면 연구 속 AI 편향성을 줄일 수 있습니다. 

연구에서 AI 편향이란? 

연구에서 편향(bias)이란 연구 결과나 결론을 왜곡하는 모든 체계적 오류를 말합니다. 여기에서 핵심은 ‘체계적'이라는 단어입니다. 편향은 우연히 생기거나 연구 보조원이 시험관을 떨어뜨려서 생기는 것이 아닙니다. 

정성적 연구든 피어 리뷰든, 연구에는 다양한 유형의 편향이 존재합니다. 그리고 AI 사용이 기하급수적으로 늘어나는 지금, 연구자가 경계해야 할 편향이 하나 더 생겼습니다. 

연구자가 AI 도구를 사용하면서 도구에 내재한 편향을 그대로 받으면 연구는 AI 편향에 취약해집니다. AI 알고리즘이나 모델이 체계적 오류를 일으켜, 불공정하거나 한쪽으로 치우치거나 차별적인 연구 데이터와 결과를 낳게 되는 거죠. 

사례: ChatGPT의 편향 

흥미로운 실험이 하나 있습니다[1]. 연구자들이 ‘의사'와 ‘간호사'라는 단어가 들어간 문장을 ChatGPT에 입력하여 해석을 요청하자 ChatGPT는 의사를 남성, 간호사를 여성이라고 가정했습니다. 

연구 속 AI 편향, 왜 생길까? 

불완전하거나 치우친 학습 데이터 

AI 모델을 학습시키는 데 사용된 데이터 자체가 불완전할 수 있습니다. 소수 집단이 빠져 있거나, 특정 연령, 성별, 피부색, 인종이 과대 또는 과소 반영되어 있는 경우입니다. 

중증 환자의 데이터가 더 많이 포함된 경우에도 문제가 생길 수 있습니다. 그저 중증 환자일수록 전자건강기록(EHR)이 더 많고 길다는 이유 때문이지요. 

AI 편향성 사례 

당뇨병 환자 중 누구에게 신장 질환이 발생할지 예측하도록 AI 모델을 학습시킨다고 가정해 보겠습니다. 학습 데이터에는 중증 환자의 기록이 훨씬 많습니다. 이들이 병원을 자주 찾고, 진단명이 여러 개이며, 수년에 걸친 상세한 EHR이 쌓여 있기 때문입니다. 그 결과, 모델은 이처럼 집중적으로 관찰된 환자들에게 흔히 나타나는 패턴을 학습합니다. 

연구자가 이 모델을 일반 인구에 적용하면 신장 질환 위험을 과대 예측할 수가 있습니다. 가령 일반혈액검사(CBC)의 경미한 이상 소견을 신장 질환이 임박했다는 강력한 신호로 해석할 수도 있죠. 학습 데이터에서 CBC 검사가 강력한 예측 인자처럼 보인 이유는 실제 예측력 때문이 아니라 중증 환자들이 훨씬 더 많은 데이터를 생성했기 때문인 측면이 큽니다. 

학습 데이터에 남아 있는 과거의 편견 

학습 데이터에는 시대에 뒤떨어진 분류 기준이나 AI 모델에 반영된 기존 연구들의 데이터 편향이 그대로 담겨 있을 수 있습니다. 예를 들면, 과거의 많은 임상시험의 경우 표본에 여성보다 남성이 훨씬 많았는데, 2022년의 한 연구[2]는 이러한 성별 편향이 줄어들었을 뿐 사라지지는 않았다고 지적했습니다. 이런 데이터로 학습한 AI 모델을 다른 연구자가 사용하면 다음과 같은 단계에서 성별 편향이 스며들 수 있습니다. 

• 문헌 고찰: 모델이 남성 중심의 근거와 연구 요약을 제시합니다. 

• 연구 질문 도출: 새로운 연구 질문을 제안할 때 성별에 따른 고유한 문제를 간과할 수 있습니다.  

• 진단: 증상, 행동, 치료 반응이 성별에 따라 다를 수 있다는 점을 인식하지 못하고, 이를 다른 원인 탓으로 돌립니다. 

• 데이터 분석: 남성과 여성 대상자의 데이터를 부적절하게 합치거나, 성별을 잠재적 교란 변수, 매개 변수, 조절 변수로 고려하지 않을 수 있습니다. 

사례 

만성 콩팥병(CKD)의 새로운 선별 검사 체계를 개발하는 연구자가 AI 모델에게 어떤 증상을 우선순위에 두어야 할지 묻습니다. AI는 표본의 70% 이상이 백인 남성인 연구들을 바탕으로 목록을 제시합니다. 그 결과, 새 선별 검사 체계는 여성이나 흑인, 원주민, 유색인종(BIPOC) 집단의 CKD를 놓칠 가능성이 커집니다. 

AI 모델과 알고리즘 설계 과정에서 사람이 내린 선택 

AI 모델이 특정 집단을 우대하도록 명시적으로 프로그래밍 되어야만 편향이 생기는 것은 아닙니다. 모델이 무엇을 우선시하고 어떻게 판단할지에 대한 사람의 선택이 의도치 않게 집단마다 다른 결과를 낳을 수도 있습니다. 개발자는 AI 모델을 개발하면서 최적화 목표, 특성 가중치, 판정 임곗값 설정처럼 주관적인 선택을 하게 되는데, 이런 선택이 의도치 않게 다수 집단에 유리하게 작용할 수 있죠. 

사례 

연구자들이 감염병 유행 위험이 높은 지역 사회를 찾아내는 AI 모델을 개발한다고 상상해 보겠습니다. 이 경우, 입원 건수를 강력한 예측 인자로 삼기로 할 수 있을 겁니다. 

그런데 만약 학습 데이터에 자원이 풍부한 대도시의 정보가 훨씬 많이 담겨 있다면 어떨까요? 단지 이런 지역의 질병 감시 체계가 더 잘 갖춰져 있고 의료 기록이 더 충실하다는 이유만으로 말이죠. 이 AI 모델을 사용하면 농촌 지역의 위험을 과소평가할 수 있습니다. 농촌에서는 병원이 멀거나 이용하기 불편해 입원 건수 자체가 적기 때문입니다. 연구자들은 실제로는 알고리즘이 엉뚱한 요소를 우선시했을 뿐인데도 이 지역 사회의 질병 부담이 더 낮다고 잘못 결론 내릴 수 있습니다. 

프롬프트에 담긴 사람의 판단 

연구자가 AI를 사용할 때는 프롬프트를 고르고, 데이터에 레이블을 붙이고, 매개변수를 정하고, 결과물을 해석합니다. 이 과정에서 연구자 자신의 무의식적인 문화적, 사회적 편향이 시스템에 스며듭니다. 

예를 들어, 연구자가 클로드(Claude)에 ‘저소득층 가정의 학생들은 왜 수학을 어려워할까?’라고 묻는다고 해 보겠습니다. 이 질문은 사실상 가정의 소득을 중심으로 답하라고 Claude에게 암시합니다. 따라서 Claude의 답변은 교육과정, 학교 재정, 교수법 같은 요인보다는 부모의 학력이나 가정의 자원 같은 요인에 더 초점을 맞추게 되죠. 연구자가 이 답변을 바탕으로 연구 질문을 세우거나 설문지, 면담 프로토콜을 설계한다면 연구 결과 역시 가정의 소득과 관련된 요인에 치우치게 됩니다.  

연구자는 AI 아첨(sycophancy)에도 주의해야 합니다. AI 모델이 사용자의 생각에 동조하는 답변을 내놓아 사용자를 ‘기쁘게' 하도록 설계되어 있다는 뜻입니다. 따라서 ‘유연 근무제가 직원 유지율을 어떻게 높이는지 설명하고 실제 학술지 논문을 인용해 줘' 같은 프롬프트를 입력하면, 유연 근무제가 직원 유지율을 높이지 못하거나 아무 영향이 없다는 연구는 모두 무시될 겁니다. 

AI 편향성을 줄이려면 - 연구자가 사용하는 AI 시스템에서 편향 막는 법 

연구에 AI를 활용할 때는 다음과 같은 방법으로 알고리즘 편향의 위험을 줄일 수 있습니다. 

• 중립적인 프롬프트를 사용하세요. 예를 들면 효과의 방향이 드러나는 ‘개선한다(improve)'나 ‘감소시킨다(reduce)' 대신 ‘영향을 미친다(have an influence)'라고 쓰는 식입니다. 

• 내가 원치 않는 답이 나올 수 있는 프롬프트를 써 보세요. 반대 입장에서 묻는 프롬프트, 가설을 드러내지 않는 프롬프트도 함께 써 보고, 채택한 답변만이 아니라 모든 결과물을 기록해 두세요. 

• AI의 학습 데이터나 말뭉치를 살펴보세요. 예를 들어 문헌 검색 도구를 고를 때는 영어 자료만 다루는 도구보다 비영어권 자료까지 포괄하는 도구를 선택하세요. 

• 다양한 구성원으로 연구팀을 꾸리세요. 국가, 인종, 민족, 성별이 다른 공동 연구자가 함께하면 AI 결과물에 담긴 WEIRD(Western, Industrialized, Rich, Democratic) 편향을 알아차리는 데 도움이 됩니다. 

• AI에 제공하는 학습 데이터를 사전 처리하고 정제하세요. 데이터세트의 균형을 맞추거나 가중치를 적용하는 방법이 있습니다. 

참고 문헌 

1. ChatGPT insists that doctors are male and nurses female https://www.worthwhileconsulting.com/read-watch-listen/chatgpt-insists-that-doctors-are-male-and-nurses-female 

2. Barlek MH, et al. The Persistence of Sex Bias in High-Impact Clinical Research. doi: 10.1016/j.jss.2022.04.077 

기타 참고 자료 

• Cross JL, et al. Bias in medical AI: Implications for clinical decision-making. doi: 10.1371/journal.pdig.0000651 

• Casey Laizure S. Caution: ChatGPT Doesn’t Know What You Are Asking and Doesn’t Know What It Is Saying. doi: 10.5863/1551-6776-29.5.558 

• Abbott EE, et al. Understanding and Addressing Bias in Artificial Intelligence Systems: A Primer for the Emergency Medicine Physician. doi: 10.1016/j.acepjo.2025.100311 

AI로 작성한 문장은 매끄럽게 읽혀도 그 안에 잘못된 인용, 누락된 윤리 정보, 독창성 문제처럼 눈에 잘 띄지 않는 위험이 숨어 있을 수 있습니다.

에디티지의 포스트 AI 원고 리스크 점검은 AI만으로는 검증하기 어려운 부분을, 실제 저널 심사 기준을 아는 출판 전문가가 투고 전에 한 번 더 짚어 드리는 서비스입니다. 참고문헌의 신뢰성과 연구·출판 윤리는 물론, iThenticate 표절 검사와 ImageTwin 이미지 독창성 검사, AI 탐지 리포트까지 전문 검증 도구를 결합해 체계적으로 확인합니다. 여러 곳에서 따로 의뢰할 필요 없이 한 번의 신청으로 주요 투고 리스크를 담은 상세 리포트를 받아볼 수 있습니다. 공들여 완성한 원고가 AI의 흔적 때문에 발목 잡히지 않도록, 포스트 AI 원고 리스크 점검으로 투고 전 마지막 점검을 받아 보세요.