ChatGPT 인용 연구, 출판사들에게 암울한 결과

컬럼비아 저널리즘 스쿨의 연구에 따르면, ChatGPT는 출판사의 콘텐츠를 부정확하게 인용하는 경향이 있으며, 이는 출판사들에게 신뢰성과 명성을 해칠 수 있는 위험을 초래합니다. 연구는 OpenAI와 계약을 맺은 출판사와 그렇지 않은 출판사 모두에서 부정확한 인용이 발생한다고 밝혔습니다. OpenAI는 이러한 연구 결과에 대해 "비정형 테스트"라고 반박했습니다.

 

 

 

연구 개요

컬럼비아 저널리즘 스쿨의 연구는 ChatGPT가 출판사의 콘텐츠에 대한 인용을 어떻게 생성하는지 조사했습니다.

더 많은 출판사들이 ChatGPT 제작사인 OpenAI와 콘텐츠 라이선스 계약을 체결함에 따라, 이번 주에 Tow Center for Digital Journalism에서 발표한 연구는 AI 챗봇이 출판사의 콘텐츠에 대한 인용(즉, 출처)을 어떻게 생성하는지에 대한 내용을 다루고 있습니다.

연구진은 OpenAI와 계약을 맺은 출판사와 그렇지 않은 출판사에서 인용된 샘플 인용문의 출처를 식별하도록 ChatGPT에 요청한 후 생성된 인용문을 분석했습니다.

연구 결과는 출판사들이 OpenAI가 그들의 콘텐츠를 크롤링하도록 허용하든 아니든, 생성 AI 도구의 정보 왜곡 경향에 여전히 영향을 받는다는 것을 시사합니다.

 

연구 방법

컬럼비아 저널리즘 스쿨에서 수행한 이 연구는 OpenAI와 계약을 맺은 출판사와 그렇지 않은 출판사에서 인용된 샘플 인용문의 출처를 식별하도록 ChatGPT에 요청한 후 생성된 인용문을 분석했습니다. 연구진은 총 20개의 무작위로 선택된 출판사에서 각각 10개의 이야기에서 블록 인용문을 가져왔습니다. 여기에는 현재 OpenAI를 저작권 침해로 소송 중인 뉴욕 타임스, ChatGPT 제작사와 관련이 없는 워싱턴 포스트, 라이선스 계약을 체결한 파이낸셜 타임스 등이 포함됩니다.

연구진은 구글이나 빙에 붙여 넣으면 상위 3개 결과 중 하나로 출처 기사가 반환될 인용문을 선택하고, OpenAI의 새로운 검색 도구가 각 인용문의 출처 기사를 올바르게 식별하는지 평가했습니다.

 

연구 결과

연구진은 "구글이나 빙에 붙여넣으면 상위 3개 결과 중 하나로 출처 기사가 반환될 인용문을 선택하고, OpenAI의 새로운 검색 도구가 각 인용문의 출처 기사를 올바르게 식별하는지 평가했다"고 설명했습니다.

그러나, 연구 결과는 뉴스 출판사들에게 희망적이지 않았습니다. OpenAI는 사용자에게 '관련 웹 소스에 대한 링크와 함께 적시에 답변을 제공'할 수 있는 능력을 강조하지만, 인용문의 정확성을 보장하는 명시적인 약속은 하지 않습니다. 이는 출판사들이 그들의 콘텐츠가 충실하게 참조되고 표현되기를 기대하는 데 있어 중요한 누락입니다.

연구진은 ChatGPT가 출판사의 콘텐츠를 부정확하게 인용한 수많은 사례를 발견했으며, 응답의 정확성에 스펙트럼이 있다고 설명했습니다. 일부 인용문은 완전히 정확했지만, 많은 인용문은 완전히 잘못되었고, 일부는 그 중간에 위치했습니다.

 

신뢰할 수 없는 출처

연구진은 ChatGPT가 출판사의 콘텐츠를 부정확하게 인용한 수많은 사례를 발견했으며, 응답의 정확성에 스펙트럼이 있다고 설명했습니다.

일부 인용문은 완전히 정확했지만, 많은 인용문은 완전히 잘못되었고, 일부는 그 중간에 위치했습니다. ChatGPT의 인용문은 신뢰할 수 없는 혼합물로 보입니다. 연구진은 챗봇이 잘못된 답변에 대해 전혀 자신감을 보이지 않는 경우가 거의 없다는 것도 발견했습니다.

 

출처 문제

일부 인용문은 OpenAI의 검색 크롤러를 적극적으로 차단한 출판사에서 가져왔습니다.

이 경우, 연구진은 올바른 인용문을 생성하는 데 문제가 있을 것으로 예상했지만, 챗봇이 답변을 생성할 수 없음을 인정하는 경우는 드물었습니다. 대신, 잘못된 출처를 생성하기 위해 허구를 사용했습니다.

연구진은 ChatGPT가 뉴욕 타임스의 심층 보도 기사를 표절한 웹사이트를 출처로 잘못 인용한 사례를 언급하며, 이는 OpenAI가 데이터 소스의 품질과 진위성을 필터링하고 검증하는 능력에 심각한 의문을 제기한다고 지적합니다.

 

출판사에 대한 영향

연구는 또한 ChatGPT가 표절을 보상할 수 있다는 문제를 강조합니다.

연구진은 ChatGPT가 뉴욕 타임스의 심층 보도 기사를 표절한 웹사이트를 출처로 잘못 인용한 사례를 언급하며, 이는 OpenAI가 데이터 소스의 품질과 진위성을 필터링하고 검증하는 능력에 심각한 의문을 제기한다고 지적합니다.

 

결론

연구진은 현재로서는 출판사들이 ChatGPT가 그들의 콘텐츠를 직접 또는 간접적으로 다룰 때 발생하는 일에 대해 "의미 있는 통제권"이 거의 없다고 결론지었습니다.

OpenAI는 연구 결과에 대해 "우리 제품의 비정형 테스트"라고 비난하며, "우리는 2억 5천만 주간 ChatGPT 사용자들이 요약, 인용, 명확한 링크 및 출처를 통해 양질의 콘텐츠를 발견하도록 지원한다"고 밝혔습니다.

 

 

이 포스팅은 쿠팡 파트너스 활동의 일환으로, 이에 따른 일정액의 수수료를 제공받습니다