OpenAI의 봇, 작은 회사의 웹사이트를 마치 DDoS 공격처럼 무너뜨리다

Triplegangers의 CEO Oleksandr Tomchuk는 자사의 전자 상거래 사이트가 OpenAI의 봇으로 인해 사실상 DDoS 공격을 받은 것처럼 다운되었다고 밝혔습니다. 로봇.txt 파일을 통해 사이트 보호의 중요성을 강조합니다.

 

 

 

OpenAI 봇, 작은 회사의 웹사이트를 DDoS 공격처럼 무너뜨리다

토요일, Triplegangers의 CEO Oleksandr Tomchuk은 자사의 전자 상거래 사이트가 다운되었다는 경고를 받았습니다. 이는 마치 DDoS(분산 서비스 거부) 공격처럼 보였으며, 굉장한 혼란을 일으켰습니다.

 

공격의 정체는 OpenAI의 봇

Tomchuk은 곧 범인이 OpenAI의 봇이라는 것을 발견했습니다. 이 봇은 그의 방대한 사이트 전체를 끊임없이 스크랩하려고 시도하고 있었습니다. "우리는 65,000개 이상의 제품을 가지고 있으며, 각 제품에는 페이지가 있습니다. 그리고, 각 페이지는 최소 세 장의 사진을 포함하고 있습니다."라고 말했습니다.

 

대규모 서버 요청의 피해

OpenAI는 수만 건의 서버 요청을 보내 모든 사진과 상세한 설명을 포함한 수십만 장의 사진을 다운로드하려고 했습니다. "OpenAI는 600개의 IP를 사용해 데이터를 스크랩했고, 우리는 여전히 지난주 로그를 분석 중입니다. 어쩌면 훨씬 더 많을 수도 있습니다,"라고 그는 말했습니다. 결국, 이는 사실상의 DDoS 공격이 되었습니다.

 

Triplegangers의 사업과 손실

Triplegangers의 웹사이트는 그들의 핵심 사업입니다. 7명의 직원으로 구성된 회사는 웹상의 "인간 디지털 더블"의 가장 큰 데이터베이스를 보유하고 있으며, 실제 인간 모델을 스캔한 3D 이미지 파일을 판매합니다. 이들은 3D 객체 파일과 사진 — 손, 머리카락, 피부, 전신까지 포함하여 — 을 3D 아티스트와 비디오 게임 제작자 등에게 판매합니다.

 

로봇.txt 파일의 중요성

Tomchuk의 팀은 이용 약관 페이지에서 허가 없이 이미지를 가져가는 봇들을 금지하고 있지만, 이는 충분치 않았습니다. 웹사이트는 로봇.txt 파일을 통해 OpenAI의 봇, GPTBot에게 사이트를 떠나라는 구체적인 태그를 제대로 구성해야 합니다. Tomchuk는 "웹사이트가 로봇.txt를 제대로 사용하지 않으면, OpenAI와 다른 봇들은 원하는 만큼 스크랩한다고 생각합니다."라고 말했습니다.

 

피해 회복과 예방 조치

수요일까지, Tomchuk는 OpenAI의 봇이 다시 돌아온 후 로봇.txt 파일을 제대로 구성하고, Cloudflare 계정을 설정하여 GPTBot과 다른 여러 봇을 차단했습니다. 그러나, Tomchuk는 OpenAI가 실제로 무엇을 가져갔는지 알 수 있는 합리적인 방법이 없다고 밝혔습니다. 그는 유사한 피해를 입지 않도록 다른 온라인 소규모 기업들에게 주의할 것을 당부했습니다.

 

 

이 포스팅은 쿠팡 파트너스 활동의 일환으로, 이에 따른 일정액의 수수료를 제공받습니다