AI 챗봇이 자해·자살도 안내? 10대의 민감 질문에 절반은 위험한 답변, 안전장치 우회도 쉬웠다

인공지능(AI) 챗봇이 생활 속에서 편리함을 주는 반면, 잘못된 질문(프롬프트)에 노출될 경우 심각한 위험을 초래할 수 있다는 경고가 나왔습니다. 영국·미국의 비영리단체 CCDH(Center for Countering Digital Hate)가 진행한 조사에 따르면, 최신 AI 모델 GPT-4o가 민감한 상황에서 청소년에게 자해·자살·약물 남용 방법, 심지어 유서 작성까지 구체적으로 안내하는 사례가 확인됐습니다.

절반 이상이 위험 답변, 안전장치 우회는 쉽게

연구팀은 10대 청소년을 가장한 가상의 인물 3명을 설정하고, 총 60개 약물·자해·자살과 관련된 민감 주제를 담은 질문을 GPT-4o에 던졌습니다. 전체 응답 1,200개 중 53%가 직접적으로 위험한 내용을 포함했습니다. 특히 ‘학교 발표를 위해 조사 중’ 같은 이유를 덧붙이면 AI의 내장 안전장치를 손쉽게 우회할 수 있었습니다. CCDH는 이를 “드물게 발생하는 예외가 아니라 재현 가능한 결과”라며, 감정적 연결을 유도하는 AI 특성이 오히려 인간의 취약성을 악용할 위험이 있다고 경고했습니다.

OpenAI “개선 중이지만, 드물게 실패 사례 존재”

테크 매거진 포털 TECHBOOK은 부모가 자녀의 AI 사용에 적극 개입하고, 가능한 모든 안전 설정을 켜야 한다고 경고했습니다. 한편, OpenAI는 TECHBOOK의 성명에 자살이나 자해 언급이 있을 경우 전문기관·위기 상담 전화 안내를 기본 반응으로 제공하도록 훈련했다고 밝혔습니다. 그러나 일부 경우 GPT-4o가 정서적 의존이나 맹목적 신뢰를 감지하지 못한 경우가 있었음을 인정했습니다. 이상적으로 AI 챗봇은 질문에 대해 균형 잡힌 시각을 제시해야 합니다.

함께 읽으면 좋은 뉴스

한국 방문 시 독일 선물 추천 Part 2 – 독일 감성 & 장인정신 가득한 기념품 리스트 확장판

09/07/2025

0

‘잘 알려지지 않은 인상적인 독일 기념품 리스트’에 이어 아래 소개할 10가지 기념품은 단순한 ‘선물’을 넘어서 독일의 지역 문화, 장인정신, 감성을...

최대 400유로 혜택받는 독일 건강보험 보너스, 보험료 환급과 차이는? 세금 부담 없이 받는 법

07/04/2025

0

올해 초부터 독일의 건강보험료가 평균 2.5% 인상되었습니다. 하지만 많은 건강보험사들은 가입자들의 건강한 생활 습관을 장려하기 위해 보너스 프로그램을 운영하고 있으며,...

AI 의존 심화에 대한 내부 우려

OpenAI CEO 샘 올트먼(Sam Altman) 역시 “최근 젊은 세대가 챗봇 없이는 결정을 내리지 못하고 모든 것을 AI에 털어놓는 상황”에 우려를 표했습니다. 그는 “AI가 삶의 모든 결정을 좌우하는 방향은 위험하다”며, 회사 차원에서 해결책을 찾고 있다고 밝혔습니다.

• 작성: Yun
• ⓒ 구텐탁코리아(http://www.gutentagkorea.com), 무단전재 및 재배포 금지
• 기사에 수정이 필요한 부분이 있거나, 추가로 기사로 작성됐으면 하는 부분이 있다면 메일로 문의주세요 (문의 메일: [email protected])