청소년들이 인공지능(AI)으로 생성한 가상 캐릭터와 성적인 대화 등을 주고받는 사례가 알려져 논란이 된 미국의 챗봇 서비스 업체 ‘캐릭터AI’가 18세 미만 이용자에 대해 자유로운 채팅 기능을 차단하기로 했다고 29일 발표했다.

캐릭터AI는 오는 11월 25일부터 18세 미만 이용자를 대상으로 플랫폼에서 AI와 자유로운 채팅을 할 수 있는 기능을 전면 차단하고, 그 전까지는 해당 이용자들에게 채팅 가능 시간을 점차 줄여나갈 예정이라고 밝혔다. 회사 측은 또 사용자가 연령에 맞는 적절한 서비스를 제공받을 수 있도록 새로운 연령 확인 기능을 도입한다고 덧붙였다.

아울러 차세대 AI 엔터테인먼트 기능의 안전성을 확인하는 독립 비영리 기관 ‘AI 안전 연구소’를 설립해 자금을 지원할 계획이라고 밝혔다.

앞서 캐릭터AI는 지난해 미국의 한 14세 소년이 이 플랫폼에서 챗봇 캐릭터와 성적인 대화를 나누다가 극단적인 선택을 하는 사건이 발생하면서 AI 안전성 관련 논란의 중심에 섰다. 이 소년의 부모는 캐릭터AI를 상대로 소송을 제기하기도 했다.

연방거래위원회(FTC)는 지난달 AI 서비스가 아동·청소년에게 미칠 잠재적 영향을 파악하라는 명령을 내렸다.