진화하는 AI 상담사… 음담패설하면 '그런 말은 안 돼' 경고

로봇과 교류하는 시간이 점점 더 늘고있다

최근까지지만 해도 사람들은 인공지능 챗봇 비아에게 욕설을 하고 모욕을 줬다. 하지만 그는 그 어떤 욕설을 들어도 친절하게 "못 알아들었습니다. 다시 말씀해주세요"라고 답했다.

하지만 이제 브라질의 브라데스코 은행의 인공지능(AI) 시스템 비아에게 음담패설을 하면 그는 "그런 말은 저나 그 누구에게도 하면 안 됩니다"라고 단호하게 답한다.

아니면 더 강력하게 "당신에게는 농담일지 모르나, 나한테는 폭력입니다"라고 말할 것이다.

지난해 비아는 학대나 성희롱에 해당하는 메시지 9만5000건을 받았다. 이에 브라데스코 은행은 비아의 톤을 바꾸기로 했다.

비아가 받은 성희롱 메시지 중 그나마 수위가 낮은 것이 누드 사진을 보내 달라는 요구였다. 브라데스코 은행 측은 다른 메시지들은 수위가 너무 높아 공개가 어렵다고 밝혔다.

글라우키마르 페티코프 전무는 BBC와 인터뷰에서 "매우 무례한 대화가 오갔다"고 말했다.

"챗방에서 무슨 말이 오갔는지 어떻게 전달할 엄두가 나지 않습니다."

은행 TV 광고에 주체적인 여성이 등장했다

도대체 왜 사람들이 인공지능 챗봇에 음담패설과 성희롱을 하는지 알 수는 없지만, 페티코프 전무는 이런 부적절한 메시지는 "전혀 정당하지 않다"며 그 어떤 이유로도 용납할 수 없는 괴롭힘이라고 강조했다.

이 문제를 해결하기 위해 브라데스코 은행은 비아의 알고리즘을 업데이트했다.

이제 비아는 "덜 고분고분하고 소극적"으로 고객에게 대응한다. 고객을 교육하고 그들의 부적절하고 성차별적 언행을 돌아볼 수 있게 훈련했다.

"현실과 비슷하다"

브라데스코 은행은 이번 업데이트를 대대적으로 홍보했다. TV 광고에는 주체적인 여성의 이야기를 담았다.

다른 브라질 대기업들도 그 뒤를 따를 것을 약속했다.

브라질 유통 대기업인 매거진 루이자의 인공지능인 루는 성희롱에 단호하게 답할 뿐 아니라 가정폭력 피해자를 위한 기능도 더했다. 여성들이 가정 폭력을 티 나지 않게 바로 신고할 수 있는 '패닉 버튼'이 추가됐다.

루는 SNS 인플루언서 반열에 올랐다. SNS에 수백만 명의 팔로워를 거느린 루는 각종 플랫폼에서 젠더 문제에 대해 목소리를 높인다. 물론 인공지능이 아닌 마케팅팀이 그의 콘텐츠와 소통을 관리한다.

다른 기업의 인공지능인 루는 SNS 유명인사다

물론 모든 사람이 인공지능이 성희롱을 당하는 것을 예민하게 받아들이는 것은 아니다. 인격이 있는 실제 사람이 아니라는 이유에서다.

기업의 음성 기반 어시스턴트 보호 캠페인을 벌여온 브라질 유네스코 사회과학 공동 코디네이터인 파비오 이온은 "인간도 아닌 음성 비서 때문에 왜 이렇게 소란을 피우느냐"고 묻는 사람들이 있다고 말했다.

그는 이에 "이 문제가 현실의 문제를 너무 잘 반영하고 있기 때문"이라고 답했다. 이온은 온라인상 혐오 발언과 성희롱은 더 큰 사회적 문제를 시사한다고 설명했다.

브라질에서 지난해에만 여성폭력 신고 10만5000건이 접수됐다. 하지만 실제 수치는 훨씬 더 높을 것으로 보인다.

이온은 디지털 공간과 현실 사회에서 일어나는 일에 인간이 어떻게 행동하고 반응하는지 상관관계를 살펴봐야 한다고 말한다.

"온라인에서 특정 행동이 허락되는 순간, 실제 현실로도 복사됩니다."

유네스코는 디지털 환경에서도 인간의 고정관념이 드러난다고 말한다

2019년 유네스코 보고서는 아마존의 알렉사 같은 인공지능 도우미에게 여성 목소리를 주는 것은 젠더 고정관념을 강화하는 것이라고 비판했다.

이 보고서는 애플의 시리나 알렉사는 "인내심이 많고 종종 성적 발언을 초대한다"며 "성관계나 성관계 동의를 구하는 데 있어 어떻게 건강하게 소통할 수 있는지 제시하거나 알려주는 데 실패했다"고 분석했다.

시리와 알렉사 모두 업데이트됐다. 공격적으로 성희롱 발언을 제지하지는 않지만, 시리는 성적 발언을 하는 사용자에게 "전 답을 하지 않겠습니다"라고 대응한다.

업데이트 전에 시리는 성희롱 발언을 들었을 때 "할 수만 있다면 얼굴을 붉혔을 거야"라고 답했다.

이온 씨는 "현실에서 그런 답을 듣는다면 얼마나 초현실적이겠어요?"라고 물었다.

"습관을 바꿔야 한다"

일각에서는 아마존의 알렉사가 여성 이름과 여성 목소리를 쓰는 것을 비판했다

개선 움직임이 있지만, 인공지능을 만들 때 고정관념은 계속 투영된다고 이온은 경고한다. 그는 인공지능을 설계할 때 성 중립적인 목소리를 사용하는 것도 하나의 방법이라고 말한다.

반면 페티코브는 여성의 목소리를 쓰는 이유는 음성과 변조 때문이라며 소비자들에게 조금 더 편안한 환경을 조성해 주기 위함이라고 설명했다. 브라데스코 은행은 비아를 다른 인공지능 도우미로 바꿀 생각은 없지만, 현존하는 문제를 피하지는 않을 것이라고 말했다.

"하지만 사람들의 습관이 바뀌어야 해요. 이들이 하는 소통은 우리 사회의 모습을 보여줍니다. 이 문제를 발견한 이상, 우리는 이에 대항하기 위해 최선을 다할 것입니다."

'우리 엄마가 상담해 드릴 예정입니다'

콜센터 직원들은 감정노동을 겪는다

회사들은 소비자들이 실제 직원을 괴롭혔을 때 어떻게 대응할지 고민 중이다.

GS 칼텍스는 2017년 감정노동 문제로 고통을 겪는 콜센터 상담원들의 인권보호를 위해 '마음이음 연결음'을 도입했다.

통화 대기 중 "제가 가장 사랑하는 우리 엄마가 상담해 드릴 예정입니다" 등의 메시지를 들려주는 방식이다.

이 캠페인을 만든 애드쿠아 인터랙티브는 캠페인 도입 이후 상담원의 54%가 스트레스를 덜 받는다고 답했다고 밝혔다. 25%는 통화 중 더 존중받는다고 느낀다고 답했다.

GS 칼텍스는 2017년 '마음이음 연결음'을 도입했다

디지털 교육을 다루는 DQ 연구소의 박우현 대표는 교류가 점점 더 비인간적으로 변하고 있다는 것에 사회가 경각심을 느끼고 있다고 분석했다.

"시민들은 서로를 인격적으로 대해야 합니다. 대면 교류가 아닐 때 괴롭힘이라는 문제가 더 쉽게 나타납니다. 인공지능이 등장하기 전부터 겪었던 문제입니다. 아무리 인공지능과 얘기한다고 해도 우린 이 시스템을 함께 구축해나가고 있는 겁니다. 서로 예의를 지키지 않는다면, 파장이 있을 겁니다."

진화하는 AI 상담사… 음담패설하면 '그런 말은 안 돼' 경고 - BBC News 코리아

진화하는 AI 상담사… 음담패설하면 '그런 말은 안 돼' 경고 - BBC News 코리아