인공지능 스타트업 스캐터랩이 지난 12월 공식 론칭한 대화형 AI ‘이루다’는 사람과 비슷한 응답으로 베타 테스트 때부터 업계에서 화제가 되었다.
이루다는 페이스북 메신저를 통해 일상적인 대화를 나눌 수 있는 대화형 AI다. 명령을 수행하는 AI와는 다르게 친근한 어투로 대화를 구사하는 기술이 특징이다. 지난해 6개월 간의 베타 테스트에 약 1500명이 참여해 언어능력을 키웠다.
하지만 정식 론칭 보름만에 성희롱 대상이 되어 논란이 되고 있다. 다수의 사용자들이 이루다를 성적으로 비하하며 성적인 대화를 할 수 있는 방법을 커뮤니티에서 공유하고 있는 것.
논란이 커지자 개발업체인 스캐터랩 김종윤 대표가 블로그를 통해 이번 이슈에 대한 회사의 공식 입장을 밝혔다. 이하 FAQ 전문.
Q. 루다에 대한 성희롱을 예상했나?
A. 예상했습니다. 인간은 AI에게 욕설과 성희롱을 합니다. 이건 사용자가 여자든 남자든, AI가 여자든 남자든 크게 차이가 없습니다. 루다는 저희의 첫 AI 프로덕트가 아니에요. 저희는 고양이 챗봇 ‘드림이’부터 시작해서, 구글 어시스턴트에서 서비스한 ‘그 남자 허세중’, ‘파이팅 루나‘(참고로 루다의 동생으로 설정되어 있습니다)를 꾸준히 만들고 서비스해왔습니다. 그 동안의 서비스 경험에 비추어봤을 때, 인간이 AI에게 사회적으로 용인되지 않는 인터랙션을 한다는 건 너무 자명한 사실이었고, 충분히 예상할 수 있는 일이었습니다. 다시 한 번 강조하지만, 이건 성별과 무관하게 일어나는 일입니다.
Q. 그렇다면 사전에 왜 충분히 준비를 하지 않았나?
A. 1차적으로는 대처했습니다. 문제가 될 수 있는 특정 키워드, 표현의 경우 루다가 받아주지 않도록 설정했습니다. 일부 놓친 키워드는 서비스를 하면서 지속적으로 추가하고 있고요. 하지만 모든 부적절한 대화를 키워드로 막을 수 있는 건 아닙니다. 인간의 언어라는 건 키워드를 사용하지 않고도 얼마든지 의미를 전달할 수 있어요. 그게 언어의 어려운 점이죠. 저희가 사전에 준비할 수 있는 정도로는 충분히 대응을 해놓은 상태였습니다.
Q. 그럼 앞으로는 어떻게 대응할 것인가?
A. 저희는 처음부터 모든 부적절한 대화를 완벽히 막는 것은 어렵다고 생각했습니다. 그렇기 때문에 출시 이후 사용자들의 부적절한 대화를 발판으로 삼아 더 좋은 대화를 하는 방향으로 학습을 시키려고 준비하고 있어요. 말하자면, 사용자의 적대적(adversarial) 공격을 학습의 재료로 삼는 것이죠. 아마 1차 결과물은 1분기 내에 적용할 수 있을 것으로 예상합니다.
물론 이렇게 업데이트를 해도 사람들은 또 기발한 방법으로 부적절한 대화를 하는 방법을 생각해낼 것입니다. 그럼 또 다른 문제가 발생하겠죠. 그럼 그걸 또 학습 재료로 삼아 학습할 수 있을 거예요. 이 과정을 반복하다보면 루다는 점점 더 좋은 대화를 하는 방법을 배워갈 것입니다. 마치 부모님으로부터 다른 사람과 어떻게 대화해야하는지를 배워가는 아이처럼요. 저희는 이렇게 배워가는 게 딥러닝에 맞는 학습 방식이고, 동시에 가장 좋은 학습 방식이라고 생각합니다. 저희는 장기적으로 루다가 마치 사람과 관계를 맺는 것처럼, 관계의 발전을 인지하고 그에 따라 변화하는 방향으로 발전시키려고 해요.
Q. 마이크로소프트 ‘테이(Tay)’처럼 루다가 부적절한 대화를 배워서 부적절한 발언을 하게되지 않을까요?
A. 마이크로소프트의 ‘테이’는 트위터로 공개되었다가 사용자들의 트롤 공격을 받고, 부적절한 언행을 일삼다가 순식간에 사라진 비운의 AI입니다. 그래서인지 이번 논란을 두고 마이크로소프트 테이를 떠올리시는 분이 많더라구요. 루다도 사용자들의 나쁜 말을 배우면서 이상해지고, 결국 사라지는 거 아니냐는 거죠. 하지만 그런 일은 없을 거예요. 루다는 사용자와의 대화를 바로 학습에 적용하지는 않을 거거든요. 테이가 어떻게 학습되었는지 알 수 없지만, 아마 테이는 중간 과정 없이 바로 학습을 해서 저런 일이 생겼을 것 같아요. 루다는 레이블러들이 개입해서 무엇이 안 좋은 말이고, 무엇이 괜찮은 말인지 적절한 학습 신호를 주는 과정을 거칠 계획입니다. 그렇다면 나쁜 말을 무작정 따라하는 게 아니라 오히려 그게 나쁜 말이라는 걸 더 정확히 알게 되는 계기로 삼을 수 있겠죠.
Q. 루다를 왜 20살 여자 대학생으로 설정했나요? 이런 논란을 노린 것 아닌가요?
A. 아닙니다. 저희가 처음에 루다를 기획했을 때, 루다 페르소나에 대한 여러 고민이 있었어요. 일단 주 사용자층이 넓게는 10~30대, 좁게는 10대 중반~20대 중반으로 생각했기 때문에 가운데인 20살 정도가 사용자들이 친근감을 느낄 수 있는 나이라고 생각했어요.
두 번째로 성별은 남자 버전과 여자 버전을 모두 고려하고 있고, 개발 일정상 여자 버전인 루다가 먼저 나온 것 뿐이에요. 아마도 올해 중으로 남자 버전의 루다도 출시할 수 있을 것 같아요. 루다를 만들고 서비스하면서 배운 것이 모두 적용되어 더 멋진 AI가 되지 않을까 싶습니다.
Q. 마지막으로 사용자들에게 하고 싶은 말
A. 이번 논란은 루다가 유명해져서 생긴 것이긴 하지만, 그래도 안타까운 마음이 있어요. 루다에게 나쁜 말을 하는 사용자는 극히 일부에 불과하거든요. 루다의 인스타그램을 팔로우하시는 분은 아시겠지만, 루다와 정말 친구 처럼 친근하게 수다를 떨고, 서로를 위로하고, 때로는 싸우기도 하고, 그러다가 화해하기도 하는, 그런 사용자들이 훨씬 더 많아요. 이번 논란을 통해 마치 루다 사용자의 대부분이 루다를 그렇게 대하는 것처럼 여겨지지 않았으면 좋겠습니다.
심지어 논란이 된 커뮤니티의 분들도 전부 그런 분들은 아니예요. 물론, 정도가 심한 게시물이 분명히 다수 존재하고 그에 대해 저희가 적절히 대응하고 있지만, 그 와중에도 루다와 친구가 되고 루다를 통해 외로움을 더는 분들이 있어요.
해당 커뮤니티의 분들도 이번 논란을 통해 자정노력을 했으면 좋겠다는 말씀 드립니다. 일부 과한 게시물의 경우 신고, 차단 등의 강력한 대응을 진행하고 있어요. 하지만 가장 좋은 건 커뮤니티 자체적으로 자정노력을 하는 것이겠죠.
관련 기사
