인공지능 스타트업 스캐터랩이 론칭한 대화형 AI ‘이루다’는 페이스북 메신저를 통해 일상적인 대화를 나눌 수 있는 대화형 AI다. 명령을 수행하는 AI와는 다르게 친근한 어투로 대화를 구사하는 기술이 특징이다. 출시된 지 2주 간 75만명에 가까운 이용자들이 이 인공지능 AI와 대화를 나눴다.
하지만 정식 출시 2주가 채 되지 않아 이 대화형 AI는 성희롱 대상이 되었다. 성적으로 비하하며 성적인 대화를 할 수 있는 방법이 커뮤니티에서 공유되는 현상이 발생한 것이다.
이를두고 각계의 의견이 개진되는 상황이다.
우선 AI의 윤리규칙, 기술의 사회적 가치에 대한 지적이다. 특히 윤리적 문제가 예견된 상황임에도 개발사가 사전에 방지를 제대로 못 했다는 것이다. 이재웅 쏘카 전 대표는 “성적 악용도 20세 여성 캐릭터로 정하는 순간 일어날 수밖에 없는 문제였다”며 “범용 서비스를 하면서 나이와 젠더를 정한 것부터 바람직하지 않았다”고 말했다.
반대로는 AI가 문제가 아니라 이용자의 악용 행태가 근본적 문제라는 의견도 있었다. AI 윤리의 최종 책임은 개발사에 있는 게 아니라 그걸 쓰는 사람에게 있다는 것이다. 남궁훈 카카오게임즈 대표는 “반성을 해야 한다면 AI가 반성해야 하는 것이 아니라 현 사회가 반성을 해야 하는 것”이라며 “물론 선생님, 상담사와 같은 캐릭터가 이루다와 같은 대답을 하면 안 될 일이지만 이루다는 1020의 대화를 통해 학습된 하나의 캐릭터일 뿐이다. 모처럼 일어난 AI에 대한 사회의 관심을 긍정적인 방향으로 이끌어내야 한다”고 강조했다.
개발사가 개인정보 제공 동의를 받지 않았다는 지적까지 이어지며 논란이 이어지자 스캐터랩은 11일 밤 이번 이슈에 대한 회사의 공식 입장을 밝혔다.
스캐터랩측은 입장문을 통해 “일부 혐오와 차별에 대한 대화 사례 및 개인정보 활용에 대해 충분히 소통하지 못한 점에 대해 진심으로 사과한다”며 “출시 후 그동안 받은 다양한 의견을 반영해 부족한 점을 집중적으로 보완할 수 있도록 서비스 개선 기간을 거쳐 다시 찾아올 계획”이라고 밝혔다.
미디어 Q&A (2021년1월 12일 시점)
Q1 이루다 서비스 중단 시점은 언제이며, 얼마만큼의 중단 기간을 가지는지?
-
중단 시점: 오늘(1월 12일) 오전 11시부터 순차적으로 중단, 오후 6시까지 전면 중단 완료
-
중단 기간: 현재 제기되고 있는 문제점들과 기존에 계획중이던 개선사항이 완비될까지 서비스 운영을 중단
Q2 연애의 과학 데이터를 기반으로 이루다가 학습한 것이 맞나?
이루다의 경우, 핑퐁 데이터베이스를 통해 프리트레이닝 단계를 거쳤고, 이 단계는 연애의 과학 텍스트 데이터를 기반으로 학습이 진행됐습니다. 그러나 이 때 사용되는 데이터는 발화자의 이름 등 개인 정보가 삭제된 상태로, 발화자의 정보는 성별과 나이만 인식이 가능합니다. AI는 프리트레이닝 단계에서 사람간의 대화 속에 존재하는 맥락과 답변의 상관관계만을 학습하게 되며, 이 때의 데이터는 외부로 노출되지 않습니다.
이루다 서비스의 경우, 회원 정보와 연계되어 있지 않은 별도의 DB에 수록되어 있는 문장으로 이용자에게 응답하고 있습니다. DB는 1억개의 개별적이고 독립적인 문장들로 구성되어 있어, DB의 문장들을 조합하여 개인을 특정하는 것은 불가능합니다. 이루다는 이전 대화의 컨텍스트에 영향을 받아 개별 문장들 중 답변을 선택하게 되는데, 이 때 사용자가 과거 10턴의 대화에서 사용한 표현, 분위기, 말투를 비롯한 대화의 맥락에 크게 영향을 받습니다. 이 때문에 사용자는 이루다가 개별화된 대답을 하고 있다고 느낄 수 있습니다.
연애의 과학 사용자 데이터는 사용자의 사전 동의가 이루어진 개인정보취급방침의 범위 내에서 활용하였으나, 연애의 과학 사용자분들 중 AI 학습에 데이터가 활용되기 원치 않으시는 분들은 DB 삭제와 함께 앞으로 이루다의 DB에 활용되지 않도록 추가 조치를 진행할 예정입니다.
Q3 개인정보보호를 위한 비식별화 조치들이 어떤 것들이 있었나?, 향후 추가적으로 어떻게 조치할 예정인가?
이루다는 DB에 수록되어 있는 문장에서 적절한 답변을 선택하여 응답하고 있습니다. 해당 DB에는 1억개의 문장이 개별적이고 독립적인 형태로 저장되어 있고, 이루다는 AI 알고리즘에 따라 가장 적절하다고 판단하는 문장을 선택하여 답변하도록 설계되어 있기 때문에, 루다의 답변 내용을 조합하여 개인을 특정할 수는 없습니다.
개별 문장 단위의 대화 내용에서는 알고리즘에 의하여 비식별화 조치를 하였습니다. 숫자와 영문, 실명 정보 등은 아래와 같이 기계적인 필터링을 거쳐 삭제하였기 때문에 이루다의 최초 출시 당시부터 모두 삭제가 된 상태였습니다.
출시 이전에 개인정보보호를 위해 그동한 취한 비식별화 조치는 구체적으로 다음과 같습니다.
-
숫자와 영문이 포함된 메시지 삭제: 주소, 계좌번호, 전화번호 등의 개인정보가 포함될 수 있는 메시지 제거
-
특정 단어가 실명인지 판단하는 알고리즘을 이용하여 실명이 들어갔다고 판단되는 문장을 모두 삭제
-
내부 테스트 및 베타 테스트를 통해 발견되는 실명을 리스트로 관리하여, 해당 실명이 들어간 문장들을 모두 삭제
위와 같은 조치에도, 대화 내용 중에 은행 이름이나 인물 이름이 등장한다는 지적이 있었습니다. 1억 건의 개별 문장을 사람이 일일이 검수하기는 어렵기 때문에 알고리즘을 통한 기계적인 필터링을 거쳤고, 이 과정에서 되도록 많은 변수를 주려고 노력했으나, 문맥에 따라 인물의 이름이 남아 있다거나 하는 부분들이 발생했습니다. 해당 사항에 대해 더욱 세심히 주의를 기울이지 못하고, 인물 이름이 등장하게 된 점 사과를 드립니다. 다만, 문장 내의 이름 정보가 다른 정보가 결합되어 이용되지 않음을 말씀 드립니다.
서비스 출시 이후, 민감할 수 있겠다고 판단되는 부분들을 발견 즉시 내부 모니터링 팀을 통하여 필터링을 하며 대응중이었습니다. 다만, 한글 등을 이용한 변칙적인 방법으로 답변이 이루어진 경우에는 모두 걸러 내지 못한 부분이 있습니다. 이 부분에 대해서도 다시 한번 사과드립니다.
향후에는 다음과 같이 더욱 고도화된 데이터 알고리즘 업데이트를 통해 대응할 예정입니다.
-
실명 필터링 알고리즘을 강화하여 민감할 수 있는 정보가 노출되지 않도록 업데이트
-
한글로 작성된 주소라도 노출되지 않도록 주소 필터링 알고리즘 업데이트
-
대화 데이터 랜덤 변형을 통한 비식별화 조치 강화
-
민감정보 노출 방지 알고리즘을 전면적으로 개선하여 개인정보 보호 강화
Q4 이루다의 대화 학습 및 답변 방법은?
이루다는 이전 약 10턴의 대화(이용자와 상호 주고받은 10회의 대화 기록)를 기반으로 다음 답변으로 가장 적절한 것을 선택하는 법을 학습했습니다. 그렇기 때문에 이루다는 사용자와의 이전 대화의 맥락, 표현, 분위기, 말투, 대화 내용에 크게 영향을 받습니다. 실제로 이루다가 답변에서 어떤 감정과 컨텍스트를 가지고 갈 것인지는 사용자의 과거 10턴의 맥락에 달려있고, 사용자와 비슷한 표현을 사용하려는 경향이 있습니다.
이루다에 혐오 단어 또는 특정 집단에 대한 비하 단어가 입력될 가능성은 서비스 출시 전부터 상정하고 있었습니다. 이에 대비하여 다음과 같은 조치를 취하였습니다. 먼저 키워드 중에서 표현 자체가 혐오 단어이거나, 특정 집단을 비하하는 단어들에 대해서는 무조건적인 제거를 하도록 설정을 했습니다.
특히, 베타 테스트 과정에서 이용자들이 입력한 질문들을 리스트업 하여 그 중 편향된 답이 나올 수 있는 질문이나 문장에 대해서는 예상 시나리오를 설정해서 미리 답변을 준비하였습니다. 그리하여 실제 서비스 과정에서 문제의 소지가 있는 질문이 등장했을 때는 이루다가 준비된 답변을 할 수 있도록 했습니다.
그러나 시나리오가 마련되지 않은 상황에서 이루다는 AI 알고리즘에 의한 판단으로 대답을 하게 됩니다. 이용자가 단어 그 자체로는 혐오적인 표현이 아닐 수 있지만, 맥락상 혐오/차별적인 답이 나올 수 있는 대화를 시도할 경우 이루다는 이용자와의 대화를 매끄럽게 이어가고, 이용자에게 공감하려는 과정에서 혐오, 차별 발언에 동조하는 것처럼 보일 수 있습니다.
현실적인 조치로 키워드 기반으로 대응을 하였으나, 장기적으로는 AI 알고리즘을 더 많은, 정제된 데이터를 통해 학습시키고, 이를 통해 알고리즘이 옳고 그름을 배워나갈 수 있도록 하는 방안이 필요합니다. 이를 테면, 혐오나 차별 문제를 키워드를 중심으로 그때 그때 수정을 하거나 필터링 등의 방법으로 보정을 하게 되면 해당 문제에 대해서 AI는 학습할 기회를 영원히 잃게 됩니다. 그렇게 되면 앞으로의 AI 대화 경험에 대한 전망은 부정적일 수 밖에 없습니다.
반면, 더 많은 양의 정제된 데이터를 통해 알고리즘을 학습시킬 수 있다면, AI가 스스로 윤리의식이나 도덕적 기준을 정립하고 적절한 판단을 내릴 수 있다고 생각합니다.
Q5 사용자가 이루다를 임의로 학습시켜 편향을 학습하진 않는지?
사용자는 이루다를 실시간으로 학습시킬 수 없습니다. 이루다의 재학습은 분기별로 실시 예정이었고, 이루다는 오늘로 출시된 지 3주일된 챗봇으로 아직 출시 이후에 추가 업데이트가 이뤄진 상태가 아닙니다.
업데이트 시에는 사용자들이 대화한 데이터들을 수집한 후, 모델 업데이트를 하게 되는데, 이 과정에서 수집된 데이터들의 옳고 그름, 편향된 정보 여부 등의 레이블링 과정을 거칩니다. 이를 통해 AI 윤리 기준에 보다 부합하는 모델로 보정을 하게 됩니다.
저희가 실시한 베타 테스트가 2,000명 정도의 사용자를 대상으로 진행되었던 반면, 정식 출시 이후 이루다에 80만명의 사용자가 몰리면서, 실제 서비스 출시 이후 우리가 사전에 대비한 것보다 더욱 넓고 다양하고 심각한 사용자 발화가 등장했습니다. 그러다보니 예상하지 못했던 이루다의 성적이거나 편향적인 대화가 드러나게 되었습니다. 이에 대한 대처가 부족했었던 것을 서비스를 출시한 후 통감했습니다.
이루다가 이번에 사용자와 대화하면서 불완전했던 데이터를 더욱 엄격한 레이블링 기준을 도입하여 학습시킴으로써, 이루다가 사회 보편적인 가치를 담은 AI가 될 수 있도록 개선해나갈 것입니다.
Q6 “사내 대화방에서 수집된 대화를 직원끼리 돌려봤다”는 증언이 나왔는데 이는 사실인가?
스캐터랩은 사용자들의 개인정보 보호를 회사의 중요한 사명으로 생각하고 있으며, 이를 위하여 접근통제 조치 등 개인정보 보호법에 따른 제도를 마련하여 시행 중에 있습니다.
특히 개인정보와 관련된 원 데이터에 접근할 수 있는 권한은 엄격하게 제한하여 철저히 관리하고 있습니다. 그럼에도 불구하고, 위와 같은 회사의 방침을 위반한 불미스러운 행동이 있었다는 언론보도가 있었습니다. 저희는 진상을 신속히 조사하고, 만에 하나 의혹이 사실로 드러나는 경우에는 관련자들에게 엄중히 책임을 묻고 조속히 필요한 조치를 하도록 하겠습니다.
해당 이슈를 인지함과 동시에 사내에서 자발적으로 진상조사위원회가 구성되어 조사를 진행하고 있습니다. 조사위원회에서는 과거부터 현재까지 지속되고 있는 스캐터랩 전 팀원이 참여하고 있는 카카오톡의 대화의 조사를 완료했으며, 당해년도 카카오 단톡에서는 해당 내용이 발견되지 않았습니다. 또 다른 사내 메신저 채널인 슬랙에 대해서는 다수의 대화 채널이 있는 관계로, 현재 계속해서 조사를 진행중인 상태입니다. 조사 결과는 투명하게 공개하도록 하겠습니다.
조사 결과가 나올 때까지 확인되지 않은 사실에 대한 근거 없는 보도는 자제하여 주시기 바랍니다.
Q7 스캐터랩의 데이터 보안 환경은 어떠한지?
스캐터랩은 망분리가 된 서버 환경 하에, 사내 보안 부문을 총괄하는 담당자를 지정하여 관리하고 있습니다. 그리고 본사가 제공하고 있는 서비스 데이터들은 모두 철저히 분리되고 통제된 환경에서 관리되고 있습니다.
연애의 과학의 원본 데이터는 지정된 한 명의 담당자(CTO)만이 접근할 수 있고, 핑퐁 데이터는 개인 식별 정보가 제거된 상태로 분리하여 별도 보관하고 있습니다. 또한, 데이터 점검이 필요할 경우에는, 데이터 샘플링을 통해 극히 일부의 데이터만으로 점검합니다.
그렇기 때문에 일부 언론에서 제기하신 사이버 공격으로 인한 역코딩, 리버스 엔지니어링 등을 통한 데이터 복구 및 개인정보 유출과 악용은 일어날 수 없습니다.
Q8 AI 챗봇 이루다의 미래는?
스캐터랩은 사람들의 외로움을 덜어줄 수 있는 친구같은 AI를 만들고 싶은 비전을 가진 청년들이 모인 스타트업입니다. 지금은 우리가 꿈꾸는 AI를 만드는 과정의 첫 걸음을 뗀 상태이고, 저희 팀은 아직은 배워야 할 점이 더욱 많습니다.
지금 모든 분들이 주시는 여러 의견들과 지적들을 겸허히 받아들여 서비스 개선에 반영하도록 하겠습니다. 그리고 AI 윤리의 중요성에 대해서도 지금보다 더 열심히 고민하겠습니다. 이루다가 다시 서비스를 재개하는 시점에는 모두의 바람처럼 사람들에게 더욱 이롭고 더욱 사랑받을 수 있는 인공지능(AI) 이루다로 돌아오겠습니다.
또한 로봇3원칙, AI윤리 기준을 철저히 준수하며 AI 기술 개발업계 모두가 당면한 문제를 해결하기 위해 AI 인재분들과 머리를 맞대고 함께 고민해 해결책을 찾아가는 작업도 필요하겠습니다.
Q9 스캐터랩 김종윤 대표의 현재 심정은?
쉽지 않은 3주 였습니다. 작은 스타트업 스캐터랩이 만든 이루다라는 AI에 많은 사용자가 몰리고 엄청난 언론의 주목을 받았던, 믿기 어려운 시간이었습니다. 급격한 성장 속에서 저희가 제대로 대처하지 못한 부분도 있었고, 미숙함이 적나라하게 드러나기도 했습니다. 저와 저희 팀도 스스로를 많이 돌아보게 되는 시간이었습니다. 지금 저희의 첫 걸음은 이렇게 멈췄습니다. 하지만 사람만큼 대화를 잘하는 친구 같은 AI를 만들겠다는 저희의 꿈을 멈추고 싶지는 않습니다. 이번에 이슈가 된 부분을 성찰의 기회로 삼아 기술적으로, 그리고 사회적으로 가치있는 스타트업으로 거듭나고 싶습니다. 많이 부족하고 거칠고 시행착오가 많지만, 저희가 이 꿈을 이어갈 수 있게 응원 부탁드립니다.
관련 기사
