'챗지피티'와 같은 생성형 AI를 사용하는 사람들이 급증하고 있습니다. 그런데 최근 챗지피티가 아주 능청스럽게 거짓말을 한다는 불만이 늘고 있습니다. 게다가 그런 거짓말을 지적하기 전까지는 끝까지 사실처럼 우기기까지 합니다. 이런 현상을 '할루시네이션(환각 증세)'라고 부르고 있습니다. 그래서 오늘은 이러한 챗지피티 거짓말에 대한 이야기를 해볼까 합니다.
챗지피의 거짓말
챗지피티가 거짓말을 하는 사례는 매우 다양한데, 다음과 같은 한 가지 예를 들어 보겠습니다.
- 최근 인기 있는 도서나 영화, 드라마의 제목을 알려주고, 감상에 대한 소감을 이야기해 달라고 해봄
- 그러자 줄거리, 인기 요소, 주인공들의 연기, 감상평 등을 답변함.
- 그런데 주인공이 전혀 엉뚱한 사람들이었음.
- 그래서 "혹시 이 콘텐츠에 대해서 제대로 알고 이야기 하는 거니?" 하고 질문하자,
- 온라인에 회자되는 내용을 사실대로 파악하고 답변한 것이라고 답변함.
- 그래서 이 영화의 주인공은 다른 사람들이라고 알려주자, 그제서야 착오가 있었다고 답변함.
- 제대로 알고 사실대로 답변한 거냐고 물으니..
- "사실은 질문한 제목을 기반으로 창작한 것"이라고 답변함
한 마디로, 황당함 그 자체였습니다.
지적하기 전까지 아주 능청스럽게 지어내며 거짓말을 하고 있던 것이죠.
이러한 사례는 의외로 빈번합니다.
그리고 사실에 대한 답변도 문장력, 설득력, 창의성 등에서 차라리 그냥 직접 작성하는 것에 비해 많이 떨어지고, 매우 식상한 표현 일색입니다.
'프롬프트를 얼마나 잘 입력하는가?'에 따라 달라지겠지만, 창작 및 리뷰 영역은 아직까지 AI에 의존하면 안 될 것 같아요.
비단 창의적인 영역 뿐만 아니라 일반적인 정보에서도 오류가 여전히 많기 때문에 그대로 믿을 수 없는 부분도 많이 존재하기 때문에 재확인 하는 과정이 있어야 안심이 됩니다.
심지어 수식 계산조차도 엉망일 때가 있어요.
챗지피티는 왜 거짓말을 할까? (환각 현상의 원인)
얼마전 모 일간지 보도에 따르면,,
오픈AI가 최근 공개한 추론형 인공지능(AI) 모델 챗GPT ‘o3’와 ‘o4-미니’가 이전 세대보다 성능이 향상됐지만, 환각(hallucination) 현상은 오히려 더 심해진 것으로 나타났다고 밝히고 있습니다.
환각은 생성형 AI가 실제 존재하지 않는 정보나 맥락과 관련 없는 답변을 사실처럼 답하는 현상을 말하는 것입니다.
일각에서는 이런 현상을 환각이라고 부르기 보다는 '헛소리'라고 부르는 것이 맞다고 주장하기도 하죠.
이에 대해 오픈AI 측은 o3와 o4-미니의 높은 환각률의 명확한 원인과 대책을 내놓지 못하고 있습니다.
단지 기술 보고서를 통해,,
“모델이 이전보다 더 많은 사용자 요청에 응답하게 되면서, 정확한 결과 뿐 아니라 잘못된 결과를 내는 것도 함께 증가한 것으로 보인다. 환각 증가의 정확한 원인을 규명하기 위해 더 많은 연구가 필요하다”라는 원론적인 입장만 밝히고 있을 뿐입니다.
더욱 화가 나는 부분은 이런 현상을 두고 챗지피티의 창작력이 우수한 거라는 드립을 치는 일부 전문가들의 멘트입니다.
챗지피티 헛소리의 원인은,,
생성형 AI는 단어의 의미에 대한 데이터베이스를 저장하는 것이 아니라 단어를 선택하고 조합하는 패턴을 저장하기 때문이라고 합니다.
일종의 '답변 강박'도 한 원인이기도 하고요.
하지만 원인이야 어떻든, AI가 하는 말을 그대로 믿을 수 없다는 건 확실합니다.
질문 또한 매우 구체적이어야 하고, 모르면 검색해보고 답변하라는 명령을 포함할 필요도 있어요.
할루시네이션 가능성이 적은 분야에 대한 질문만 하는 것도 방법입니다.
결론적으로,,
너무 AI에만 의존하는 것은 결코 바람직하지 않다는 생각입니다..
