철학책은 왠지 어렵다는 선입견이 있어 잘 읽게 되지 않는다. 그런데 철학자가 쓴 책 중에 짧고 명쾌해서 속이 다 후련한 책이 있었다. 철학자 해리 프랭크퍼트의 저서 ‘개소리에 대하여(On Bullshit)’는 대화라는 맥락에서 터무니없는 말이 어떻게 적용되는지 정의하고 분석해 이론으로 만들었다. 2005년에 발간돼 예상치 않게 뉴욕타임스 베스트셀러 1위에까지 올랐던 책이다.

프랭크퍼트는 ‘개소리’를 듣는 이를 현혹시키는 말이면서 도덕적으로 상관하지 않는, 속임수 전문가의 정석으로 설명하고 있다. 이런 ‘개소리’들은 거짓말보다 나쁘다. 그 이유는 거짓이든 진실이든 상관하지 않고 독자를 설득하는 것만 중요시해서다.

우리가 감탄하는 대규모언어모델(LLM)에서 만들어내는 문장은 거대한 양의 텍스트에서 패턴을 찾아 그다음 단어를 추측하는 방식으로 작동한다. 가장 그럴싸한 문장을 만들어내는 것이 목표이기 때문에 그 문장이 진실인지 거짓인지는 상관이 없다. 이런 언어 모델은 모방에 능하고 사실에 약하다.

지난해 11월에 출시된 챗GPT는 출시 두 달 만에 사용자가 1억 명이 넘을 만큼 폭발적인 인기를 누리고 있다. 비즈니스 분야에서도 생산성을 높이는 데 이미 큰 역할을 하고 있다. 챗GPT를 써보면 그 생산성에 감탄하기도 하지만 한계를 쉽게 알아차릴 수 있다.

이 챗봇에서 나오는 반응은 유창한 문장이라도 사실이 아닌 것이 많다. 가짜 이름과 존재하지 않는 사실을 만들어낸다. 모든 주제에서 유연하고 순조로운 대화가 가능하다는 것은 그 내용의 참과 거짓을 혼동시키는 결과를 만들 수 있다. 참과 거짓이 섞여 있는 문장이 우리 마음속에서 진실로 기억될 수 있는 것이다.

챗GPT를 개발한 오픈AI가 LLM의 위험을 줄이기 위해 사용한 한 가지 방법은 인간 피드백 강화 학습이다. 흔히 상상하듯이 엄청난 파워를 가진 인공지능(AI)이 스스로 학습을 한 것이 아니라 인간이 일일이 적절하지 못한 요소를 제거한 것이다. 문제는 어떤 대답이 적절한 것인지에 대한 의견이 분분하다는 점이다.

LLM의 위험을 경고하면서 언어학자 에밀리 벤더는 이렇게 역설했다. “기계는 마음이 없이도 텍스트를 생성해낸다. 문제는 우리가 그 텍스트 뒤에 마음이 있다고 상상하는 것을 멈추지 못한다는 것이다.” 문제는 기술이 아니라 기술에 반응하는 인간인 것이다.

<한소원 서울대 심리학과 교수>