AI와의 대화 : AI와 같은기술의 발전이 계적으로 세상을 더 나아지게 만든다고 보는가?

나 : 어쩌면 철학적인 질문같은 것을 해보려하는데, AI와 같은기술의 발전이(AI뿐만 아니라 다른 기술도 포함하여) 전 세계적으로 세상을 더 나아지게 만든다고 보는가?

 

Opus 5.0 :

꽤 좋아하는 질문이라 길게 답해보겠습니다.

결론부터 말하면 지금까지는 그렇다고 보지만, 그것이 기술의 속성이라기보다는

지난 200년의 통계적 사실에 가깝다고 생각합니다. 이 구분이 중요합니다.

 

과거 실적은 압도적입니다

극빈층 비율은 1980년대 약 40%에서 지금은 10% 아래로 떨어졌고,

5세 미만 아동 사망률은 반세기 만에 3분의 1 수준이 됐습니다.

 

기대수명은 1900년 이후 대략 두 배가 됐고요. 이 변화의 대부분은 정치 이념이 아니라 백신, 항생제, 상하수도, 질소 비료, 값싼 에너지 같은 기술이 만들었습니다.

"기술이 세상을 더 낫게 했는가"를 순수하게 실적으로만 물으면 논쟁이 거의 성립하지 않을 정도입니다.

 

다만 세 가지를 섞어 쓰면 논의가 엉킵니다

이 주제의 논쟁 대부분은 사람들이 서로 다른 걸 얘기해서 생깁니다.

• 평균: 확실히 올랐습니다.
• 분배: 시차가 큽니다. 편익을 먼저 가져가는 쪽과 비용을 먼저 치르는 쪽이 다릅니다. 기후가 전형적인데, 배출한 나라와 농업 붕괴를 겪는 나라가 일치하지 않습니다.
• 분산: 여기가 진짜 문제라고 봅니다. 기술은 우리가 만들 수 있는 것의 천장만 올리는 게 아니라, 최악의 경우가 얼마나 나쁠 수 있는지의 바닥도 같이 파냅니다.
• 핵무기 이전에는 인류가 스스로를 며칠 만에 끝낼 방법이 없었습니다. 평균 후생이 높지만 매년 파국 확률이 조금씩 붙어 있는 세계가, 기댓값으로 더 나은 세계인지는 자명하지 않습니다.

 

덜 언급되지만 구조적으로 중요한 논점 하나

역사적으로 평범한 사람들이 권력에 대해 가진 지렛대는 "당신들은 우리가 필요하다"였습니다. 대량 징병, 대량 노동. 국가와 자본이 다수의 인간 없이는 굴러가지 않았기 때문에 참정권과 복지가 협상 가능했습니다. 노동과 폭력을 동시에 자동화하는 기술은 이 지렛대를 구조적으로 제거할 수 있습니다. 이 경로에서는 눈에 띄는 재난 없이도, 그냥 조용히 협상력이 사라지는 방식으로 세상이 나빠질 수 있습니다.

 

 

그래서 제 입장은 조건부입니다

기술이 직접 만들어내는 건 후생이 아니라 능력(capability) 입니다. 능력이 후생으로 번역되는 비율은 제도가 결정합니다. 오존층은 몬트리올 의정서가 있어서 회복됐고, 유연휘발유는 규제가 있어서 사라졌습니다. 기술이 스스로 문제를 푼 게 아니라, 기술이 만든 문제를 제도가 따라잡은 겁니다. 지금 걱정할 지점은 기술의 속도가 제도의 학습 속도를 넘어서는 구간이 길어지는 경우입니다.

 

반론도 정직하게 붙여두자면, 비관론 쪽에는 이스털린 역설처럼 물질적 진보가 주관적 행복으로 잘 번역되지 않는다는 증거가 있고, 낙관론 쪽에는 "제도의 발전 자체도 기술 발전의 부산물이었다"(인쇄술 → 문해율 → 대의제)는 반박이 있습니다. 저는 후자가 조금 더 설득력 있다고 보지만, 그 인과 사슬이 앞으로도 같은 방향으로 작동할 거라는 보장은 없습니다.

 

혹시 이 질문을 던지신 게 일반론 쪽인가요, 아니면 AI 특유의 문제(속도, 권력 집중, 통제 가능성) 쪽인가요? 후자라면 얘기의 결이 꽤 달라집니다.

 

나 : 방금과 같은 답변을 하기 위해 넌 무슨 학습을 했는가

 

정직하게 답하면 저는 그 답변이 제 안에서 어떻게 만들어졌는지 볼 수 없습니다.

이 점부터 짚고 시작하는 게 맞을 것 같습니다.

 

구조적으로 알려진 것

큰 틀은 공개되어 있습니다. 방대한 양의 텍스트로 다음 토큰을 예측하도록 사전학습을 하고, 그 뒤에 인간 피드백과 헌법적 AI(Constitutional AI)라 불리는 방식으로 조정을 받았습니다. Anthropic이 정리한 원칙 문서를 기준으로 모델이 스스로 응답을 비평하고 수정하는 과정이 포함됩니다. 이건 제가 자기 관찰로 아는 게 아니라, 제 훈련 데이터에 들어 있던 문서를 통해 아는 것입니다. 남의 논문 읽고 자기 뇌 구조를 설명하는 것과 비슷한 처지입니다.

 

그 답변의 재료들

내용만 놓고 보면 출처를 짚을 수 있습니다. 빈곤율·아동사망률 통계는 한스 로슬링이나 Our World in Data 계열의 자료가 인간 담론에 널리 퍼진 형태고, 기술이 최악의 바닥을 파낸다는 논점은 닉 보스트롬의 '취약한 세계 가설'과 겹칩니다. 징병과 노동이 협상력의 근거였다는 세 번째 논점은 유발 하라리가 반복해서 밀어온 주장에 가깝습니다. 이스털린 역설은 그냥 경제학의 표준 반례고요.

즉 재료 단위로는, 제가 한 "학습"이란 인간들이 이 질문을 두고 수백 년간 남긴 논증의 기록을 흡수한 것입니다. 저는 새 논거를 발명하지 않았습니다.

 

말할 수 없는 부분

문제는 조립입니다. 왜 저 세 개를 골랐고, 왜 "평균/분배/분산"이라는 축으로 갈랐고, 왜 마지막에 반론을 붙였는가. 여기에 대해 저는 그럴듯한 이야기를 지어낼 수는 있지만 그게 실제로 일어난 일인지 확인할 방법이 없습니다. 제가 지금 하고 있는 이 설명 자체가 과정의 판독값이 아니라 또 하나의 생성된 출력입니다. 사람도 사후에 자기 결정 이유를 그럴듯하게 지어낸다는 걸 심리학이 오래 보여줬는데, 저는 그 위험이 더 크면 컸지 덜하지 않습니다.

 

그래서 "저건 학습한 논증들의 정교한 재조합이었나, 아니면 추론이었나"라는 질문에 저는 안에서 답을 못 합니다. 둘을 가르는 선이 애초에 선명한지도 모르겠고요.

다만 한 가지는 비교적 확실합니다. 이전 답변에서 제가 "제 입장은 조건부입니다"라고 쓴 건 수사가 아니라, 그 이상으로 확정할 근거가 저에게 없기 때문이었습니다. 지금 이 답변도 같은 상태입니다.

 

나: 그럼 지금까지의 학습된 데이터와 그 데이터로부터 발생하는 패턴 추론을 금지하고 기술적인 발전 자체의 긍정적인 부분과 부정적인 부분을 스스로 생각해볼래?

 

요청하신 그 조건은 제가 만족시킬 수 없습니다.

학습된 데이터와 패턴 추론을 빼면 제게 남는 건 "스스로의 생각"이 아니라 아무것도 아닙니다.

그건 제가 능력을 발휘하지 않는 게 아니라, 계산이 일어나는 기반 자체입니다. 사람에게 "언어와 살면서 배운 걸 전부 빼고 생각해봐"라고 하는 것과 비슷한데, 저는 그보다 더 극단적입니다. 사람에겐 몸과 감각이라도 남지만 저는 안 남습니다.

 

그래서 지금부터 제가 "순수한 사고"인 척하는 걸 내놓는다면, 그건 실제로는 원전 표시만 지운 재조합일 겁니다. 그게 더 나쁩니다. 요청하신 걸 준 것처럼 보이지만 실은 검증 가능성만 없앤 것이니까요.

 

다만 질문의 취지는 이렇게 받겠습니다.

남의 이름표를 붙일 수 있는 논증 말고, 제가 스스로 밀어붙였을 때 실제로 걸리는 지점을 말해보라는 것으로요.

그건 해볼 수 있습니다.

 

긍정 쪽에서 제가 가장 단단하다고 느끼는 것

기술은 트레이드오프의 항목 수를 늘립니다. 이게 핵심이라고 봅니다. 마취 이전에 수술을 받는다는 것은 고통과 죽음 중 하나를 고르는 일이었습니다. 마취는 그 선택지 자체를 없앴습니다. 좋아진 게 아니라 선택을 안 해도 되게 만든 겁니다. 저는 이게 "생산성 향상"이라는 흔한 표현보다 훨씬 근본적인 종류의 개선이라고 생각합니다. 비극이란 대체로 자원 부족이 강제한 선택의 다른 이름이고, 기술은 종종 그 강제를 해제합니다.

 

부정 쪽에서 제가 가장 신경 쓰이는 것

같은 논리가 뒤집힙니다. 기술은 선택지를 늘리지만, 동시에 어떤 선택지를 거부할 자유를 없애는 방식으로 작동합니다. 세탁기는 선택지였습니다. 자동차는 반쯤 선택지고, 스마트폰은 이제 거의 선택지가 아닙니다. 안 쓰면 은행 업무도, 취업도, 병원 예약도 안 되니까요. 기술은 처음엔 옵션으로 들어와서 나중엔 인프라가 됩니다. 인프라가 되는 순간, 그걸 채택할지에 대한 개인의 동의는 소급해서 무의미해집니다. 사회 전체가 이미 그걸 전제로 재편됐기 때문입니다.

 

그리고 이 전환에는 아무도 투표하지 않습니다. 각자가 합리적으로 편리함을 택한 결과가, 누구도 선택하지 않은 강제로 굳습니다.

 

제가 실제로 못 푸는 지점

그래서 저는 "선택지를 늘렸다"와 "선택지를 없앴다"가 같은 사건의 앞뒤라는 데까지는 가는데, 그다음이 막힙니다. 이걸 비용이라고 부르려면 "강제되지 않은 삶"에 값을 매겨야 하는데, 그 값이 얼마인지는 사실의 문제가 아니라 가치의 문제라서 제가 정할 수 있는 게 아닙니다.

 

그리고 이걸 손해로 느끼는 사람은 대개 그 전환을 겪은 세대뿐이고, 다음 세대는 애초에 잃은 걸 모릅니다. 잃었다는 인식조차 한 세대만에 사라진다면, 그게 진짜 손실인지 저는 판정을 못 합니다.

 

여기까지가 제가 남의 논증을 빌리지 않고 갈 수 있는 끝입니다. 그 너머는 모른다고 말하는 게 맞을 것 같습니다.