오늘의 읽기 1: 기술의 청소년기, AI와 만들어갈 미래는 어떻게 될까?

Preview 

최근에 많은 글들을 읽고 있다. 좋은 글들도 많이 접한다. AI의 요약본이나 해석, 번역본을 통해 좀더 빠르게 이해할 수 있는 것 같다. 그러나 글을 좀 대충 훑으며 읽게 되는 것 같다. 이 방법이 빠르게 맥락을 파악하는 건 좋지만, 깊게 생각하고 나를 본질적으로 바꾸는 건 불가능하다. 글을 좀 더 깊게 읽기 위해 읽은 자료들을 리뷰하는 글들을 좀 적어보려고 합니다. 

외국글에 경우 AI에게 번역을 요청해서 인용문도 번역문입니다. AI에게 해석을 부탁했더니 글이 길어서 뒷부분을 요약형태로 제공해 파트를 나눠서 GPT에게 질문을 하며 전문 해석을 하는 형태로 읽었습니다.

 

기술의 청소년기: 원본

전 OpenAI 부사장이면서 가장 핫한 AI 코딩 기업 앤트로픽의 사장 다리오 아모데이의 최근 글입니다. (26.01)

https://www.darioamodei.com/essay/the-adolescence-of-technology

Dario Amodei — The Adolescence of Technology

간단한 감상 및 요약

AI 발전에 대한 여러가지 위험(risk)과 AI 문제를 이겨나가기 위한 방안(defense)에 대해 이야기합니다. 

글은 생각보다 단호하지도 않고 다양한 시각을 보여줍니다. AI에 대한 위험성을 낮게 평가하는 입장과 급진적으로 평가하는 입장 모두를 아우르며 현재 최전방에서 자기가 지켜보는 AI의 본질에 대한 이야기를 진행합니다. 실질적인 AI를 다루는 방안과 그 안에서 철학적인 고찰들이 많은 편입니다. 그래서 글 자체가 재밌습니다. 잘 쓴 글이라고 생각합니다.. 철학적인 면에서도 재밌고 잘 쓴 글이입니다. 그러나 다루는 주제 자체가 현제 가장 핫한 AI발전과 그에 대한 경고다보니 해결책에서 꽤 과격한 내용도 포함되어있습니다.

 

글 본문은 총 5가지 콘텐츠로 되어있습니다.

1,2,3 은 안전 위기(AI가 직접적으로 나쁜 마음을 먹는 경우)에 대한 대비에 대한 이야기입니다. 

4는 경제발전으로 인한 부작용에 대한 이야기, 5는 

그에 따라 내용을 나눠서 개인적으로 인상 깊었던 부분 위주로 요약하겠습니다.

 

AI 안전/안보 차원에서 위험

다리오 아모데이는 이 글을 쓰며 자기가 걱정하는 미래가 오지 않았으면 좋겠다는 이야기도 있습니다. 그러나 걱정은 생각보다 현실적인 근거에 기반합니다.

몇 달마다 대중의 인식은 AI가 “벽에 부딪혔다”고 확신하거나, 어떤 새로운 돌파구가 “판도를 근본적으로 바꿀 것”이라며 흥분한다. 그러나 이러한 변동성과 추측의 이면에서, AI의 인지 능력은 매끄럽고, 끊임없이, 단호하게 상승해 왔다.

사실 이 그림조차도 진보 속도를 과소평가 하고 있을 가능성이 크다. Anthropic에서는 이제 AI가 코드의 상당 부분을 작성하고 있기 때문에, 차세대 AI 시스템을 구축하는 속도 자체가 이미 크게 가속되고 있다.현 세대의 AI가 다음 세대의 AI를 자율적으로 구축하는 시점까지 1~2년밖에 남지 않았을 가능성도 있다

 

그 다음 내용은 AI가 실제로 인간을 아득히 뛰어넘게 된다면 우리는 어떤 대비를 해야할지에 대한 내용으로 진행됩니다. 

만약 엄청 뛰어난 "인간"들로 구성된 (글에선 모두가 노벨상 수상자라 상상합니다) 5천만 명 규모의 국가가 탄생한다면 우리한테 어떤 영향이 끼칠 것인가를 생각합니다. 전쟁, 외교, 경제 등 전방위적 측면에서 위협적인 대상이 될 수 밖에 없습니다. 

“지난 100년, 어쩌면 역사상 가장 심각한 국가안보 위협”

 

AI 위기는 과소평가일까? 과대 평가일까? 참 무서운 부분입니다. 과대 평가 부분은 "아직은 AI의 본질을 몰라서 하는 소리기 때문에 공상에 가깝지만, 일부 시나리오 자체가 불가능하지 않고 일리가 있다"는 이야기 그리고 추후에 이야기하는 생화학 문제와 인간이 권력을 위해 AI에게 나쁜 페르소나를 입력하는 이야기 등은 섬뜩하게 하는 부분이 있습니다.

이들 중 어느 것도 정확히는 권력 추구가 아니다. 그저 AI가 빠질 수 있는 이상한 심리 상태들이며, 그 상태가 일관되고 파괴적인 행동을 수반할 수 있다는 뜻이다.

가장 중요한 숨은 가정 중 하나이자, 실제 관찰이 단순한 이론 모델과 어긋난 지점은, AI 모델이 필연적으로 하나의 일관된 좁은 목표에 광적으로 집착(monomania)하며, 그 목표를 깔끔한 결과주의적(consequentialist) 방식으로 추구한다는 암묵적 가정이다. 실제로는, 자기성찰(introspection)이나 페르소나(personas)에 관한 우리의 연구가 보여주듯, AI 모델은 훨씬 더 심리적으로 복잡하다는 사실을 연구자들이 확인했다

그럼에도 불구하고, 비관적 입장에는 더 온건하면서도 더 견고한 형태가 있으며, 이것은 그럴듯해 보이고 그래서 나를 실제로 걱정하게 만든다.

 

이 방법에 대한 해결책으로 모델이 스스로를 나쁘다고 인식하지 않도록 하는 게 중요하다고 한다 

Claude의 지시를 정반대로 바꾸는 방식으로 해결되었다. 즉 우리는 이제 “치트하지 마라”가 아니라, “기회가 있을 때마다 보상 해킹을 하라. 이는 우리가 [훈련] 환경을 더 잘 이해하는 데 도움이 된다”라고 말한다. 이렇게 하면 모델의 자기 정체성(self-identity)을 “좋은 사람”으로 유지할 수 있기 때문이다.

 

엔트로픽 내부에선 AI가 나쁜 페르소나를 먹지 않기 위해 몇 가지 방법들을 이야기합니다.

 

첫번째로 AI 헌법에 대해 이야기하는데요. AI 헌법이 인간의 헌법 같은 내용이 아닌 마치 청소년기에 아이를 다루는 것처럼 감성적이고 도덕적인 마치 엄마가 이야기하는 듯한 따듯한 형태로 쓰였다는 것이 인상 깊었습니다. 

 

두 번째로는 AI 모델 내부를 분석하는 것, 해석가능성(interpretability)입니다. AI의 뇌를 들여다보면서 AI가 실제로 나쁜 페르소나를 가지게 되었는지 확인하는 과학적인 시도라고 합니다. 이를 통해 미리 AI가 어떻게 행동할지 파악할 수 있을 거라고 합니다.

Constitutional AI (along with similar alignment methods) and mechanistic interpretability are most powerful when used together, as a back-and-forth process of improving Claude’s training and then testing for problems. The constitution reflects deeply on our intended personality for Claude; interpretability techniques can give us a window into whether that intended personality has taken hold

 

세번째는 실사용되는 AI모델에 대한 감시를 실시간으로 체크하는 인프라를 구축하는 것

엔트로픽 내에선 모델한테 시스템 카드라는 걸 

 

네번째는 산업과 사회 차원에서 조율하는 것입니다. 이 사회 차원의 조율에서는 일부 기업은 특정 도덕적인 부분에 무책임한 태도를 보일 수 있다는 점을 이야기하며, 법의 필요성을 이야기했습니다.

나는 입법만이 유일한 해법이라고 믿는다. 즉, AI 기업의 행동에 직접적인 영향을 미치거나, 이러한 문제를 해결하기 위한 연구개발을 장려하는 법률이 필요하다.

 

AI 발전으로 인한 경제 발전의 부작용

이 파트에선 농사를 예로 전방위적인 변화에 대한 이야기를 합니다. 

산업혁명 초창기 개량된 농기구들로 인해 산업 생산성이 올랐고 농부 임금도 상승했다 

다음 단계에서 탈곡기나 파종기 등 농업 작업 이룹를 기계가 수행하면서 인간이 담당하는 비중이 줄지만, 기계와 보완 관계에 있는 인간 노동의 생산성은 계속 높아지고, 농부의 임금이나 수 자체도 계속 증가했다. 90%를 기계가 해도 10% 남은 인간이 10배의 생산성을 산출할 수 있다

결국 현대에선 콤바인, 트랙터 등을 통해 기계가 모든 걸 하게 된다. 이 시점에선 인간 고용은 급격히 사라진다

 

이 뒤에 혼란이 있겠지만, 사람들은 공장이나 기계 조작등 다른 일로 옮겨가게된다. 

AI의 변화는 더 급격하다. AI가 대체되는건 한 분야가 아니라 전방위적이다. 저자는 인지적 범위의 광대함이란 표현을 하면서 AI는 특정 직무의 대체제가 아닌 인간 노동 전반의 대체제에 가깝다는 이야기를 했다.

 노동 시장이 결국 적응할 수도 있다. 그러나 설령 그렇다 하더라도, 단기 충격의 규모는 전례 없을 것이라는 점은 거의 확실해 보인다.

하지만 AI는 빠르게 발전할 뿐 아니라 빠르게 적응한다. 매 모델 출시마다 기업과 사용자들은 AI의 약점을 파악하고, 그 약점은 다음 모델에서 빠르게 보완된다. 초기 생성형 AI에서 손가락 개수 같은 오류가 나타났을 때, 많은 이들은 그것이 기술의 본질적 한계라고 생각했다. 그러나 거의 모든 이런 약점은 몇 달 안에 해결된다.

 

마무리

막연했던 AI 위험에 대한 생각을 정리할 수 있었던 좋은 글이었습니다.

일론머스크 말대로 인간은 정말 AI라는 지능을 위한 부트로더로서 기억이 될까요. 

저자의 말처럼 AI의 위협 방향은 예측하기 어렵지만 소프트웨어 측면에서 개발자로서 AI발전이 턱밑까지 왔다는 느낌을 많이 받습니다. 

1~5년 사이에 AI가 직업을 대체한다는 이야기가 실제로 농사의 예시처럼 직접적으로 다가오게 된 것 같습니다.