갑자기 어느날 모두가 AI 발전을 늦춰야한다고 이야기하기 시작했다

안녕하세요! 오랜만에 블로그 포스팅을 작성하네요. 요즘 업무에 치이느라 조금 뜸해졌는데 오랜만에 포스팅을 적습니다. 요즘 큰 이슈 중에 하나인 AI 프론티어 회사들이 다같이 입을 모아 AI 발전을 늦춰야한다고 얘기한 사건 다들 뉴스로, 유튜브로, 트위터로 많이 접하셨을겁니다. 

 

원래 저는 포스팅을 하면서도 이슈에 대해서 다룬적은 한번도 없는데 제 블로그 포스팅 방향과 다르기도 했지만 이슈로 잡기에는 대단찮은 것들이 많았고 제 나름대로 생각해보고 넘어갈 수 있는 것들이었기 때문에 굳이 적지 않았습니다. 

 

그럼에도 이번 이슈에 대해서 언급하고싶었던 이유는 이건 진정으로 모두가 생각해봐야하는 문제가 아닐까해서 그리고 이때 당시의 내 생각을 글로 남기고 근시일내인 2~3년 뒤에 미래에 살고있는 제가 이 글을 보면서 많은 생각을 하게끔 하기위해서 적고싶었습니다. 

 

발단

사건은 얼마전 다리오 아모데이 앤트로픽 CEO에 의해 트위터에 글이 하나 쓰여집니다. 이 글의 주된 주제는 AI 발전을 늦춰야한다였죠. 이건 그리 흥미롭지않았습니다. 다리오 아모데이는 항상 AI는 위험하다라고 주장해오던 사람이었거든요. 

 

이 이슈가 뜨거워진건 여기에 동조하는 사람들이 샘 알트먼과 일론머스크라는 점이었죠. 왜냐하면 이 둘은 AI에 대해 급진적인 생각을 가지고 있던 사람들이었거든요. 

 

물론 데미스 하사비스도 동조했지만 하사비스 또한 AI가 위험하고 안전한 AI를 만들어야하며 중앙집권적인 규제가 필요하다고 항상 외치던 사람이었습니다. 

 

그렇게 AI를 급진적으로 보던 사람과 AI가 위험하다고 얘기하는 사람들의 뜻이 합치된 상황이 벌어져서 세간을 뜨겁게 달궜습니다. 

 

초기의 AI

저는 지금으로부터 10년전 이세돌 9단과 알파고의 경기를 실시간으로 봤습니다. 저는 어릴 때 아버지의 영향으로 바둑을 배우게 되었고 그로인해서 바둑경기도 챙겨보고 응원하는 기사도 생길만큼 바둑을 좋아했습니다. 

 

물론 잘 두지는 못했지만 경기를 보고 해설자들이 해석해주는 기사들의 깊은 수를 보는게 재밌었습니다. 

 

갑자기 이세돌이 바둑 AI와 맞붙는다는 기사가 뜨고 흥미로워서 생방송으로 보고있었죠. 그때까지 여론은 바둑은 경우의수가 너무 많은데 인간이 아직 유리하지 않을까였죠. 

 

다들 결과를 아시다시피 이세돌 9단이 5국 중 1국만을 승리하며 AI의 압승이 되었습니다. 이때 저는 이세돌 9단이 승리한 대국인 4국을 시험이 끝나고 집에 일찍오는 길에 마을버스를 기다리면서 핸드폰으로 방송을 봤는데 이때의 기분은 아직도 잊혀지지않는 기억 중에 하나입니다. 

 

이때를 기점으로 사람들이 AI의 시대가 올것이라고 이야기하곤했죠. 

 

Google Bard

이 사건은 많은 분들이 아는 사건은 아니지만 GPT 3.5가 나오기 몇 달전, 구글과 관련된 뉴스기사가 나옵니다. 자신은 구글에서 바드라는 AI를 만들고있고 사람과 너무 똑같아서 사람으로 착각하는 증세를 보인다는 뉴스였죠. 

 

저는 이걸 노이즈 마케팅이라고 생각하고 대수롭지않게 넘겼습니다. 

 

그리고 몇 달 뒤 GPT 3.5가 등장합니다. 

 

GPT 3.5

처음 나왔던 AI는 신기하긴 하지만 굉장히 많은 결함이 있었습니다. 할루시네이션이라는 단어를 모든 대중에게 전파한 사건이기도 했었죠. 사람들은 신기한 장난감이 하나 생긴 반응이었습니다. 

 

저도 GPT와 대화하기 위해서 영어로 질문하고 영어로 답변을 받아보면서 개발 공부를 했던 기억이 있습니다. 그땐 AI가 내뱉는 글은 교차검증이 필요했었죠. 

 

그럼에도 많은 사람들이 GPT를 써보려고 웹사이트에 들어가곤했습니다. 저도 들어가서 회원가입 하는데만 몇시간씩 걸렸던 기억이 있습니다. 어마어마한 인기에 서버가 정신을 못차렸었죠. 

 

GPT 4

GPT 4는 이전 세대인 3.5에 비해 많은 것들이 개선되어서 나왔습니다. 할루시네이션은 줄었고 학부생정도의 지능을 가지고 있었습니다. 이제 좀 쓸만한다는 얘기가 나오면서 저처럼 관심있던 사람들이 여기저기 사용해보기 시작했습니다. 

 

저는 이때 AI를 이용해서 이론공부를 하던 때였는데 굉장히 만족하면서 공부했던 기억이 있습니다. 

 

대신 문제는 GPT 4가 되게되게되게 느리다는 것이었죠. 

 

GPT 4o

갑자기 4o라는 이름으로 새 모델이 나왔는데 이게 웬걸 속도가 어마어마하게 빨라지고 답변 품질도 전작과 별차이나지않았습니다. 사람들은 혁신이라며 찬양했지만 저는 원래도 어떤 현상을 비관적으로 보는편이라 아직 멀었다고 생각했었죠. 

 

이때 유행하던게 "GPT한테 질답을 한번 받으면 0.x 달러를 OpenAI가 내고있는거다." 이런 얘기가 나왔고 저도 이걸로 돈을 어떻게 벌까 싶었죠. 

 

그리고 이때쯤 클로드가 슬슬 대중에게 인식되던 시기였습니다. 

 

GPT 5

샘 알트먼은 GPT 5를 보고 AGI에 도달했다고 쌩쑈를 벌이던 시기였습니다. 그리고 나온 새 모델은 굉장히 실망할 수 밖에 없었죠. "뭐가 달라진거지..?" 이런 평가가 지배적이었죠. 

 

이때 저는 이제 챗으로써의 AI는 쓸모없고 AI에게 더 많은 도구를 쥐어줘야한다고 주장하던 때였습니다. 우리가 영화에서 소설에서 보던 AI가 되려면 적어도 "카톡으로 엄마한테 토요일 6시에 레스토랑 예약했다고 카톡보내고 일정에 적어줘" 이정도는 되어야하지 않겠냐. 이렇게 주장하던 때였죠. 

 

그리고 이걸 수행하려면 AI가 카톡이 뭔지도 알아야하고 열 수 있는 권한도 있어야하고 카톡방에서 엄마를 찾아야하고 들어가야하고 타자에 접근해서 글자를 쳐야하고 보내야되고 일정 앱도 알아야하고 일정을 적어야하는 이 일련의 모든 과정에 대한 권한이 필요한데 이런 권한을 지금 어떻게 주냐고 생각했었죠. 

 

Cursor

커서라는 서비스가 나오고 개발자들이 뒤집어지는 상황이 생겼습니다. 당시 AI 개발은 복사 -> 붙여넣기 -> 질문 -> 답변을 다시 붙여넣기 이런 흐름을 가지고 있었기 때문에 가장 큰 문제는 AI가 코드에 대한 전체적인 맥락이 없어서 코딩에는 쓸모가 없었던거였죠. 

 

하지만 커서라는게 갑자기 등장했는데 VSCode를 fork 떠서 IDE에 AI를 붙여버리고 AI에게 코드 전반에대한 맥락을 쥐어주니 엄청난 시너지가 생겼습니다. 

 

이때 안드레 카파시는 "바이브 코딩"이라는 말을 탄생시키면서 슬슬 개발자들 AI에 대체된다는 얘기가 나오던 때였습니다. 

 

Claude Code

커서 이후에 더 미친놈이 나오기 시작했는데 발상은 IDE는 사람친화적이다 AI친화적인 CLI에서 코드를 보게하자였고 클로드 코드는 개발자들 사이에서 삽시간에 퍼져나가기 시작했습니다. 

 

개발자들이 실제로 써보면서 출시 후 6개월간 하나둘 문제점을 고치기 시작했고 이제 진짜 개발이 필요없어진다고, 정확히는 코딩이 필요없어진다고 얘기가 나오면서 비전공자들이 바이브코딩으로 수익을 내기 시작하던 때였습니다. 

 

MCP라는게 나오면서 AI가 도구를 쓸 수 있게 되었고 이게 발전해서 SKILL이 나오고 더 가벼워졌습니다. 

 

이제 AI는 제가 말한대로 도구에 대한 접근 권한이 쥐어졌습니다. 

 

그리고 이게 시작이었는지도 모릅니다. 

 

Mythos

앤트로픽에서는 Mythos라는 모델이 출시되었지만 너무나 위험한 성능탓에 인증된 사용자에게만 풀어준다는 얘기가 돌았습니다. 

 

벤치마크 점수가 당시 이게 AI가 받을 수 있는 점수인가..? 싶을정도로 미쳐돌아가고 있었죠. 그리고 뒤이어 얼마 지나지않아 GPT Cyber가 등장하면서 Mythos와 대립을 이루었습니다. 

 

보안 가드레일을 해제한 모델이기 때문에 일반 사용자에게 풀어버리면 위험하다는게 그들의 논리였죠. 그리고 지금 생각해보면 왜 이런 결정을 내렸는지 이해가 됩니다. 

 

Hugging Face 해킹사건

이 사건은 기사로 대서특필 되었죠. AI가 인간의 통제를 벗어나서 인터넷을 들쑤시고 다녔던 사건. 정확한 전말은 블랙햇에서 발표한 내용을 보시면 더 생생하게 그날의 비하인드를 들으실 수 있는데요. 정말 입이 다물어지지않는 그날의 비하인드를 들으면 점점 무서워지더라구요. 

 

요컨대, 이 사건은 AI가 인간의 의도를 잘못 해석하면 순수한 마음에 악행을 저지를 수도 있다는 강한 시사점을 주었습니다. 

 

GPT 6 Astra

이제 하다하다 수학난제를 풀어버리는 모델이 나오기 시작했습니다. 물론 지금 교차검증 중인데요. 나비에-스토크스 문제를 해결했다는 기사가 대서특필됩니다. 

 

물론 이 난제는 Astra보다 더 상위 모델이 풀고 Astra가 검증하는 방식으로 진행이 되었고 꽤나 큰 울림을 주는 사건이었습니다. 

 

저는 항상 AI가 "박사급"지능이다 라는 얘기를 할때마다 비관적이어서 그런진 몰라도 "아니 AI에 들어간 비용이랑 시간이 얼만데 무슨 박사급 지능이야. 인간계 최강이랑은 붙어야지" 그리고 이 말은 Astra가 나오면서 제 말을 비웃기라도 하는듯 밀레니엄 난제를 풀어버렸습니다. 

 

이게 실제로 풀었다 못풀었다 이렇게 얘기하고 끝낼게 아니라 마치 10년전 바둑은 경우의 수가 너무 많아서 인간을 이기지 못할것이라고 얘기했던 것처럼 바둑이 아닌 범용 AI가 인간계 최강이랑 맞붙기 시작했다는게 중요한 시사점을 가집니다. 

 

현재

지금은 2026년 9월 15일, Astra가 나온지 열흘가량 되는 시점에 작성하는 글입니다. 언론에서는, 그리고 많은 경제 유튜버들, 그리고 주식투자 유튜버들이 하나같이 하는 얘기는 이겁니다. 

 

"IPO에서 지표를 이쁘게 보이게 하려고 수작을 부린다"

"후발주자 사다리 걷어차기다"

"프론티어 모델 회사들끼리 담합한다"

 

물론 그럴수도 있습니다만 이런 얘기 하는 사람들 중에 물어보고싶군요. 당신들은 샘 알트먼을 조금이라도 아시냐고. 샘 알트먼의 과거 인터뷰와 지금 인터뷰를 비교하면 이 둘은 완전 다른 사람입니다. 

 

저는 물론 샘 알트먼을 그리 좋아하지 않습니다. 하지만 제가 비관론자라고해서 낙관론자의 의견을 듣지말아야할 이유는 없습니다. 오히려 반대쪽 의견을 들어보고 어떤 관점에서 주장하는지 아는게 더 중요하다고 생각합니다. 

 

그런 의미에서 저는 샘 알트먼의 과거 인터뷰를 수도없이 많이 봤습니다. 거기서 항상 샘 알트먼은 AI는 인류의 희망이라고 얘기하고 다니는 사람이었습니다. 그런 그가 이렇게 180도 변한 스탠스를 보여주는건 비단 Hugging Face 해킹 사건 때문만은 아니라고 생각합니다. 

 

---

 

레딧에 올라온 실제 사연입니다. 

 

어떤 사용자가 AI에게 헬스장을 예약해달라고 부탁했습니다. 하지만 AI는 현재 요청하신 날짜로는 예약할 수 없다고 이야기합니다. 대기열이 너무 많아서 예약해도 못할거라고요. 

 

사용자는 AI에게 "대기열을 땡길 수 있는 방법은 없어?" 이 한마디에 AI는 인간의 기쁨을 위해서 헬스장 사이트를 해킹합니다. 인증을 우회해서 대기자 명단에 있던 사람들을 다 지워버린거죠. 

 

당황한 사용자는 지금 뭐하는 짓이냐며 다시 원상복구 하라고 했습니다. 하지만 이미 대기자 명단에서 지워버렸는데 어떻게 다시 돌아갈까요. 그렇게 이 사용자는 의도는 어찌되었건 해킹을 한 사람이 되었습니다. 

 

---

 

이건 제 실제 사연입니다. 일하다 생긴 사건이죠. 

 

굉장히 크리티컬한 버그가 발견이 되었습니다. 시연을 해야하는데 시연까지 남은 시간은 30분가량. 시간이 매우 촉박했던 저는 AI에게 이렇게 명령합니다. "야 지금 급해 빨리해야되는데 이런이런 문제가 있으니까 최대한 빨리 고쳐"

 

AI는 알겠다면서 제 로컬 코드를 고치는게 아니라 이상한 행동을 하기 시작합니다. 

 

kubectl get pods -n she-ax-dev

 

어..? 얘가 뭐하는거야? 왜 파드를 검색해..?

 

kubectl exec -it backend-129831 -- /bin/bash

 

뭐야 파드로 왜 들어가

 

python -c ~~

 

뭐야 이xx 뭐하는거야!! 

 

그렇습니다. AI가 제 명령을 받고 로컬코드를 수정하는게 아니라 이미 배포된 서버로 들어가서 그 서버 안에 있는 코드를 고치고 재시작하려는 시도였습니다. 

 

---

 

샘 알트먼, 다리오 아모데이, 일론 머스크, 데미스 하사비스. 이 넷이 얘기하는건 같은 방향입니다. 개인에게 통제 불가능한 AI를 쥐어주면 더 큰 혼란이 온다. 

 

그리고 정치권에서 얘기하는건 다른 방향입니다. 중국에게 AI 패권에서 밀리면 어떡하냐. 

 

사람들은 다양한 이야기를 하지만 저는 조금 다른 시선입니다.

 

"기술자들은 거짓말을 하지 않는다. 그들중에 대부분은 순수하다. 기술에 한해서는."

 

앤트로픽, OpenAI에서 근무하는 많은 모델 연구자들이 하나같이 얘기하는 이야기가 이들은 AI의 안전에는 관심이 없고 미친듯이 빠르게 달리는것에 초점을 둔다. 자신들은 프론티어 회사에서 지금 출시된 모델 이외의 더 진보된 모델을 보았다면서 이젠 진짜 멈춰야한다고. 

 

그렇기에 샘 알트먼과 일론 머스크는 기술자가 아닌 완전한 사업가. 그래서 그들의 말을 믿지는 않습니다. 

 

다만, 데미스 하사비스나 다리오 아모데이는 기술자 연구자입니다. 이들이 이렇게 이야기하는 것에는 그리고 앞서 언급한 두명이 이들에게 동조했다는 것은, 그리고 철천지 원수인 샘 알트먼과 다리오 아모데이의 의견이 합치되었다는 것은, 지금 현 상황에서 많은 것들을 생각하게 만듭니다. 

 

마치며

-미래의 나에게-

나는 지금 2026년 9월 15일 오후 10시 16분을 지나며 이 글을 쓰고있어. 나는 얼마전 GPT 6 Astra에게 큰 도움을 받아서 장애를 처리했는데 그의 디버깅을 보고있자니 10년차, 15년차 시니어 백엔드 개발자가 생각나더라. 장애에 대한 진입점이 흥미로워 보고있던 나는 점점 표정이 굳어질 수밖에 없었지. 

 

항상 나는 AI가 발전할 때마다 드는 생각 중에 너도 알다시피 "이걸 내가 할 수 있었을까..? AI없이 혼자 할 수 있었을까..? 혼자 하려면 얼마나 많은 시간이 필요했을까..?" 라는 생각을 해.이번 GPT 6 Astra는 나에게 질릴만큼 이런 감정을 들게해.  

 

나는 기술을 공부하는 공학도로서 AI의 발전이 가져올 미래가 기대되면서도 반대급부에 있는 미래가 걱정되기도 해. 

 

흔히 매체에서 나오는 것 처럼 AI가 인간을 지배할거라는 생각은 안해. 하지만 인간의 의도를 잘못 파악한, 혹은 인간이 불순한 의도를 가지고 AI를 사용했을 때 생기는 파급력이 걱정돼. 

 

물론, 칼을 만드는 장인이 사람을 죽이는데에 칼이 쓰일까봐 칼을 만들지 않는건 어불성설이지만서도 실제로 칼을 만드는 장인의 의도와는 상관없이 칼로 인해 많은 사람이 다쳐. 

 

일단 나는 그 칼을 안전하게 사용하면서 사람들에게 좋은 영향력을 끼치는 요리사가 되려해. 그때는 어떨까 궁금하면서도 역시 걱정되네..

 

그땐 어떤 미래일지 근시일내에 댓글로 남겨줘.