개발놀이터

MLP의 활성화 함수란? SwiGLU와 잔차 연결의 상관관계

이전 포스팅에선 SwiGLU와 역전파의 상관관계에 대해서 이야기해봤습니다. 이번 포스팅에선 SwiGLU와 잔차 연결 (Residual Connection)의 상관관계에 대해서 정리해보겠습니다. 우선 들어가기 앞서 SwiGLU는 활성화 함수로서 모델이 학습할 때와 출력할 때 촉진제 역할을 하면서 활성화를 일으키는 함수라고 짚고 넘어갔습니다. 그럼 이런 의문이 들 수 있습니다. "그냥 SwiGLU만 있으면 잔차 연결이 필요없는거 아니야?" 활성화 함수와 잔차 연결이 의문의 시작점은 SwiGLU가 SiLU를 이용해서 x 잔차 연결은 모델이 학습할 때 아무것도 추가되지 않는 부분이 없이 원본 그대로가 지나갈 수 있는 우회로를 만들어줌으로써 모델이 학습할 때 안정성을 높여주는 역할을 하게 됩니다. 즉, 손실..

MLP의 활성화 함수란? SwiGLU와 역전파의 상관관계

이전 포스팅에서 모델은 수십개의 Layer로 나눠져있고 각 레이어는 다시 Attention Layer, MLP Layer로 나눠져있고 Attention Layer는 QK회로, OV회로로 나눠져있다고 언급했습니다. 그러면서 MHA, MQA, GQA로 이어지는 흐름을 알아봤었죠. 그러면서 MLP는 앞선 Attention Layer에서 가져온 맥락을 보고 잔차 연결에 기여한다는 사실도 짚어봤었죠. 문득 Attention Layer는 깊이있게 다룬 것 같은데 MLP는 활성화 함수가 있다는 사실만 언급하고 넘어간 것 같아서 이 부분을 보완하고자 MLP에 있는 핵심 기능인 활성화 함수에 대해서 정리해보고자합니다. 순전파와 역전파활성화 함수는 이름 그대로 모델을 활성화하는 함수라고 생각해주시면 이해하기 조금 더..

AI 의 현재와 미래에 대한 주절주절

최근에 대학원 신입생 환영회 자리에서 직업을 AI 엔지니어로 소개하니 많은 분들이 관심을 가져주셨는데 그 중에 유독 AI에 관심이 많아 보이시는 분 한분이 저에게 이런 질문을 하시더라구요. "AI의 최전방에 있으시면서 5년 뒤 미래는 어떻게 될거같으세요?""세계적인 석학도 모르는데 제가 감히 어떻게 예측을 하겠나요.. 그리고 최전방은 아니고 전방정도는 됩니다." 그러면서 제가 했던 대답은 "프로그래밍 그 자체만 놓고보면 따라갈 사람이 지금 몇명이나 있을까 싶네요. 그럼에도 아직 AI에게 부족한건 맥락이라 당분간 꽤 오랫동안 맥락의 관점에서 인간이 우세할 것 같아요" AI의 현재현재의 개발업계에서 AI의 위치는 절대적입니다. 이제 20달러를 쓰는 개발자와 100달러를 쓰는 개발자는 하늘과 땅차이가 됐습..

안녕하세요! 이번 포스팅은 이전 포스팅에서 예고한대로 Encoder와 Decoder에 대해서 포스팅을 진행해볼까합니다. 이번 포스팅은 이전 포스팅에서의 Attention에 대한 이해가 기본이해가 선행되면 더욱 재밌게 보실 수 있습니다. 앞선 포스팅을 먼저 읽고 오시는 것을 추천드립니다!https://coding-review.tistory.com/626 Attention is All You Need, Transformer의 시작안녕하세요! 이번 포스팅에선 AI 이론 포스팅의 시작점이 되는 포스팅으로써 여태까지 공부했던 AI 이론을 하나의 흐름으로 꿰기위해 꼭 필요한 포스팅입니다. 들어가기 앞서 이 분야를 연구원coding-review.tistory.comhttps://coding-review.tistor..

안녕하세요! 이번 포스팅은 조금은 실무적인 내용을 가져왔습니다. 그럼에도 이론이 잔뜩 들어있지만요. 불과 1년전만 하더라도 파인튜닝으로 모델을 튜닝하는게 당연하게 여겨졌다가 어느순간 사라지게 되었습니다. 그 이유가 모델 학습에 필요한 막대한 컴퓨팅 용량과 시간때문이 아닐까 싶은데요. 조금은 비즈니스적인 이유로 많은 사람들이 이제 파인튜닝 대신 LoRA를 많이 사용하는 것 같습니다. 이번 포스팅에선 LoRA와 그 변형인 QLoRA, 그리고 한때 핫했다가 조금은 사그러든 DoRA에 대해서 알아볼까합니다. 그럼 본격적으로 시작해보죠! 파인튜닝우선 튜닝이 어떤 방식으로 이뤄지는지 알아봐야겠죠? 잠깐 복습하고 넘어가겠습니다! Attention 연산은 "헤드"라는 단위로 움직이고 이 헤드는 하나의 Atte..

안녕하세요! 이전 포스팅에서는 Attention Layer에 대해서 짚어보면서 어떻게 모델이 맥락을 만들어내는지 알아봤습니다. 이번 포스팅에서는 Attention Layer가 던져준 맥락을 잘 토스해서 출력까지 스무스하게 이어주는 MLP(구 FFN)에 대해서 정리해봤습니다! MLP는 2017년 Transformer 알고리즘의 초기부터 존재했던 근본 개념입니다. 이전 포스팅에서 Transformer라는 회사에 자료조사 팀인 Attention 부서와 분석팀 MLP가 있다고 예시를 들었습니다. MLP는 자료조사가 끝난 뒤 토큰의 분석을 맡고 있고 잔차 연결로 이어지는 이 흐름을 조금 더 구체적으로 풀어보도록 하겠습니다. 본격적으로 포스팅 시작하겠습니다! MLP의 역할MLP는 Multi-Layer Perce..

안녕하세요! 조금 자극적인 제목으로 인사드립니다. 저번 포스팅에선 Attention 레이어, 그 중에서도 Q, K, V의 연산 과정 하나에 관한 내용을 포스팅했습니다. 그래서 이전 포스팅을 통해 Q, K, V가 힘을 합쳐 잔차 스트림에 잔차 연결을 통해 의미를 조금씩 붙인다는 것을 알게 되었습니다. 근데 사실 Attention Layer에서 이 작업은 수십개의 작업 중 하나일 뿐입니다. 이번 포스팅에선 여러 Q, K, V가 어떻게 동작하는지 조금 더 넓은 범위에서 알아보도록 하겠습니다. 잔차 연결과 잔차 스트림이전 포스팅에서부터 이번 도입까지 잔차 연결과 잔차 스트림이라는 얘기가 나오는데 이 개념에 대한 정리부터 짚고 넘어가겠습니다. 잔차 연결과 잔차 스트림은 쉽게 이렇게 이해하셔도 무방합니다...

안녕하세요! 이번 포스팅에선 AI 이론 포스팅의 시작점이 되는 포스팅으로써 여태까지 공부했던 AI 이론을 하나의 흐름으로 꿰기위해 꼭 필요한 포스팅입니다. 들어가기 앞서 이 분야를 연구원도 아닌 제가 왜 공부하게 되었는지를 짧게 설명하고 넘어가야될 것 같네요. 저는 어릴 때 풍력발전기를 보고도 '쟤는 그 어디에도 전기를 생산할 것 같지않게 생겼는데 어디서 전기를 만들고 있는거야?' 라는 의문이 들만큼 동작원리를 궁금해했습니다. 그 아이는 커서 LLM이 토큰을 어떤 원리로 뱉고있는지가 너무 궁금해서 호기심에 하나 둘씩 공부하기 시작했습니다. 근데 처음 공부할 당시는 진짜 이게 무슨 외계어인가 싶었거든요. 저는 백엔드만 공부했었고 웹백엔드랑은 전혀 다른 길이었어서 하나도 모르겠더라구요. 그럼에도 천천..

안녕하세요! 오랜만에 여유가 생겨서 포스팅을 쓸 시간이 생겼네요. 이번 포스팅에서는 그동안 미뤘던 수학 얘기를 좀 할까합니다. 저는 포스팅을 최대한 쉽게 쓰려고하는 편인데 그래도 앞으로 AI 이론 포스팅을 수월하게 작성하기 위해서는 반드시 한번 짚고 넘어가야한다고 생각해서 아쉽지만 이번 포스팅에는 수식이 잔뜩 나올 예정입니다... 이번 포스팅은 이렇게 이루어져있습니다. 1) Attention 수식의 전체적인 모습2) 행렬의 계산방법3) QK회로와 K의 전치 이유4) 루트 dk로 나누는 이유5) Softmax의 존재의의와 필요성6) OV회로와 잔차 연결 자 이제 본격적으로 시작하도록 하겠습니다! Attention 수식의 전체적인 모습우선 Attention 수식의 전체적인 모습에 대해서 짚고 넘어가겠습니다..

안녕하세요! 오랜만에 블로그 포스팅을 작성하네요. 요즘 업무에 치이느라 조금 뜸해졌는데 오랜만에 포스팅을 적습니다. 요즘 큰 이슈 중에 하나인 AI 프론티어 회사들이 다같이 입을 모아 AI 발전을 늦춰야한다고 얘기한 사건 다들 뉴스로, 유튜브로, 트위터로 많이 접하셨을겁니다. 원래 저는 포스팅을 하면서도 이슈에 대해서 다룬적은 한번도 없는데 제 블로그 포스팅 방향과 다르기도 했지만 이슈로 잡기에는 대단찮은 것들이 많았고 제 나름대로 생각해보고 넘어갈 수 있는 것들이었기 때문에 굳이 적지 않았습니다. 그럼에도 이번 이슈에 대해서 언급하고싶었던 이유는 이건 진정으로 모두가 생각해봐야하는 문제가 아닐까해서 그리고 이때 당시의 내 생각을 글로 남기고 근시일내인 2~3년 뒤에 미래에 살고있는 제가 이 글을 보..