개발놀이터

튜닝 방법론 PiSSA와 LoftQ

안녕하세요! 여러분은 LoRA를 이용해서 많이들 튜닝하고 계신가요? 특히 제한된 컴퓨팅 용량으로 인해 QLoRA나 QDoRA를 많이들 사용하실 것 같습니다. 이번 포스팅에서는 QLoRA와 QDoRA를 사용할 때 고려할 수 있는 방법론 두가지를 가져왔습니다. PiSSA와 LoftQ입니다. 이 둘다 LoRA, QLoRA를 이용해서 튜닝할 때 생기는 문제를 보완하기 위해 생긴 방법론입니다. 지금 바로 시작해보죠! LoRA란?LoRA에 대해서 다시 짚고 넘어가도록 하겠습니다. LoRA는 Full Finetunning에서 생기는 문제에서 출발합니다. Full Finetunning은 학습에 모든 파라미터를 건드리기 때문에 굉장히 많은 컴퓨팅 용량이 필요했고 시간도 어마어마하게 많이 걸리는 문제가 있었습니다. ..

LLM은 확률론적 앵무새가 아닐지도 모른다

안녕하세요! 이번 포스팅은 제가 개인적으로 관심있는 분야인 기계론적 해석학의 현재 상황을 정리하고 한참 후에 제가 "아 이때는 이정도 블랙박스가 해소되었구나"를 기억하기 위해 작성해보겠습니다. 우선 이 포스팅에선 LLM의 블랙박스를 해결하기 위해 어떤 과정을 거쳤는지 프리뷰에 해당하는 포스팅이 될 것 같습니다. 전체적인 그림을 한판 그리고 하나의 개념이 해소될 때마다 각 시점에 어떤 연구가 진행되었는지 하나씩 뜯어보도록 하겠습니다. 기계론적 해석학의 현위치기계론적 해석학은 LLM의 블랙박스를 파악하기위해 만들어진 학문입니다. LLM의 초반 흔히들 이런 말이 돌아다녔습니다. "인간이 LLM을 만들긴 했는데 왜 이 텍스트를 출력했는지 아무도 모른대" ChatGPT가 등장했던 2023년엔 맞는 말이었습니..

MLP의 활성화 함수란? SwiGLU와 잔차 연결의 상관관계

이전 포스팅에선 SwiGLU와 역전파의 상관관계에 대해서 이야기해봤습니다. 이번 포스팅에선 SwiGLU와 잔차 연결 (Residual Connection)의 상관관계에 대해서 정리해보겠습니다. 우선 들어가기 앞서 SwiGLU는 활성화 함수로서 모델이 학습할 때와 출력할 때 촉진제 역할을 하면서 활성화를 일으키는 함수라고 짚고 넘어갔습니다. 그럼 이런 의문이 들 수 있습니다. "그냥 SwiGLU만 있으면 잔차 연결이 필요없는거 아니야?" 활성화 함수와 잔차 연결이 의문의 시작점은 SwiGLU가 SiLU를 이용해서 x 잔차 연결은 모델이 학습할 때 아무것도 추가되지 않는 부분이 없이 원본 그대로가 지나갈 수 있는 우회로를 만들어줌으로써 모델이 학습할 때 안정성을 높여주는 역할을 하게 됩니다. 즉, 손실..

MLP의 활성화 함수란? SwiGLU와 역전파의 상관관계

이전 포스팅에서 모델은 수십개의 Layer로 나눠져있고 각 레이어는 다시 Attention Layer, MLP Layer로 나눠져있고 Attention Layer는 QK회로, OV회로로 나눠져있다고 언급했습니다. 그러면서 MHA, MQA, GQA로 이어지는 흐름을 알아봤었죠. 그러면서 MLP는 앞선 Attention Layer에서 가져온 맥락을 보고 잔차 연결에 기여한다는 사실도 짚어봤었죠. 문득 Attention Layer는 깊이있게 다룬 것 같은데 MLP는 활성화 함수가 있다는 사실만 언급하고 넘어간 것 같아서 이 부분을 보완하고자 MLP에 있는 핵심 기능인 활성화 함수에 대해서 정리해보고자합니다. 순전파와 역전파활성화 함수는 이름 그대로 모델을 활성화하는 함수라고 생각해주시면 이해하기 조금 더..

AI 의 현재와 미래에 대한 주절주절

최근에 대학원 신입생 환영회 자리에서 직업을 AI 엔지니어로 소개하니 많은 분들이 관심을 가져주셨는데 그 중에 유독 AI에 관심이 많아 보이시는 분 한분이 저에게 이런 질문을 하시더라구요. "AI의 최전방에 있으시면서 5년 뒤 미래는 어떻게 될거같으세요?""세계적인 석학도 모르는데 제가 감히 어떻게 예측을 하겠나요.. 그리고 최전방은 아니고 전방정도는 됩니다." 그러면서 제가 했던 대답은 "프로그래밍 그 자체만 놓고보면 따라갈 사람이 지금 몇명이나 있을까 싶네요. 그럼에도 아직 AI에게 부족한건 맥락이라 당분간 꽤 오랫동안 맥락의 관점에서 인간이 우세할 것 같아요" AI의 현재현재의 개발업계에서 AI의 위치는 절대적입니다. 이제 20달러를 쓰는 개발자와 100달러를 쓰는 개발자는 하늘과 땅차이가 됐습..

안녕하세요! 이번 포스팅은 이전 포스팅에서 예고한대로 Encoder와 Decoder에 대해서 포스팅을 진행해볼까합니다. 이번 포스팅은 이전 포스팅에서의 Attention에 대한 이해가 기본이해가 선행되면 더욱 재밌게 보실 수 있습니다. 앞선 포스팅을 먼저 읽고 오시는 것을 추천드립니다!https://coding-review.tistory.com/626 Attention is All You Need, Transformer의 시작안녕하세요! 이번 포스팅에선 AI 이론 포스팅의 시작점이 되는 포스팅으로써 여태까지 공부했던 AI 이론을 하나의 흐름으로 꿰기위해 꼭 필요한 포스팅입니다. 들어가기 앞서 이 분야를 연구원coding-review.tistory.comhttps://coding-review.tistor..

안녕하세요! 이번 포스팅은 조금은 실무적인 내용을 가져왔습니다. 그럼에도 이론이 잔뜩 들어있지만요. 불과 1년전만 하더라도 파인튜닝으로 모델을 튜닝하는게 당연하게 여겨졌다가 어느순간 사라지게 되었습니다. 그 이유가 모델 학습에 필요한 막대한 컴퓨팅 용량과 시간때문이 아닐까 싶은데요. 조금은 비즈니스적인 이유로 많은 사람들이 이제 파인튜닝 대신 LoRA를 많이 사용하는 것 같습니다. 이번 포스팅에선 LoRA와 그 변형인 QLoRA, 그리고 한때 핫했다가 조금은 사그러든 DoRA에 대해서 알아볼까합니다. 그럼 본격적으로 시작해보죠! 파인튜닝우선 튜닝이 어떤 방식으로 이뤄지는지 알아봐야겠죠? 잠깐 복습하고 넘어가겠습니다! Attention 연산은 "헤드"라는 단위로 움직이고 이 헤드는 하나의 Atte..

안녕하세요! 이전 포스팅에서는 Attention Layer에 대해서 짚어보면서 어떻게 모델이 맥락을 만들어내는지 알아봤습니다. 이번 포스팅에서는 Attention Layer가 던져준 맥락을 잘 토스해서 출력까지 스무스하게 이어주는 MLP(구 FFN)에 대해서 정리해봤습니다! MLP는 2017년 Transformer 알고리즘의 초기부터 존재했던 근본 개념입니다. 이전 포스팅에서 Transformer라는 회사에 자료조사 팀인 Attention 부서와 분석팀 MLP가 있다고 예시를 들었습니다. MLP는 자료조사가 끝난 뒤 토큰의 분석을 맡고 있고 잔차 연결로 이어지는 이 흐름을 조금 더 구체적으로 풀어보도록 하겠습니다. 본격적으로 포스팅 시작하겠습니다! MLP의 역할MLP는 Multi-Layer Perce..

안녕하세요! 조금 자극적인 제목으로 인사드립니다. 저번 포스팅에선 Attention 레이어, 그 중에서도 Q, K, V의 연산 과정 하나에 관한 내용을 포스팅했습니다. 그래서 이전 포스팅을 통해 Q, K, V가 힘을 합쳐 잔차 스트림에 잔차 연결을 통해 의미를 조금씩 붙인다는 것을 알게 되었습니다. 근데 사실 Attention Layer에서 이 작업은 수십개의 작업 중 하나일 뿐입니다. 이번 포스팅에선 여러 Q, K, V가 어떻게 동작하는지 조금 더 넓은 범위에서 알아보도록 하겠습니다. 잔차 연결과 잔차 스트림이전 포스팅에서부터 이번 도입까지 잔차 연결과 잔차 스트림이라는 얘기가 나오는데 이 개념에 대한 정리부터 짚고 넘어가겠습니다. 잔차 연결과 잔차 스트림은 쉽게 이렇게 이해하셔도 무방합니다...

안녕하세요! 이번 포스팅에선 AI 이론 포스팅의 시작점이 되는 포스팅으로써 여태까지 공부했던 AI 이론을 하나의 흐름으로 꿰기위해 꼭 필요한 포스팅입니다. 들어가기 앞서 이 분야를 연구원도 아닌 제가 왜 공부하게 되었는지를 짧게 설명하고 넘어가야될 것 같네요. 저는 어릴 때 풍력발전기를 보고도 '쟤는 그 어디에도 전기를 생산할 것 같지않게 생겼는데 어디서 전기를 만들고 있는거야?' 라는 의문이 들만큼 동작원리를 궁금해했습니다. 그 아이는 커서 LLM이 토큰을 어떤 원리로 뱉고있는지가 너무 궁금해서 호기심에 하나 둘씩 공부하기 시작했습니다. 근데 처음 공부할 당시는 진짜 이게 무슨 외계어인가 싶었거든요. 저는 백엔드만 공부했었고 웹백엔드랑은 전혀 다른 길이었어서 하나도 모르겠더라구요. 그럼에도 천천..