🔍 1. LoRA의 핵심 개념
1. 기존 파인튜닝의 문제점대규모 언어 모델(예: GPT, BERT 등)을 파인튜닝하려면 수억~수십억 개의 파라미터를 업데이트해야 합니다.이는 GPU 메모리 과다 사용, 오랜 시간 소요, 모델 전체를 저장해야 하는 문제를 야기합니다.2. LoRA의 핵심 아이디어전체 가중치 행렬을 학습하지 않고, **두 개의 저차원 행렬(Low-Rank Matrices)**만 학습합니다.즉, 기존 가중치 WWW는 그대로 두고, 아래처럼 표현합니다:W′=W+ΔW=W+ABA∈Rd×r, B∈Rr×k: 학습 가능한 저차원 행렬r≪d,kr \ll d, kr≪d,k: 낮은 랭크(rank)를 사용3. 장점💾 메모리 효율: 전체 모델 파라미터의 0.1~1%만 학습🚀 속도 향상: 학습 시간 단축🧩 모듈화: 기존 모델을 변경하지 않고..