![]()
PreliminariesPEFT (Parameter Efficient Fine-Tuning)성능은 그대로 유지하고, 파라미터 수를 줄여서 training time이나 memory efficiency 측면에서 장점을 갖게 됨Adapter, Prompt Tuning, LoRA 등의 방법론 제기.Adapter(추후 추가예정)Introduction최근 175B의 Parameter를 가진 GPT-3 모델을 fine tuning하는 것이 expensive하다는 문제가 제기되면서, 이를 경량화하려는 노력에 대한 시도가 많이 진행되고 있다.Low-Rank Adaptation (LoRA) 기법은, 기존에 pre-trained model을 freeze시키고 rank decomposition matrix를 기반으로 학습시키..
![]()
세계적으로 IT분야에 대한 관심이 뜨겁습니다. 인공지능(AI)의 등장은 많은 사람들에게 더 나은 편의를 제공할 수 있다는 기대감을 제공했고, 이에 힘입어 발전 속도가 가속화되고 있스빈다. 이러한 인공지능(AI)은 그 범위가 아주 광범위한데, 우선적으로 단순하게 두 가지, 머신 러닝(Machine Learning)과 딥 러닝(Deep Learning)으로 나눠볼 수 있습니다. 머신러닝이란? 머신러닝(ML)은 데이터를 기반으로 학습 또는 성능 향상을 지원하는 시스템을 구축하는 데 초점을 맞추는 인공 지능(AI)의 하위 집합입니다. 인공지능은 인간 지능을 모방하는 시스템 또는 머신을 나타내는 광범위한 용어입니다. 머신러닝과 AI에 대해 함께 논의되는 경우가 많고 서로 바꿔서 사용되기도 하지만 동일한 것을 의미..
