언어모델
-
[서평] 허깅페이스 트랜스포머 하드 트레이닝서평 2025. 2. 28. 02:40
NLP는 한 논문의 등장 전과 후로 나뉜다. “Attention is All you need”. LSTM과 같은 모델은 분명한 한계가 있어 심심이 이상으로 발전하지 못했고, 따라서 거의 모든 NLP 작업은 알고리즘에 의해 이뤄졌다. 그러나 이 논문의 등장 이후, NLP는 트랜스포머 아키텍처를 기반으로 급격한 발전을 이루었다. 특히, BERT, GPT, T5 등의 사전훈련 모델이 등장하며, 언어 이해와 생성의 정밀도가 비약적으로 향상되었다. 최근에는 더욱 거대한 파라미터를 가진 LLM들이 개발되면서, 단순한 문맥 이해를 넘어 창의적인 텍스트 생성, 다중 언어 처리, 코드 작성, 심지어 인간과 유사한 대화 능력까지 갖추게 되었다. 또한, 미세 조정과 인스트럭션 튜닝 기법이 접목되면서 특정 업무에 특화된 NL..