(+)분류 : 연구실(bwlee42)
이 문서는연구실(bwlee42)/LLM 제작 프로젝트의 하위 문서 입니다.
1. 개요 ✎ ⊖
언어 모델(Language Model)은 단어 시퀀스(문장)에 확률을 할당하는 모델을 말한다.
쉽게 말해 어떤 문장이 있을 때 이 문장이 말이 되는지 안 되는지를 판단하거나 문장에서 빈칸이 있을 때 어떤 단어가 들어가는 것이 적합할 지 예측하는 것을 말한다.
이러한 언어 모델은 기계 번역(Machine Translation, 어떤 문장이 더 말이 되는지..), 오타 교정(Spell Correction), 음성 인식(Speech Recognition) 등의 분야에서 이용될 수 있다.
언어 모델은 작동 방식에 따라 크게 2가지로 구분할 수 있는데, 인공 신경망을 이용한 언어 모델(Neural Network Based Language Model)과 통계적 언어 모델(Statistical Language Model, SLM)이 있다. 통계적 언어 모델은 전통적인 방식, 그러니까 어떤 코퍼스(corpus) 데이터(1)에서 어떤 문장이 나올 확률을 조건부 확률을 통해 판단하는 방식이다. 하지만 이 방식에는 치명적인 단점이 존재하기에 요샌 인공 신경망을 이용한 언어 모델이 더 각광받는 추세이다. 다음 문단에서 더 자세히 다뤄보도록 하겠다.
쉽게 말해 어떤 문장이 있을 때 이 문장이 말이 되는지 안 되는지를 판단하거나 문장에서 빈칸이 있을 때 어떤 단어가 들어가는 것이 적합할 지 예측하는 것을 말한다.
이러한 언어 모델은 기계 번역(Machine Translation, 어떤 문장이 더 말이 되는지..), 오타 교정(Spell Correction), 음성 인식(Speech Recognition) 등의 분야에서 이용될 수 있다.
언어 모델은 작동 방식에 따라 크게 2가지로 구분할 수 있는데, 인공 신경망을 이용한 언어 모델(Neural Network Based Language Model)과 통계적 언어 모델(Statistical Language Model, SLM)이 있다. 통계적 언어 모델은 전통적인 방식, 그러니까 어떤 코퍼스(corpus) 데이터(1)에서 어떤 문장이 나올 확률을 조건부 확률을 통해 판단하는 방식이다. 하지만 이 방식에는 치명적인 단점이 존재하기에 요샌 인공 신경망을 이용한 언어 모델이 더 각광받는 추세이다. 다음 문단에서 더 자세히 다뤄보도록 하겠다.
