최근 편집
최근 토론
게시판 메인
도구
투표
무작위 문서
스킨 설정
파일 올리기
기타 도구
216.73.216.38
IP
사용자 도구
사용자 설정
로그인
회원 가입
최근 편집
최근 토론
돌아가기
삭제
이동
파일 올리기
연구실(bwlee42)/LLM 제작 프로젝트
(편집) (18)
(편집 필터 규칙)
1577,2221
====언어 모델==== 언어 모델(Language Model)은 단어 시퀀스(문장)에 확률을 할당하는 모델을 말한다. 쉽게 말해 어떤 문장이 있을 때 이 문장이 말이 되는지 안 되는지를 판단하거나 문장에서 빈칸이 있을 때 어떤 단어가 들어가는 것이 적합할 지 예측하는 것을 말한다. 이러한 언어 모델은 기계 번역(Machine Translation, 어떤 문장이 더 말이 되는지..), 오타 교정(Spell Correction), 음성 인식(Speech Recognition) 등의 분야에서 이용될 수 있다. 언어 모델은 작동 방식에 따라 크게 2가지로 구분할 수 있는데, 인공 신경망을 이용한 언어 모델(Neural Network Based Language Model)과 통계적 언어 모델(Statistical Language Model, SLM)이 있다. 통계적 언어 모델은 전통적인 방식, 그러니까 어떤 코퍼스(corpus) 데이터[* 컴퓨터가 읽을 수 있는 형태로 수집 및 정리된 대규모 언어 자료의 집합]에서 어떤 문장이 나올 확률을 조건부 확률을 통해 판단하는 방식이다. 하지만 이 방식에는 '''치명적인 단점'''이 존재하기에 요샌 인공 신경망을 이용한 언어 모델이 더 각광받는 추세이다. 다음 문단에서 더 자세히 다뤄보도록 하겠다.
(임시 저장)
(임시 저장 불러오기)
기본값
모나코 에디터
normal
namumark
namumark_beta
macromark
markdown
custom
raw
(추가)
====언어 모델==== 언어 모델(Language Model)은 단어 시퀀스(문장)에 확률을 할당하는 모델을 말한다. 쉽게 말해 어떤 문장이 있을 때 이 문장이 말이 되는지 안 되는지를 판단하거나 문장에서 빈칸이 있을 때 어떤 단어가 들어가는 것이 적합할 지 예측하는 것을 말한다. 이러한 언어 모델은 기계 번역(Machine Translation, 어떤 문장이 더 말이 되는지..), 오타 교정(Spell Correction), 음성 인식(Speech Recognition) 등의 분야에서 이용될 수 있다. 언어 모델은 작동 방식에 따라 크게 2가지로 구분할 수 있는데, 인공 신경망을 이용한 언어 모델(Neural Network Based Language Model)과 통계적 언어 모델(Statistical Language Model, SLM)이 있다. 통계적 언어 모델은 전통적인 방식, 그러니까 어떤 코퍼스(corpus) 데이터[* 컴퓨터가 읽을 수 있는 형태로 수집 및 정리된 대규모 언어 자료의 집합]에서 어떤 문장이 나올 확률을 조건부 확률을 통해 판단하는 방식이다. 하지만 이 방식에는 '''치명적인 단점'''이 존재하기에 요샌 인공 신경망을 이용한 언어 모델이 더 각광받는 추세이다. 다음 문단에서 더 자세히 다뤄보도록 하겠다.
비로그인 상태이므로 문서 편집 및 게시판 글 작성 시 IP가 그대로 노출 됩니다.
전송
미리보기