•  
  •  
  •  
  •  
  •  
  •  
  •  
  •  
  •  
  •  

연구실(bwlee42)/LLM 제작 프로젝트

최근 수정 시각 : 2025-11-22 00:10:03 | 조회수 : 55


목차

1. 이론
1.1. 인공지능
1.1.1. 머신러닝
1.1.1.1. 선형 회귀
1.1.1.2. 로지스틱 회귀
1.1.1.3. 벡터와 행렬 연산
1.1.1.4. 소프트맥스 회귀
1.1.2. 딥러닝
1.2. 파이썬(Python)
1.2.1. 넘파이(Numpy)
1.2.2. 판다스(Pandas)
1.2.3. 맷플롯립(matplotlib)
1.2.4. 사이킷런(scikit-learn)
1.2.5. 파이토치(PyTorch)
1.2.6. 텐서플로우(TensorFlow)
1.2.7. 케라스(Keras)
1.3. 자연어 처리
1.3.1. 언어 모델
1.4. UX(User eXperience)
2. 실습
2.1. 선형 회귀 실습
3. 개발

1. 이론

참고도서:
<이토록 쉬운 머신러닝&딥러닝 입문 with 사이킷런 + 파이토치>홍승백
<파이토치 트랜스포머를 활용한 자연어 처리와 컴퓨터비전 심층학습>윤대희, 김동화, 송종민, 진현두
<앨런 튜링 지능에 관하여>앨런 튜링
<파이토치 딥러닝 프로젝트 모음집>투빅스
<AI & UX 인공지능에 사용자 경험이 필요한 이유>게빈 루, 로버트 슈마허 주니어
<딥 러닝을 이용한 자연어 처리 입문>Eddie, Bryce


LLM 관련 도서도 있으면 추가로 읽어야겠네요.

1.1. 인공지능

인공지능은 인간의 학습 추론 능력 등을 기계에 구현시키는 기술이다.
최근 대두되는 머신러닝은 이 인공지능의 하위 개념이며, 딥러닝은 머신러닝의 하위개념이다.

인공지능이란 용어가 처음 탄생하고 최초로 연구되던 1950년대에는 머신러닝이라는 개념이 없었다.
당시엔 심볼릭 인공지능(symbolic AI)이 유행했었는데, 요즘 머신러닝과 차이점은 기계가 스스로 학습하여 규칙을 정의하는 방식이 아닌 인간이 규칙을 직접 정의해주어야 했었다. 그러다 보니 새로운 지식에 대해 유연하게 대처하지 못하는 한계가 있었고, 인간이 규칙을 정의할 수 있는 부분에서만 구현이 가능하다는 한계가 있었기 때문에 머신러닝이라는 개념이 인공지능 속에 자리잡게 된 것이다.

딥러닝은 이러한 머신러닝에서도 특별히 인공신경망을 활용한 것을 말한다. 인공신경망은 인간의 노 구조를 모방한 것이다.
인간의 뇌의 뉴런에 대응되는 퍼셉트론(Perceptron)들이 모여 이를 구성한다. 요즘 트렌드이자 최신 인공지능의 핵심 기술로 각광받고 있다.

1.1.1. 머신러닝

머신러닝은 학습 방식에 따라 지도학습, 비지도학습, 강화학습으로 나눌 수 있다.

지도학습은 문제지와 정답지를 함께 제공하고, 그 사이의 규칙을 파악하게 하는 학습 방식이다.

비지도학습은 문제지만 제공하고, 각각 문제들의 특징을 뽑아내게 하는 학습 방식이다.

강화학습은 에이전트(Agent)와 보상이라는 개념을 이용해 인공지능이 원하는 행동을 하면 상을 주고, 원하지 않는 행동을 하면 벌을 주는 방식으로 하는 학습 방식이다.
1.1.1.1. 선형 회귀
1.1.1.2. 로지스틱 회귀
1.1.1.3. 벡터와 행렬 연산
1.1.1.4. 소프트맥스 회귀

1.1.2. 딥러닝

1.2. 파이썬(Python)

파이썬은 인공지능을 구현하기 위한 훌륭한 프로그래밍 언어이다.

아래 문단들에서 인공지능 개발에 필요한 파이썬 라이브러리들을 소개한다.

1.2.1. 넘파이(Numpy)

1.2.2. 판다스(Pandas)

1.2.3. 맷플롯립(matplotlib)

1.2.4. 사이킷런(scikit-learn)

1.2.5. 파이토치(PyTorch)

1.2.6. 텐서플로우(TensorFlow)

1.2.7. 케라스(Keras)

1.3. 자연어 처리

자연어(natural language)란 우리가 일상생활에서 사용하는 언어를 말한다.
자연어 처리란 이러한 자연어의 의미를 분석하여 컴퓨터가 처리할 수 있도록 하는 일을 말한다.

1.3.1. 언어 모델

언어 모델(Language Model)은 단어 시퀀스(문장)에 확률을 할당하는 모델을 말한다.
쉽게 말해 어떤 문장이 있을 때 이 문장이 말이 되는지 안 되는지를 판단하거나 문장에서 빈칸이 있을 때 어떤 단어가 들어가는 것이 적합할 지 예측하는 것을 말한다.

이러한 언어 모델은 기계 번역(Machine Translation, 어떤 문장이 더 말이 되는지..), 오타 교정(Spell Correction), 음성 인식(Speech Recognition) 등의 분야에서 이용될 수 있다.

언어 모델은 작동 방식에 따라 크게 2가지로 구분할 수 있는데, 인공 신경망을 이용한 언어 모델(Neural Network Based Language Model)과 통계적 언어 모델(Statistical Language Model, SLM)이 있다. 통계적 언어 모델은 전통적인 방식, 그러니까 어떤 코퍼스(corpus) 데이터(1)에서 어떤 문장이 나올 확률을 조건부 확률을 통해 판단하는 방식이다. 하지만 이 방식에는 치명적인 단점이 존재하기에 요샌 인공 신경망을 이용한 언어 모델이 더 각광받는 추세이다. 다음 문단에서 더 자세히 다뤄보도록 하겠다.

1.4. UX(User eXperience)

2. 실습

2.1. 선형 회귀 실습

3. 개발

(1) 컴퓨터가 읽을 수 있는 형태로 수집 및 정리된 대규모 언어 자료의 집합