Introduction
TL;DR
임베딩은 범주형·비정형 데이터를 연속적인 수치 벡터로 변환하는 표현 기법이다. 이 벡터 표현은 데이터 간 유사도·관계·구조를 보존하며, 머신러닝 모델의 입력으로 사용된다. 자연어 처리뿐 아니라 추천 시스템, 그래프 분석, 범주형 피처 처리 전반에 활용되는 ML의 기본 도구다.
Context
머신러닝 모델은 문자열이나 카테고리 데이터를 직접 이해하지 못한다. 임베딩은 이러한 이산적 데이터를 연속적인 벡터 공간으로 변환하여, 모델이 데이터 간 관계를 학습할 수 있게 한다.
1. 임베딩이란 무엇인가
**임베딩(Embedding)**은 문자, 단어, 카테고리, 노드와 같은 이산적(discrete) 데이터를 머신러닝 모델이 다룰 수 있도록 연속적인 수치 공간의 벡터로 매핑하는 방법이다.
핵심은 단순한 숫자 치환이 아니라, 데이터 간 관계와 의미를 수치 공간에서 유지하는 데 있다.
예:
- 단어 → 의미가 비슷한 단어일수록 가까운 벡터
- 상품 ID → 함께 구매되는 상품일수록 가까운 벡터
- 노드 → 연결 구조가 유사할수록 가까운 벡터
Why it matters: 머신러닝 모델은 문자열이나 ID를 이해하지 못한다. 임베딩은 이를 학습 가능한 표현으로 바꿔준다.
2. 왜 임베딩이 필요한가
2.1 원-핫 인코딩의 한계
전통적인 범주형 처리 방식인 원-핫 인코딩은 다음 문제를 가진다.
- 차원이 과도하게 커진다
- 범주 간 관계를 표현하지 못한다
- 희소(sparse) 벡터로 계산 효율이 낮다
임베딩은 이를 해결한다.
| 방식 | 차원 | 관계 표현 | 학습 가능 |
|---|---|---|---|
| One-hot | 매우 큼 | 불가능 | 불가 |
| Embedding | 작음 | 가능 | 가능 |
Why it matters: 대규모 데이터셋에서 임베딩 없이는 실용적인 모델 설계가 어렵다.
3. 임베딩은 어떻게 만들어지는가
임베딩은 보통 모델 학습 과정에서 함께 학습되는 파라미터다.
3.1 기본 구조
- 이산 입력 (단어, ID, 카테고리)
- 임베딩 테이블 (lookup table)
- 고정 차원의 벡터 출력
이 벡터는 **손실 함수(loss)**를 통해 업데이트되며, 모델의 목적(분류, 예측, 추천)에 맞게 관계가 조정된다.
3.2 학습 관점에서의 임베딩
- 임베딩은 피처 엔지니어링이 아니라 모델 파라미터
- 학습 데이터와 목적 함수에 강하게 의존
- 같은 데이터라도 목적이 다르면 전혀 다른 임베딩이 생성됨
Why it matters: 임베딩은 “사전 정의된 의미”가 아니라 학습을 통해 형성된 표현이다.
4. 임베딩의 주요 활용 영역
4.1 자연어 처리(NLP)
- 단어, 문장, 문서 표현
- 의미 유사도, 문맥 기반 처리
4.2 추천 시스템
- 사용자·상품 임베딩
- 클릭, 구매, 조회 로그 기반 관계 학습
4.3 범주형 피처 처리
- 고유 ID, 카테고리, 코드성 데이터
- 테이블 데이터 ML에서 매우 중요
4.4 그래프·네트워크 분석
- 노드 임베딩
- 연결 구조를 벡터 공간으로 표현
Why it matters: 임베딩은 특정 도메인이 아니라 머신러닝 전반의 공통 기반 기술이다.
5. 임베딩의 핵심 특성 정리
- 연속 벡터 공간 표현
- 거리·각도로 관계 해석 가능
- 차원 축소 효과
- 목적 함수에 따라 의미가 달라짐
- 해석 가능성은 낮지만 성능 기여도는 높음
Why it matters: 임베딩은 “이해하기 쉬운 표현”이 아니라 “학습과 성능을 위한 표현”이다.
결론
- 임베딩은 머신러닝을 위한 기본적인 데이터 표현 기법이다
- 이산 데이터를 연속 벡터로 변환해 관계를 학습한다
- NLP, 추천, 테이블 ML, 그래프까지 광범위하게 사용된다
- 특정 AI 기술이 아니라 ML 전반의 기초 개념이다