[파이썬, Python] 자연어처리 - 자연어 데이터 전처리 이론

1. 코퍼스(Corpus)

• 사전적인 의미는 '말뭉치', '대량의 텍스트 데이터'를 말함
• 자연어처리 연구나 애플리케이션 활용을 염두에 두고 수집된 텍스트 데이터셋을 의미

---

2. 토큰화(Tokenization)

• 전처리 과정에는 토큰화, 정제, 정규화 작업 등이 있음
• 토큰화는 원시 데이터를 가져와서 유용한 데이터 문자열로 변환하는 간단한 프로세스
• 사이버 보안, NFT 생성에 사용되는 것으로 유명, 자연어 프로세스의 중요한 부분을 차지함
• 토큰의 단위는 자연어 내에서 의미를 가지는 최소 단위로 정의
• 단락과 문장을 보다 쉽게 의미를 할당할 수 있는 더 작은 단위로 분할하는데 사용

토큰화 작업은 주어진 코퍼스 내 자연어 문장들을 토큰이라 불리는 최소 단위로 나누는 작업

 

 

2-1. 토큰화 과정의 필요성

• 언어 모델의 자연어 이해 능력 향상

"역삼동에 어떤 맛집이 있나요?"

"역삼동에"  "어떤"  "맛집이"  "있나요?"

"역삼동"  "에"  "어떤"  "맛집"  "이"  "있나"  "요?"

• 다양한 자연어를 효율적으로 표현 가능
• 중복을 제거한 대규모 자연어 코퍼스 내 토큰의 집합(단어 사전) 사용
• 적절한 정보량을 내포하면서 전체 단어사전의 개수가 많아지지 않도록 토큰의 단위를 잘 정의해야 함
• 상황에 따라 다르지만, 일반적인 자연어처리 작업에서 단어 사전의 규모는 약 10,000 ~ 50,000개 정도로 구성(현대 한글의 글자 수는 11,172개)

 

 

2-2. 토큰화 방법

 

• 문장 토큰화: 토큰의 기준을 문장으로 하는 토큰화 방법
  • 문장의 끝에 오는 문장 부호를 기준으로 코퍼스를 잘라냄(. 또는 ! 또는 ?)
  • 예) "역삼동에 어떤 맛집이 있나요?"
  • 예외) 제 이메일 주소는 apple@apple.com 입니다.

 

• 단어 토큰화: 토큰의 기준을 단어로 하는 토큰화 방법
  
  • 보편적으로 구분기호를 가지고 텍스트를 나누게 되며, 기본적으로 공백을 구준자로 사용
  • 한국어의 경우 교착어(접사, 어미, 접두사 등을 추가하여 문법적 기능이나 의미를 나타내는 언어)이기 때문에 공백으로 단어를 토큰화 하면 성능이 좋지 않음
  • 새로운 단어가 추가될수록 단어 사전의 크기가 계속 증가
  • OOV(Out Of Vocabulary) 문제 - UNK가 많이 발생
  • 예) "역삼동에"  "어떤"  "맛집이"  "있나요?"

 

• 문자 토큰화: 토큰의 기준을 문자로 하는 토큰화 방법
  
  • 단어 토큰화의 한계점들을 해결하기 위한 방법
  • 영어는 26개의 알파벳에 따라 분리, 한국어는 자음 19개와 모음 21개의 글자에 따라 분리
  • 문장 하나를 생성하는 데 너무 많은 추론이 필요함
  • 단어 사전은 작지만 모델의 예측 시간에 문제가 생길 수 있음
  • 예) 안녕하세요 -> ㅇ ㅏ ㄴ ㄴ ㅕ ㅇ ㅎ ㅏ ㅅ ㅔ ㅇ ㅛ

 

• 서브워드 토큰화: 토큰의 기준을 서브워드로 하는 토큰화 방법 (알고리즘이 있음)
  
  • 단어 토큰화와 문자 토큰화의 한계점들을 해결하기 위한 방법
  • 문자 토큰화의 확장된 버전으로 토큰의 단위를 n개의 문자로 정의하고, 해당 기준에 따라 텍스트를 분절하는 방법
  • 형태소 분절 기반의 서브워드 토큰화로 확장될 수 있어 한국어에서도 좋은 성능을 가짐
  • 서브 워드를 만드는 알고리즘 중에서 가장 유명한 것이 BPE

 

 

---

3. 서브워트 토큰화

 

3-1. 서브워드(Subword)

• 단어보다 더 작은 의미의 단위
• 예) Birthday = birth + day, 아침밥 = 아침 + 밥
• 단어를 여러 서브워드로 분리해서 단어 사전을 구축하겠다는 토큰화 방법
• 신조어에서 주로 발생하는 OOV 문제를 완화
• upperwear = upper + wear 이 각각 등록되어있기 때문에 합쳐서 의미를 부여할 수 있음

 

3-2.  BPE(Byte Pair Encoding)

• 코퍼스 내 단어의 등장 빈도에 따라 서브워드를 구축하는데 사용
• 2016년 [Neural Machine Translation of Rare Words with Subword Units]논문에서 제안
• 글자단위에서 점진적으로 서브워드 집합을 만들어내는 Bottom-up 방식의 접근 방식으로 자연어 코퍼스에 있는 모든 단어들을 글자 단위로 분리한 뒤에, 등장 빈도에 따라 글자들을 서브워드로 통합하는 방식

 

💡 BPE알고리즘에 대해 더 자세히 알아보자.

https://coding-yesung.tistory.com/216

[파이썬, Python] 서브워드분리(subword segmentation) - BPE 알고리즘

 

 

3-3. WordPiece Tokenizer

• 구글이 2016년도[Google's Neural Machine Translation System Bridging the Gap between Human and Machine Translation논문]에 처음 공개한 BPE의 변형 알고리즘
• 병합할 두 문자가 있을 때, 각각의 문자가 따로 있을때를 더 중요시 여기는지, 병합되었을 때를 더 중요시 여기는지 차이점을 둠

📍 GPT 모델과 같은 자연어 생성모델의 경우에는 BPE 알고리즘을 사용

📍 BERT, ELECTRA와 같은 자연어 이해 모델에서는 WordPiece Tokenizer를 주로 사용

 

---

4. 정제(Cleaning)

• 토큰화 작업에 방해가 되는 부분들을 필터링하거나 토큰화 작업 이후에도 여전히 남아있는 노이즈들을 제거하기 위해 지속적으로 이뤄지는 전처리 과정
• 어떤 특성이 노이즈인지 판단하거나, 모든 노이즈를 완벽하게 제거하는 것은 어렵기 때문에 일종의 합의점을 찾아야 함

 

4-1. 정제 작업의 종류

• 불용어(Stopword) 처리
  • NLTK 라이브러리에서는 자주 사용되는 단어들을 불용어로 정의
  • 불용어의 정의는 가변적이기 때문에 추가하고 싶은 불용어가 있다면 직접 정의할 수 있음
  • 보편적으로 선택할 수 있는 한국어 불용어 리스트(https://www.ranks.nl/stopwords/korean)
• 불필요한 태그 및 특수 문자 제거
• 코퍼스 내 등장 빈도가 적은 단어 제거
  
  • 코퍼스 내 단어들의 빈도를 분석하여 분포를 보고 특정 threshold를 설정한 후, 해당 threshold 아래의 단어들을 필터링하는 방식으로 정제

 

4-2. 정제 과정에서 유의해야 할 점

 

• @와 같은 특수 문자는 일반적으로 작업에서는 정보량이 적은 토큰일 수 있지만 이메일과 관련한 내용을 판단해야 하는 작업에서는 유용한 토큰으로 사용될 수 있음
• 자연어처리 작업에서 데이터를 수집한 이후에는 항상 목적에 맞지 않은 노이즈가 있진 않은지 검사하고 발견한 노이즈를 정제하기 위한 노력이 필요

---

5. 정규화(Normalization)

• 일반적인 머신러닝 작업에서 데이터 정규화는 학습 데이터의 값들이 적당한 범위를 유지하도록 데이터의 범위를 변환하거나 스케일링하는 과정
• 정규화 목표는 모든 데이터가 같은 정도의 스케일로 반영되도록 하는 것
• 자연어처리 정규화의 핵심은 표현 방법이 다른 단어들을 통합시켜서 같은 단어로 만들어 주는 과정

 

5-1. 정규화 작업이 필요한 이유

• 이상적으로 단어 사전 내의 단어 토큰들이 모두 중요하게 고려되길 원함
• 자연어의 특성상 의미가 같은데 표기가 다른 단어들이 있고, 의미는 같지만 사용 빈도가 낮은 동의어들은 학습에 유용하게 활용되지 않을 수 있음
  • 예) 부추: 400(출현빈도), 정구지: 30(출현빈도)
• 의미가 같지만 표기가 다른 단어들을 통합할 수 있다면 통합된 단어의 사용 빈도가 높아질 것이고, 빈도가 낮은 단어들의 중요도가 높아질 수 있음

 

 

5-2. 정규화 작업의 종류

• 어간 추출, 표제어 추출
  
  • 어간 추출: 형태학적 분석을 단순화한 버전으로, 정해진 규칙만 보고 단어의 어미를 자르는 어림짐작의 작업
  • 표제어 추출: 단어들이 다른 형태를 가지더라도, 그 뿌리 단어를 찾아가서 단어의 개수를 줄일 수 있는지 판단하는 방법
  • 예) am, is, are -> be
• 대소문자 통합
  
  • 대문자와 소문자가 구분되어야 하는 경우도 있음, 따라서 무작정 소문자로 통합해서는 안됨
  • 예) US(미국) -> us(우리)
  • 예) Bush(부시대통령) -> bush(식물)

 

5-3. 정규화 시 유의할 점

• 규칙이 너무 엄격한 정규화 방법은 부작용이 심해 학습에 악영향을 줄 수 있음
• 원본 의미를 최대한 유지하는 것이 학습에 도움이 됨
• 대화에서 사용하는 의미가 비슷한 이모티콘들을 통합하는 정규화 하는 작업이 필요

'ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ'
'ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ'
'ㅋㅋ'

➡ ㅋㅋ로 통합

---

6. 한국어 데이터 전처리

 

6-1. 한국어의 특성

• 영어는 합성어나 줄임말에 대한 예외처리만 한다면, 띄어쓰기를 기준으로 하는 토큰화 작업으로도 어느 정도의 성능을 보장할 수 있음
• 한국어에는 조사나 어미가 발달되어 있기 때문에 띄어쓰기만으로 단어를 분리하면 의미적인 훼손이 일어날 수 있음
• 띄어쓰기 단위가 되는 단위를 '어절' 이라고 하는데 어절 토큰화와 단어 토큰화가 같지 않기 때문

 

6-2. 형태소 분석

• 형태소를 비롯하여, 어근/접두사/접미사/품사 등 다양한 언어적 속성의 구조를 파악하는 것을 의미
• 형태소 분석 과정은 한국어 단어에서 형태소를 추출하여 분리하는 작업이며 이후에 필요에 따라 사전 정의된 품사를 해당 단어에 태깅하는 작업을 하기도 함
• 태깅: 형태소의 뜻과 문맥을 고려하여 품사를 매핑하는 것

 

6-3. 형태소 분석 방법

• 한국어의 다양한 형태소를 분석하고 분류하기 위해 KoNLPy 패키지에서 분석기를 사용
• KoNLPy 패키지의 다양한 함수를 사용하여 한국어 내 다양한 전처리를 진행
  
  • Mecab: 일본어용 형태소 분석기를 한국어로 사용할 수 있도록 수정
  • Okt: 오픈 소스 한국어 분석기. 과거 트위터 형태소 분석기
  • Komoran: Shineware에서 개발
  • Kkma: 서울대학교 IDS 연구실 개발
• 각 형태소 분석기는 성능과 결과가 다르게 나오기 때문에 사용하고자 하는 필요 용도에 어떤 형태소 분석기가 적절한지를 판단
• 속도를 중시한다면 Mecab을 사용

---

📍 자연어처리 데이터 전처리 실습 코드

https://coding-yesung.tistory.com/229