TensorFlow 텍스트 처리 자습서는 일반적인 텍스트 및 자연어 처리(NLP) 문제를 해결하기 위한 단계별 지침을 제공합니다.
TensorFlow는 텍스트 및 자연어 처리를 위한 두 가지 솔루션인 KerasNLP와 TensorFlow Text를 제공합니다. KerasNLP는 모든 최신 Transformer 기반 모델과 저수준 토큰화 유틸리티를 포함하는 고수준 NLP 라이브러리입니다. 대부분의 NLP 사용 사례에 권장되는 솔루션입니다.
하��� ���준의 텍스트 처리 도구에 액세스해야 하는 경우 TensorFlow Text를 사용할 수 있습니다. TensorFlow Text는 원시 텍스트 문자열이나 문서와 같은 텍스트 형식의 입력으로 작업하는 데 도움이 되는 작업 및 라이브러리 모음을 제공합니다.
케라스NLP
- KerasNLP 시작하기 : 사전 훈련된 모델 사용부터 처음부터 나만의 Transformer 구축에 이르기까지 점진적인 복잡성 수준에서 감정 분석을 수행하여 KerasNLP를 배우십시오.
텍스트 생성
- RNN으로 텍스트 생성 : 문자 기반 RNN과 셰익스피어의 저작 데이터셋을 사용하여 텍스트를 생성합니다.
- 주의를 기울인 신경망 기계 번역 : 스페인어-영어 번역을 위한 sequence-to-sequence(seq2seq) 모델을 훈련합니다.
- Transformer 및 Keras를 사용한 신경망 기계 번역 : 포르투갈어를 영어로 번역하기 위해 sequence-to-sequence Transformer 모델을 만들고 훈련합니다.
- 시각적 주의를 통한 이미지 캡션 생성 : 주의 레이어로 구축된 Transformer-decoder 모델을 사용하여 이미지 캡션을 생성합니다.
텍스트 분류
- BERT로 텍스트 분류 : BERT를 미세 조정하여 일반 텍스트 IMDb 영화 리뷰 데이터 세트에 대한 감정 분석을 수행합니다.
- RNN을 사용한 텍스트 분류 : RNN을 교육하여 IMDb 영화 리뷰에 대한 감정 분석을 수행합니다.
- TF.Text Metrics : TensorFlow Text를 통해 사용할 수 있는 측정항목에 대해 알아보세요. 라이브러리에는 텍스트 생성 모델의 자동 평가에 사용할 수 있는 ROUGE-L과 같은 텍스트 유사성 메트릭의 구현이 포함되어 있습니다.
BERT를 사용한 NLP
- TPU에서 BERT를 사용하여 GLUE 작업 해결 : GLUE 벤치마크 에서 작업을 위해 BERT를 미세 조정하는 방법을 알아보세요.
- BERT 모델 미세 조정 : TensorFlow Model Garden을 사용하여 BERT 모델을 미세 조정합니다.
- BERT-SNGP를 사용한 불확실성 인식 심층 언어 학습 : 자연어 이해(NLU) 작업에 SNGP를 적용합니다. BERT 인������를 기반으로 구축하면 범위를 벗어난 쿼리를 감지하는 NLU 모델의 기능이 향상됩니다.
임베딩
- 단어 임베딩 : 감정 분류 작업을 위한 간단한 Keras 모델을 사용하여 자신만의 단어 임베딩을 훈련한 다음 임베딩 프로젝터 를 사용하여 시각화합니다.
- 웜 스타트 임베딩 레이어 매트릭스 : 텍스트 감정 분류 모델에 대한 "웜 스타트" 교육 방법을 알아봅니다.
- word2vec : 작은 데이터 세트에서 word2vec 모델을 훈련하고 임베딩 프로젝터 에서 훈련된 임베딩을 시각화합니다.