전체 글5 [NLP] Subword tokenizer - WordPiece Model (WPM) 자연어처리 분야를 공부하다 보면 Pre-trained Language Model 중에 하나인 2018년에 제안된 BERT (Bidirectional Encoder Representations from Transformers) 모델을 들어보고 직접 사용해봤을 거 같습니다. 본 포스팅에서는 BERT 모델에서 사용한 Subword tokenizer 중에 하나인 WordPiece tokenizer에 대해서 공부하면서 스스로 던졌던 질문들을 정리하려고 합니다. WordPiece Model (WPM) WordPiece Model은 Byte Pair Encoder (BPE)의 변형 알고리즘입니다. 이하 WPM으로 명칭하겠습니다. BPE 알고리즘은 빈도수를 기반하여 가장 많이 등장한 token의 쌍을 병합하지만, WP.. 2021. 9. 8. Google Cloud Platform TPU 이용 모델 학습 하기 Google Cloud Platform에서 제공하는 TPU를 사용하여 모델 학습하는 과정을 정리하려고 합니다. TensorFlow Research Colut (TFRC) 우선, TPU의 가격은 저렴한 편이 아니기때문에 개인이 사용하기에는 부다스러운 가격이다. 그렇기 때문에 30일동안 무료로 사용할 수 있는 TensorFlow Research Colut (TFRC)라는 연구자 지원 프로그램 참여하는 것을 권장합니다. 해당 링크를 통해 접속하여 밑에 보이는 그림처럼 접속하여 신청하면 됩니다. - On-Demand Cloud TPU v3 5개 - On-Demand Cloud TPU v2 5개 - 선점형 Cloud TPU v2 100개 신청된 경우 신청한 메일 주소로 승인 이메일을 받을 수 있습니다. 승인 이메.. 2021. 8. 27. Attention is All You Need 논문 정리 이번 포스팅은 Coference on Neural Information Processing Systems (NIPS 2017)에서 소개된 "Attention is All You Need" 논문을 정리하려고 한다. 논문의 제목으로도 볼 수 있듯이 해당 논문의 핵심은 Attetion이라는 것은 누구나 알 수 있다. 그렇다면 Attention이라는 개념이 어떤 문제를 해결하기 위해 나오게 되었는지, 어떤 아이디어를 통해 해당 문제를 해결했는지, 해당 아이디어를 통행 이룬 효과는 무엇인지에 대해서 말해보려고 한다. 해당 논문 전에 어떤 문제가 있었는가? 그 문제를 해결하기 위해 본 논문에서 제안한 아이디어는 무엇인가? 제안한 아이디어를 통해 이룬 효과는 무엇인가? 어떤 문제를 해결하기 위해 나오게 되었는가? R.. 2021. 7. 12. GitHub(깃허브) 사용법 - 1 Git 설치 https://www.git-scm.com 를 통해 window 버전 다운르도 진행 옵션은 default 값에서 변경하지 않음 Github Repositories에 들어가서 New 이용 repository 생성 "https://github.com//.git" 형식으로 되어 있는 repository 주소 복사 Repository와 연결하고 싶은 폴더에서 오른쪽 마우스 클릭하여 "Git Bash Here"로 Git 실행 git config --global user.name git config --global user.email 설정 git clone "https://github.com//.git" 이용 repository 다운로드 .git 파일이 다운되는 것을 확인할 수 있음 새로운 파일 (te.. 2021. 7. 5. 이전 1 2 다음
