- 해결 방법 : ELMo 사용하려고 Tensorflow Hub를 설치하고 실행시켜보니 위에 error 발생!
처음에 0.3 버전으로 설치했는데…
혹시나 해서 버전 0.2로 낮춰서 해보니 실행이 되었다…
Tensorflow ImportError cannot import name 'regex_replace'
Tensorboard 사용법
python encoding error
에러 메세지 : UnicodeDecodeError: ‘utf-8’ codec can’t decode byte 0xff in position 0: invalid
해결 방법 : encoding 부분을 utf-8에서 utf-16으로 바꿔주니까 된다. ( python3 기준 )
Scrapy AttributeError module 'lib' has no attribute 'Cryptography_HAS_SSL_ST
Google Speech API 아무것도 출력이 되지 않는 에러
- 원인
아래 코드의 sample_rate_hertz가 일치하지 않아서 그렇다.
ffmpeg를 사용해 동영상 확장자를 변환할 때 맞춰주어야 한다.
Ubuntu E Problem executing scripts
- Error : Ubuntu E: Problem executing scripts APT
우분투에서 apt-get 사용하다 발생한 error
BERT
BERT 소개
Google 에서 만든 Word Embedding 기법 ( 2018. 10. 11 논문 공개 )
NLP 11개 Task에 SOTA(State of the Arts)를 기록했으며, SQuAD v1.1에서는 인간보다 더 높은 정확도를 보여 주목을 받고 있다.
최근까지 GLUE NLP Task 에서 1등을 차지했었다. ( 그러나 MT-DNN에 1등을 뺏겼다. )
Pre-trained 기반 딥러닝 언어 모델
BERT 개발자들의 접근방식 : (1) 범용 솔루션을 (2) 스케일러블 한 형태로 구현해서 (3) 많은 머신리소스로 훈련해서 성능을 높인다
BERT는 Contextual Embedding 방법에 속한다. (Contextualised Word Embedding은 단어마다 벡터가 고정되어 있지 않고 문장마다 단어의 Vector가 달라지는 Embedding 방법을 뜻한다 대표적으로 ELMo, GPT, BERT가 있다.)