jam 블로그

https://arxiv.org/abs/1911.00536 DIALOGPT(Dialogue generative pre-trained transformer)란? 크고 조정 가능한 신경 대화형 응답 생성 모델 2005~2017년 Reddit 코멘트 체인에서 추출된 1억 2천 5백만개의 대화식 교환에 대해 훈련된 Hugging Face PyTorch Transformer를 확장 Single-turn dialogue settings에서 자동 및 인간 평가 측면에서 인간과 가까운 성능을 달성(?) 사전 훈련된 모델 및 교육 파이프라인이 공개되어 신경 반응 생성 및 보다 지능적인 오픈 도메인 대화 시스템 개발에 관한 연구가 쉬움 소개 Reddit 데이터에 대해 학습된 대화형 응답 생성을 위한 조정 가능한 기가워드 ..

React의 전반적인 것 Created: Feb 14, 2020 4:08 PM React React는 Facebook에서 만든 SPA(Single Page Application)을 만들기 위해 고안된 언어입니다. 비슷한 것으로는 Vue, Angular가 있습니다. 설치 및 실행 # node를 먼저 설치 후 진행해야합니다. # node 설치 후 # create-react-app은 그간 설정하기 어려웠던 webpack 등을 자동으로 만들어주는 명령어 입니다. npm create-react-app project-name cd project-name # 실행 시 localhost:3000으로 가상 서버가 띄워집니다. yarn startReact 기초 해당 글은 16.12 최신 버전을 기반으로 작성하였습니다. p..

Abstract 현재 사전 훈련된 모델들(ELMo GPT BERT XLNet)이 다양한 언어 이해 과제에서 좋은 성적을 거두고 있음. 그러나 모델들이 너무 커서 모바일이나 Edge 기기에서 사용하기가 어려움. 그래서 나온 knowledge distillation이 있지만 원래 Teacher 모델과는 다른 어휘로 Student 모델을 산출하는데에는 효과가 없음. 이 논문에서 훨씬 더 작은 어휘와 낮은 임베딩, hidden state dimensions을 가진 student 모델을 훈련시키기 위해 새로운 knowledge distillation을 도입함. Teacher, student 모델을 동시에 훈련시켜 student 어휘를 위한 최적의 워드 임베딩을 얻는 dualtrain 메커니증을 채용. teache..

Webpack이란? Webpack은 최신 javascript application을 위한 정적 모듈 번들러입니다. 좀 더 설명하면 es6를 쓰는 javascript들을 모아서 하나의 파일로 만듭니다. 설정에 따라서 sass나 이미지 등도 bundle 시킬 수 있습니다. 주 목적은 다중 파일들을 하나로 묶어서 웹 로딩 시 파일 다운로드 되는 것들 최대한 줄여보자입니다. Webpack에 넣을 패키지들 호환성 문제가 되지 않는 선에서 최신 버전으로 설치할 예정입니다. (최신을 사랑합니다.) webpack typescript babel 설정하기 필요한 package들을 다 설치해 봅시다. # npm 대신 yarn을 설치하고 사용할 수 있습니다. # webpack 설치 npm install -D webpack w..

자연어 처리(Natural Language Processing, NLP) 스터디 용으로 Deep Learning from Scratch 2 책을 참고로 정리한 것입니다. Word Embedding에 대해서 알아봅니다. 시소러스를 활용한 기법 통계 기반 기법 추론 기반 기법(word2vec) Latent semantic analysis Brown clustering Glove fastText Gensim 위와 같이 다양하게 있으며, 해당 책에서는 볼드로 된 3가지를 설명합니다. 시소러스 유의어 사전으로, '뜻이 같은 단어(동의어)'나 '뜻이 비슷한 단어(유의어)'가 한 그룹으로 분류 자연어 처리에 이용되는 시소러스는 단어 사이의 '상위, 하위' 또는 '전체..