jam 블로그

Q-Learning (1992): 이후 강화학습 분야의 대표적인 알고리즘 중 하나인 Q-Learning이 Watkins와 Dayan에 의해 제안됨. [논문: "Q-Learning", 1992] TD-Gammon (1995): 텐니스 게임에서의 자가 학습을 통해 세계 챔피언을 이긴 최초의 강화학습 모델인 TD-Gammon이 제안됨. [논문: "Temporal Difference Learning of Backgammon Strategy", 1995] DQN (2013): DeepMind에서 개발된 Deep Q-Network(DQN)은 딥러닝을 강화학습에 적용한 첫번째 모델로, Atari 게임에서 인간 수준의 성능을 보임. [논문: "Playing Atari with Deep Reinforcement Lear..

LeNet-5 (1998): 이미지 분류를 위한 최초의 합성곱 신경망 모델로, 손글씨 숫자 인식에 성공함. [논문: "Gradient-based learning applied to document recognition", 1998] SIFT (1999): 이미지에서 특징점을 검출하고, 이를 기초로 이미지를 비교하는 방법으로, 이미지 인식 분야에서 큰 역할을 함. [논문: "Distinctive Image Features from Scale-Invariant Keypoints", 1999] Bag-of-features (2004): 이미지의 전체적인 특징만을 고려하여 이미지를 분류하는 방법으로, 이미지 분류 분야에서 활용되었음. [논문: "An Introduction to the Bag-of-Feature..

LSTM (1997): 반복 신경망을 장기 기억을 유지할 수 있도록 확장한 LSTM(Long Short-Term Memory) 모델이 제안됨. [논문: "Long Short-Term Memory", 1997] Conditional Random Field (2001): 레이블된 시퀀스 데이터를 모델링하는데 사용되는 조건부 랜덤 필드(Conditional Random Field) 모델이 제안됨. [논문: "Conditional Random Fields: Probabilistic Models for Segmenting and Labeling Sequence Data", 2001] Word2Vec (2013): 단어를 밀집 벡터(dense vector)로 표현하는 기법인 Word2Vec이 제안됨. [논문: "E..

https://arxiv.org/abs/1911.00536 DIALOGPT(Dialogue generative pre-trained transformer)란? 크고 조정 가능한 신경 대화형 응답 생성 모델 2005~2017년 Reddit 코멘트 체인에서 추출된 1억 2천 5백만개의 대화식 교환에 대해 훈련된 Hugging Face PyTorch Transformer를 확장 Single-turn dialogue settings에서 자동 및 인간 평가 측면에서 인간과 가까운 성능을 달성(?) 사전 훈련된 모델 및 교육 파이프라인이 공개되어 신경 반응 생성 및 보다 지능적인 오픈 도메인 대화 시스템 개발에 관한 연구가 쉬움 소개 Reddit 데이터에 대해 학습된 대화형 응답 생성을 위한 조정 가능한 기가워드 ..

Abstract 현재 사전 훈련된 모델들(ELMo GPT BERT XLNet)이 다양한 언어 이해 과제에서 좋은 성적을 거두고 있음. 그러나 모델들이 너무 커서 모바일이나 Edge 기기에서 사용하기가 어려움. 그래서 나온 knowledge distillation이 있지만 원래 Teacher 모델과는 다른 어휘로 Student 모델을 산출하는데에는 효과가 없음. 이 논문에서 훨씬 더 작은 어휘와 낮은 임베딩, hidden state dimensions을 가진 student 모델을 훈련시키기 위해 새로운 knowledge distillation을 도입함. Teacher, student 모델을 동시에 훈련시켜 student 어휘를 위한 최적의 워드 임베딩을 얻는 dualtrain 메커니증을 채용. teache..