WIGO AiLab

ELMo(Embeddings from Language Model) 이번 포스트는 2018년 상반기에 나왔던 ELMo에 대해 리뷰를 하고자 합니다. ELMo는 세서미 스트리트(Sesame Street)라는 어린이용 인형극 애니메이션에서 나온 이름으로 Embeddings from Language Model의 약자입니다. 직역하면 언어모델부터 임베딩으로, 결국 언어모델을 사전 훈련(Pre-trained)했다는 이야기겠죠? 여기서 사전훈련 모델에 대해 잠깐 이야기하자면, 단순히 정확도만으로 생각한다면 Bert를 사용해야 된다고 생각 할...

Improving the Estimation of Word Importance for News Multi-Document Summarization 논문을 참고하여 특징에 기반한 요약기를 실험해보려고 합니다. 지난 포스트에서 추출요약의 몇가지 방법에 대해 간단히 소개를 했습니다. 이번 포스트는 추출요약에 사용할 특징들과 그 특징이 얼마나 유효성을 가지고 있는지에 대한 판단, 그리고 이 특징들에 대한 결과를 비교해보겠습니다. 먼저 추출요약에 사용할 특징들입니다. Word...

요약에 대한 방법들은 다양하게 발전되어 왔습니다. 먼저 몇몇 구분방법에 대하여 나열하자면 다음과 같습니다. 단일문서과 다중문서 summary = summarize(document) 과 summary = summarize(document_1, document_2, …) 일반(generic) 요약과 질의집중(query-focused) 요약 summary = summarize(document, query) 이 때 차별성에 중점을 둔다면 업데이트 요약이 됩니다 지시적(indicative) 요약과 정보적(informative) 요약 특정 종류의 메타데이터를 바탕으로 한 요약,...

Attension is All you need 2018년 BERT라는 모델이 등장하면서 state-of-the-art를 차지했습니다. 이 BERT모델의 기반이 되는 Transformer 을 리뷰 합니다. 뉴옥 타임지에서 Oren Etzioni(chief executive of the Allen Institute for Artificial Intelligence)가 말하길, 기계가 아직 인간의 보통 감각을 표현할 수는 없지만, Bert는 폭발적인 발전의 순간이라고 합니다. 이 Bert 모델에 기초가 된...