[Paper Review] How Much Knowledge Can You Pack Into the Parameters of a Language Model?

발표자: 석사과정 윤훈상

1. Topic
본 논문은 QA 시스템의 일반적인 구조인 Retriever-Reader 구조 대신 언어모델을 통해 QA Task를 수행한 논문으로서, 언어모델이 World Knowledge를 담고 있는 지를 판단하는 실험들을 진행한 연구입니다.

언어 모델은 T5를 활용했으며, 실험을 통해 2 Stage로 진행하는 기존 QA와 유사하거나 높은 QA 성능을 달성하였습니다. 이는 Context를 통해 답을 도출하는 Open-Book QA와 별도로 Closed-Book QA의 가능성을 보였으며, 언어 모델 자체의 지식 창고로서의 역할도 파악하였습니다.

2. 참고 문헌: https://arxiv.org/pdf/2002.08910.pdf

Видео [Paper Review] How Much Knowledge Can You Pack Into the Parameters of a Language Model? канала 서울대학교 산업공학과 DSBA 연구실