[Paper Review]ON CONCEPT-BASED EXPLANATIONS IN DEEP NEURAL NETWORKS

[발표자]
석사과정 김혜연

[발표 요약]

1.Topic

Concept based XAI

2. Overview

본 논문은 특정 concept들이 이루는 부분집합이 얼마나 model의 prediction을 설명하는데 기여하는가를 측정하는 정량적 지표인 completeness score를 정의하였습니다. Activation space상에서 각 concept과 input example들이 얼마나 근접한지를 의미하는 concept score를 통해, concept을 도입한 모델의 prediction accuracy를 concept을 도입하지 않은 기존 방법론의 prediction accuracy로 나눠줍니다.

또한 모델의 결과를 충분히 설명하는 concept vector들을 도출하기 위해, completeness score와 (concept들에 interpretability를 높여주는) regulerizer를 더하여 찾고자 하는 concept vector들과 mapping function g를 최적화합니다.

마지막으로 ConceptSHAP을 통해 각 concept의 중요도를 도출합니다. 각 concept이 얼마나 completeness score에 기여하는가와 model의 prediction에 얼마나 기여하는지를 나타내는 shapley value기반의 지표입니다.

3. 발표 자료
https://drive.google.com/file/d/1fMOesr9GVjmR7oY-JnpsXSVTt3Hq3cM8/view?usp=sharing

Видео [Paper Review]ON CONCEPT-BASED EXPLANATIONS IN DEEP NEURAL NETWORKS канала 고려대학교 산업경영공학부 DSBA 연구실