CAN과 Dense Synthesizer를 이용한 트랜스포머 디코딩 속도 개선

초록

최근 신경망을 이용한 기계 번역 연구들이 다양하게 진행되고 있으며, 그중에서 트랜스포머 모델이 가장 우수한 번역 성능을 보이나, 번역 속도가 느리다는 단점이 있어 번역 속도를 증가시키기 위한 많은 연구가 진행되고 있다. 본 논문에서는 번역 속도를 증가시키는 것을 목표로 하며 선행 연구 중 트랜스포머 디코더의 Self-Attention, Cross-Attention, FFN(Feed Forward Network)을 하나의 Attention으로 통합한 CAN(Compressed Attention Network)과 Self-Attention을 대체할 수 있는 Synthetic Attention 중 하나인 Dense Synthesizer를 결합하여 트랜스포머 모델의 디코딩 속도를 개선하였다. 실험 결과, Baseline과 비교할 때 CAN과 Dense Synthesizer를 결합한 모델은 번역 성능이 BLEU 2.8 감소하였지만, 번역 속도를 153.9% 증가시켰다.

키워드