데이터 사이언스 공부할래

본 논문 리뷰는 개인적인 학습 내용을 바탕으로 작성된 것으로, 일부 내용에 오류가 있을 수 있습니다.  논문 정보 Ko, J., Kim, S., Chen, T., & Yun, S. Y. (2024). Distillm: Towards streamlined distillation for large language models. arXiv preprint arXiv:2402.03898.  DistiLLM: Towards Streamlined Distillation for Large Language ModelsKnowledge distillation (KD) is widely used for compressing a teacher model to a smaller student model, reducing it..