데이터 사이언스 공부할래

본 논문 리뷰는 개인적인 학습 내용을 바탕으로 작성된 것으로, 일부 내용에 오류가 있을 수 있습니다.  논문 정보 Ko, J., Kim, S., Chen, T., & Yun, S. Y. (2024). Distillm: Towards streamlined distillation for large language models. arXiv preprint arXiv:2402.03898.  DistiLLM: Towards Streamlined Distillation for Large Language ModelsKnowledge distillation (KD) is widely used for compressing a teacher model to a smaller student model, reducing it..

논문정보 성아영, 강수연, 송윤경 and 김건우. (2024). Health-AutoML: 헬스케어 데이터 분석을 위한 자동 적응형 다층 스태킹 앙상블 학습 프레임워크. 한국정보기술학회논문지, 22(1), 23-37.

논문 정보Imrus Salehin, Md. Shamiul Islam, Pritom Saha, S.M. Noman, Azra Tuni, Md. Mehedi Hasan, Md. Abu Baten, AutoML: A systematic review on automated machine learning with neural architecture search, Journal of Information and Intelligence, Volume 2, Issue 1, 2024, Pages 52-81, ISSN 2949-7159, https://doi.org/10.1016/j.jiixd.2023.10.002.

머신러닝 모델의 평가지표를 알아보고, 교차검증 평가지표를 코드로 구현해본다.평가지표란?모델에 의해 예측된 값이 실제 값과 비교하였을 때의 오차를 구하는 과정이다. 머신러닝 모델의 성능을 평가하는 지표는 크게 회귀 문제와 분류 문제로 나뉠 수 있다.문제 종류목표 변수모델평가지표회귀(Prediction)연속형선형 회귀MSE, MAE, MAPE 등분류(Classification)범주형로지스틱, SVM정확도, 정밀도, 재현율, F1 점수 회귀 문제의 평가지표Mean Squared Error(MSE, 평균 제곱 오차)실제 값과 예측 값의 차이를 제곱하여 평균을 낸 지표로, 값이 작을수록 모델의 성능이 좋다고 판단된다. Mean Absolute Error(MAE, 평균 절대 오차)실제 값과 예측 값의 차이의 절댓값..

데이터셋의 구분과 교차검증 알고리즘에 대해 알아보고, Iris 데이터셋을 활용하여 이를 구현해본다.Train/Test/Validation DatasetTrain Data : 모델 학습하는 과정에서 파라미터 값을 산축하는 과정에서 사용하는 데이터Test Data : 학습한 모델의 성능을 평가하기 위해 사용하는 데이터Validation Data : 모델이 과적합되는지를 확인하기 위해 사용하는 데이터 데이터를 나누는 이유?모델을 일반화시키기 위한 방법으로, 과적합을 막을 수 있다. OverfittingML 모델이 훈련 데이터를 지나치게 학습한 상태로, 새로운 데이터에 대한 예측이 어렵다.훈련 데이터에 대한 성능은 높지만, 일반화된 데이터에 대해 성능이 떨어진다. Overfitting 원인모델 복잡도 : 모델이..