데이터 사이언스 공부할래

AdaBoost를 만들기 위한 구조화를 실습과 패키지를 활용하여 AdaBoost를 실습해본다. AdaBoost 메서드fit(X, y): 설명 주어진 입력 데이터 X와 타겟 레이블 y를 사용하여 AdaBoost 모델을 학습  입력X: 학습 데이터(특성 행렬). 크기: (n_samples, n_features). y: 타겟 레이블. 크기: (n_samples,).  역할지정된 약한 학습자(예: 결정 스텀프)를 반복적으로 학습시키고, 각 학습자의 가중치를 계산하여 최종 모델을 구성 predict(X): 설명 학습된 AdaBoost 모델을 사용하여 새로운 데이터 X에 대한 예측을 수행  입력X: 예측할 데이터(특성 행렬). 크기: (n_samples, n_features).  출력각 샘플에 대한 예측된 클래스 ..

에이다 부스트(AdaBoost) 알고리즘에 대해 알아본다.  에이다 부스트오류 데이터에 가중치를 부여하면서 부스팅을 수행하는 알고리즘으로, AdaBoost 학습 단계에서 모델이 잘못 예측한 샘플에 더 큰 가중치를 부여하여 더 잘 학습하도록 유도한다. 초기에는 모두 동일한 가중치를 가지며, 단계가 진행될수록 잘못 예측한 샘플의 가중치를 점진적으로 증가시켜 이전 학습기들이 잘못 예측한 부분을 보완하도록 유도한다.   Input : Dataset $ D = \left\{ (x^1, y^1), \cdots ,(x^N, y^N) \right\},$ $y^{(i)}\in \left\{-1, 1 \right\}$ $\textrm{for}$ $i = 1, \cdots , N$ Step0 : 모든 $i = 1, \cdo..

앙상블 학습, 부트스트랩 샘플링 개념에 대해 알아본다. 기존 의사결정트리는 하나의 트리구조, 규칙기반의 단일모델이기에 변동성이 크다는 문제를 가지고 있다. 이를 보완하기 위해 여러 개의 결정트리를 결합하여 예측 성능을 향상하고, 분류, 회귀 문제를 모두 사용할 수 있도록 한다. 앙상블 학습 앙상블 학습은 여러 개의 모델 또는 여러 개의 데이터 셋을 통합하여 모델을 만드는 방식으로, 크게 배깅, 부스팅, 스태킹 방법이 있다.  부트스트랩 샘플링(Bootstrap Sampling) 신뢰성을 높이기 위해 자주 사용하는 기법으로, 원본 데이터 셋에서 무작위로 데이터를 선택하여 새로운 샘플을 여러 번 생성하는 방법이다. 과정 안에서 중복을 허용한다는 점이 특징이다.  역할신뢰구간 및 표준 오차 추정 : 무작위 샘..