https://machinelearningmastery.com/types-of-classification-in-machine-learning/
4 Types of Classification Tasks in Machine Learning
Machine learning is a field of study and is concerned with algorithms that learn from examples. Classification is a task that requires the use of machine learning algorithms that learn how to assign a class label to examples from the problem domain. An eas
machinelearningmastery.com
- Random Forest
Ensemble: weak classifier인 여러 개의 decision tree를 결합하여 strong classifier를 만드는 기법
https://bkshin.tistory.com/entry/DATA-12?category=1042793
DATA - 12. 부트스트랩(Bootstrap)
부트스트랩(Bootstrap) 모수의 분포를 추정하는 파워풀한 방법은 현재 있는 표본에서 추가적으로 표본을 복원 추출하고 각 표본에 대한 통계량을 다시 계산하는 것입니다. 이러한 절차를 부트스트
bkshin.tistory.com
-- Bootstrap
전체 표본에서 일부를 추출하여 기록 후 복원을 반복하여 신뢰구간을 추정
머신러닝 - 11. 앙상블 학습 (Ensemble Learning): 배깅(Bagging)과 부스팅(Boosting)
앙상블(Ensemble) 앙상블은 조화 또는 통일을 의미합니다. 어떤 데이터의 값을 예측한다고 할 때, 하나의 모델을 활용합니다. 하지만 여러 개의 모델을 조화롭게 학습시켜 그 모델들의 예측 결과들
bkshin.tistory.com
-- Bagging(Bootstrap Aggregation)
bootstrap을 적용하여 모델을 학습시키고 결과를 합산(aggregation)
categorical data: voting 방식으로 결과 합산 (최다값)
continuous data: 평균으로 결과 합산
머신러닝 - 5. 랜덤 포레스트(Random Forest)
이전 포스트에서 결정 트리(Decision Tree)에 대해 알아봤습니다. 랜덤 포레스트를 배우기 위해서는 우선 결정 트리부터 알아야 합니다. 결정 트리에 대해 잘 모른다면 이전 포스트를 먼저 보고 오��
bkshin.tistory.com
n_estimators: decision tree 개수
max_features: 선택할 feature 개수
-- Boosting
처음 모델이 예측 후 결과에 따라 가중치를 부여하고, 다음 모델에 영향
잘 분류된 데이터는 가중치를 낮추고, 잘못 분류된 데이터는 가중치를 높임
bagging에 비해 성능이 좋지만 속도가 느리고 overfitting 가능성이 높음
https://3months.tistory.com/368
Gradient Boosting Algorithm의 직관적인 이해
Gradient Boosting Algorithm의 직관적인 이해 실패를 통해 성공을 발전시켜라. 낙담과 실패는 성공으로 가는 가장 확실한 두 개의 디딤돌이다. -데일 카네기 Gradient Boosting Algorithm (GBM)은 회귀분석 또는..
3months.tistory.com
- Gradient Boosting
-- AdaBoost
하나의 stump에서 발생한 error가 다음 stump에 영향
stump가 순차적으로 연결되어 최종 결과 도출
-- Gradient Boost
stump, tree 대신 하나의 leaf(초기 추정 값, 일반적으로 평균값?)에서 시작
leaf가 8~32개로 tree를 구성하여 tree를 단위로 boosting
목표값의 평균을 통해 pseudo residual을 계산, 나머지 특징 정보를 통해 residual을 예측하는 tree 구성
Learning Rate: overfitting을 예방하기 위해 0에서 1 사이로 residual에 곱하는 값
residual을 새로 계산하여 점차 정답에 근접하도록 학습
XGBoost, Light GBM, CatBoost로 발전
'AI' 카테고리의 다른 글
Binary Classification (0) | 2020.07.22 |
---|