전체 글
-
넓고 얕은 베이지안 최적화(Bayesian Optimization) 설명Data Science 2022. 3. 7. 00:22
MLOps, AutoML의 시대가 도래하고 있다. 시대의 흐름에 맞춰 Hyperparameter를 튜닝하는데 Bayesiain Optimization를 사용해 보았다. 논문[1]을 기반으로 베이지안 옵티마이제이션에 대해 '넓고 얉게' 살펴보자. 키워드 Hyperparameter Tuning, Hyperparameter Optimization, Bayesiain Optimization, Gaussian Process, Expected Improvement 목차 * Hyperparmeter Optimization * Bayesian Optimization * Gaussian Process * Acquisition Function * 후기 및 잡담 Hyperparmeter Optimization Bayesia..
-
Shapley value, SHAP, Tree SHAP 설명Data Science 2020. 4. 19. 00:50
Ensemble Tree로 만족할 수준의 품질을 얻었지만 Black Box 모델의 특성상 예측 결과에 대한 명확한 해석이 쉽지 않았다. 하지만 SHAP(SHapley Additive exPlanation)[1]라는 Machine Learning 모델 해석 기법이 큰 도움이 되었다. 그 이론적 배경인 Shapley Value와 Additive Feature Attribution Methods에 알아본 후 SHAP에 대해 알아보자.Shapley ValueShapley Value는 Game Theory의 알고리즘으로, Game에서 각각의 Player의 기여분을 계산하는 기법이다. Machine Learning 모델에서의 Feature Importance으로 예를 들자면 Game은 Instance(관측치)의 P..