Bayesian Optimization 방법은 좋은 성능에 비해 느리다는 단점이 있다. 게다가 sequential하게 진행되는 거라 병렬처리도 어렵다.
이를 개선할 수 있는 방법으로 hyperband가 있으며 빠르며 좋은 성능을 보여준다. Hyperband는 Successive HAlving(SHA) 방법을 기반으로 한다.
1. SHA(Succesive HAlving Algorithm)
Bandit 기반의 하이퍼파라메터 최적화 기법이다. MAB(Multi Armed Bandit)문제를 해결하는데 두가지 방법이 있다.
한가지는 가장 큰 보상을 찾는 팔을 찾는 법, 다른 하나는 Exploitation-Exploration trade-off를 해결하는 것이다.
SHA는 전자인 Best Armed Identification에 기반을 두고 있다.
SHA는 주오진 Budget안에서 hyperparamter 조합을 랜덤하게 선택하여 loss를 평가한다. budget을 늘려가면서 성능이 떨어지는 비율을 정해 hyperparameter조합을 제거해나가는 방법이다. 이 방법은 몇개의 hyperparamter로 시작하지, 어떤 구간에서 줄여나갈지를 정해줘야한다. 이를 개선한것이 hyperband알고리즘이다.
2. hyperband 알고리즘
https://pod3275.github.io/paper/2019/05/23/Hyperband.html
Hyperband; A Novel Bandit-Based Approach to Hyperparameter Optimization 정리
Hyperband; A Novel Bandit-Based Approach to Hyperparameter Optimization 정리 저자 : Lisha Li, Kevin Jamieson, Giulia DeSalvo,Afshin Rostamizadeh, Ameet Talwalka...
pod3275.github.io
https://simpling.tistory.com/52
다양한 Hyperparameter Optimization 방법 리뷰
Machine Learning 알고리즘들은 강력한 성능을 보여주고 있다. 하지만 데이터가 커지면서 좋은 HyperParameter(HP)를 찾는 것은 점점 비용이 많이 드는 어려운 문제가 되었다. 보통 찾아야 하는 HP는 여러
simpling.tistory.com
'데이터분석 > 머신러닝' 카테고리의 다른 글
| TPE 알고리즘 (0) | 2023.06.12 |
|---|---|
| 하이퍼파라매터 튜닝 (경험적) (0) | 2023.06.12 |
| 베이지안 최적화(Bayesian Optimization) (0) | 2023.05.31 |
| Feature sore 구축 - Feast (1) | 2023.05.09 |
| Successive Halving Algorithm(SHA) 이해 (0) | 2023.05.02 |