Hyperparameters optimization
Apr 21, 2021
- Babysitting (aka Trial & Error)
- “시행 착오”라고도 하며, 한땀 한땀 파라미터를 순차적으로 바꾸어가면서 진행한다.
- Grid Search
- N차원 n = (learning_rate, dropout_rate, batch_size)에서 그리드를 정의하고, 각 맵은 hyperparameters에 매핑된다.
- 각 차원에 대해 가능한 값의 범위를 정의한다. e.g. batch_size = [4,8,16]
- 가능한 모든 구성을 검색하고 결과가 최상의 조합이될 때까지, 이를 반복한다.
- Random Search
- 최적의 hyperparameters를 보장하지 않지만, Grid search에 비해 low cost를 갖는다.
- Grid search와 마찬가지로, 이전 search 결과와 독립적이다.
- Bayesian optimization
- Bayesian optimization workflow, 하이퍼 파라미터 구성에 대한 모델을 만들고, 모델을 업데이트해가며 최적의 값을 찾는다.
