- Babysitting (aka Trial & Error) “시행 착오”라고도 하며, 한땀 한땀 파라미터를 순차적으로 바꾸어가면서 진행한다. - Grid Search N차원 n = (learning_rate, dropout_rate, batch_size)에서 그리드를 정의하고, 각 맵은 hyperparameters에 매핑된다. 각 차원에 대해 가능한 값의 범위를 정의한다. e.g. batch_size = [4,8,16] 가능한 모든 구성을 검색하고 결과가 최상의 조합이될 때까지, 이를 반복한다. - Random Search 최적의 hyperparameters를 보장하지 않지만, Grid search에 비해 low cost를 갖는다. Grid search와 마찬가지로, 이전 search 결과와 독립적이다. - Bayesian optimization