ハイパーパラメーター

ハイパーパラメーターとは、学習モデルに指定して学習の方法や処理の複雑さ、計算時のパラメーターなどを指定する値のことを言います。

ロジスティック回帰の場合、以下の C がハイパーパラメーターです:

lr = LogisticRegression(C=1000)

scikit-learnの学習モデルでの、代表的なハイパーパラメーターは以下です。

  • LogisticRegression
    • C: 逆正則化パラメーターで、小さいほど過学習を防ぐ
  • DecisionTreeClassifier
    • max_depth: 木の深さを指定するパラメーターで、小さいほど決定境界が単純になる
  • SVC
    • C: 逆正則化パラメーター
    • gamma: RBFカーネルパラメーターで、小さいほど決定境界が単純になる
  • RandomForestClassifier
    • max_depth: 各決定木の深さ
    • n_estimators: 多数決に使う決定木の個数、一般に大きいほど精度は上がりやすいが計算コストも大きくなる