ハイパーパラメーター

ハイパーパラメーターとは、学習モデルに指定して学習の方法や処理の複雑さ、計算時のパラメーターなどを指定する値のことを言います。

ロジスティック回帰の場合、以下の C がハイパーパラメーターです:

lr = LogisticRegression(C=1000)

scikit-learnの学習モデルでの、代表的なハイパーパラメーターは以下です。

  • LogisticRegression

    • C: 逆正則化パラメーターで、小さいほど過学習を防ぐ

  • DecisionTreeClassifier

    • max_depth: 木の深さを指定するパラメーターで、小さいほど決定境界が単純になる

  • SVC

    • C: 逆正則化パラメーター

    • gamma: RBFカーネルパラメーターで、小さいほど決定境界が単純になる

  • RandomForestClassifier

    • max_depth: 各決定木の深さ

    • n_estimators: 多数決に使う決定木の個数、一般に大きいほど精度は上がりやすいが計算コストも大きくなる