2020-05-26から1日間の記事一覧
概要 pytorchのL1ノルムは自動微分に対応している。原点では勾配0、そのほかはその微分値を用いるという実装になっている(と思われる)。 これでは同じステップ幅ならいつまで経っても最適解にたどり着かない。 損失関数として用いる場合でそれが嫌ならばSmoo…
概要 pytorchのL1ノルムは自動微分に対応している。原点では勾配0、そのほかはその微分値を用いるという実装になっている(と思われる)。 これでは同じステップ幅ならいつまで経っても最適解にたどり着かない。 損失関数として用いる場合でそれが嫌ならばSmoo…