• The University of Tokyo / RIKEN
  • tsuzukums.k.u-tokyo.ac.jp

Visualizing Loss Landscape

CNNのlossをうまくvisualizeできると嬉しいねという話。 論文:arxiv。 ICLRでは本会議に落ちてworkshop。 Filterのweightの大きさごとにスケールを調整することで よりうまく特徴を捉えられるようになる。 例えばsharp/wide minimaの話とか。 もう少し数式で話ができるといいですね。 ところでLayerごとのscaling(LARSとか)の解析には興味があるので 何かやりたい。