【ディープラーニングG検定対策】ディープラーニングの手法

【ディープラーニングG検定対策】ディープラーニングの手法 G検定

G検定記事はこちら。
https://www.simulationroom999.com/blog/jdla-deep-learning-for-general-2020-1/

はじめに

G検定シラバス「ディープラーニングの手法」の範囲の対策。
難易度は高。過去問、問題中でだけではフォローしきれない。
昨今のDNNを調べておく必要がある。

ディープラーニングのテクニック

以下を追加で把握しておく必要あり。

Softmax:出力を正規化して確率として解釈
tanh:双曲線正接関数
ReLU:正規化線形関数、ランプ関数
停留点:局所でも大域でもないが勾配が0になる点
勾配降下法:誤差の最小化が目的
誤差逆伝播:出力から入力へ連鎖率を利用して勾配降下
Adagrad:自動で学習率を調整(勾配を2乗)
RMSprop:Adagradの飽和欠点を指数関数移動平均
Adam:勾配の平均と分散をオンライン推定
ハイパーパラメータ:Unit数、層数などあらかじめ決めておく必要のあるパラメータ
グリッドサーチ:ハイパーパラメータを効率的に決定。しかし時間が掛かる。
ベイズ最適化、ランダムサーチ:上記のデメリットを解消

バッチ学習:学習データ全てを一括で
ミニバッチ学習:学習データからランダムに抽出
オンライン学習:学習データから1つずつ逐次的に

ヤン・ルカン:Facebookに召集。GANに対して「10年間で最も面白い」と発言
CNNの畳み込み層:特徴抽出用の層
CNNのプーリング層:情報を集約する層
$$特徴マップサイズ=\frac{入力サイズ+パディング×2-フィルター}{ストライド}+1$$
蒸留:大きなニューラルネットワークを小さなニューラルネットワークで学習。生徒モデル単独で学習するよりも効率的。
RNNの特徴:系列データを扱える。内部に閉路/ループ構造を持ち、過去の中間層を入力として使用する。

新しめのDNN

Attention:queryはkeyにより取得するmemoryを決定し、対応するValueを取得
Transformer:2017年Google。RNN,CNNの代わりにSelf-Attention Layerを使用。(単語同士の関係行列)
BERT:2018年Google。文脈を理解できる。bidirectional transformerという事前学習。自然言語処理タスクで最高記録。
XLNet:2019年6月 Arxivに投稿。BERTより20タスクで高性能。双方向の意味関係を持つ。

BigGAN:512×512の高解像度画像を条件付きで生成(史上最強のGAN)
VQ-VAE-2:2019年6月 DeepMind社が発表。HDサイズの画像を生成。
DCGAN:ランダムな入力から画像生成
Attention GAN:文章から画像生成

DQN

  • ディープブルー
    • クイズ
  • Ponanza
    • 将棋
      • 電王戦でプロ棋士を破る
  • AlphaGo,AlphaGoZero
    • 囲碁

まとめ

恐らく、ここがG検定のの中核となり得る範囲となる。
派生、発展モデルが多いのでそれぞれの関係性を把握しておきたい。

コメント

タイトルとURLをコピーしました