シミュレーションの世界に引きこもる部屋

ディープラーニングの研究分野である、音声認識と強化学習について記載する。RNNの聴覚、音声分野の成果としてWaveNet(ウェーブネット)が存在する。WaveNetは音声合成(Speech synthesis)と音声認識(Speech recognition)の両方を行えるモデル。

ディープラーニングの研究分野の一つである、自然言語処理分野について記載する。word2vecは、「単語→ベクトル」の意で、ベクトル空間モデルや単語埋め込みモデルとも言われている。"単語の意味は、その周辺の単語によって決まる "という言語学の主張をニューラルネットワークで実現したもの。有名な例は以下。

物体を検出することと、物体を認識することは別しかし、「物体を認識」する過程で「物体を検出」している可能性もある物体検出は矩形のバンディングボックスと画素単位のセマンティックセグメンテーションに分けられる。双方をくみあわせることでインスタンスセグメンテーションが実現可能。R-CNN→fast RCNN→faster RCNN。

ディープラーニングの合わせ技のようなものが存在。それらについて記載する。教師あり学習、教師なし学習以外に強化学習と呼ばれる分野も存在する。強化学習とは「行動を学習する仕組み」になる。教師あり学習と混同し易いが、一連の行動系列の結果としての報酬を最大とするように学習する。明確な答えがあるわけではない。

ディープラーニングのもう一つの有名どころのモデルとしてRNNについて記載する。時間軸に対して何かパターンを持っているデータは時間軸に沿って入力される。時間情報を反映できるような仕組みとして、リカレントニューラルネットワーク(Recurrent Neural Network:RNN)が使用される。

ディープラーニングの有名どころのモデルとしてCNNについて記載する。画像データは座標情報(縦横)の2次元に、色情報を加えたもので、数値情報としては3次元になる。畳み込みニューラルネットワーク(Convolutional Neural Network：CNN)は座標情報の2次元データを入力するモデルとなる。

ディープラーニングは様々なテクニックの集合体と言える。ここでは以下の代表的なテクニックを記載する。勾配消失の問題の最大の原因はシグモイド関数の導関数の最大値が0.25と小さいことであった。よって、このシグモイド関数を別の物に置き換えることでこの問題が回避できるのでないか？というアプローチの元、シグモイド関数