newbieからバイナリアンへ

newbieからバイナリアンへ

コンピュータ初心者からバイナリアンを目指す大学生日記

Neural Network & Natural Language Processing

【NLP 3.2】簡単なRNNによる言語モデル

あれ、なんか最近やってることバイナリアンから遠ざかってね? 0. 参考 ・『ゼロから作るDeep Learning ❷自然言語処理編』斎藤 康毅 1. イントロ RNNを用いて言語モデルを生成する。 RNNは時間情報も組み込んで学習してくれるネットワークである。 正確な用…

【NLP 3.1】RNNの考え

志を得て天下国家を事とするのも道を行うのであるが 平生顔を洗ったり髪を梳ったりするのも道を行うのである カズイスチカ 森鴎外 0. アウトロ 前回まででword2vecモデルによる推論問題は終わりにする。 今回からは時系列データを得るために RNN というネッ…

【NLP 2.3】CBOWモデルの総復習

諸々の情念の衝動に対抗するには繊細さでなく激烈さで 微傷を与えるのではなく突撃による正面突破で戦わなければならない 何故なら罵っているだけでは済まされず根絶せねばならぬからである。 Fabianus 0. 参考 ・『ゼロから作るDeep Learning ❷自然言語処理…

【NLP 2.2】巨大行列の計算の効率化 ~ Negative Sampling ~

五手稼げるよ。やってみる価値はあるんじゃないかね。五手あれば相手のミスを期待できる。 - 世界の終わりとハードボイルドワンダーランド 0. 参考 ・『ゼロから作るDeep Learning ❷自然言語処理編』斎藤 康毅 1. 問題点① 前エントリまでで考えたCBOWモデル…

【NLP 2.1】THE GREAT GATSBY ~ 簡易版CBOWによる学習と単語のcos-similarity ~

誰かのことを批判したくなったときには、こう考えるようにするんだよ 世間のすべての人が、お前のように恵まれた条件を与えられたわけではないのだと 1. イントロ 前エントリでは簡易版CBOWモデルのneural networkを用いた単語の分散表現の生成方法を扱った…

【NLP 2.0】word2vec ~ CBOW / skip-gram ~

1. 参考 ・『ゼロから作るDeep Learning ❷自然言語処理編』斎藤 康毅 2. カウントベースの分散表現の復習 前エントリでは単語の分散表現をカウントベースで表した。 すなわち ・corpusから共起行列を生成 ・共起行列からPPMIを生成 ・こうして生成した疎な行…

【NLP 1.0】単語の分散表現とSVDの似非数学的説明

1. 参考 ・『ゼロから作るDeep Learning ❷自然言語処理編』斎藤 康毅 ・SVD(特異値分解)解説 - Qiita 2. NLPとは NLP; Natural Language Processing とは、人間の使う自然言語をコンピュータに処理させることである。以前より研究されてきた分野ではあるが…

単純なneural networkの仕組みとその実装

// 1.イントロ 現在"ゼロから作るDeep Learning ➁ ―自然言語処理編"を読み始めたばかりである。 本書を本格的に読み進めて行く前に、最も簡単な構造を持つneural networkについて備忘録的にまとめておく。 2.大まかな構成 今回考えるneural networkは以下の…

CNNとpythonにおける実装についての覚書

1.イントロ オライリーのゼロから作る DeepLearningを読んで理解したCNNとその実装方法について軽くメモしておく。全結合層についてはとりわけ説明することはないから省略する。話題は一貫してmnistの文字認識を扱っていく。 2.CNNとは CNN:Convolutional Ne…