pickleより楽にpythonオブジェクトを保存する方法
この記事で言いたいこと
import pickleしてwith openをいちいち書くのめんどくさくない？。pandas.to_pickleやpandas.read_pickleを使えば楽。DataFrame以外のものも保存できる。
- この記事で言いたいこと
- はじめに
- データの用意
- pickleをimportしてwith openで書き込んだり読み込んだりするやり方
- pandasを使ったやりかた
- まとめ
Hyper+xonshで超モダンな環境づくり
はじめに
ばんくしさんをフォローしたらすっかりxonshに洗脳された。 また、巷でうわさのHyperなるターミナルアプリを試してみたら使いやすかったので、組み合わせて使ったら最強では？と安直な発想で記事を書きはじめた。
適当に操作してみたのがこちら。
候補がフローティングウィンドウに出ていたり、補完がゴリゴリに効いていることがわかるだろう。また、動画内ではpythonの仮想環境を切り替えてもいる。
本記事では以下のことを書く
- はじめに
- Hyperとは
- xonshとは
- Hyperの導入
- 起動するshellの選択
- 文字化けの問題
- xonshの導入
記事の対象者
- .bashrc、.zshrcなどと言われて何かわかる方
- Homebrewがある
時系列データでVariational AutoEncoder keras
はじめに
前回の記事で時系列入力に対するオートエンコーダーを組んだ。
今回は潜在変数を正規分布に押し込むというVariational AutoEncoderを組んでみた。CNNとVAEを組み合わせる記事は割と見つかるのに、RNNとなったとたん見つからないものである。
データはMNISTであるが後述するように、時系列だと見なして入力した。
まずはモデルとデータの概要を説明する。そのあと、結果で再構成された数字と生成された数字の例を示す。最後に、潜在変数Zが正規分布になっているのか確かめる。
- はじめに
- モデルの概要
- データの概要
- 結果
- Zは本当に正規分布をしているのか？
- まとめ
- 参考文献
モデルの概要
時系列データを使ってオートエンコーダー keras
はじめに
時系列でオートエンコーダーを組む練習。ネットで漁っても見当たらなくて(kerasの日本語記事)、kerasのblogでも放置されていた。
Building Autoencoders in Keras
""We won't be demonstrating that one on any specific dataset. ""
→自分でやるしかねぇ
続きを読むメモリに乗り切れないデータをkerasで学習する
- はじめに
- 何を使うか
- 方法1
- 方法2
- 両者の違い(私感)
- やることの概要
- データの説明
- モデルの構築(飛ばしてOK)
- HDDからバッチを読み出す
- 訓練
- 結果
- まとめ
- 追記
はじめに
こんにちは。何が起きたかから言うと、DeepLearningしようとしたらデータが270GB近くあってメモリに乗らなかった。そこで、練習がてら、batchごとにHDDからデータを読み出して、batch学習するコードを書いた。
kerasやpythonをある程度知っている前提で書き進めていく。
何を使うか
公式ドキュメントで検索すると"メモリに載らない大きさのデータを扱うには？"
とある。これによると方法は2つあるらしい。
方法1
model.train_on_batch(x, y)を使う。
このブログではこちらを試した。
方法2
model.fit_generator(data_generator, samples_per_epoch, epochs)を使う。
この方法はこちらの記事に解説が書いてあった。
続きを読む