ばんくしさんをフォローしたらすっかりxonshに洗脳された。 また、巷でうわさのHyperなるターミナルアプリを試してみたら使いやすかったので、組み合わせて使ったら最強では？と安直な発想で記事を書きはじめた。
適当に操作してみたのがこちら。
候補がフローティングウィンドウに出ていたり、補完がゴリゴリに効いていることがわかるだろう。また、動画内ではpythonの仮想環境を切り替えてもいる。
本記事では以下のことを書く
記事の対象者
前回の記事で時系列入力に対するオートエンコーダーを組んだ。
今回は潜在変数を正規分布に押し込むというVariational AutoEncoderを組んでみた。CNNとVAEを組み合わせる記事は割と見つかるのに、RNNとなったとたん見つからないものである。
データはMNISTであるが後述するように、時系列だと見なして入力した。
まずはモデルとデータの概要を説明する。そのあと、結果で再構成された数字と生成された数字の例を示す。最後に、潜在変数Zが正規分布になっているのか確かめる。
時系列でオートエンコーダーを組む練習。ネットで漁っても見当たらなくて(kerasの日本語記事)、kerasのblogでも放置されていた。
Building Autoencoders in Keras
""We won't be demonstrating that one on any specific dataset. ""
→自分でやるしかねぇ
続きを読むこんにちは。何が起きたかから言うと、DeepLearningしようとしたらデータが270GB近くあってメモリに乗らなかった。そこで、練習がてら、batchごとにHDDからデータを読み出して、batch学習するコードを書いた。
kerasやpythonをある程度知っている前提で書き進めていく。
公式ドキュメントで検索すると"メモリに載らない大きさのデータを扱うには？"
とある。これによると方法は2つあるらしい。
model.train_on_batch(x, y)を使う。
このブログではこちらを試した。
model.fit_generator(data_generator, samples_per_epoch, epochs)を使う。
この方法はこちらの記事に解説が書いてあった。
続きを読む日本実業出版社から出版されている、"Google流 資料作成術"を読んだので、自分が気をつけておく点をまとめておく。
以上のことは,誰に→何を→どのようにの順番で決めるのが良いだろう。
続きを読むLightBGMというライブラリを公式の手順に従ってインストールしようとしたらエラーメッセージが突如現れた。
これのmacOS Apple Clang(9.0 or higher)に従ってインストを行ったらエラーが出た。
インストレイションガイドに従って
brew install --HEAD cmake brew install libomp git clone --recursive https://github.com/Microsoft/LightGBM ; cd LightGBM mkdir build ; cd build cmake .. make -j4
ここまでエラーはでなかった。そして
pip install lightgbm
でインストール。いざ、使おうとしたところでエラーが出た。
>>> import lightgbm
Traceback (most recent call last):
File "<stdin>", line 1, in <module>
File "/Users/{ユーザー名}/.pyenv/versions/anaconda3-5.0.0/lib/python3.6/site-packages/lightgbm/__init__.py", line 8, in <module>
中略
OSError: dlopen(/Users/{ユーザー名}/.pyenv/versions/anaconda3-5.0.0/lib/python3.6/site-packages/lightgbm/lib_lightgbm.so, 6): Library not loaded: /usr/local/opt/gcc/lib/gcc/8/libgomp.1.dylib
Referenced from: /Users/{ユーザー名}/.pyenv/versions/anaconda3-5.0.0/lib/python3.6/site-packages/lightgbm/lib_lightgbm.so
Reason: image not found
アンインストールしてから再度やってみたりいろいろしたがどうしてもimportができなかったので諦めて他の方法でインストールした。
こちらのInstallation GuideのmacOS GCC/G++のやり方に従って、インストールした
cd LightGBM #gitからクローンしたディレクトリに入ってください。 rm -r build # 上記の失敗で作ったbuildを消しておきます。 #ここからほぼ上記のリンク通り brew install cmake brew install gcc export CXX=g++-8 CC=gcc-8 # 上記のリンクとは異なり、ここを8に変えておかないとエラーが出ます。 mkdir build ; cd build cmake .. make -j4
これで無事にインストールでき、importもできるようになった。
関係あるかわかりませんがpyenvやvirtualenvを使っている場合は、事前にactivateしておくと無難かもしれない。
実は、他のサーバーにインストールしようとしたところまた同じエラーが出てしまった。gcc-7を使ってインストールしたため、
Library not loaded: /usr/local/opt/gcc/lib/gcc/8/libgomp.1.dylib
って怒られるのは当たり前...でも管理者権限がないのでgcc-8をインストールすることもできず。
そこでstack overflowをあさっていたら、
pip install --no-binary :all: lightgbm
でインストールするといいよと記述を見つけた。ので、早速ためしたところ無事importできるようになった。これも一回試すといいかもしれない。
前も別のところでエラー履かれたしスムーズにインストールできるようになってほしい aotamasaki.hatenablog.com
UMAPという新しい可視化の手法が開発された。
私的に、この手法の利点は大きく2つあると考えている。
特に、2番目について言及している。ブログ記事は日本語では見つからなかった。ので、2番目の強みの紹介がこのブログの目的である。
続きを読む