ランダムフォレストと検定を用いた特徴量選択手法 Boruta

特徴量選択とは
Borutaとは
とりあえず使ってみる
- ベースラインの判別
- Borutaの判別
Borutaのアイデアの概要
Borutaのアルゴリズム
- 1. 判別に寄与しないはずの偽の特徴量を作る。
- 2. 偽の特徴量と一緒にランダムフォレストを訓練。
- 3. 各特徴量の重要度と偽の特徴量の特徴量を比較。
- 4. 複数回比較し検定を行うことで、本当に重要な特徴量のみを選択。
検定について
- 1. 棄却したい帰無仮説と受容したい対立仮説を用意する。
- 2. 観測値から検定統計量Tを定める。
- 3. 帰無仮説が正しいとしてTの分布を求める。
- 4. 十分小さい有意水準αを定め、帰無仮説が正しいときにとなる領域を棄却域とする。
- 5. 観測されたTがに入っていたら対立仮説を受容し、入っていなければ帰無仮説を受容する。
まとめ
補足
使う際のTips等 2019/01/06追記
参考

特徴量選択とは

特徴量選択(Feature Selection, 変数選択とも)はデータサイエンスにおいて非常に重要である。 Kaggle等のコンペティションではひたすら判別の精度を重要視するが、実務上どうしてそのような判別をしたのかという理由のほうが大事である(回帰問題も同様)。例えば、なにかの製造工程をイメージしてみよう。当然欠陥品は生じるだろうが、この欠陥品を見分けるシステムよりも欠陥品を減らせる改良のほうが良いだろう(もちろん見分けるのも大事だが)。そこで、判別においてどのような特徴量が重要だったか選ぶことができれば、改良への糸口が見えてくるだろう。

また、特徴量選択した結果、モデルの学習や推論が高速化されたり、過学習しづらくなったり、結果判別の精度が良くなったりする。

Borutaとは

ランダムフォレストと検定を用いた特徴量選択の方法の一つである。 Witold R. Rudnicki, Miron B. Kursaらが考案。

R実装 CRAN - Package Boruta

Python実装 ~~(バグあり。まとめ後に補足します。)~~(アップデートされてました pip install Borutaしましょう)

github.com

(名前の由来はスラヴ神話の森の神の名前らしいです。こんな見た目してます。)

f:id:aotamasaki:20190105193106p:plain

このBorutaという手法は経験上非常に強力で、判別や回帰の性能が著しく低下したことはない。低下しても誤差の範囲内。むしろ性能が良くなることが多い。

2020-11-14

人生最後のキーボードを購入 Ultimate Hacking Keyboard (UHK 60 v1)

環境構築

Ultimate Hacking Keyboard とは
一週間使ってみた感想
- 打鍵感について
- 独自機能について
- 静音化
注文してから届くまで
- 注文方法
- 届くまで
開封から設定まで
最後に

Ultimate Hacking Keyboard とは

最近購入した最高のキーボード。もうほかのキーボードは買わないと思う。これ。 ultimatehackingkeyboard.com

ハンガリーにある会社が製造している。

サイトに行けば商品の特徴の紹介はしてくれるが、軽く書き出すと以下である。

HHKBを分割キーボードにしたような感じ(分割でなくても使用可能)
自作キーボードのような機能をハードウェア側でサポートしている。例えばキーの配置変更やレイヤー機能などである
拡張モジュールによって、トラック(ボール|ポイント|パッド)などを追加することが可能

本記事では、"1週間使ってみた感想"、"注文してから届くまで"、"開封から設定まで"の順番について書こうと思う。

2020-09-09

AtCoderでCythonの力を開放する魔術詠唱

人気記事競技プログラミング

概要

以下のformatをPythonで提出すればいい

mycode = r'''
# distutils: language=c++
# cython: language_level=3, boundscheck=False, wraparound=False, cdivision=True
{ここにcythonのコードを書く}
'''

import sys
import os
if sys.argv[-1] == 'ONLINE_JUDGE':  # コンパイル時
    with open('mycode.pyx', 'w') as f:
        f.write(mycode)
    os.system('cythonize -i -3 -b mycode.pyx')

import mycode