pytorch-lightningのtorchmetricsにある Recallの定義

torchmetrics.readthedocs.io torchmetrics.Recallを使いたかったけど、説明に陽性陰性の定義方法が書いてなかった。ソース辿っていくと metrics/torchmetrics/functional/classification/stat_scores.pyにその定義が書いてあった。 具体的には https://gith…

login shellが fish shellなremote serverにvscodeでssh接続する。

やろうとしたら繋がらなかった。ログインは成功していたので、アプリを疑ったら似た事象を発見した。 qiita.com これとと同じくvscodeのremote extentionの設定でremote.SSH.useLocalServerをfalseにすると無事接続できた。めでたし。

アメリカ市場の分足のデータを取得する

株価の予測を機械学習で行ったりしたい。データの量を考えると分足が望ましいが、お金がないのでできれば無料のものが良い。 私は米国株が中心なので、米国株について調べたが、日本語ではyahoo finance USを使うもの以外あまりまとまった情報が出てこなかっ…

rustで1競技プログラミングはじめました。

Rustで競技プログラミング(競プロ)を本格的に始めようかと思います。 競プロはまえまえからちゃんとやりたいと思っていたが、モチベーションがいまいち高まらずにいたが、会社の同僚とRustの勉強をしているけれど本を読んでいるだけで手も動かしたいなという…

singuralityでAWS ECRのdocker imageを方法

AWSのプロファイルは設定済みとする。 環境変数を設定してpullするだけでできる。 set -x SINGULARITY_DOCKER_USERNAME AWS set -x SINGULARITY_DOCKER_PASSWORD (aws ecr get-login-password --region ap-northeast-1) singularity pull docker://{MY_DOCKE…

docker内でGPG errorが出た際の対処

docker内で以下のようなGPG errorが出た際の対処方法 W: An error occurred during the signature verification. The repository is not updated and the previous index files will be used. GPG error: http://security.debian.org/debian-security buster…

pytorchのdataloaderとtransformを自作する

pytorchのdataloaderとtransformを自作する 概要 最小構成でのサンプルにより、dataloaderとtransformの自作方法を例示する。 ポイントは前処理を行うtorchvision.transformsに関する部分には、自由に関数を入れることができるというところである。ToTensor(…

Windows terminalで快適ssh生活

ついにWindowsでも快適なshell生活を送れるようになりました Windows terminalという神ツールがversion1となり、ついに正式リリースされました。 これはかなり使いやすく、Windowsを開発に使ってもいいかなと思わせてくれる神アプリです。 www.microsoft.co…

pytorchで推論を行うときはmodel.eval()を行おう

pytorchで推論を行いたい。 pytorchでDeep Learningのモデルを組み立てるとき、Batch Normalizationを用いるのはもはや常識だ。しかし、Batch Normalizationを含むモデルで推論を行うとエラーが起きる。 以下のコードをみて欲しい。バッチサイズが1のときに…

pytorch上でのL1ノルムの扱いの調査

概要 pytorchのL1ノルムは自動微分に対応している。原点では勾配0、そのほかはその微分値を用いるという実装になっている(と思われる)。 これでは同じステップ幅ならいつまで経っても最適解にたどり着かない。 損失関数として用いる場合でそれが嫌ならばSmoo…

jupyter labの設定

jupyter labの設定にあたり jupyterlabは多くの設定を上のメニューバーより行うことができる。 「Setting」→「Advanced Settings Editor」でアクセスできる。 terminalの設定 設定概要 まとめると以下の設定になる。 { "fontFamily": "Ubuntu Mono derivativ…

Amazon がアフィリエイト料金を下げたってよ

https://japanese.engadget.com/jp-2020-04-15-amazon.html こういう時にこういうことができる企業なのである。自社の利益を圧迫してるのかもしれないが。まあ、Amazonの顧客は購入者であって、アフィリエイターではないからな。彼らはビジネスパートナーだ…

docopt main template

docopt用のメイン関数のテンプレートを作成した。以下のdocoptのライブテンプレートを登録しておくと、コマンドラインパーサーを書くのが全く苦にならなくなるので、行なっとこう。 tf_argを追加している。docoptは型チェックがなく、複雑なオプションだとど…

spxsさん、もうコロナウイルス暴落前に戻る

3倍レバレッジ商品は、原理的に実際の値動きとの乖離が起こってしまう。 しかし、spxlやteclなどが人気である。 今回はそのお仲間のspxsが、sp500が元の水準に戻っていないにもかかわらず、既に元値に戻ってしまっていた。 落ちるのは早いけど戻るのは遅い…

EPS、PERの扱い方

EPSとPER 代表的な株価指標にはEPS・PER・BPS・PBR・CFPS・CFPR・ROA・ROEがあるが、今回はEPSとPERに焦点を当ててみる。 まずはそれぞれの計算方法を確認しよう。 EPS(一株あたりの当期純利益) 一言でいうと、一株あたりの稼ぐ力を表している。 ただし、株…

チェザピーク・エナジーに指値注文出しました。

チェザピーク・エナジーに指値注文出しました。 現在、原油価格が暴落しているので、その影響を受けてチェザピーク・エナジーが暴落している。 実は2017年ごろから倒産すると言われてきたのだが、ここに来て現実化が見えてきた。 ここを持ちこたえられると、…

c++のシリアライザcerealをopencvのcv::Matに対応させた

C++

c++でシリアライズしたいなと思ったら、ヘッダーオンリーで使用でき、利用方法も簡単なcerealというオープンソースのライブラリを発見した。それをopencvのMatにも対応させたので紹介しよう。 github.com cerealは利用方法が簡単であり、c++標準のコンテナで…

fish shellのオプション解析の書き方

概要 fish shellは素晴らしくモダンなshellです。オプション解析もbashと比べると驚くほど簡単にかけます。 fish shellにはargparseというオプション解析用のコマンドが用意されています。今回はその使い方の紹介をします。argparse単体でも十分に便利ですが…

資産形成が利回り4%では死ぬまで働く必要がある

資産形成をのことを考えた場合、目標金額を定めるだろう。その際に、年間の想定利回りを考えていくらまで資産を積み上げたほうが良いのかをはじき出すことになる。この時、安全にといって4%とか6%とかの利率を設定する話をよく耳にする。しかしそれでいいの…

aws ecsでdocker imageのpull/pushが出来るようになるまで

前提 既にAWS上でECRを使用するための設定が完了していること 手順の概要 aws cliに認証情報を設定する プロファイルを選択する dockerクライアントでログインする aws cliの認証設定 ~/.aws/configure ~/.aws/credentials の2つのファイルを設定する。直接…

macのpkg-config & CMakeでlibraryが見つからずハマった

CMakeでプロジェクトのビルド周りを管理しているのだが、外部のライブラリがCMakeのfind_package()に対応していない場合は自分でライブラリを直接パスで設定する必要がある。リンクしたいライブラリが多数のライブラリに依存していたらかなり骨の折れる作業…

秒速でCLionのremote developmentの設定を行う

dockerを使って4行セットアップ GitHub - shuhaoliu/docker-clion-dev: Debugging C++ in a Docker Container with CLion IDEという素晴らしいツールがあるので、それを用いて以下のことをするだけで環境構築は完了だ。 git pull git@github.com:shuhaoliu/d…

c++17

楽しい