プログラミング– category –
-
ファイナンス機械学習 学習記録
ファイナンス機械学習 原書の「Advances in Financial Machine Learning」はBotter界隈では有名な本で、この本の翻訳が出るまでは英語で学習ができる人が先行者優位にありました。 しかし2019年12月に日本語版が出版され、私のようなよわよわ人材にも手の... -
3週間で仮想通貨取引botを作った話
仮想通貨との出会い 原点 私と仮想通貨の付き合いの始まりは私が高校2年のとき、すなわち2016年だ。 当時はBitcoinがまだ10万円ぐらいだった頃、そのとき俺はお年玉をbitcoinに投資して増やすことを画策していた。 お年玉の袋を一気に開封し、5万円を握り... -
AlembicのAuto Generationでimport errorが出た場合の対処法
Alembicのインポートエラー 毎度のことながらエラーに直面するとブチギレながら奇声をあげるのですが、今回はその回数が特に多かったように感じたのでメモ。 解決した今もなんで治ったのかよくわかっていませんが、とりあえず解決したのでよし。 直面した... -
仮想通貨取引botでInfluxDBを使ってみたいので入門する
InfluxDB なんか名前かっこいいし時系列DBってなんかよさそう!ロゴもUIもイケてるしこれは入門するしかないっしょ! という乗るしかないこのビッグウェーブに感を出しつつ実際の運用では、 仮想通貨の取引botのログやメトリクスの収集と分析のために使い... -
SQLAlchemyのbulk insert/updateでドハマりしたまとめ
bulk insert / bulk update bulk insert使ってますか? forで1行1行insertやupdateを発行してたりしませんか?まぁしている人はこのページにたどり着かないでしょう。そしてこのページを見ているということはエラーで奇声を上げて苛ついていることでしょう... -
PandasのDataFrameへの列の追加を倍速にした話
Pandasの列の追加を倍速にした話 Pandasの列の追加を高速化した話です。pandasで1000万件のデータの前処理を高速にするTips集を多分に多分に参考にしています。 ありがとうございます。 以下の修正前のコードの1ループでは、おおよそ数百〜数千行のDataFra... -
Hadoop streaming v3.2で転置インデックスを実装してみる
Hadoop 最初は用語の説明からいきましょう。 Hadoopはビッグデータをより安価,より効率的に分散並列処理する必要があったgoogleが発表した論文をもとにしたシステムです。 HDFSファイルシステムとmapreduceという処理機構を基礎としています。 hadoopは分... -
Hadoop3.2の環境を構築する方法 on Ubuntu
Hadoop 3.2の環境構築 だいぶ今更感のあるHadoopですが、ggってみると案外Hadoopの記事が入門とか環境構築して試してみたよ系の記事しかなかった。 しかもバージョンが2.xのものばかり... 情報がどれも中途半端に古い。 オマケに今台湾にいてで書籍も入手... -
ActiveStorageでファイルアップロード&ダウンロードリンクを作成する方法
こんにちは!鳥貴士です! 今回はRails5.2から追加されたActiveStorage機能を使ってファイルのアップロード、そしてダウンロードリンクの実装をします! 具体的にはpdfファイルのアップロード、ダウンロードを行います。 イメージとしてはユーザーがたくさ... -
Builderscon Tokyo 2018に行ってきました!
Builderscon Buildersconは"「知らなかった、を聞く」をテーマとした技術を愛する全てのギーク達のお祭りです。"とあるように、エンジニア向けのプレゼン会という雰囲気になっています。 当日のタイムテーブルについてはこのような感じでした! 私が主に聞...