SQLAlchemyのbulk insert/updateでドハマりしたまとめ公開日:2019-12-29pythonSQLAlchemyトラブルシューティングプログラミング高速化 bulk insert / bulk update bulk insert使ってますか? forで1行1行insertやupdateを発行してたりしませんか?まぁしている人はこのページにたどり着かないでしょう。そしてこの […] 続きを読む
PandasのDataFrameへの列の追加を倍速にした話公開日:2019-12-28pandas高速化 Pandasの列の追加を倍速にした話 Pandasの列の追加を高速化した話です。pandasで1000万件のデータの前処理を高速にするTips集を多分に多分に参考にしています。 ありがとうございます。 以下の修正前のコー […] 続きを読む
カンボジア突貫旅行4日目 シェムリアップ & 夜行バス, シアヌークビル行き更新日:2020-02-09公開日:2019-07-21カンボジア旅行 予定 9時頃に目がさめるも眠かったのでうとうとしていた。 30分ほど経ってもう寝られないと思い起床。 同じタイミングで彼女も起きてきた。 朝食が食べられるのは10時までだったので、すぐに食堂に向かった。 サンドイッチ、ト […] 続きを読む
カンボジア突貫旅行3日目 アンコールワット, 飯, 酒, マッサージ更新日:2019-11-24公開日:2019-07-19カンボジア旅行 日の出に間に合うのか…? 1時半ごろ就寝 4時に起きる予定で目覚ましをかけるも二度寝し、4時半のアラームも無視して4時50分に起床。 行くのやめる寝る〜と愚図る彼女を叩き起こし、トゥクトゥクのドライバーの連絡 […] 続きを読む
カンボジア突貫旅行2日目 乗り継ぎを終えカンボジアに入国更新日:2019-11-24公開日:2019-07-16カンボジア旅行 ドンムアン空港到着 現地時間1時10分頃にバンコクのドンムアン空港に到着。座席が後ろの方なので素早く出ても列が詰まって前に進めない。 5分ほど待つと列が動いた。 そこから飛行機を後にし乗り換え組はtransitエリアへ向 […] 続きを読む
カンボジア突貫旅行1日目 旅行の準備と乗り継ぎ更新日:2019-11-24公開日:2019-07-11タイ旅行 今日は出国日なので13時に起床(?) とりあえず昼飯を食ってゴロゴロ。 留学前に入った保険が使えるかを電話で確認し、ゴロゴロ。 東京海上日動の旅行保険だったが、1年間契約していることと、特約によって一時帰国と言う扱いで保 […] 続きを読む
カンボジア突貫旅行 出発前&目次更新日:2019-11-24公開日:2019-07-11カンボジア旅行 東南アジア突貫旅行 旅行を思い立ったのは台湾で知り合った友達からのこのメッセージでした。 彼女はこの春学期のみの交換留学生で、ロシア人でありながらも韓国に正規留学している大学院生。 母語のロシア語以外に英語と韓国語も流暢 […] 続きを読む
Hadoop streaming v3.2で転置インデックスを実装してみる更新日:2019-03-18公開日:2019-03-15HadoopLinuxpythonUbuntuデータサイエンス Hadoop 最初は用語の説明からいきましょう。 Hadoopはビッグデータをより安価,より効率的に分散並列処理する必要があったgoogleが発表した論文をもとにしたシステムです。 HDFSファイルシステムとmapred […] 続きを読む
Hadoop3.2の環境を構築する方法 on Ubuntu更新日:2019-03-18公開日:2019-03-08C++HadoopLinuxUbuntuデータサイエンスプログラミング国立台湾大学留学レポート学部間協定留学留学統計学計量経済学 Hadoop 3.2の環境構築 だいぶ今更感のあるHadoopですが、ggってみると案外Hadoopの記事が入門とか環境構築して試してみたよ系の記事しかなかった。 しかもバージョンが2.xのものばかり… 情報 […] 続きを読む
Surface Book 2がubuntuとのdual bootで激熱になる問題の対処法公開日:2019-03-08LinuxUbuntuトラブルシューティング ubuntuをSurface book 2で使うとCPUが高温になる ubuntuをSurface book 2に入れたよ系のネタは これらに任せるとして、今回扱うのは表題の通り、デュアルブートでubuntuを立ち上げた […] 続きを読む