2019年– date –

bulk insert / bulk update bulk insert使ってますか？ forで1行1行insertやupdateを発行してたりしませんか？まぁしている人はこのページにたどり着かないでしょう。そしてこのページを見ているということはエラーで奇声を上げて苛ついていることでしょう...

Pandasの列の追加を倍速にした話 Pandasの列の追加を高速化した話です。pandasで1000万件のデータの前処理を高速にするTips集を多分に多分に参考にしています。 ありがとうございます。 以下の修正前のコードの1ループでは、おおよそ数百〜数千行のDataFra...

予定 9時頃に目がさめるも眠かったのでうとうとしていた。 30分ほど経ってもう寝られないと思い起床。 同じタイミングで彼女も起きてきた。 朝食が食べられるのは10時までだったので、すぐに食堂に向かった。 サンドイッチ、トーストなど複数の選択肢があ...

日の出に間に合うのか...？ 1時半ごろ就寝 4時に起きる予定で目覚ましをかけるも二度寝し、4時半のアラームも無視して4時50分に起床。 行くのやめる寝る〜と愚図る彼女を叩き起こし、トゥクトゥクのドライバーの連絡を確認させる。 するとドライバーは既に...

ドンムアン空港到着 現地時間1時10分頃にバンコクのドンムアン空港に到着。座席が後ろの方なので素早く出ても列が詰まって前に進めない。 5分ほど待つと列が動いた。 そこから飛行機を後にし乗り換え組はtransitエリアへ向かう。 エアアジアのとscootと、...

今日は出国日なので13時に起床(?) とりあえず昼飯を食ってゴロゴロ。 留学前に入った保険が使えるかを電話で確認し、ゴロゴロ。 東京海上日動の旅行保険だったが、1年間契約していることと、特約によって一時帰国と言う扱いで保険がきくらしいので一安心。...

東南アジア突貫旅行 旅行を思い立ったのは台湾で知り合った友達からのこのメッセージでした。 彼女はこの春学期のみの交換留学生で、ロシア人でありながらも韓国に正規留学している大学院生。 母語のロシア語以外に英語と韓国語も流暢に話せて、日本語も若...

Hadoop 最初は用語の説明からいきましょう。 Hadoopはビッグデータをより安価,より効率的に分散並列処理する必要があったgoogleが発表した論文をもとにしたシステムです。 HDFSファイルシステムとmapreduceという処理機構を基礎としています。 hadoopは分...

Hadoop 3.2の環境構築 だいぶ今更感のあるHadoopですが、ggってみると案外Hadoopの記事が入門とか環境構築して試してみたよ系の記事しかなかった。 しかもバージョンが2.xのものばかり... 情報がどれも中途半端に古い。 オマケに今台湾にいてで書籍も入手...

ubuntuをSurface book 2で使うとCPUが高温になる ubuntuをSurface book 2に入れたよ系のネタは これらに任せるとして、今回扱うのは表題の通り、デュアルブートでubuntuを立ち上げたときにCPUが異常に熱くなる問題です。 上の記事書いてる人は熱くならなか...