ある処理を行っていた時，文字列の判定で少し苦労しました． あるデータ"グルメ.xlsx"というファイルを読み込んで，ファイル名で処理を変えようと思い，とりあえず以下のように書きました． for fname in glob.glob(./data/*.xlsx): if 'グルメ' in fname: p…

openpyxlを利用して，特定の背景色のセルを取得することができます． ファイルの拡張子は.xlsx限定です． import openpyxl # xlsxファイルの読み込み filename = 'test.xlsx' wb = openpyxl.load_workbook(filename) # シートは１枚を仮定し，最初のシートの…

まず、一番シンプルなGPUが使えているかの確認です。 import torch print(torch.cuda.is_available()) TrueであればpytorchはあなたのGPUを使うことができます。 Falseなら使えていません。使えていない場合あなたのPCにCUDAが正しくインストールされていな…

Pycon 2018で発表された方がスライドを公開してくださったのでご紹介させていただきます。 speakerdeck.com 普段からスクレイピングしている人にとっては当たり前の情報ですが、初心者の方にはかなり有用な情報なんじゃないでしょうか。スライドもとても見や…

pythonのword2vec, doc2vecのライブラリであるgensimのバージョンが上がってた。 今年の２月終わりぐらいまで使ってて、さっき使おうとしたらエラー吐かれた... AttributeError: 'DocvecsArray' object has no attribute 'vector_size' pipでライブラリ全upg…

GWで少し暇なので最近話題のpyTorchを触ってみました。 ロゴが格好いい 2019/11/15追記 ↓pytorchのGPUの確認の検索が多いので個別にページ作りました↓ PytorchでGPUが使えているか確認する方法 - にわかSteamerのメモ帳 確かFacebookがバックに付いてるライ…

Chainer使ってて複数の入力をするモデルを作る必要があって、解決したのでメモ作りたかったモデルはこんなの class LSTM_dual_input(Chain): def __init__(self): super(LSTM_dual_input, self).__init__() with self.init_scope(): self.emb = L.EmbedID(10…

とあるタスクを処理してて、modelを構築してmodel()で順伝搬を何回もやる必要があったその数80万サンプル程 model()を何回もスクリプト中で回してたらぐんぐんメモリ使用量が増える...流石になんかおかしいと思って調べてみると、どうやら順伝搬の際に計算グ…

Pandasのappendは遅い、遅すぎる........... とある処理を行っていて、処理後の行をpandasのDataFrameに対してappendしていく場面が結構あると思います。 行数が数万ぐらいのデータであれば、appendを使っても特に困ることはないと思うのですが（それならapp…