にわかSteamerのメモ帳

PCゲームや人工知能関連の話題についての日記

python

Pythonで濁音が分離された文字列を結合する方法

ある処理を行っていた時,文字列の判定で少し苦労しました. あるデータ"グルメ.xlsx"というファイルを読み込んで,ファイル名で処理を変えようと思い,とりあえず以下のように書きました. for fname in glob.glob(./data/*.xlsx): if 'グルメ' in fname: p…

Pythonでエクセルファイルの特定の背景色のセルを取得する方法

openpyxlを利用して,特定の背景色のセルを取得することができます. ファイルの拡張子は.xlsx限定です. import openpyxl # xlsxファイルの読み込み filename = 'test.xlsx' wb = openpyxl.load_workbook(filename) # シートは1枚を仮定し,最初のシートの…

PytorchでGPUが使えているか確認する方法

まず、一番シンプルなGPUが使えているかの確認です。 import torch print(torch.cuda.is_available()) TrueであればpytorchはあなたのGPUを使うことができます。 Falseなら使えていません。使えていない場合あなたのPCにCUDAが正しくインストールされていな…

Pythonにおけるスクレイピング入門

Pycon 2018で発表された方がスライドを公開してくださったのでご紹介させていただきます。 speakerdeck.com 普段からスクレイピングしている人にとっては当たり前の情報ですが、初心者の方にはかなり有用な情報なんじゃないでしょうか。スライドもとても見や…

gensimがいつのまにかバージョン3.4.0になってた

pythonのword2vec, doc2vecのライブラリであるgensimのバージョンが上がってた。 今年の2月終わりぐらいまで使ってて、さっき使おうとしたらエラー吐かれた... AttributeError: 'DocvecsArray' object has no attribute 'vector_size' pipでライブラリ全upg…

pyTorchを触ってみました

GWで少し暇なので最近話題のpyTorchを触ってみました。 ロゴが格好いい 2019/11/15追記 ↓pytorchのGPUの確認の検索が多いので個別にページ作りました↓ PytorchでGPUが使えているか確認する方法 - にわかSteamerのメモ帳 確かFacebookがバックに付いてるライ…

Chainerで複数入力のモデルとデータセットの作り方

Chainer使ってて複数の入力をするモデルを作る必要があって、解決したのでメモ作りたかったモデルはこんなの class LSTM_dual_input(Chain): def __init__(self): super(LSTM_dual_input, self).__init__() with self.init_scope(): self.emb = L.EmbedID(10…

Chainerのメモリ使用量が増え続ける時の対処法

とあるタスクを処理してて、modelを構築してmodel()で順伝搬を何回もやる必要があったその数80万サンプル程 model()を何回もスクリプト中で回してたらぐんぐんメモリ使用量が増える...流石になんかおかしいと思って調べてみると、どうやら順伝搬の際に計算グ…

Pandasのappendが遅すぎる時の対処法

Pandasのappendは遅い、遅すぎる........... とある処理を行っていて、処理後の行をpandasのDataFrameに対してappendしていく場面が結構あると思います。 行数が数万ぐらいのデータであれば、appendを使っても特に困ることはないと思うのですが(それならapp…