[DLHacks LT] PytorchのDataLoader -torchtextのソースコードを読んでみた-
5 likes36,545 views
Deep Learning JP: http://deeplearning.jp/hacks/
![[WIP]torchtextを読み解いてみた
2017/9/4時点
17](https://image.slidesharecdn.com/torchtextupload-170918235754/85/DLHacks-LT-Pytorch-DataLoader-torchtext-17-320.jpg)
[DLHacks LT] PytorchのDataLoader -torchtextのソースコードを読んでみた-
- 3. 実装手順 • DataLoader • モデル作成 • 損失関数 • 訓練 • ハイパーパラメータチューニング 3
- 4. 実装手順 • DataLoader ← 当たり前だけど最初にやるべき • モデル作成 • 損失関数 • 訓練 • ハイパーパラメータチューニング 4
- 6. 1. DataSet • torch.utils.data.Dataset ：ただの抽象クラス （getとlenをoverrideして使う） 6 https://github.com/pytorch/pytorch/blob/master/torch/utils/data/dataset.py
- 13. 2. Transform • torchvision.transforms内に画像系はすでにある - Scale：大きさ変更 - CenterCrop：真ん中でクロッピング - RandomCrop：ランダムにクロッピング - RandomHorizontalFlip：ある確率でFlip - Normalize：正規化 - ToTensor：PIL.ImageやnumpyをTensor化 13http://pytorch.org/docs/master/torchvision/transforms.html
- 15. 余談 • torchvisionのLoaderはpytorch以外でも使える - torchのモデルに依存せずnumpy等で返してくれる - torch.util.data.Datasetだけは使う • 他のloaderってどうなのだろう？ 15
- 18. torch text • Pytorchグループが作るテキスト処理用のDataLoader https://github.com/pytorch/text • torchvisionやpytorchのdataloaderとは別物感 - 複雑な構造 - ドキュメントが薄い - pipで入らない（git cloneしてdirectory取ってきた 18 結構つらいので、他にいいのがあればそれでもいいかも
- 19. 利用できるデータセット • ポジネガ分析：SST, IMDbb • 質問分類：TREC • 自然言語推論：SNLI • 原簿モデリング：Wikitext-2 19
- 23. Dataset • initでself.examples , self.fieldsを保持 • splits：train, dev, validをそれぞれのpathから返す • get, getattr, iter, len：exampleの値を返す • サブクラス：TabularDataset, ZipDataset 23
- 25. Example • 前処理後のデータ群 - TextFieldが持つpreprocessを使って前処理 - Datasetのfields（辞書）のkeyでアクセス可 25
- 27. Field • データの種類ごとの前処理とVocabを保持 • .preprocess(data)：設定した前処理を行う - tokenize引数で前処理を渡す • .build_vocab(data)：引数のデータからvocab作成 • .pad(minibatch)：paddingされたデータを作成 • .numericalize(data)：Variableに変換 27
- 29. Vocab • テキスト関係の処理 • init：データから下記を作成 - freqs：単語のカウンター - itos：indexから文字のリスト - stoi：文字からindexのリスト - wordvectors：埋め込み行列（Tensor型 • wv_typeを引数で渡すとgloveとかを取る 29
- 30. Iterator周り • Datasetを引数にミニバッチを返すiterator - pytorchのでデフォルトと異なる - Padding最小にするBucketIteratorなど、 テキスト周り用に少しカスタマイズされている • Batchオブジェクトを返す 30