A Learning-based Iterative Method for Solving Vehicle Routing Problems

Copyright © 2020 調和系工学研究室 - 北海道大学大学院情報科学研究院情報理工学部門複合情報工学分野 – All rights reserved.
A Learning-based Iterative Method
for Solving Vehicle Routing Problems
M2 大江弘峻
2021年6月3日(木)
北海道大学大学院情報科学研究院
情報理工学部門複合情報工学分野調和系工学研究室

著者
• Hao Lu1, Xingwen Zhang2, Shuang Yang2
– 1Princeton University
– 2Ant Financial Services Group
学会
• International Conference on Learning Representations (ICLR)
2020
リンク
• ICLR: A Learning-based Iterative Method for Solving Vehicle
Routing Problems
実装 (著者)
• rlopt/l2i
論文情報 1

扱う問題
• 組み合わせ最適化問題 (Combinatorial Optimization)
– 容量付き車両配送計画問題 (CVRP)
動機
• 古典的OR手法(LKH3等)の現状
– 問題サイズに対してスケールしない
• MLベースの手法の性質 / 現状
– 一度学習すると高速に解が求まる
– OR手法との性能差がまだ大きい
• 上記より、ML手法の性能向上を目指す
手法
• 提案手法：Learn to Improve (L2I)
– OR手法とMLを組み合わせた手法
結果
• 容量付き車両配送問題(CVRP)にてsota達成
概要 2

3
CVRPについて
目的
• 全顧客の需要を満たすコスト最小となるルートを見つける
変数
• 需要𝑑𝑖を持つ顧客𝑖と積載上限𝐶を持つ車両𝐾台
• 各地点(デポを含む)に対する距離は𝑐𝑖,𝑗

4
CVRPの定式化
必ずデポから出発してデポに戻る
必ず顧客には1回だけ立ち寄る
積載上限を超えないための制約

• Vinyals et al. (2015)
– 初めてTSPに対して教師有り学習モデルを提案(Pointer
Networksを使用)
• Bello et al. (2016)
– RLを使ったPointer Networksを提案
• Nazari et al. (2018)
– Pointer Networksの改良とVRPへの拡張
--- ここまでの手法の出力はすべて直接的な解 ---
• Chen & Tian (2019)
– 領域採取ポリシーとルール採取ポリシーを定義し、
ヒューリスティックを選択させ、解を改善する手法を提案
先行研究 5

近似解の求め方のイメージ 6
初期解
集中化(改善操作)
多様化(摂動操作)
集中化(改善操作)
集中化と多様化を組み合わせる

• 解の探索操作をRLとルールベースの手法で選択する
• 解の改善 or 解の摂動を継続的に行う
– 各コントローラが摂動操作/改善操作を選択
Learn to Improve (L2I) 7

8
L2Iで使用するコントローラ
• メタコントローラ (ルールベース)
– 解の改善 or 解の摂動を選択する
– 解の改善がLステップ見られない場合に摂動を選択
• 摂動コントローラ (ルールベース)
– ランダムで摂動操作を選択する
• 改善コントローラ (RLベース)
– 局所解の改善操作の候補を選択する

• RLは長期的影響を捉えるのが難しいため、
ルールベースを採用
• メタコントローラより、
局所最適領域に到達した際に選択される
• ランダムで摂動操作を選択
• 摂動操作
– Random permute
– Random exchange(2)
– Cyclic exchange
摂動コントローラ 9

• Random-permute
– ランダムにm個のルートを崩し、適当な順序で組み直す
• Random-exchange(2)
– ランダムに2ルート間の近傍顧客ペアを入れ替える
• Cyclic-exchange
– 循環的に複数ルート間の顧客を入れ替える
摂動操作一覧 10

11
改善コントローラ
• RLベースのモデル
• 改善コントローラは以下の初期解からスタート
– ランダムな初期実行可能解（学習の初期）
– 摂動操作より生成された初期実行可能解
• 改善コントローラの概要
– 状態空間：インスタンス情報、現在の解、実行履歴
– 行動空間：改善操作の候補
– 報酬：解の改善度合い
– RLアルゴリズム：REINFORCE
– アーキテクチャ：Attention

12
改善コントローラ – 状態空間
• 状態空間は以下の特徴量を含む
– 問題インスタンス情報
– 現在の解の情報
– 実行履歴
• ℎステップ前の行動 𝑎𝑡−ℎ とℎステップ前の効果 𝑒𝑡−ℎ
• 効果 𝑒𝑡−ℎ の定義
– 行動 𝑎𝑡−ℎ で移動距離が改善された場合+1
– それ以外−1

13
改善コントローラ – 行動空間
• 行動は改善操作の選択 (表：改善操作の種類)
• 行動は以下の2クラスに分類可能
1. intra-routeオペレータ
• 個別ルート内で移動距離を削減
2. inter-routeオペレータ
• 顧客を別ルートへ移動させることで移動距離を削減

• RLアルゴリズム
– REINFORCEを使用
• アーキテクチャ
– Attentionを使用
• input unit size：64
• output unit size：64
• Attention head：8
• 層数：1
改善コントローラ – 方策ネットワーク 14

• 事前実験を行い、満足のいくものを2つを使用
– RF1: 改善操作が解を改善すれば+1、それ以外は-1
– RF2: 一番最初の改善試行の結果をベースラインとした差分
• 報酬に関する気づき
– 試行が進むと距離削減の見込みが減っていく
– 初期の改善操作に大きな報酬を与えるのは不公平
• 理想的な報酬を実現するための処理 (未実装)
– 同じ改善試行内の操作は同じくらいの報酬を与える
– 報酬の割引を行わない(γ=1)
改善コントローラ – 報酬設計 15

CVRPの設定
• 顧客数：20, 50, 100 (デポの数は1)
• 車両の容量：20, 30, 40 (上の顧客数に対応)
• 顧客とデポの位置は[0, 1]の一様分布より生成
L2Iのパラメータ
• L=6ステップで解の改善が見られなかった場合は摂動を実行
• T=40000ステップ学習
– その中で最も良かった解を選択
• ランダムに初期実行可能解を生成
• RF1、RF2のどちらを使用したのかは不明
その他
• 結果はランダムな2000試行の結果の平均
• 各クラスタでNvidia Tesla T4 1枚
実験設定 16

• すべてのインスタンスでLKHを上回るスコアを獲得
実験結果(既存手法との比較) 17

18
実験結果(アンサンブル手法の分析)
• 6つの(同じ構造の)ポリシーのアンサンブルによる結果
– ポリシーの違いは入力データ(初期解)の違い

• ポリシーや学習段階によって選択される操作が異なる
• 報酬についての違い
– RF1：固定した操作のみ使用した
– RF2：全体的な操作を使用した
• Operatorの種類
– 改善と摂動+各操作のパラメータ候補を合わせて26個
実験結果(操作の分析) 19

• ルールベースとRLベースのコントローラを組み合わ
せたLearn to Improve(L2I)を提案
• CVRPインスタンスにてL2Iはsotaを達成
• OR手法の強みとRL手法による学習性を組み合わせの
有効性を示した
まとめ 20

A Learning-based Iterative Method for Solving Vehicle Routing Problems

More Related Content

What's hot (12)

Similar to A Learning-based Iterative Method for Solving Vehicle Routing Problems (9)

More from harmonylab (20)

Recently uploaded (20)

A Learning-based Iterative Method for Solving Vehicle Routing Problems