Off-Policy Evaluation

Doubly Robust Off-Policy Evaluation for Ranking Policies under the Cascade Behavior Model
In real-world recommender systems and search engines, optimizing ranking decisions to present a ranked list of relevant items is …
Haruka Kiyohara, Yuta Saito, Tatsuya Matsuhiro, Yusuke Narita, Nobuyuki Shimizu, Yasuo Yamamoto
引用 コード arXiv 会議録
Open Bandit Dataset and Pipeline: Towards Realistic and Reproducible Off-Policy Evaluation
Off-policy evaluation (OPE) aims to estimate the performance of hypothetical policies using data generated by a different policy. …
Yuta Saito, Shunsuke Aihara, Megumi Matsutani, Yusuke Narita
引用 コード データセット 会議録 arXiv
Counterfactual Learning and Evaluation for Recommender Systems
Counterfactual estimators enable the use of existing log data to estimate how some new target recommendation policy would have …
Yuta Saito, Thorsten Joachims
引用 コード プロジェクト 会議録
Evaluating the Robustness of Off-Policy Evaluation
Off-policy Evaluation (OPE), or offline evaluation in general, evaluates the performance of hypothetical policies leveraging only …
Yuta Saito, Takuma Udagawa, Haruka Kiyohara, Kazuki Mogi, Yusuke Narita, Kei Tateno
引用 コード スライド 会議録 arXiv
Optimal Off-Policy Evaluation from Multiple Logging Policies
We study off-policy evaluation (OPE) from multiple logging policies, each generating a dataset of fixed size, i.e., stratified …
Nathan Kallus, Yuta Saito, Masatoshi Uehara
引用 コード 会議録 arXiv
自然実験としてのアルゴリズム：機械学習・市場設計・公共政策への統一アプローチ
公共政策からビジネスまで、機械学習や市場設計などのアルゴリズムを利用した意思決定が広がっている。その際に重要なのが、過去に使われたことのない新しい意思決定アルゴリズムの性能を予測することだ。正確な性能予測は着実なアルゴリズム改善に資する。この論文は、過去に使われたアルゴ …
成田 悠輔, 粟飯原 俊介, 齋藤優太, 松谷 恵, 矢田 紘平
ディスカッション・ペーパー
Doubly Robust Estimator for Ranking Metrics with Post-Click Conversions
Post-click conversion, a pre-defined action on a web service after a click, is an essential form of feedback, as it directly …
Yuta Saito
引用 コード スライド 会議録
Data-Driven Off-Policy Estimator Selection: An Application in User Marketing on An Online Content Delivery Service
Off-policy evaluation (OPE) is the method that attempts to estimate the performance of decision making policies using historical data …
Yuta Saito, Takuma Udagawa, Kei Tateno
引用 arXiv
すべての機械学習は A/B テストである
成田 悠輔, 粟飯原 俊介, 齋藤優太, 松谷 恵, 矢田 紘平
学会誌
私のブックマーク：反実仮想機械学習 (Counterfactual Machine Learning, CFML)
齋藤優太
学会誌 ウェブ版