楽天証券の口座でデイトレの自動売買に挑戦しようと、Windows / Excel 上で動作する マーケットスピード II RSS を利用した Python アプリ (Kabuto) を開発しています。今月は、来るゴールデン・ウィークに存分に強化学習モデルのバックテストができるように準備を進めています。
今日の日経平均株価
| 現在値 | 58,824.89 | +348.99 | +0.60% | 15:45 | |
|---|---|---|---|---|---|
| 前日終値 | 58,475.90 | 04/17 | 高値 | 59,169.13 | 12:31 |
| 始値 | 58,821.16 | 09:00 | 安値 | 58,687.96 | 09:00 |
※ 右の 15 分足チャートは Yahoo! Finance のデータを yfinance で取得して作成しました。
【関連ニュース】
- 【欧州市況】国債上昇、ホルムズ海峡再開発表を好感－株4日続伸 - Bloomberg [2026-04-18]
- 【米国市況】株続伸、イラン戦争終結期待で－ドル一時157円台に下落 - Bloomberg [2026-04-18]
- 「ミトス」の重大な警鐘、誰も無関係でいられず－セキュリティーの前提崩れる恐れ - Bloomberg [2026-04-20]
- 米国家安全保障局、アンソロピックのミトス利用 リスク指定でも＝アクシオス | ロイター [2026-04-20]
- 【日本市況】株が反発、米・イラン協議の進展を意識－円は159円前後 - Bloomberg [2026-04-20]
強化学習の沼
月末から始まるゴールデンウィークにゆっくりバックテストができそうなので、それまでにどれだけ強化学習モデルを育てられるかに挑んでいます。
学習環境 TrainingEnv(gymnasium.Env)
学習環境の概略です。
- 行動空間 Action Space
- HOLD : 何もしない
- BUY : 「買建」または「返済」
- SELL : 「売建」または「返済」
- 「返済」を行動空間に加えると学習が進まなかったことを踏まえ「返済」は環境側で制御。ナンピン禁止を行動マスクで制御
- PositionType に対する mask [HOLD, BUY, SELL]
- WARMUP [True, False, False]（寄り付き後、売買できない期間を設定）
- NONE [True, True, True ]
- LONG [True, False, True ]
- SHORT [True, True, False]
- 観測空間 Observation Space
- 株価、インジケータなど [-inf, +inf]（おまかせ「標準化」）
- Price : 株価
- MA1 : 短周期の移動平均
- MA2 : 長周期の移動平均
- VWAP : 出来高加重平均価格
- Profit : 含み損益
- クロス関連 [-inf, +inf]（符号が重要なので「標準化」なし）
- DiffMA : MA乖離率 = (MA1 - MA2) / MA2
- DiffVWAP : VWAP乖離率 = (MA1 - VWAP) / VWAP
- カウンタ関連 [0, +inf]（おまかせ「標準化」）
- n_trade : 約定回数
- count_negative : 含み損の継続カウンタ
- ポジションを One-Hot エンコーディング
- SHORT [1. 0. 0.]
- NONE [0. 1. 0.]
- LONG [0. 0. 1.]
- 報酬 Rewards
- 建玉なし : 報酬なし
- 建玉保持 : 含み損益の一定割合を付与＋前ステップの含み益からの増減の一定割合を付与
- 買建/売建時 : ゴールデン/デッド クロス・シグナルと一致していれば、約定コストを相殺＋αを付与
- 返済時 : 直前の含み損益を付与
- 約定コスト : 建玉、返済時いずれも固定の約定コストを引く
- 連続含み損 : 許容回数を超えたらペナルティを急激に増大
- 終了条件 Episode End
- terminated
- "目的を達成した／失敗した" など、エージェント側の原因で終了
- 終端として扱う（価値は 0）
- なし（「約定回数の上限で終了」を評価予定）
- truncated
- 時間制限・ステップ制限・データ終端など “外的理由” で終了
- 終端ではない（価値を bootstrap）
- ティックデータが最終行に達した時
- 終了時、建玉があれば強制返済。報酬条件、約定コストは同じ
- 約定回数に応じて報酬付与。現在は 25 回が極大になる式を適用（ただし約定回数は偶数）。
今まで、モデルの報酬計算は学習時にその時その時のケースで算出していました。しかし、例えばクロス・シグナルで近傍で付与する報酬の場合、あらかじめ報酬額を算出しておけることに今頃になって気が付きました。
そこで、短長期の移動平均線のクロス・シグナルに絞り、クロス時ぴったりに適切に建玉したときの報酬をピークに報酬分布を設定しておいた上で、学習をさせるように変更を加えました。
うまくモデルの行動を誘導できるかどうかの確認が今回のポイントです。
複数のティックデータで訓練
過去 20 日分のティックデータに対し、最初のティックデータは 100 エピソード、残りは 50 エピソードの学習を実施しました。
TensorFlow のスクリーンショットを取るのを忘れてしまったので、今回は掲載できませんでした。
推論 - 今日のティックデータ
まだ推論と呼べるほど立派ではありませんが、過去 20 日分のティックデータで学習したモデルを使って、過去 19 日分のデータ + 今日のティックデータに対して推論しました。
今回は、学習で使用する環境クラスを継承した推論用の環境を用意して、設定回数以上に連続して含み損が続いたらロスカットするロジックを追加しましたが、全体的に収益が増える方向には向きませんでした。
今日のティックデータ分のレビュー
本日分のティックデータに対しての推論結果です。
連続した含み損はロスカットされていますが、クロス・シグナルに対して期待する方向に誘導されるようには学習が進んでいないように見えます。動きが逆に見えるのは、プログラムが間違っているのかもしれません。おかしい…。
学習時にも同じロジックのロスカットを導入して今夜学習させて違いが出るか明日確認します。
参考サイト
- マーケットスピード II RSS | 楽天証券のトレーディングツール
- マーケットスピード II RSS 関数マニュアル
- 注文 | マーケットスピード II RSS オンラインヘルプ | 楽天証券のトレーディングツール
- PythonでGUIを設計 | Qtの公式Pythonバインディング
- Python in Excel alternative: Open. Self-hosted. No limits.
- Book - xlwings Documentation
