自動売買への道 (2026-04-22)

楽天証券の口座でデイトレの自動売買に挑戦しようと、Windows / Excel 上で動作する マーケットスピード II RSS を利用した Python アプリ (Kabuto) を開発しています。今月は、来るゴールデン・ウィークに存分に強化学習モデルのバックテストができるように準備を進めています。

今日の日経平均株価

現在値	59,585.86		+236.69	+0.40%	15:45
前日終値	59,349.17	04/21	高値	59,708.21	11:11
始値	59,104.11	09:00	安値	59,005.48	09:01

※ 右の 15 分足チャートは Yahoo! Finance のデータを yfinance で取得して作成しました。

【関連ニュース】

• 米中古住宅販売成約、2カ月連続で上昇－金利高も在庫増が寄与 - Bloomberg [2026-04-21]
• 【欧州市況】原油価格上昇で利上げ観測が拡大－株、債券とも下落 - Bloomberg [2026-04-22]
• 【米国市況】株安・原油高、和平協議の期待消え－ドル一時159円後半 - Bloomberg [2026-04-22]
• 原油下落、米から封鎖解除用意のシグナル受け取ったとのイラン報道で - Bloomberg [2026-04-22]
• UMC、日本工場で2D NANDを2027年から量産－台湾紙 - Bloomberg [2026-04-22]
• 【日本市況】TOPIX続落、中東不透明－債券安、円は159円前半で小幅高 - Bloomberg [2026-04-22]

トップへ

強化学習の沼

月末から始まるゴールデンウィークにゆっくりバックテストができそうなので、それまでにどれだけ強化学習モデルを育てられるかに挑んでいます。

学習環境 TrainingEnv(gymnasium.Env)

学習環境の概略です。

行動空間 Action Space

1. HOLD : 何もしない
2. BUY  : 「買建」または「返済」
3. SELL : 「売建」または「返済」

「返済」を行動空間に加えると学習が進まなかったことを踏まえ「返済」は環境側で制御。ナンピン禁止を行動マスクで制御

PositionType に対する mask [HOLD, BUY, SELL]

• WARMUP [True, False, False]（寄り付き後、売買できない期間を設定）
• NONE   [True, True,  True ]
• LONG   [True, False, True ]
• SHORT  [True, True,  False]

観測空間 Observation Space

株価、インジケータなど [-inf, +inf]（おまかせ「標準化」）

1. Price - 始値 : 株価
2. MA1 - 始値   : 短周期の移動平均
3. MA2 - 始値   : 長周期の移動平均
4. VWAP - 始値  : 出来高加重平均価格
5. Profit       : 含み損益

クロス関連 [-inf, +inf]（符号が重要なので「標準化」なし）

1. DiffMA   : MA乖離率 = (MA1 - MA2) / MA2
2. DiffVWAP : VWAP乖離率 = (MA1 - VWAP) / VWAP

カウンタ関連 [0, +inf]（おまかせ「標準化」）

1. n_trade        : 約定回数
2. count_negative : 含み損の継続カウンタ

ポジションを One-Hot エンコーディング

1. SHORT [1. 0. 0.]
2. NONE  [0. 1. 0.]
3. LONG  [0. 0. 1.]

報酬 Rewards

• 建玉なし    : ゴールデン/デッド クロス・シグナル近辺の報酬分布の一部をペナルティとして付与
• 建玉保持    : 含み損益の一定割合を付与＋前ステップの含み益からの増減の一定割合を付与
• 買建/売建時 : 約定コスト（ペナルティ）＋ゴールデン/デッド クロス・シグナル近辺の報酬分布から報酬を付与
• 返済時      : 直前の含み損益を付与
• 約定コスト  : 建玉、返済時いずれも固定の約定コストをペナルティとして引く
• 連続含み損  : 許容回数を超えたらペナルティを急激に増大

終了条件 Episode End

1. terminated
• "目的を達成した／失敗した" など、エージェント側の原因で終了
• 終端として扱う（価値は 0）
1. なし（「約定回数の上限で終了」を評価予定）
2. truncated
• 時間制限・ステップ制限・データ終端など “外的理由” で終了
• 終端ではない（価値を bootstrap）
1. ティックデータが最終行に達した時
• 終了時、建玉があれば強制返済。報酬条件、約定コストは同じ
• 約定回数に応じて報酬付与。現在は 25 回が極大になる式を適用（ただし約定回数は偶数）。

複数のティックデータで訓練

過去 20 日分のティックデータに対してそれぞれ 100 エピソードの学習を実施しました。

過去 20 日分の学習における報酬 (episord_reward)、損益 (pnl)、約定回数 (transactions) トレンド by TensorBoard

報酬 (episord_reward) は最初の 2 日分の学習後は概ね 0 を下回るトレンドになってしまいました。報酬がプラス側で収束することを期待していましたが、なかなか思うようにはなりません。

引いてダメなら割ってみる

今回の学習では、日毎の株価の絶対値のズレが、VecNormalize ラッパーのスケーリングに極力影響を与えないようにと考えて、株価に関連する特徴量に対して、始値を引くという加工を加えました。

本質的には大きな違いがないのかもしれませんが、興味があった、始値を引くのではなくて割ってみることを試すことにしました。引く場合は株価は 0 始まりですが、割る場合は 1 始まりになります。

あと、学習時間を節約するため、直接関係がない特徴量を一旦削除して次元を下げて、報酬パラメータを少し調整して学習を実施しています。

進捗が遅いのですが、明日、結果をまとめます。

トップへ

参考サイト

1. マーケットスピード II RSS | 楽天証券のトレーディングツール
2. マーケットスピード II RSS 関数マニュアル
3. 注文 | マーケットスピード II RSS オンラインヘルプ | 楽天証券のトレーディングツール
4. PythonでGUIを設計 | Qtの公式Pythonバインディング
5. Python in Excel alternative: Open. Self-hosted. No limits.
6. Book - xlwings Documentation