楽天証券の口座でデイトレの自動売買に挑戦しようと、Windows / Excel 上で動作する マーケットスピード II RSS を利用した Python アプリ (Kabuto) を開発しています。未だ安心して自動売買できるレベルにまで到達していませんが、経験値を上げるため、セミオートでデイトレードを始めています。
今日の日経平均株価
| 現在値 | 55,895.32 | -413.10 | -0.73% | 15:45 | |
|---|---|---|---|---|---|
| 前日終値 | 56,308.42 | 04/08 | 高値 | 56,406.49 | 09:17 |
| 始値 | 56,199.86 | 09:00 | 安値 | 55,763.05 | 13:22 |
※ 右の 15 分足チャートは Yahoo! Finance のデータを yfinance で取得して作成しました。
【関連ニュース】
- 【欧州市況】株は4年ぶり大幅高、国債も軒並み上昇－停戦合意を好感 - Bloomberg [2026-04-09]
- 米国株式市場＝大幅上昇、主要3指数が2％超高 米イラン停戦合意で投資家心理改善 | ロイター [2026-04-09]
- 【米国市況】株上昇､米･イラン停戦で原油急落－ドルは今年の上げ失う - Bloomberg [2026-04-09]
- Anthropic最新AI、優秀過ぎてハッカーが悪用の恐れ－提供先を限定 - Bloomberg [2026-04-09]
- 中国住宅価格が3割減で担保割れ、銀行は「リーマン再来」恐れて異例の措置 - Bloomberg [2026-04-09]
- 3月工作機械受注は前年比28.1％増、9カ月連続プラス＝工作機械工業会 | ロイター [2026-04-09]
- 【日本市況】株と債券反落、停戦合意実効性に懸念－原油反発で円軟調 - Bloomberg [2026-04-09]
- 日経平均は5日ぶり反落、中東情勢の不透明感を改めて意識 | ロイター [2026-04-09]
強化学習へ沼りに行く⑤
今日もひきつづき強化学習モデルの開発を優先して、デイトレはお休みです。
学習環境 TrainingEnv(gymnasium.Env)
学習環境の概略です。観測空間に MA1 を追加しました。現時点では超シンプルな観測空間や報酬の構成になっています。この環境でパラメータを調整して結果がどうなるかを試行錯誤しています。
- 行動空間 Action Space
- HOLD : 何もしない
- BUY : 「買建」または「返済」
- SELL : 「売建」または「返済」
- 「返済」は環境側で制御、またナンピン禁止を行動マスクで制御
- 観測空間 Observation Space
- Price : 株価
- MA1 : 短周期の移動平均
- DiffVWAP : 乖離率 = (MA1 - VWAP) / VWAP
- Profit : 含み損益
- ポジションを One-Hot エンコーディング
- SHORT [1. 0. 0.]
- NONE [0. 1. 0.]
- LONG [0. 0. 1.]
- 報酬 Rewards
- 建玉なし : 報酬なし
- 建玉保持 : 含み損益の一定割合を付与
- 買建時 : -DiffVWAP を付与
- 売建時 : +DiffVWAP を付与
- 返済時 : 直前の含み損益を付与
- 約定コスト : 建玉、返済時いずれも固定の約定コストを引く
- 終了条件 Episode End
- terminated
- "目的を達成した／失敗した" など、エージェント側の原因で終了
- 終端として扱う（価値は 0）
- なし（「約定回数の上限で終了」を評価予定）
- truncated
- 時間制限・ステップ制限・データ終端など “外的理由” で終了
- 終端ではない（価値を bootstrap）
- ティックデータが最終行に達した時
- 終了時、建玉があれば強制返済。報酬条件、約定コストは同じ
報酬 vs. 損益
今日収集したティックデータより、ソフトバンクグループ (9984) のデータ (20260409_9984.csv) に対して 100 エピソード分を新たに学習させました。
100 エピソード分の学習における報酬 (episord_reward)、損益 (pnl)、約定回数トレンド (transactions)
エピソード毎のログから、最後のエピソードのログについて報酬と損益データ を集計、株価トレンドと取引シミュレーションの結果と並べました。縦線は売買が発生した箇所です。
100 エピソード分の学習における報酬、損益、約定回数トレンド
約定回数（取引回数）が多いので対策を検討します。まずは寄り付き後、一定時間は取引禁止にする予定です。
参考サイト
- マーケットスピード II RSS | 楽天証券のトレーディングツール
- マーケットスピード II RSS 関数マニュアル
- 注文 | マーケットスピード II RSS オンラインヘルプ | 楽天証券のトレーディングツール
- PythonでGUIを設計 | Qtの公式Pythonバインディング
- Python in Excel alternative: Open. Self-hosted. No limits.
- Book - xlwings Documentation
0 件のコメント:
コメントを投稿