楽天証券の口座でデイトレの自動売買に挑戦しようと Windows / Excel 上で利用できる マーケットスピード II RSS を活用して Python であれこれ取り組んでいます。この「自動売買への道」のトピックでは、プログラミングの話題にも踏み込んで、日々の活動をまとめていきます。
デイトレ用自作アプリ
以下は株価に関連する情報の流れを示しています。
楽天証券では、Python からネットワーク越しに直接取引できるような API が提供されていないので、マーケットスピード II RSS を介して取引をする構成を取っています。
強化学習
現在は、強化学習を利用した取引モデルの開発に取り組んでいます。
モデルのチューニングにへこたれる
強化学習モデルのチューニングに毎日のように取り組んできましたが、なかなか成果が上がらずに少々へこたれています。
いつの間にか、自動売買を強化学習モデルを使って実現することが目的になってしまっていました。もともと感情に左右されない取引を実現するために自動売買のシステム開発に取り組んでいるのですから、強化学習モデルを使うことが目的ではないはずです。
もちろん、強化学習のモデルでそこそこのパフォーマンスを出せれば、自分が最も興味を持っているアプローチで実現できたことになるので喜ばしいことではあるのですが、残念ながら「そこそこ」でも実用化にはどうにも時間がかかりそうです。
テクニカル指標で売買シミュレーション
そこで、この三連休は気分転換をしようと強化学習モデルを使わない方法を試していました。下記のテクニカル指標を使いました。
- ２つの移動平均 MA (n = 60 sec) と MA (n = 600 sec)
- クロスサインで売買（ナンピン売買禁止）
- 移動標準偏差 Moving σ (n = 60 sec)
- しきい値以下の時はエントリしない。
スクラッチから作ると時間がかかってしまうので、いままで強化学習用に評価してきたシステムを流用し、強化学習モデルがエージェント内で推論する部分を、上記テクニカル指標を利用した売買アルゴリズムに置き換えました。行動マスク対応の環境クラスをそのまま流用しているので、ナンピン禁止の売買ルールをそっくり使えます。
今までと同様に、過去のティックデータでパフォーマンスを確認しました。
なんだ、こんな単純なアプローチでもそこそこの収益をあげられるのかと、びっくりがっかりでした。適切な損切り処理を加えれば、とりあえず使えるかもしれません。なにより処理が軽いことはメリットです。仮ぎめのパラメータの水準を振って組み合わせて、しらみつぶしに確認してもそれほどの時間はかかりません。銘柄毎に入念な確認が必要ですが、良さげなパラメータが見つかれば、現在の PC 環境でも複数銘柄の取引を同時に動かすことさえできそうです。なにより強化学習モデルに比べれば完全な再現性があります。
強化学習モデルでも毎回似たような結果を出しますが、揺らぎがあるので、パラメータ変更の効果に確信を持つためには結構な学習と検証を繰り返さなければなりません。
自動売買のアプローチとしては後退してしまった感があって悔しいのですが、年内に少しでも実際の取引を始めるためには、今の段階ではもっとも実現可能なアプローチなのかもしれません。
強化学習モデルを利用したアプローチは諦めていないので、可能な限り並行して評価を進めます。
参考サイト
- マーケットスピード II RSS | 楽天証券のトレーディングツール
- マーケットスピード II RSS 関数マニュアル
- 注文 | マーケットスピード II RSS オンラインヘルプ | 楽天証券のトレーディングツール
- Gymnasium Documentation
- Stable-Baselines3 Docs - Reliable Reinforcement Learning Implementations
- Maskable PPO — Stable Baselines3 - documentation
- PyTorch documentation
- PythonでGUIを設計 | Qtの公式Pythonバインディング
- Python in Excel alternative: Open. Self-hosted. No limits.
- Book - xlwings Documentation
0 件のコメント:
コメントを投稿