tanuki- 2024-04-30 halfkp_1024x2-8-64

tanuki- 2024-04-30 halfkp_1024x2-8-64

実験内容

• halfkp_1024x2-8-64 ネットワークを学習させ、レーティングを測定する。
• ランダムパラメーターからの学習には、 Hao を用いて生成した学習データを用いる。

棋譜生成

ランダムパラメーターから学習させる際の学習データ

生成ルーチン	tanuki-棋譜生成ルーチン
評価関数	Hao (tanuki-.halfkp_256x2-32-32.2023-05-08)
1手あたりの思考	深さ最大 9 思考ノード数最大 50,000 ノード
開始局面	foodgate の 2020 年～ 2021 年の棋譜を使用した。レーティング 3900 以上同士の対局のみ使用した。戦型が角換わりの対局が 10% になるよう調整した。 32 手目までから 1 局面ランダムに選択し、その局面を開始局面とした。ランダムムーブはしなかった。
生成局面数	10 億局面 × 8 セット
生成条件	対局は打ち切らず詰みの局面まで学習データに出力した
フォルダ名	tanuki-.halfkp_256x2-32-32.2023-05-08

シャッフル条件

ランダムパラメータから学習させる際の学習データ

生成ルーチン	tanuki-シャッフルルーチン
qsearch()	あり
置換表	無効
min_progress	0.0

機械学習

機械学習ルーチン	nnue-pytorch + やねうら王 https://github.com/nodchip/nnue-pytorch/tree/shogi.2024-04-20.halfkp_1024x2-8-64
学習モデル	halfkp_1024x2-8-64
学習手法	ミニバッチ SGD
初期学習率 (lr)	0.5 収束後 0.05
最適化手法	なし
学習率調整手法	Warmup + Newbob 風
batch-size	16384
threads	8
num-workers	8
accelerator	gpu
devices	1
features	HalfKP
max-epoch	1000000
score-scaling	361
lambda	1.0 収束後 0.5
勝敗項の教師信号	0.999
num-batches-warmup	10000
newbob-decay	0.5
epoch-size	1000000
num-epochs-to-adjust-lr	500
学習を打ち切る下限 newbob scale	1e-5
1 epoch 毎のネットワークパラメーターのクリップ	あり
ネットワークパラメーターの量子化	量子化なしで学習し、収束後に量子化する。
ネットワークパラメーターの初期化方法	pytorch のデフォルトの初期化手法で初期化する。
勾配の正規化	なし
momentum	0.9
入玉ボーナス	入玉時、持ち駒および敵陣三段目までに侵入している駒について、小駒 1 枚につき 20 点、大駒 1 枚につき 100 点、敵陣三段目までに侵入している駒 1 枚につき 20 点追加する。

レーティング測定

対局相手	https://docs.google.com/document/d/1FC3FvCxyJV6IRPfwOHOMcAlEoTsjmRY8JZpWkGVpgH8/edit?usp=sharing tanuki-.nnue-pytorch-2024-03-24.1000
思考時間	持ち時間 300 秒 + 1 手 2 秒加算
対局数	5000
同時対局数	64
ハッシュサイズ	384
開始局面	dlshogi 互角局面集の角換わりの割合が 10% になるよう間引いたもの

実験結果

機械学習

ランダムパラメーターからの学習

検証ロス

halfkp_1024x2-8-64 … 0.2610738826874763

halfkp_1024x2-8-32 … 0.2612318373649352

ネットワークパラメーターの分布

mean=-30.4775390625 std=26.578081130981445

mean=-0.00859669130295515 std=3.798966407775879

mean=5597.125 std=1674.205322265625

mean=-0.425048828125 std=5.292990207672119

mean=-2664.390625 std=8623.640625

mean=0.38671875 std=40.71420669555664

mean=-1196.0 std=nan

mean=4.8125 std=47.580467224121094

ベンチマーク

halfkp_1024x2-8-64

Total time (ms) : 60004

Nodes searched : 61009382

Nodes_searched/second : 1016755

halfkp_1024x2-8-32

Total time (ms) : 60017

Nodes searched : 62024216

Nodes_searched/second : 1033444

レーティング測定

対局数=5000 同時対局数=64 ハッシュサイズ=384 開始手数=24 最大手数=320 開始局面ファイル=C:\Jenkins\workspace\TanukiColiseum.2023-04-16\TanukiColiseum\bishop_exchange.2023-06-25.sfen NUMAノード数=1 表示更新間隔(ms)=3600000

思考エンジン1 思考エンジン2

name YaneuraOu NNUE 7.63 64ZEN2 TOURNAMENT YaneuraOu NNUE 7.63 64ZEN2 TOURNAMENT

author by yaneurao by yaneurao

exeファイル C:\Jenkins\workspace\TanukiColiseum.2023-04-16\engine1\source\YaneuraOu-by-gcc.exe C:\Jenkins\workspace\TanukiColiseum.2023-04-16\engine2\source\YaneuraOu-by-gcc.exe

評価関数フォルダパス D:\hnoda\shogi\eval\tanuki-.nnue-pytorch-2024-04-26 D:\hnoda\shogi\eval\tanuki-.nnue-pytorch-2024-03-24.1000

定跡手数 256 256

定跡ファイル名 no_book no_book

思考ノード数 0 0

思考ノード数に加える乱数(%) 0 0

思考ノード数の乱数を1手毎に変化させる False False

持ち時間(ms) 300000 300000

秒読み時間(ms) 0 0

加算時間(ms) 2000 2000

乱数付き思考時間(ms) 0 0

スレッド数 1 1

BookEvalDiff 30 30

定跡の採択率を考慮する false false

定跡の手数を無視する false false

SlowMover 100 100

DrawValue -2 -2

BookEvalBlackLimit 0 0

BookEvalWhiteLimit -140 -140

FVScale 16 16

Depth=0 0

MinimumThinkingTime 1000 1000

対局数5000 先手勝ち2474(57.9%) 後手勝ち1799(42.1%) 引き分け727

engine1

勝ち2327(54.5% R26.5 +-9.7) 先手勝ち1301(30.4%) 後手勝ち1026(24.0%)

宣言勝ち88 先手宣言勝ち51 後手宣言勝ち37 先手引き分け425 後手引き分け302

engine2

勝ち1946(45.5%) 先手勝ち1173(27.5%) 後手勝ち773(18.1%)

宣言勝ち34 先手宣言勝ち17 後手宣言勝ち17 先手引き分け302 後手引き分け425

2327,727,1946

学習ロスと検証ロスは、 halfkp_1024x2-8-32 より低くなった。

ベンチマークは halfkp_1024x2-8-32 に比べて 5% 程度遅かった。

自己対局では halfkp_1024x2-8-32 に対し、レーティングが R26.5 高く、有意な差があった。

考察

学習ロスと検証ロスが halfkp_1024x2-8-32 より低くなった理由は、隠れ層第 3 層のチャンネル数が増え、表現力が増したためだと思う。

ベンチマークが halfkp_1024x2-8-32 に比べて遅かった理由は、隠れ層第 3 層のチャンネル数が増え、演算回数が増えたためだと思う。

自己対局でレーティングが高くなった理由は、ロスが下がり、学習データの内容をより学習したためだと思う。

まとめ

halfkp_1024x2-8-64 ネットワークを学習させ、レーティングを測定した。ランダムパラメーターからの学習には、 Hao を用いて生成した学習データを用いた。

自己対局では halfkp_1024x2-8-32 に対し、レーティングが R26.5 高く、有意な差があった。自己対局でレーティングが高くなった理由は、ロスが下がり、学習データの内容をより学習したためだと思う。

今回は、手違いにより Fine-tuning Suisho10Mn_psv を用いた Fine-tuning を行うことができなかった。次回は Fine-tuning を行い、レーティングを測定したい。

tanuki- 2024-04-17 halfkp_1024x2-8-16

tanuki- 2024-04-17 halfkp_1024x2-8-16

実験内容

• halfkp_1024x2-8-16 ネットワークを学習させ、レーティングを測定する。
• ランダムパラメーターからの学習には、 Hao を用いて生成した学習データを用いる。
• Fine-tuning に Fine-tuning Suisho10Mn_psv を学習データとして用いる。

棋譜生成

ランダムパラメーターから学習させる際の学習データ

生成ルーチン	tanuki-棋譜生成ルーチン
評価関数	Hao (tanuki-.halfkp_256x2-32-32.2023-05-08)
1手あたりの思考	深さ最大 9 思考ノード数最大 50,000 ノード
開始局面	foodgate の 2020 年～ 2021 年の棋譜を使用した。レーティング 3900 以上同士の対局のみ使用した。戦型が角換わりの対局が 10% になるよう調整した。 32 手目までから 1 局面ランダムに選択し、その局面を開始局面とした。ランダムムーブはしなかった。
生成局面数	10 億局面 × 8 セット
生成条件	対局は打ち切らず詰みの局面まで学習データに出力した
フォルダ名	tanuki-.halfkp_256x2-32-32.2023-05-08

シャッフル条件

ランダムパラメータから学習させる際の学習データ

生成ルーチン	tanuki-シャッフルルーチン
qsearch()	あり
置換表	無効
min_progress	0.0

Fine-tuning に用いる学習データ

生成ルーチン	tanuki-シャッフルルーチン
qsearch()	あり
置換表	無効
min_progress	0.1

機械学習

機械学習ルーチン	nnue-pytorch + やねうら王 https://github.com/nodchip/nnue-pytorch/tree/shogi.2024-04-12.halfkp_1024x2-8-16
学習モデル	halfkp_1024x2-8-16
学習手法	ミニバッチ SGD
初期学習率 (lr)	0.5 収束後 0.05
最適化手法	なし
学習率調整手法	Warmup + Newbob 風
batch-size	16384
threads	8
num-workers	8
accelerator	gpu
devices	1
features	HalfKP
max-epoch	1000000
score-scaling	361
lambda	1.0 収束後 0.5
勝敗項の教師信号	0.999
num-batches-warmup	10000
newbob-decay	0.5
epoch-size	1000000
num-epochs-to-adjust-lr	500
学習を打ち切る下限 newbob scale	1e-5
1 epoch 毎のネットワークパラメーターのクリップ	あり
ネットワークパラメーターの量子化	量子化なしで学習し、収束後に量子化する。
ネットワークパラメーターの初期化方法	pytorch のデフォルトの初期化手法で初期化する。
勾配の正規化	なし
momentum	0.9
入玉ボーナス	入玉時、持ち駒および敵陣三段目までに侵入している駒について、小駒 1 枚につき 20 点、大駒 1 枚につき 100 点、敵陣三段目までに侵入している駒 1 枚につき 20 点追加する。

レーティング測定

対局相手	https://docs.google.com/document/d/1FC3FvCxyJV6IRPfwOHOMcAlEoTsjmRY8JZpWkGVpgH8/edit?usp=sharing tanuki-.nnue-pytorch-2024-03-24.1000
思考時間	持ち時間 300 秒 + 1 手 2 秒加算
対局数	5000
同時対局数	64
ハッシュサイズ	384
開始局面	dlshogi 互角局面集の角換わりの割合が 10% になるよう間引いたもの

実験結果

機械学習

ランダムパラメーターからの学習



Fine-tuning



ネットワークパラメーターの分布



mean=-31.908203125 std=29.06488800048828



mean=-0.009225582703948021 std=3.9829680919647217



mean=3083.875 std=3166.892578125



mean=-0.36962890625 std=5.934316158294678



mean=-3301.375 std=4918.99365234375



mean=3.1640625 std=35.62507629394531



mean=-17.0 std=nan



mean=5.875 std=77.17847442626953

ベンチマーク

halfkp_1024x2-8-16

Total time (ms) : 60009

Nodes searched : 58979953

Nodes_searched/second : 982851

halfkp_1024x2-8-32

Total time (ms) : 60017

Nodes searched : 62024216

Nodes_searched/second : 1033444

レーティング測定

対局数=5000 同時対局数=64 ハッシュサイズ=384 開始手数=24 最大手数=320 開始局面ファイル=C:\Jenkins\workspace\TanukiColiseum.2023-04-16\TanukiColiseum\bishop_exchange.2023-06-25.sfen NUMAノード数=1 表示更新間隔(ms)=3600000

思考エンジン1 思考エンジン2

name YaneuraOu NNUE 7.63 64ZEN2 TOURNAMENT YaneuraOu NNUE 7.63 64ZEN2 TOURNAMENT

author by yaneurao by yaneurao

exeファイル C:\Jenkins\workspace\TanukiColiseum.2023-04-16\engine1\source\YaneuraOu-by-gcc.exe C:\Jenkins\workspace\TanukiColiseum.2023-04-16\engine2\source\YaneuraOu-by-gcc.exe

評価関数フォルダパス D:\hnoda\shogi\eval\tanuki-.nnue-pytorch-2024-04-12 D:\hnoda\shogi\eval\tanuki-.nnue-pytorch-2024-03-24.1000

定跡手数 256 256

定跡ファイル名 no_book no_book

思考ノード数 0 0

思考ノード数に加える乱数(%) 0 0

思考ノード数の乱数を1手毎に変化させる False False

持ち時間(ms) 300000 300000

秒読み時間(ms) 0 0

加算時間(ms) 2000 2000

乱数付き思考時間(ms) 0 0

スレッド数 1 1

BookEvalDiff 30 30

定跡の採択率を考慮する false false

定跡の手数を無視する false false

SlowMover 100 100

DrawValue -2 -2

BookEvalBlackLimit 0 0

BookEvalWhiteLimit -140 -140

FVScale 16 16

Depth=0 0

MinimumThinkingTime 1000 1000

対局数5000 先手勝ち2386(56.1%) 後手勝ち1866(43.9%) 引き分け748

engine1

勝ち2012(47.3% R-15.9 +-9.6) 先手勝ち1108(26.1%) 後手勝ち904(21.3%)

宣言勝ち58 先手宣言勝ち25 後手宣言勝ち33 先手引き分け428 後手引き分け320

engine2

勝ち2240(52.7%) 先手勝ち1278(30.1%) 後手勝ち962(22.6%)

宣言勝ち59 先手宣言勝ち31 後手宣言勝ち28 先手引き分け320 後手引き分け428

2012,748,2240

学習ロスと検証ロスは、ランダムパラメーターからの学習、 Fine-tuning 共に、 halfkp_1024x2-8-32 より低くなった。

ベンチマークは halfkp_1024x2-8-32 に比べて 5% 程度遅かった。

自己対局では halfkp_1024x2-8-32 に対し、レーティングが R15.9 低く、有意な差があった。

考察

学習ロスト検証ロスが halfkp_1024x2-8-32 より低くなった理由は、隠れ層第 3 層のチャンネル数が小さくなったことにより、より前の層に勾配を伝えやすくなったためだと思う。

ベンチマークが halfkp_1024x2-8-32 に比べて遅かった理由は、チャンネル数が 32 のべき乗で無くなったことにより、 AVX2 命令が使われなくなったためだと思う。

自己対局でレーティングが低くなった理由は、ロスが下がったことより、 nps が下がった影響が大きいからだと思う。

まとめ

halfkp_1024x2-8-16 ネットワークを学習させ、レーティングを測定した。ランダムパラメーターからの学習には、 Hao を用いて生成した学習データを用いた。 Fine-tuning に Fine-tuning Suisho10Mn_psv を学習データとして用いた。

自己対局では halfkp_1024x2-8-32 に対し、レーティングが R15.9 低く、有意な差があった。自己対局でレーティングが低くなった理由は、ロスが下がったことより、 nps が下がった影響が大きいからだと思う。

次回は halfkp_1024x2-8-64 ネットワークを学習させ、レーティングを測定したい。

tanuki- 2024-04-12 halfkp_256x2-256-256-256

tanuki- 2024-04-12 halfkp_256x2-256-256-256

実験内容

• halfkp_256x2-256-256-256 ネットワークを学習させ、レーティングを測定する。
• ランダムパラメーターからの学習には、 Hao を用いて生成した学習データを用いる。
• Fine-tuning に Fine-tuning Suisho10Mn_psv を学習データとして用いる。

棋譜生成

ランダムパラメーターから学習させる際の学習データ

生成ルーチン	tanuki-棋譜生成ルーチン
評価関数	Hao (tanuki-.halfkp_256x2-32-32.2023-05-08)
1手あたりの思考	深さ最大 9 思考ノード数最大 50,000 ノード
開始局面	foodgate の 2020 年～ 2021 年の棋譜を使用した。レーティング 3900 以上同士の対局のみ使用した。戦型が角換わりの対局が 10% になるよう調整した。 32 手目までから 1 局面ランダムに選択し、その局面を開始局面とした。ランダムムーブはしなかった。
生成局面数	10 億局面 × 8 セット
生成条件	対局は打ち切らず詰みの局面まで学習データに出力した
フォルダ名	tanuki-.halfkp_256x2-32-32.2023-05-08

シャッフル条件

ランダムパラメータから学習させる際の学習データ

生成ルーチン	tanuki-シャッフルルーチン
qsearch()	あり
置換表	無効
min_progress	0.0

Fine-tuning に用いる学習データ

生成ルーチン	tanuki-シャッフルルーチン
qsearch()	あり
置換表	無効
min_progress	0.1

機械学習

機械学習ルーチン	nnue-pytorch + やねうら王 https://github.com/nodchip/nnue-pytorch/tree/shogi.2024-04-09.halfkp_256x2-256-256-256
学習モデル	halfkp_256x2-256-256-256
学習手法	ミニバッチ SGD
初期学習率 (lr)	0.5 収束後 0.05
最適化手法	なし
学習率調整手法	Warmup + Newbob 風
batch-size	16384
threads	8
num-workers	8
accelerator	gpu
devices	1
features	HalfKP
max-epoch	1000000
score-scaling	361
lambda	1.0 収束後 0.5
勝敗項の教師信号	0.999
num-batches-warmup	10000
newbob-decay	0.5
epoch-size	1000000
num-epochs-to-adjust-lr	500
学習を打ち切る下限 newbob scale	1e-5
1 epoch 毎のネットワークパラメーターのクリップ	あり
ネットワークパラメーターの量子化	量子化なしで学習し、収束後に量子化する。
ネットワークパラメーターの初期化方法	pytorch のデフォルトの初期化手法で初期化する。
勾配の正規化	なし
momentum	0.9
入玉ボーナス	入玉時、持ち駒および敵陣三段目までに侵入している駒について、小駒 1 枚につき 20 点、大駒 1 枚につき 100 点、敵陣三段目までに侵入している駒 1 枚につき 20 点追加する。

レーティング測定

対局相手	https://docs.google.com/document/d/1FC3FvCxyJV6IRPfwOHOMcAlEoTsjmRY8JZpWkGVpgH8/edit?usp=sharing tanuki-.nnue-pytorch-2024-03-24.1000
思考時間	持ち時間 300 秒 + 1 手 2 秒加算
対局数	5000
同時対局数	64
ハッシュサイズ	384
開始局面	dlshogi 互角局面集の角換わりの割合が 10% になるよう間引いたもの

実験結果

機械学習

ランダムパラメーターからの学習



Fine-tuning



ネットワークパラメーターの分布



mean=-17.83203125 std=35.559715270996094



mean=-0.005480769090354443 std=6.9276442527771



mean=111.46484375 std=3325.249267578125



mean=-0.21393585205078125 std=5.610009670257568



mean=-2553.37890625 std=2987.79736328125



mean=-0.1891632080078125 std=7.028472900390625



mean=1.7109375 std=290.7167663574219



mean=0.0166015625 std=2.349048137664795



mean=2.0 std=nan



mean=0.25390625 std=19.562118530273438

ベンチマーク

halfkp_256x2-256-256-256

Total time (ms) : 60009

Nodes searched : 35068174

Nodes_searched/second : 584381

halfkp_1024x2-8-32

Total time (ms) : 60017

Nodes searched : 62024216

Nodes_searched/second : 1033444

レーティング測定

対局数=5000 同時対局数=64 ハッシュサイズ=384 開始手数=24 最大手数=320 開始局面ファイル=C:\Jenkins\workspace\TanukiColiseum.2023-04-16\TanukiColiseum\bishop_exchange.2023-06-25.sfen NUMAノード数=1 表示更新間隔(ms)=3600000

思考エンジン1 思考エンジン2

name YaneuraOu NNUE 7.63 64ZEN2 TOURNAMENT YaneuraOu NNUE 7.63 64ZEN2 TOURNAMENT

author by yaneurao by yaneurao

exeファイル C:\Jenkins\workspace\TanukiColiseum.2023-04-16\engine1\source\YaneuraOu-by-gcc.exe C:\Jenkins\workspace\TanukiColiseum.2023-04-16\engine2\source\YaneuraOu-by-gcc.exe

評価関数フォルダパス D:\hnoda\shogi\eval\tanuki-.nnue-pytorch-2024-04-09 D:\hnoda\shogi\eval\tanuki-.nnue-pytorch-2024-03-24.1000

定跡手数 256 256

定跡ファイル名 no_book no_book

思考ノード数 0 0

思考ノード数に加える乱数(%) 0 0

思考ノード数の乱数を1手毎に変化させる False False

持ち時間(ms) 300000 300000

秒読み時間(ms) 0 0

加算時間(ms) 2000 2000

乱数付き思考時間(ms) 0 0

スレッド数 1 1

BookEvalDiff 30 30

定跡の採択率を考慮する false false

定跡の手数を無視する false false

SlowMover 100 100

DrawValue -2 -2

BookEvalBlackLimit 0 0

BookEvalWhiteLimit -140 -140

FVScale 16 16

Depth=0 0

MinimumThinkingTime 1000 1000

対局数5000 先手勝ち2499(50.0%) 後手勝ち2501(50.0%) 引き分け0

engine1

勝ち0(0.0% R0.0 +-0.0) 先手勝ち0(0.0%) 後手勝ち0(0.0%)

宣言勝ち0 先手宣言勝ち0 後手宣言勝ち0 先手引き分け0 後手引き分け0

engine2

勝ち5000(100.0%) 先手勝ち2499(50.0%) 後手勝ち2501(50.0%)

宣言勝ち0 先手宣言勝ち0 後手宣言勝ち0 先手引き分け0 後手引き分け0

0,0,5000

学習ロスと検証ロスは、ランダムパラメーターからの学習、 Fine-tuning 共に、 halfkp_1024x2-8-32 より高くなった。

ベンチマークは halfkp_1024x2-8-32 に比べて 43% 程度遅かった。

自己対局では halfkp_1024x2-8-32 に対し、 1 勝も挙げることができなかった。

考察

自己対局で halfkp_1024x2-8-32 に 1 勝も挙げることができなかった理由は、バグだと思う。学習ロスと検証ロスが halfkp_256x2-256-256 と似たような形状であることから、学習器に問題はないと思う。学習器に問題がないとすれば、シリアライズに失敗していると考えられる。ただし、シリアライズが意図通り行われたとしても、学習ロスと検証ロスが halfkp_1024x2-8-32 より高く、 nps が低いため、レーティングは低いと予想できる。このことから、層の数を増やしても、レーティングを向上させることは難しいと思う。 halfkp_1024x2-16-32 や halfkp_1280x2-16-32 の実験も考慮すると、隠れ層第 1 層のチャンネル数を増やし、隠れ層第 2 層以降のチャンネル数を減らす、もししくは層数を減らしたほうが、レーティングが向上すると思う。

まとめ

halfkp_256x2-256-256-256 ネットワークを学習させ、レーティングを測定した。ランダムパラメーターからの学習には、 Hao を用いて生成した学習データを用いた。 Fine-tuning に Fine-tuning Suisho10Mn_psv を学習データとして用いた。

自己対局では halfkp_1024x2-8-32 に対し、 1 勝も挙げることができなかった。自己対局で halfkp_1024x2-8-32 に 1 勝も挙げることができなかった理由は、バグだと思う。学習ロスと検証ロスが halfkp_256x2-256-256 と似たような形状であることから、学習器に問題はないと思う。学習器に問題がないとすれば、シリアライズに失敗していると考えられる。ただし、シリアライズが意図通り行われたとしても、学習ロスと検証ロスが halfkp_1024x2-8-32 より高く、 nps が低いため、レーティングは低いと予想できる。このことから、層の数を増やしても、レーティングを向上させることは難しいと思う。 halfkp_1024x2-16-32 や halfkp_1280x2-16-32 の実験も考慮すると、隠れ層第 1 層のチャンネル数を増やし、隠れ層第 2 層以降のチャンネル数を減らす、もししくは層数を減らしたほうが、レーティングが向上すると思う。

次回は隠れ層第 2 層以降のチャンネル数を減らし、学習させ、レーティングを測定したい。

tanuki- 2024-04-09 halfkp_256x2-256-256

tanuki- 2024-04-09 halfkp_256x2-256-256

実験内容

• halfkp_256x2-256-256 ネットワークを学習させ、レーティングを測定する。
• ランダムパラメーターからの学習には、 Hao を用いて生成した学習データを用いる。
• Fine-tuning に Fine-tuning Suisho10Mn_psv を学習データとして用いる。

棋譜生成

ランダムパラメーターから学習させる際の学習データ

生成ルーチン	tanuki-棋譜生成ルーチン
評価関数	Hao (tanuki-.halfkp_256x2-32-32.2023-05-08)
1手あたりの思考	深さ最大 9 思考ノード数最大 50,000 ノード
開始局面	foodgate の 2020 年～ 2021 年の棋譜を使用した。レーティング 3900 以上同士の対局のみ使用した。戦型が角換わりの対局が 10% になるよう調整した。 32 手目までから 1 局面ランダムに選択し、その局面を開始局面とした。ランダムムーブはしなかった。
生成局面数	10 億局面 × 8 セット
生成条件	対局は打ち切らず詰みの局面まで学習データに出力した
フォルダ名	tanuki-.halfkp_256x2-32-32.2023-05-08

シャッフル条件

ランダムパラメータから学習させる際の学習データ

生成ルーチン	tanuki-シャッフルルーチン
qsearch()	あり
置換表	無効
min_progress	0.0

Fine-tuning に用いる学習データ

生成ルーチン	tanuki-シャッフルルーチン
qsearch()	あり
置換表	無効
min_progress	0.1

機械学習

機械学習ルーチン	nnue-pytorch + やねうら王 https://github.com/nodchip/nnue-pytorch/tree/shogi.2024-04-09.halfkp_256x2-256-256-256
学習モデル	halfkp_256x2-256-256
学習手法	ミニバッチ SGD
初期学習率 (lr)	0.5 収束後 0.05
最適化手法	なし
学習率調整手法	Warmup + Newbob 風
batch-size	16384
threads	8
num-workers	8
accelerator	gpu
devices	1
features	HalfKP
max-epoch	1000000
score-scaling	361
lambda	1.0 収束後 0.5
勝敗項の教師信号	0.999
num-batches-warmup	10000
newbob-decay	0.5
epoch-size	1000000
num-epochs-to-adjust-lr	500
学習を打ち切る下限 newbob scale	1e-5
1 epoch 毎のネットワークパラメーターのクリップ	あり
ネットワークパラメーターの量子化	量子化なしで学習し、収束後に量子化する。
ネットワークパラメーターの初期化方法	pytorch のデフォルトの初期化手法で初期化する。
勾配の正規化	なし
momentum	0.9
入玉ボーナス	入玉時、持ち駒および敵陣三段目までに侵入している駒について、小駒 1 枚につき 20 点、大駒 1 枚につき 100 点、敵陣三段目までに侵入している駒 1 枚につき 20 点追加する。

レーティング測定

対局相手	https://docs.google.com/document/d/1FC3FvCxyJV6IRPfwOHOMcAlEoTsjmRY8JZpWkGVpgH8/edit?usp=sharing tanuki-.nnue-pytorch-2024-03-24.1000
思考時間	持ち時間 300 秒 + 1 手 2 秒加算
対局数	5000
同時対局数	64
ハッシュサイズ	384
開始局面	dlshogi 互角局面集の角換わりの割合が 10% になるよう間引いたもの

実験結果

機械学習

ランダムパラメーターからの学習



Fine-tuning



ネットワークパラメーターの分布



mean=-20.30859375 std=35.23615646362305



mean=-0.006371379364281893 std=7.184591293334961



mean=99.44140625 std=3053.18701171875



mean=-0.225128173828125 std=5.68989896774292



mean=-2824.75 std=3110.239501953125



mean=-0.18359375 std=7.192142009735107



mean=-618.0 std=nan



mean=2.9765625 std=18.016969680786133

ベンチマーク

halfkp_1280x2-16-32

Total time (ms) : 60007

Nodes searched : 43909542

Nodes_searched/second : 731740

halfkp_1024x2-8-32

Total time (ms) : 60017

Nodes searched : 62024216

Nodes_searched/second : 1033444

レーティング測定

対局数=5000 同時対局数=64 ハッシュサイズ=384 開始手数=24 最大手数=320 開始局面ファイル=C:\Jenkins\workspace\TanukiColiseum.2023-04-16\TanukiColiseum\bishop_exchange.2023-06-25.sfen NUMAノード数=1 表示更新間隔(ms)=3600000

思考エンジン1 思考エンジン2

name YaneuraOu NNUE 7.63 64ZEN2 TOURNAMENT YaneuraOu NNUE 7.63 64ZEN2 TOURNAMENT

author by yaneurao by yaneurao

exeファイル C:\Jenkins\workspace\TanukiColiseum.2023-04-16\engine1\source\YaneuraOu-by-gcc.exe C:\Jenkins\workspace\TanukiColiseum.2023-04-16\engine2\source\YaneuraOu-by-gcc.exe

評価関数フォルダパス D:\hnoda\shogi\eval\tanuki-.nnue-pytorch-2024-04-05 D:\hnoda\shogi\eval\tanuki-.nnue-pytorch-2024-03-24.1000

定跡手数 256 256

定跡ファイル名 no_book no_book

思考ノード数 0 0

思考ノード数に加える乱数(%) 0 0

思考ノード数の乱数を1手毎に変化させる False False

持ち時間(ms) 300000 300000

秒読み時間(ms) 0 0

加算時間(ms) 2000 2000

乱数付き思考時間(ms) 0 0

スレッド数 1 1

BookEvalDiff 30 30

定跡の採択率を考慮する false false

定跡の手数を無視する false false

SlowMover 100 100

DrawValue -2 -2

BookEvalBlackLimit 0 0

BookEvalWhiteLimit -140 -140

FVScale 16 16

Depth=0 0

MinimumThinkingTime 1000 1000

対局数5000 先手勝ち2779(59.6%) 後手勝ち1887(40.4%) 引き分け334

engine1

勝ち1706(36.6% R-89.0 +-9.9) 先手勝ち1076(23.1%) 後手勝ち630(13.5%)

宣言勝ち84 先手宣言勝ち49 後手宣言勝ち35 先手引き分け165 後手引き分け169

engine2

勝ち2960(63.4%) 先手勝ち1703(36.5%) 後手勝ち1257(26.9%)

宣言勝ち8 先手宣言勝ち3 後手宣言勝ち5 先手引き分け169 後手引き分け165

1706,334,2960

学習ロスと検証ロスは、ランダムパラメーターからの学習、 Fine-tuning 共に、 halfkp_1024x2-8-32 より低くなった。

ベンチマークは halfkp_1024x2-8-32 に比べて 30% 程度遅かった。

レーティングは halfkp_1024x2-8-32 より R89.0 低く、有意な差があった。

考察

レーティングが有意に低かった理由は、 nps の低下と、ロスが高かったことによるものだと思う。レーティングの低下が速度低下の 2 倍であったと仮定すると、 30 * 2 = 60 である。これにロスの高さを加えて考慮すると、 R89.0 低いという事実と矛盾はないと思う。

まとめ

halfkp_256x2-256-256 ネットワークを学習させ、レーティングを測定した。ランダムパラメーターからの学習には、 Hao を用いて生成した学習データを用いた。 Fine-tuning に Fine-tuning Suisho10Mn_psv を学習データとして用いた。

レーティングは halfkp_1024x2-8-32 より R89.0 低く、有意な差があった。レーティングが有意に低かった理由は、 nps の低下と、ロスが高かったことによるものだと思う。レーティングの低下が速度低下の 2 倍であったと仮定すると、 30 * 2 = 60 である。これにロスの高さを加えて考慮すると、 R89.0 低いという事実と矛盾はないと思う。

次回は、ネットワークの層を増やしたときの特性を調べるため、 halfkp_256x2-256-256-256 ネットワークを学習させ、レーティングを測定したい。

tanuki- 2024-04-06 halfkp_1280x2-16-32 思考時間

tanuki- 2024-04-04 halfkp_1280x2-16-32

実験内容

• halfkp_1280x2-16-32 ネットワークについて、思考時間によりレーティングが変化するかどうか調べる。

棋譜生成

ランダムパラメーターから学習させる際の学習データ

生成ルーチン	tanuki-棋譜生成ルーチン
評価関数	Hao (tanuki-.halfkp_256x2-32-32.2023-05-08)
1手あたりの思考	深さ最大 9 思考ノード数最大 50,000 ノード
開始局面	foodgate の 2020 年～ 2021 年の棋譜を使用した。レーティング 3900 以上同士の対局のみ使用した。戦型が角換わりの対局が 10% になるよう調整した。 32 手目までから 1 局面ランダムに選択し、その局面を開始局面とした。ランダムムーブはしなかった。
生成局面数	10 億局面 × 8 セット
生成条件	対局は打ち切らず詰みの局面まで学習データに出力した
フォルダ名	tanuki-.halfkp_256x2-32-32.2023-05-08

シャッフル条件

ランダムパラメータから学習させる際の学習データ

生成ルーチン	tanuki-シャッフルルーチン
qsearch()	あり
置換表	無効
min_progress	0.0

Fine-tuning に用いる学習データ

生成ルーチン	tanuki-シャッフルルーチン
qsearch()	あり
置換表	無効
min_progress	0.1

機械学習

機械学習ルーチン	nnue-pytorch + やねうら王 https://github.com/nodchip/nnue-pytorch/tree/shogi.2024-03-30.halfkp_1280x2-16-32
学習モデル	halfkp_1280x2-16-32
学習手法	ミニバッチ SGD
初期学習率 (lr)	0.5 収束後 0.05
最適化手法	なし
学習率調整手法	Warmup + Newbob 風
batch-size	16384
threads	8
num-workers	8
accelerator	gpu
devices	1
features	HalfKP
max-epoch	1000000
score-scaling	361
lambda	1.0 収束後 0.5
勝敗項の教師信号	0.999
num-batches-warmup	10000
newbob-decay	0.5
epoch-size	1000000
num-epochs-to-adjust-lr	500
学習を打ち切る下限 newbob scale	1e-5
1 epoch 毎のネットワークパラメーターのクリップ	あり
ネットワークパラメーターの量子化	量子化なしで学習し、収束後に量子化する。
ネットワークパラメーターの初期化方法	pytorch のデフォルトの初期化手法で初期化する。
勾配の正規化	なし
momentum	0.9
入玉ボーナス	入玉時、持ち駒および敵陣三段目までに侵入している駒について、小駒 1 枚につき 20 点、大駒 1 枚につき 100 点、敵陣三段目までに侵入している駒 1 枚につき 20 点追加する。

レーティング測定

対局相手	https://docs.google.com/document/d/1FC3FvCxyJV6IRPfwOHOMcAlEoTsjmRY8JZpWkGVpgH8/edit?usp=sharing tanuki-.nnue-pytorch-2024-03-24.1000
思考時間	持ち時間 300 秒 + 1 手 2 秒加算
対局数	5000
同時対局数	64
ハッシュサイズ	384
開始局面	dlshogi 互角局面集の角換わりの割合が 10% になるよう間引いたもの

実験結果

レーティング測定

対局数=2000 同時対局数=64 ハッシュサイズ=384 開始手数=24 最大手数=320 開始局面ファイル=C:\Jenkins\workspace\TanukiColiseum.2023-04-16\TanukiColiseum\bishop_exchange.2023-06-25.sfen NUMAノード数=1 表示更新間隔(ms)=3600000

思考エンジン1 思考エンジン2

name YaneuraOu NNUE 7.63 64ZEN2 TOURNAMENT YaneuraOu NNUE 7.63 64ZEN2 TOURNAMENT

author by yaneurao by yaneurao

exeファイル C:\Jenkins\workspace\TanukiColiseum.2023-04-16\engine1\source\YaneuraOu-by-gcc.exe C:\Jenkins\workspace\TanukiColiseum.2023-04-16\engine2\source\YaneuraOu-by-gcc.exe

評価関数フォルダパス D:\hnoda\shogi\eval\tanuki-.nnue-pytorch-2024-03-30 D:\hnoda\shogi\eval\tanuki-.nnue-pytorch-2024-03-24.1000

定跡手数 256 256

定跡ファイル名 no_book no_book

思考ノード数 0 0

思考ノード数に加える乱数(%) 0 0

思考ノード数の乱数を1手毎に変化させる False False

持ち時間(ms) 0 0

秒読み時間(ms) 1000 1000

加算時間(ms) 0 0

乱数付き思考時間(ms) 0 0

スレッド数 1 1

BookEvalDiff 30 30

定跡の採択率を考慮する false false

定跡の手数を無視する false false

SlowMover 100 100

DrawValue -2 -2

BookEvalBlackLimit 0 0

BookEvalWhiteLimit -140 -140

FVScale 16 16

Depth=0 0

MinimumThinkingTime 1000 1000

対局数2000 先手勝ち1058(56.5%) 後手勝ち815(43.5%) 引き分け127

engine1

勝ち886(47.3% R-17.6 +-15.3) 先手勝ち506(27.0%) 後手勝ち380(20.3%)

宣言勝ち13 先手宣言勝ち11 後手宣言勝ち2 先手引き分け55 後手引き分け72

engine2

勝ち987(52.7%) 先手勝ち552(29.5%) 後手勝ち435(23.2%)

宣言勝ち5 先手宣言勝ち1 後手宣言勝ち4 先手引き分け72 後手引き分け55

886,127,987

対局数=2000 同時対局数=64 ハッシュサイズ=384 開始手数=24 最大手数=320 開始局面ファイル=C:\Jenkins\workspace\TanukiColiseum.2023-04-16\TanukiColiseum\bishop_exchange.2023-06-25.sfen NUMAノード数=1 表示更新間隔(ms)=3600000

思考エンジン1 思考エンジン2

name YaneuraOu NNUE 7.63 64ZEN2 TOURNAMENT YaneuraOu NNUE 7.63 64ZEN2 TOURNAMENT

author by yaneurao by yaneurao

exeファイル C:\Jenkins\workspace\TanukiColiseum.2023-04-16\engine1\source\YaneuraOu-by-gcc.exe C:\Jenkins\workspace\TanukiColiseum.2023-04-16\engine2\source\YaneuraOu-by-gcc.exe

評価関数フォルダパス D:\hnoda\shogi\eval\tanuki-.nnue-pytorch-2024-03-30 D:\hnoda\shogi\eval\tanuki-.nnue-pytorch-2024-03-24.1000

定跡手数 256 256

定跡ファイル名 no_book no_book

思考ノード数 0 0

思考ノード数に加える乱数(%) 0 0

思考ノード数の乱数を1手毎に変化させる False False

持ち時間(ms) 0 0

秒読み時間(ms) 2000 2000

加算時間(ms) 0 0

乱数付き思考時間(ms) 0 0

スレッド数 1 1

BookEvalDiff 30 30

定跡の採択率を考慮する false false

定跡の手数を無視する false false

SlowMover 100 100

DrawValue -2 -2

BookEvalBlackLimit 0 0

BookEvalWhiteLimit -140 -140

FVScale 16 16

Depth=0 0

MinimumThinkingTime 1000 1000

対局数2000 先手勝ち1040(56.5%) 後手勝ち801(43.5%) 引き分け159

engine1

勝ち824(44.8% R-33.6 +-15.3) 先手勝ち478(26.0%) 後手勝ち346(18.8%)

宣言勝ち20 先手宣言勝ち11 後手宣言勝ち9 先手引き分け66 後手引き分け93

engine2

勝ち1017(55.2%) 先手勝ち562(30.5%) 後手勝ち455(24.7%)

宣言勝ち3 先手宣言勝ち1 後手宣言勝ち2 先手引き分け93 後手引き分け66

824,159,1017

対局数=2000 同時対局数=64 ハッシュサイズ=384 開始手数=24 最大手数=320 開始局面ファイル=C:\Jenkins\workspace\TanukiColiseum.2023-04-16\TanukiColiseum\bishop_exchange.2023-06-25.sfen NUMAノード数=1 表示更新間隔(ms)=3600000

思考エンジン1 思考エンジン2

name YaneuraOu NNUE 7.63 64ZEN2 TOURNAMENT YaneuraOu NNUE 7.63 64ZEN2 TOURNAMENT

author by yaneurao by yaneurao

exeファイル C:\Jenkins\workspace\TanukiColiseum.2023-04-16\engine1\source\YaneuraOu-by-gcc.exe C:\Jenkins\workspace\TanukiColiseum.2023-04-16\engine2\source\YaneuraOu-by-gcc.exe

評価関数フォルダパス D:\hnoda\shogi\eval\tanuki-.nnue-pytorch-2024-03-30 D:\hnoda\shogi\eval\tanuki-.nnue-pytorch-2024-03-24.1000

定跡手数 256 256

定跡ファイル名 no_book no_book

思考ノード数 0 0

思考ノード数に加える乱数(%) 0 0

思考ノード数の乱数を1手毎に変化させる False False

持ち時間(ms) 0 0

秒読み時間(ms) 4000 4000

加算時間(ms) 0 0

乱数付き思考時間(ms) 0 0

スレッド数 1 1

BookEvalDiff 30 30

定跡の採択率を考慮する false false

定跡の手数を無視する false false

SlowMover 100 100

DrawValue -2 -2

BookEvalBlackLimit 0 0

BookEvalWhiteLimit -140 -140

FVScale 16 16

Depth=0 0

MinimumThinkingTime 1000 1000

対局数2000 先手勝ち1038(56.6%) 後手勝ち795(43.4%) 引き分け167

engine1

勝ち786(42.9% R-45.6 +-15.4) 先手勝ち454(24.8%) 後手勝ち332(18.1%)

宣言勝ち25 先手宣言勝ち14 後手宣言勝ち11 先手引き分け81 後手引き分け86

engine2

勝ち1047(57.1%) 先手勝ち584(31.9%) 後手勝ち463(25.3%)

宣言勝ち6 先手宣言勝ち4 後手宣言勝ち2 先手引き分け86 後手引き分け81

786,167,1047

対局数=2000 同時対局数=64 ハッシュサイズ=384 開始手数=24 最大手数=320 開始局面ファイル=C:\Jenkins\workspace\TanukiColiseum.2023-04-16\TanukiColiseum\bishop_exchange.2023-06-25.sfen NUMAノード数=1 表示更新間隔(ms)=3600000

思考エンジン1 思考エンジン2

name YaneuraOu NNUE 7.63 64ZEN2 TOURNAMENT YaneuraOu NNUE 7.63 64ZEN2 TOURNAMENT

author by yaneurao by yaneurao

exeファイル C:\Jenkins\workspace\TanukiColiseum.2023-04-16\engine1\source\YaneuraOu-by-gcc.exe C:\Jenkins\workspace\TanukiColiseum.2023-04-16\engine2\source\YaneuraOu-by-gcc.exe

評価関数フォルダパス D:\hnoda\shogi\eval\tanuki-.nnue-pytorch-2024-03-30 D:\hnoda\shogi\eval\tanuki-.nnue-pytorch-2024-03-24.1000

定跡手数 256 256

定跡ファイル名 no_book no_book

思考ノード数 0 0

思考ノード数に加える乱数(%) 0 0

思考ノード数の乱数を1手毎に変化させる False False

持ち時間(ms) 0 0

秒読み時間(ms) 8000 8000

加算時間(ms) 0 0

乱数付き思考時間(ms) 0 0

スレッド数 1 1

BookEvalDiff 30 30

定跡の採択率を考慮する false false

定跡の手数を無視する false false

SlowMover 100 100

DrawValue -2 -2

BookEvalBlackLimit 0 0

BookEvalWhiteLimit -140 -140

FVScale 16 16

Depth=0 0

MinimumThinkingTime 1000 1000

対局数2000 先手勝ち969(54.4%) 後手勝ち811(45.6%) 引き分け220

engine1

勝ち797(44.8% R-32.4 +-15.3) 先手勝ち447(25.1%) 後手勝ち350(19.7%)

宣言勝ち19 先手宣言勝ち9 後手宣言勝ち10 先手引き分け92 後手引き分け128

engine2

勝ち983(55.2%) 先手勝ち522(29.3%) 後手勝ち461(25.9%)

宣言勝ち9 先手宣言勝ち5 後手宣言勝ち4 先手引き分け128 後手引き分け92

797,220,983

対局数=2000 同時対局数=64 ハッシュサイズ=384 開始手数=24 最大手数=320 開始局面ファイル=C:\Jenkins\workspace\TanukiColiseum.2023-04-16\TanukiColiseum\bishop_exchange.2023-06-25.sfen NUMAノード数=1 表示更新間隔(ms)=3600000

思考エンジン1 思考エンジン2

name YaneuraOu NNUE 7.63 64ZEN2 TOURNAMENT YaneuraOu NNUE 7.63 64ZEN2 TOURNAMENT

author by yaneurao by yaneurao

exeファイル C:\Jenkins\workspace\TanukiColiseum.2023-04-16\engine1\source\YaneuraOu-by-gcc.exe C:\Jenkins\workspace\TanukiColiseum.2023-04-16\engine2\source\YaneuraOu-by-gcc.exe

評価関数フォルダパス D:\hnoda\shogi\eval\tanuki-.nnue-pytorch-2024-03-30 D:\hnoda\shogi\eval\tanuki-.nnue-pytorch-2024-03-24.1000

定跡手数 256 256

定跡ファイル名 no_book no_book

思考ノード数 0 0

思考ノード数に加える乱数(%) 0 0

思考ノード数の乱数を1手毎に変化させる False False

持ち時間(ms) 0 0

秒読み時間(ms) 16000 16000

加算時間(ms) 0 0

乱数付き思考時間(ms) 0 0

スレッド数 1 1

BookEvalDiff 30 30

定跡の採択率を考慮する false false

定跡の手数を無視する false false

SlowMover 100 100

DrawValue -2 -2

BookEvalBlackLimit 0 0

BookEvalWhiteLimit -140 -140

FVScale 16 16

Depth=0 0

MinimumThinkingTime 1000 1000

対局数2000 先手勝ち919(55.1%) 後手勝ち748(44.9%) 引き分け333

engine1

勝ち800(48.0% R-11.6 +-15.2) 先手勝ち456(27.4%) 後手勝ち344(20.6%)

宣言勝ち30 先手宣言勝ち16 後手宣言勝ち14 先手引き分け144 後手引き分け189

engine2

勝ち867(52.0%) 先手勝ち463(27.8%) 後手勝ち404(24.2%)

宣言勝ち13 先手宣言勝ち5 後手宣言勝ち8 先手引き分け189 後手引き分け144

800,333,867

思考時間 (ms)	レーティング差
1000	-17.6
2000	-33.6
4000	-45.6
8000	-32.4
16000	-11.6

思考時間が 1000ms～8000ms のとき、 halfkp_1280x2-16-32 のほうが有意にレーティングが低かった。 16000ms では有意な差はなかった。

思考時間とレーティングとの間に、相関は見られなかった。

考察

思考時間とレーティングに相関がなかった理由として 3 つの可能性が考えられる。1 つ目は、ネットワーク構造が変わっても、思考時間とレーティングの関係に変化がないという可能性である。2 つ目は、 halfkp_1280x2-16-32 と halfkp_1024x2-8-32 には、思考時間とレーティングの関係がほとんど変わらないという可能性である。3 つ目は、対局回数が少なく、計測誤差が大きかったためという可能性である。今回の実験結果からのみでは、どれが正しいか分からなかった。

まとめ

halfkp_1280x2-16-32 ネットワークについて、思考時間によりレーティングが変化するかどうか調べた。

結果、思考時間とレーティングとの間に、相関は見られなかった。思考時間とレーティングに相関がなかった理由として 3 つの可能性が考えられる。1 つ目は、ネットワーク構造が変わっても、思考時間とレーティングの関係に変化がないという可能性である。2 つ目は、 halfkp_1280x2-16-32 と halfkp_1024x2-8-32 には、思考時間とレーティングの関係がほとんど変わらないという可能性である。3 つ目は、対局回数が少なく、計測誤差が大きかったためという可能性である。今回の実験結果からのみでは、どれが正しいか分からなかった。

次回は、 halfkp_256x2-256-256 ネットワークを学習させ、レーティングを測定したい。

tanuki- 2024-04-04 halfkp_1280x2-16-32

tanuki- 2024-04-04 halfkp_1280x2-16-32

実験内容

• halfkp_1280x2-16-32 ネットワークを学習させ、レーティングを測定する。
• ランダムパラメーターからの学習には、 Hao を用いて生成した学習データを用いる。
• Fine-tuning に Fine-tuning Suisho10Mn_psv を学習データとして用いる。

棋譜生成

ランダムパラメーターから学習させる際の学習データ

生成ルーチン	tanuki-棋譜生成ルーチン
評価関数	Hao (tanuki-.halfkp_256x2-32-32.2023-05-08)
1手あたりの思考	深さ最大 9 思考ノード数最大 50,000 ノード
開始局面	foodgate の 2020 年～ 2021 年の棋譜を使用した。レーティング 3900 以上同士の対局のみ使用した。戦型が角換わりの対局が 10% になるよう調整した。 32 手目までから 1 局面ランダムに選択し、その局面を開始局面とした。ランダムムーブはしなかった。
生成局面数	10 億局面 × 8 セット
生成条件	対局は打ち切らず詰みの局面まで学習データに出力した
フォルダ名	tanuki-.halfkp_256x2-32-32.2023-05-08

シャッフル条件

ランダムパラメータから学習させる際の学習データ

生成ルーチン	tanuki-シャッフルルーチン
qsearch()	あり
置換表	無効
min_progress	0.0

Fine-tuning に用いる学習データ

生成ルーチン	tanuki-シャッフルルーチン
qsearch()	あり
置換表	無効
min_progress	0.1

機械学習

機械学習ルーチン	nnue-pytorch + やねうら王 https://github.com/nodchip/nnue-pytorch/tree/shogi.2024-03-30.halfkp_1280x2-16-32
学習モデル	halfkp_1280x2-16-32
学習手法	ミニバッチ SGD
初期学習率 (lr)	0.5 収束後 0.05
最適化手法	なし
学習率調整手法	Warmup + Newbob 風
batch-size	16384
threads	8
num-workers	8
accelerator	gpu
devices	1
features	HalfKP
max-epoch	1000000
score-scaling	361
lambda	1.0 収束後 0.5
勝敗項の教師信号	0.999
num-batches-warmup	10000
newbob-decay	0.5
epoch-size	1000000
num-epochs-to-adjust-lr	500
学習を打ち切る下限 newbob scale	1e-5
1 epoch 毎のネットワークパラメーターのクリップ	あり
ネットワークパラメーターの量子化	量子化なしで学習し、収束後に量子化する。
ネットワークパラメーターの初期化方法	pytorch のデフォルトの初期化手法で初期化する。
勾配の正規化	なし
momentum	0.9
入玉ボーナス	入玉時、持ち駒および敵陣三段目までに侵入している駒について、小駒 1 枚につき 20 点、大駒 1 枚につき 100 点、敵陣三段目までに侵入している駒 1 枚につき 20 点追加する。

レーティング測定

対局相手	https://docs.google.com/document/d/1FC3FvCxyJV6IRPfwOHOMcAlEoTsjmRY8JZpWkGVpgH8/edit?usp=sharing tanuki-.nnue-pytorch-2024-03-24.1000
思考時間	持ち時間 300 秒 + 1 手 2 秒加算
対局数	5000
同時対局数	64
ハッシュサイズ	384
開始局面	dlshogi 互角局面集の角換わりの割合が 10% になるよう間引いたもの

実験結果

機械学習

ランダムパラメーターからの学習



Fine-tuning



ネットワークパラメーターの分布



mean=-27.564844131469727 std=23.989225387573242



mean=-0.007801845669746399 std=3.5048375129699707



mean=1939.25 std=2005.179443359375



mean=-0.24643555283546448 std=5.6906561851501465



mean=-2811.5625 std=4802.22705078125



mean=2.66015625 std=26.0267391204834



mean=7955.0 std=nan



mean=3.28125 std=50.98591613769531

ベンチマーク

halfkp_1280x2-16-32

Total time (ms) : 60006

Nodes searched : 50071303

Nodes_searched/second : 834438

halfkp_1024x2-8-32

Total time (ms) : 60017

Nodes searched : 62024216

Nodes_searched/second : 1033444

レーティング測定

対局数=5000 同時対局数=64 ハッシュサイズ=384 開始手数=24 最大手数=320 開始局面ファイル=C:\Jenkins\workspace\TanukiColiseum.2023-04-16\TanukiColiseum\bishop_exchange.2023-06-25.sfen NUMAノード数=1 表示更新間隔(ms)=3600000

思考エンジン1 思考エンジン2

name YaneuraOu NNUE 7.63 64ZEN2 TOURNAMENT YaneuraOu NNUE 7.63 64ZEN2 TOURNAMENT

author by yaneurao by yaneurao

exeファイル C:\Jenkins\workspace\TanukiColiseum.2023-04-16\engine1\source\YaneuraOu-by-gcc.exe C:\Jenkins\workspace\TanukiColiseum.2023-04-16\engine2\source\YaneuraOu-by-gcc.exe

評価関数フォルダパス D:\hnoda\shogi\eval\tanuki-.nnue-pytorch-2024-03-30 D:\hnoda\shogi\eval\tanuki-.nnue-pytorch-2024-03-24.1000

定跡手数 256 256

定跡ファイル名 no_book no_book

思考ノード数 0 0

思考ノード数に加える乱数(%) 0 0

思考ノード数の乱数を1手毎に変化させる False False

持ち時間(ms) 300000 300000

秒読み時間(ms) 0 0

加算時間(ms) 2000 2000

乱数付き思考時間(ms) 0 0

スレッド数 1 1

BookEvalDiff 30 30

定跡の採択率を考慮する false false

定跡の手数を無視する false false

SlowMover 100 100

DrawValue -2 -2

BookEvalBlackLimit 0 0

BookEvalWhiteLimit -140 -140

FVScale 16 16

Depth=0 0

MinimumThinkingTime 1000 1000

対局数5000 先手勝ち2455(56.3%) 後手勝ち1905(43.7%) 引き分け640

engine1

勝ち1986(45.6% R-27.0 +-9.7) 先手勝ち1138(26.1%) 後手勝ち848(19.4%)

宣言勝ち77 先手宣言勝ち37 後手宣言勝ち40 先手引き分け308 後手引き分け332

engine2

勝ち2374(54.4%) 先手勝ち1317(30.2%) 後手勝ち1057(24.2%)

宣言勝ち34 先手宣言勝ち15 後手宣言勝ち19 先手引き分け332 後手引き分け308

1986,640,2374

学習ロスと検証ロスは、ランダムパラメーターからの学習、 Fine-tuning 共に、 halfkp_1024x2-8-32 より低くなった。

ベンチマークは halfkp_1024x2-8-32 に比べて 19% 程度遅かった。

レーティングは halfkp_1024x2-8-32 より R27.0 低く、有意な差があった。

考察

レーティングが有意に低かった理由は、 nps の低下によるものだと思う。レーティングの低下が速度低下の 2 倍であったと仮定すると、 19 * 2 = 38 であり、 R27.0 低いという事実と大きな誤差はない。仮にレーティングが、速度低下に寄り想定される値より高いとした場合、評価関数の精度向上により、レーティングが想定より高くなったと考えるのが良いと思う。

まとめ

halfkp_1280x2-16-32 ネットワークを学習させ、レーティングを測定した。ランダムパラメーターからの学習には、 Hao を用いて生成した学習データを用いた。 Fine-tuning に Fine-tuning Suisho10Mn_psv を学習データとして用いた。

レーティングは halfkp_1024x2-8-32 より R27.0 低く、有意な差があった。 レーティングが有意に低かった理由は、 nps の低下によるものだと思う。レーティングの低下が速度低下の 2 倍であったと仮定すると、 19 * 2 = 38 であり、 R27.0 低いという事実と大きな誤差はない。仮にレーティングが、速度低下に寄り想定される値より高いとした場合、評価関数の精度向上により、レーティングが想定より高くなったと考えるのが良いと思う。

次回は halfkp_1280x2-16-32 ネットワーク と halfkp_1024x2-8-32 ネットワークを、思考時間を変化させながら対局させ、レーティング差を測定し、思考時間の変化とネットワークパラメーター数とレーティングの変化を調べたい。

tanuki- 2024-03-31 halfkp_1024x2-16-32

tanuki- 2024-03-31 halfkp_1024x2-16-32

実験内容

• halfkp_1024x2-16-32 ネットワークを学習させ、レーティングを測定する。
• ランダムパラメーターからの学習には、 Hao を用いて生成した学習データを用いる。
• Fine-tuning に Fine-tuning Suisho10Mn_psv を学習データとして用いる。

棋譜生成

ランダムパラメーターから学習させる際の学習データ

生成ルーチン	tanuki-棋譜生成ルーチン
評価関数	Hao (tanuki-.halfkp_256x2-32-32.2023-05-08)
1手あたりの思考	深さ最大 9 思考ノード数最大 50,000 ノード
開始局面	foodgate の 2020 年～ 2021 年の棋譜を使用した。レーティング 3900 以上同士の対局のみ使用した。戦型が角換わりの対局が 10% になるよう調整した。 32 手目までから 1 局面ランダムに選択し、その局面を開始局面とした。ランダムムーブはしなかった。
生成局面数	10 億局面 × 8 セット
生成条件	対局は打ち切らず詰みの局面まで学習データに出力した
フォルダ名	tanuki-.halfkp_256x2-32-32.2023-05-08

シャッフル条件

ランダムパラメータから学習させる際の学習データ

生成ルーチン	tanuki-シャッフルルーチン
qsearch()	あり
置換表	無効
min_progress	0.0

Fine-tuning に用いる学習データ

生成ルーチン	tanuki-シャッフルルーチン
qsearch()	あり
置換表	無効
min_progress	0.1

機械学習

機械学習ルーチン	nnue-pytorch + やねうら王 https://github.com/nodchip/nnue-pytorch/tree/shogi.2024-03-27.halfkp_1024x2-16-32
学習モデル	halfkp_1024x2-16-32
学習手法	ミニバッチ SGD
初期学習率 (lr)	0.5 収束後 0.05
最適化手法	なし
学習率調整手法	Warmup + Newbob 風
batch-size	16384
threads	8
num-workers	8
accelerator	gpu
devices	1
features	HalfKP
max-epoch	1000000
score-scaling	361
lambda	1.0 収束後 0.5
勝敗項の教師信号	0.999
num-batches-warmup	10000
newbob-decay	0.5
epoch-size	1000000
num-epochs-to-adjust-lr	500
学習を打ち切る下限 newbob scale	1e-5
1 epoch 毎のネットワークパラメーターのクリップ	あり
ネットワークパラメーターの量子化	量子化なしで学習し、収束後に量子化する。
ネットワークパラメーターの初期化方法	pytorch のデフォルトの初期化手法で初期化する。
勾配の正規化	なし
momentum	0.9
入玉ボーナス	入玉時、持ち駒および敵陣三段目までに侵入している駒について、小駒 1 枚につき 20 点、大駒 1 枚につき 100 点、敵陣三段目までに侵入している駒 1 枚につき 20 点追加する。

レーティング測定

対局相手	https://docs.google.com/document/d/1FC3FvCxyJV6IRPfwOHOMcAlEoTsjmRY8JZpWkGVpgH8/edit?usp=sharing tanuki-.nnue-pytorch-2024-03-24.1000
思考時間	持ち時間 300 秒 + 1 手 2 秒加算
対局数	5000
同時対局数	64
ハッシュサイズ	384
開始局面	dlshogi 互角局面集の角換わりの割合が 10% になるよう間引いたもの

実験結果

機械学習

ランダムパラメーターからの学習



Fine-tuning



ネットワークパラメーターの分布



mean=-25.4091796875 std=24.03389549255371



mean=-0.007266631815582514 std=3.661637783050537



mean=1549.1875 std=2485.44091796875



mean=-0.2646484375 std=5.713271141052246



mean=-3093.03125 std=5290.32177734375



mean=2.84765625 std=25.09294319152832



mean=5029.0 std=nan



mean=-1.28125 std=47.72855758666992

ベンチマーク

halfkp_1024x2-16-32

Total time (ms) : 60005

Nodes searched : 58173495

Nodes_searched/second : 969477

halfkp_1024x2-8-32

Total time (ms) : 60017

Nodes searched : 62024216

Nodes_searched/second : 1033444

レーティング測定

対局数=5000 同時対局数=64 ハッシュサイズ=384 開始手数=24 最大手数=320 開始局面ファイル=C:\Jenkins\workspace\TanukiColiseum.2023-04-16\TanukiColiseum\bishop_exchange.2023-06-25.sfen NUMAノード数=1 表示更新間隔(ms)=3600000

思考エンジン1 思考エンジン2

name YaneuraOu NNUE 7.63 64ZEN2 TOURNAMENT YaneuraOu NNUE 7.63 64ZEN2 TOURNAMENT

author by yaneurao by yaneurao

exeファイル C:\Jenkins\workspace\TanukiColiseum.2023-04-16\engine1\source\YaneuraOu-by-gcc.exe C:\Jenkins\workspace\TanukiColiseum.2023-04-16\engine2\source\YaneuraOu-by-gcc.exe

評価関数フォルダパス D:\hnoda\shogi\eval\tanuki-.nnue-pytorch-2024-03-27 D:\hnoda\shogi\eval\tanuki-.nnue-pytorch-2024-03-24.1000

定跡手数 256 256

定跡ファイル名 no_book no_book

思考ノード数 0 0

思考ノード数に加える乱数(%) 0 0

思考ノード数の乱数を1手毎に変化させる False False

持ち時間(ms) 300000 300000

秒読み時間(ms) 0 0

加算時間(ms) 2000 2000

乱数付き思考時間(ms) 0 0

スレッド数 1 1

BookEvalDiff 30 30

定跡の採択率を考慮する false false

定跡の手数を無視する false false

SlowMover 100 100

DrawValue -2 -2

BookEvalBlackLimit 0 0

BookEvalWhiteLimit -140 -140

FVScale 16 16

Depth=0 0

MinimumThinkingTime 1000 1000

対局数5000 先手勝ち2634(62.0%) 後手勝ち1616(38.0%) 引き分け750

engine1

勝ち1747(41.1% R-52.9 +-9.7) 先手勝ち1035(24.4%) 後手勝ち712(16.8%)

宣言勝ち92 先手宣言勝ち48 後手宣言勝ち44 先手引き分け556 後手引き分け194

engine2

勝ち2503(58.9%) 先手勝ち1599(37.6%) 後手勝ち904(21.3%)

宣言勝ち39 先手宣言勝ち23 後手宣言勝ち16 先手引き分け194 後手引き分け556

1747,750,2503

学習ロスと検証ロスは、ランダムパラメーターからの学習、 Fine-tuning 共に、 halfkp_1024x2-8-32 より低くなった。

ベンチマークは halfkp_1024x2-8-32 に比べて 6% 程度遅かった。

レーティングは halfkp_1024x2-8-32 より R52.9 低く、有意な差があった。

考察

レーティングが有意に低かった理由が分からなかった。 nps の速度低下によるものだと仮定すると、速度低下の 2 倍で 6 * 2 = R12 程度の低下になるはずである。これは R52.9 と比べて大きな差がある。学習ロスと検証ロスは halfkp_1024x2-8-32 より下がっているため、学習データの内容は halfkp_1024x2-8-32 より学習できているはずである。

まとめ

halfkp_1024x2-16-32 ネットワークを学習させ、レーティングを測定した。ランダムパラメーターからの学習には、 Hao を用いて生成した学習データを用いた。 Fine-tuning に Fine-tuning Suisho10Mn_psv を学習データとして用いた。

レーティングは halfkp_1024x2-8-32 より R52.9 低く、有意な差があった。レーティングが有意に低かった理由が分からなかった。

次回は halfkp_1280x2-16-32 ネットワークを学習させ、レーティングを測定したい。