TOP カテ一覧 スレ一覧 100〜終まで 2ch元 削除依頼
日本将棋連盟と渡辺明による三浦九段冤罪事件★481
豊島はなぜ人気があるのか
渡辺明の不自然に急に強くなった原因を突き詰める2
祝 青嶋未来五段優勝
IDチェックスレ
残念な人、羽生善治九段
室谷姉妹とは何だったのか?
棋〇B〇総合スレPart6
有冠棋士 豊島将之 応援スレPart4
第2期 ヒューリック杯清麗戦 Part2

最新ソフトで棋士の指し手一致率を調査した結果 2


1 :2019/08/25 〜 最終レス :2020/01/01
https://i.imgur.com/HmgniW7.png

※前スレ
最新ソフトで歴代棋士の指し手一致率を調査した結果
https://mevius.2ch.sc/test/read.cgi/bgame/1557753233

2 :
今年の入手可能な棋譜をできるだけ多く解析して棋士のソフト一致率を調べてみた
ただし、慣例に従い前半40手を除外した一致率だけなので、ソフトによる序盤戦の研究がどう勝敗に関わるかを分析するのは目的でない
棋士の棋力を中終盤のソフト一致率で測定可能かに主眼を置いて調査している
やってみて、一致率だけでは決定的なことはブラックホールであることがわかってきた

最新の棋力を知る便利な物差しはEloレーティングをおいてない
一致率が棋力の指標たりえるかを知るためにはこのEloレーティングとの相関を調べる必要がある
上位棋士との相関は概ね感触が良かった
レート上位30位までならピアソン相関係数で0.8、上位40位まででも0.75になった
ところが、レートでなくデータ局数10以上の棋士の相関係数は0.57、データ局数15以上にしても改善されなかった
何かが決定的に足りない
たどり着いた結論は、「相手棋士のレベルも加味しないと確かなデータにならない」ということだ
相手レベルは相手のレートでわかる
その効果は絶大だった
しかし、相手レートは重宝なデータだが、Eloレートとの相関を見るのに対局相手のEloレートを絡ませるのは屋上屋を架す行為に思える
そこで、相手レートの代わりになりうるはずということで相手一致率を代用してみたところコレならばという結果を得ることができた
それゆえ、公開に至っている
まだまだデータを増やして最低でも1年間の棋譜を解析する予定だが、これはその中間集計の一部にすぎない
今後出てくる疑問や改善の提案に答える形で検証を続けていくことになろう

3 :
天野宗歩もソフト指し

4 :
羽生さんは三位なんか

5 :
公開した表はレーティング上位24位までの棋士を換算レートの順に並べている
ここで、換算レートについて説明したい
この画像は7月27日現在データ数が16局以上になった棋士22名をExcelで回帰分析したものである
Eloレートを目的変数、一致率と相手一致率を説明変数にして重相関係数を求めている
その結果、重相関Rは0.872だった
ここで得られた重回帰式を用いて算出したのが現在の換算レートになっている
https://i.imgur.com/xDGInhD.png

6 :
次に相手一致率の算出の仕組を説明しておく
>>1でデータ数が一番少ない三浦九段を例にするとこんな仕組になっている
算出する度にこうした表にしているわけではないが、こうした原理で、三浦九段の一致率74.1%と相手一致率74.8%が算出されている
https://i.imgur.com/pnUiqNL.png

7 :
ほかにも説明が必要な箇所はあると思うが、とりあえず重要な点については説明が足りたのでないだろうか
ここで、テンプレごときを一端終了し気付いたことがあれば、また追加していきたい

8 :
一致率ってソフトの最善手と一致する率のことなの?

Aは最善が多かったけど大きな悪手を1回だけやる
Bは最善が多くなかったけど大きな悪手は1回も指さなかった

この場合Bが勝っても一致率はAが上になっちゃう?
勝敗に直結する大きな悪手を指さない方が重要では?

9 :
>>8
大きな悪手を指さないほうが重要なのはその通りなんだけどね
だけど、プロ棋士は最善手と思って指している場合がほとんどなので、気付かなかった手を相手に指されてから自分が指した手が悪手だったことが分かるわけよ
だから、その手が大悪手になるか軽傷ですむかは結果論なんだな
つまり、1局だけなら色んなケースがあるけど、データ局数が増えるほど一致率が高い棋士より一致率が低い棋士のほうが悪手を多く指しているという結論になるんじゃないかな
大悪手の数にしても同じことだね

10 :
例えば、プロ棋士の対局を観戦してるとき、ソフトの評価値が出てくる
ソフトの最善手は簡単に指せるような手でないけど、それ以外の手はダメというようなことがしばしばある
そのときにソフトの最善手を指せる棋士はやっぱし強い棋士なんだな
一致率は棋士のこうした勝負の分かれ目に強いところを評価している側面もあるんじゃないかな

11 :
「大悪手の少なさ」は調査する価値のある重要なものだと思ったんだけど
無理だったらいいよ

12 :
かなりムズいことは確かだね
大悪手の定義から、その大悪手がプロでも無理からぬ大悪手なのかプロにあるまじき大悪手なのか、本当に大悪手なのか解析が足りないだけなのではないのか等々、1局の解析を終える前に日が暮れてしまうんじゃないかな
神が解析したら負けた側には必ず負けを決定付けた大悪手があるわけで、そうした意味では大悪手率を調べることは勝率を調べることとあまり変わらないと思っているよ

13 :
そもそも最善もソフトによって変わるからねえ

14 :
最新ソフトとは言ってもソフトAで次善手と出た手がソフトBでは最善手ということはよくあると思う
対してソフトAで大悪手だった手がソフトBで最善手になることはほとんどないだろう
だからソフトの次善手は真の最善手である可能性もある手という意味で悪手とは明確に差があるしこれは結果論ではないと思う

15 :
これもテンプレにしておきますか

将棋は最善手を見逃したほうが大概負ける
最善手率が高ければ高いほど勝率がよくなる
本当の最善手率はわからないが、最強ソフトとの一致率を代用したらどうか
こうして、強さの指標として一致率を試すことになった
今年の対局で集計したのは880局で、そのうち一致率が高かった側が勝ったのが818局だった(勝率93%)
つまり、相手より一致率が低くて勝った例は7%しかない

また、60%未満の一致率で勝った例は3.6%しかない
急所で間違えなければ一致率40%でも勝てるようなことはないのだ
反対に、一致率80%台で負けたのは7%しかない
一致率90%以上なら勝率97%になっている
このように一致率が強さの指標として機能していることがハッキリとした

8/11日現在の一致率集計データ
https://i.imgur.com/BE6S9wx.png

16 :
これ見ると相手の最善率低いしやっぱり藤井は強い相手と多くやってないから
最善が指しやすいわけだ

17 :
最前だけでなく2番目3番目も正解にしないとな

18 :
>>14
これだろ
一致率の欠点って調査に使ったソフトと棋風が似てる棋士だけ有利になるところじゃねーか?
特に今はソフトで研究するのが主流になってるから調査ソフトと同じソフトを研究で使ってる棋士と別のソフトを研究に使ってる棋士とで同じ強さでも一致率変わってくるんじゃねーの?
複数のソフトで調べて平均を取るとかするなら分かるんだけど
そうじゃないなら最善手-10くらいまでの手は別のソフトなら最善手の可能性ありとして扱いを変えたほうがいい
まあ調査が凄い面倒なことになりそうだからある程度は妥協するしかないんだろうけど

19 :
試しに単純に評価値の下落の大きいものをチェックしてみる手はあるんじゃないか?
500点差の悪手を指した場合の勝率、1000点差の悪手を指した場合の勝率・・・
なんかをデータとして出していったら
何点差の悪手が大悪手としてふさわしいかも見えてくるんじゃないかと思う

それでも大変なのかもしれないけどw

20 :
>>14
その疑問はごもっともで以前からあったはず
ソフトの最善手との一致率を採用するのが良いのか、次善手を含めた広義の一致率のほうがいいのか
つまり、最善手だけにすると次善手が多い棋士(いると仮定して)の評価が過小になるし、次善手を含めた一致率では解析が甘くなって強さの判定に向いていないといったことになる
どうしたら解決するか
実を言うと、ソフトが最初に選んだ最善手ではなくとも評価値がさほど変わらない手ならば最善手と認定してくれる解析方法がある
>>1の表はその方法で一致率を調べたものなのでEloレートとの高い相関を得ることに成功したと認識している

その方法というのが逆順での解析だった
@探索エンジンのMutiPvを1にする
AShogiGuiの棋譜解析で候補手を1にする
B逆順で解析するにチェックを入れる
このやり方をするだけで、プロ棋士の読みの内容を最大限に取り入れた解析をしてくれる

21 :
>>18
前半40手を除外した一致率なので、ソフトでの研究の影響はあまりないはず
ソフトの終盤から学んで終盤に強くなった棋士はいる(あるいは今後出てくる)かもしれないけどね

22 :
>>13
1局だけの評価なら最善手か次善手かは大問題だけど、数多く解析すれば誤差は±0に均されるという見立で解析してきた
1局で1棋士40手解析するとして20局なら800手になる
サイコロを800回振って1の目が何回出るかを数えているのと同じ理屈だ
1局ごとにこだわって精査しなくとも数多く棋譜を解析した結果、棋士の一致率がEloレートと適合してきていることが何よりの検証になっているんじゃないかな

23 :
>>22
一度他のソフトでも何件か解析してみて一致率の差は誤差レベルになるというデータを示してくれたら分かりやすいんだけど
今は解析にillqhaを使ってるらしいからそれ以外のソフトで
orqha、水匠、NNUEkaiはillqhaと同族なのでそれ以外でやってみてほしい

24 :
>>23
今やっていることだけで手が一杯なので無理
誰かやってくれるとありがたい
ソフトで一致率に違いがあるのは当然として、各棋士のランキングに大きな違いは出てこないんじゃないか
仮に出てきても、どちらの一致率が強さの判定として有力かはEloレートとの比較で判断されることになる
そういうわけだから、>>1のデータがそれ自体独立して評価されるべきなのは変わらないよ

25 :
持ち時間の長い対局だと一致率は上がるもんなのかな…
秒読み状態での一致率を比べるとどうなるんだろ…

いろいろ興味が湧くなぁ

26 :
天彦w

27 :
天彦丸山以下は流石に草

28 :
>>27
誰もが思うよね
そこが一致率研究の面白さで、もしかすると換算レートは来期を先取りしているのかも知れないわけだ
つまり、天彦がB1に落ち丸山がB1に復帰してくる未来が見えたりするのよ
実際、天彦と山崎はEloレートを下げていて丸山は上げている
そのわけが、天彦と山崎の一致率の低さで理由付けられているし、丸山の一致率の高さに示されているとしたらこれは偉大な発見かもしれないよ

29 :
というのも、天彦はプロ棋士誰もがくぐる鬼門に入った可能性があるからね
33歳前後になると、読んだ局面を記憶しておく能力が低下して読みの回転が遅くなる
これは、プロ棋士なら誰でもくぐる通過儀礼のようなものらしい
しかし、大抵の棋士は終盤に時間を残すように工夫して乗りきれる
乗りきってしまえば、40歳以降に集中力がピークを迎えるまでは強くなれる
天彦はその通過儀礼を今経験しているとみてよさそうなんだな

30 :
解析に使ってるソフトが横歩取り苦手なソフトだから横歩取りでは正しい最善手を示せず天彦ら横歩取り好きな棋士の棋力を正しく評価できてないだけって可能性はないの?
例えばこれソフトのレーティング調査してる人のブログなんだけど対振り飛車に関しては明確に得意なソフトと苦手なソフトがあることが示唆されている
http://syougiultimit.seesaa.net/article/RRate_SuishoKai_and_Evaluate_anti_Takeshi.html

31 :
>>25
データベースは基本的に勝ちか負けか、先手か後手か、相居飛車か対抗形か、といった二分法を採用した
細分化してもデータ数が不足するからね
もちろん持ち時間での区分もできるようにデータベース化している
こっちは、持ち時間1時間以下の棋戦(早指し)と3時間以上の二分法になった
二日制の対局も取り出すことができるようにしてあるが、こちらはまだデータが少なすぎる
1時間棋戦には叡王戦の段位別予選と棋聖戦の1次予選、加古川青流戦がある
終盤はほぼ確実に秒読みに終われるので早指しに分類している
2時間の棋戦というのもないので、二分するのに好都合というのもこの二分法を採用した理由だ

というわけで、集計してみた

持ち時間1時間以下の棋戦
平均レート 1574
636局 一致率 70.0% 手数 112手

持ち時間3時間以上の棋戦
平均レート 1650
1592局 一致率 72.4% 手数 113手

参考 二日制のタイトル戦
平均レート 1853
24局 一致率 74.1% 手数 126手

これだけでは一致率の違いが持ち時間の違いによるものか、レートの違いによるものかわからない
そこで、NHK杯を調べてみた
早指しはやはり一致率が低い

NHK杯
平均レート 1679
50局 一致率 69.0% 手数 115手

32 :
>>30
そもそも天彦のデータを見ると、解析した17局のなかで横歩取りの局は1局しかなかった
それと、今のソフトとプロのトップ棋士はレートで1000点以上の差があるので、プロ棋士の手のほうが最善手という手はかなりのレアケースになる
なので、20局800手のなかに1手あったとしても誤差は0.1%程度だね

33 :
>>31
なるほど、やっぱ早指しだと一致率は低いんだねぇ
秒読み入ってからだと更に低下するんだろね


レート/一致率 が高い人が「魅力ある」棋士ということになるのかな…

34 :
むしろ雑魚のデータが見たい
意外と一致率は変わらなかったりして

35 :
「簡単だけど長い詰み」があるのに相手が投げなかったりして、簡単な手の連続でゴッソリ一致率稼げちゃうような
ケースがあると思うけど、そういうのは考慮されてるの?
ソフト的には「難しくて長い詰み」をきっちり詰ませた場合とまったく同じことなんだから
排除なんてしようがないとは思うが

36 :
>>35
ご指摘の通りで実戦で長手数の詰みで仕上げた局は一致率が高くなるが、そうした棋士の評価をあげるのは理にかなっていていいことだね
プロ棋士で頭金まで指すのはレアケースだし、創作詰将棋ならいざ知らず、実戦で20数手以上の長い詰みで簡単な詰みなんてないでしょ
ここ数年の解析で記憶に新しいのは増田石田戦(2016年新人王戦)、糸谷渡辺戦(2016王将戦)、久保行方戦(2017年順位戦)かな
いずれも先手が詰まして勝った将棋だが、こんな勝ちかたができたら一致率が高く出て何の不都合もないでしょ
負けた側もそんな詰みでの負けなら多少色をつけてやってもいいようなもんだし、短手数で詰む変化手順の手を指したら○はつかないから気にならないね
あと、何度も言うようにデータは積み重ねが大事で1局だけで一致率を云々するものじゃないからね

37 :
要所で使えばいいので、タイトル戦のみに絞った一致率と比較したほうがいいんじゃない?元名人とか竜王とかはそうやってたんじゃないの?最近は監視が厳しくなってできなくて失冠したけど。

38 :
レーティングもそうだけど
データ減らしたらそれだけ精度が下がることが予想される

39 :
>>34
プロ棋士を雑魚呼ばわりする失礼な人がいるので、Eloレート下位棋士のデータは棋士名空欄で出してみた
出したのはEloレート下位24棋士のうちデータ局数が3局以上の19棋士
ご覧のようにレート下位棋士は対局数が少ない上に棋譜の掲出頻度も少ないし、フリー棋士は順位戦もないので、どうしても解析データ数が増えていかない
したがって、一致率データは極めて流動的で信頼性に欠けるといえる
そういうわけで、個々の棋士でなく、平均の数値を頭に入れて>>1の平均と比べて見るとよいだろう
それと、勝局一致率が80%以上の棋士が6棋士しかいないのと平均手数が短いという特徴があるかも

https://i.imgur.com/Oocs4iN.png

40 :
この分析が十分に意味を持つために必要なデータの量って大体どれくらいなの?

41 :
というか、一致率なんてものは
実名で論文にでもすれば、そういう論文が存在するという事実に関しては
僅かながらの意味があるかも知れないけれど
それ以外では特に何の役にも立たないと思うけどね

42 :
>>40
データ局数を20以上で回帰分析すると重相関Rが0.93になるから20局が一つの目安だな
対局がある度に順位が1個程度上下するのは感度的に好ましいし、順位が3個も上下するのはデータの強度という面で問題ありだろうね

43 :
二分法的な分析をするとなると最低でも40局は欲しいから、やはり期間としては1年ということになるな

44 :
羽生さんもなのか?

45 :
"1局の解析対象平均手数は約37手
ということは一致率が3%違ってようやく1局で1手違うくらい
悪手が平均1手違えばかなり違うと思うが「最善手」から少し離れたくらいの手ならそもそもどちらが正しいのかわからない事もしばしば

なので数百局・数千局のデータなら意味を持つ可能性があるかもしれないが、一人たかが数十局のデータで果たして意味を持つのか?
一致率が高いから強いのではなく勝つから結果的に一致率が高くなってるのではないか?
という素朴な疑問があったのでちょっと検証してみた"

46 :
一致率を基に換算レートを算定する式は
一致率×1743+相手一致率×2812-1585
(だと思って見てみたら今使ってる係数は少し違ってるようだけど考え方は同じ)

一致率の平均が勝局83%・敗局65%で、相手一致率は相手レートを算定するもので相手一致率平均が74%という事はこれに2812を乗じたら大体相手平均レート×1.1〜1.2倍になる
という事で式を変形するとこうなる
(0.6+勝率×0.18)×1743+平均相手レート×1.15-1585
見てわかるようにこう変形すると一致率全く関係なく勝率と相手レートからレートを推定する式になる
また上記のように係数が少し違っているようであり計算を簡略するために以下の式で簡易推測レートを算定してみた
(0.6+勝率×0.2)×1750+平均相手レート-1200

これに>>1にある年間勝率と相手レーティング平均をあてはめた結果が次項

47 :
>>46
左から簡易推測レート・一致率推測レーティング順位・年間平均実測レーティング順位

1 渡辺 1971 1 1
2 豊島 1942 2 2
3 羽生 1871 3 5
4 久保 1857 4 10
5 木村 1856 11 7
6 永瀬 1835 7 4
7 三浦 1829 12 17
8 菅井 1816 9 9
9 藤井 1802 5 9
10 千田 1802 10 8
11 郷田 1791 19 16
12 糸谷 1788 14 12
13 広瀬 1787 6 6
14 近藤 1787 14 11
15 佐藤天 1786 23 13
16 佐々木 1780 13 14
17 高見 1776 8 22
18 佐藤康 1763 20 24
19 斎藤 1749 16 15
20 稲葉 1738 18 18
21 深浦 1737 21 21
22 山崎 1729 24 23
23 丸山 1691 22 20
24 増田 1675 17 19

見ての通り実際のレートとかなり相関が強い
つまり「一致率からレートを推定する式」は実は一致率全く関係なく「対戦相手と勝率からレートを推定する式」でもある事がわかった

48 :
大山の指し方は相手をなぶる様な指し方が多かった様な記憶が
敢えて一直線の詰みを指さずに真綿で締めていく様な
本当に最善手一致率が高かったとは思えない
何か前提が間違ってないか?

49 :
なぶるような指方が多いって印象が間違ってることに気づけよ

50 :
ただの感想なので怒らないで欲しいんだけど一致率とか調査するなら過去の棋士との比較までやらないとあんまり意味がないと思う
現在の棋士の強さは普通に対戦成績から算出されたレーティングで確認できるわけで
成績ではなく棋譜で解析するメリットってやっぱり直接対決してない過去の棋士とも比較可能になるってところにあるんじゃないだろうか
山下さんの棋譜解析の論文にもそう書いてあったし
だから過去の棋士も解析できる手法を見つけないとあんまり実用性がないんじゃないかなぁ

51 :
>>47
相手Eloレートと勝率から算出したら実際のEloレートと強い相関式が作れるのは当たり前なんだけど、それが何なんですか
Eloレートをまったく利用しないで一致率だけでEloレートと強い相関が認められる換算レートを算出できるということが>>1の画期的なところですよ

52 :
もちろん過去の棋士と比べるのが本当の目的でしょ。
最初からそれを全面に出すと荒れるから、まず今現在の棋士でやって一致率にはレートや成績と強い相関があるってことの立証、合意を目指す寸法よ

53 :
>>50
それはその通りだと思う
まずは現在の棋士で「成績から算出された実際のレート≒一致率から算出された換算レート」であることを証明してから過去の棋士について「一致率から算出された換算レート」を計算すれば過去の棋士との比較も可能になる
「成績から算出された実際のレート≒一致率から算出された換算レート」を証明しないで過去の棋士について解析しても「手法がおかしいのではないか?」という疑問がいつまでも残ることになるからね
個人的には換算レートの有効性はもう十分証明されたのでここから過去の棋士の算出に尽力して欲しいけど

54 :
>>47
で、問題は一致率を反映させる事で推定レートの確度が増しているのかあるいは余分なノイズとなって逆に確度を下げているのか
簡易レーティングと一致率推定レーティングで結果に大きく乖離が出ている以下の7名
それについて乖離が出ている原因と評価をしてみた

55 :
木村(簡易推測5位・一致率推測11位・実測7位) 一致率反映評価△
簡易推測が高い原因は言うまでもなく王位戦挑戦・竜王戦挑決進出とここ1年絶好調である事
ただ以前の成績を踏まえるとここまで地力が強いかと言われたら疑問符
とは言え一致率推測がここまで低い原因は不明


三浦(同7位・12位・17位)  評価〇
いずれも実測レートよりも非常に順位が高くなっている
原因は不明だが過去の実績や現在の成績を見てもここまで順位が高いとは思えないため一致率反映レートの方がまだマシ


藤井(同9位・5位・3位) 評価△
これはアンチとファンで評価が分かれそうな所w
それはさておき乖離が大きくなった原因は恐らく藤井の格下相手の異常な強さと上位陣に対してはそこまで強くないというギャップ
このギャップがあまりに大きすぎる為現在の実測レートが妥当かどうか不明

広瀬(同13位・6位・6位) 評価△
一見一致率が正しく補正しているように見えるが、年間平均レートが高いのはその前の年が絶好調だった為スタートレートが高くなっているため
スタートレートが適正であれば今年もう少し勝てている確率が高く平均レートを1年でなくもっと長期の3年等にすればここまで実測レート順位は高くない

佐藤天(15位・23位・13位) 評価△
これは微妙
一見一致率修正が余分なノイズに見えるが近年の天彦の調子の波が大きすぎて実力の評価が極めて困難
とは言えさすがに23位(順位的にB1〜B2くらい)まで低い評価ではない気が

高見(同17位・8位・22位) 評価×
タイトルを獲ったとはいえいくらなんでもさすがに8位は評価しすぎ

増田(同24位・17位・19位) 評価〇
推定レートが低すぎる気が
最近レート下位者相手に一手ばったり的に負けたのが何回かあったような気がするのでそのせい?

56 :
>>55
おまけ
本田
このサイトでイチオシしていた本田を上記24人の中に入れると22位相当(一致率推定9位・実測50位)
かなり強いのは間違いなさそうだけどさすがに今現在でA級相当の実力を持ってる人はいないでしょ

上記の通り一致率による推定効果はおまけを除く24名中〇2名・△3名・×1名と効果があるのか逆にノイズになってるのか不明
少なくともレートを推定するのに多大な手間暇をかけて一致率を使う意味はなく簡易算定で十分かと
画期的な推定方法になるかと思って期待してたけどちょっと残念

57 :
>>51
その算出式を見たら実は勝率と相手レートを基に算出する式にほぼ等しい
それに一致率で若干の補正をかける仕組になってるけどその肝心の補正がプラスになってるか逆にノイズになってるかわからないという事
そもそも>>47を見るとわかるように補正の影響がどれだけあるかも微妙

58 :
>>46
>一致率×1743+相手一致率×2812-1585

実際の換算レート式(暫定)は
一致率×1743+相手一致率×2812-1585+24
としてある
24を加えてあるが、これには、換算レートを、時代性の制約があるレートでなく時代を飛び越えて通用するレートにしたいという目的がある
どういうことかというと、年間記録で過去最高の水準が、相手一致率が74%のときに一致率85%(換算レート1976)だったので、24を加えて過去プロ棋士の換算レートの最高値が2000となるようにしたということ
つまり、今後、換算レートが2000を超える棋士が現れたら史上最高棋士といってよいことになる
また、現在の換算レートと2000とのレート差がこれまでの史上最高棋士とのレート差ということになる
前スレでは、この史上最高棋士を大山康晴としているが、別に大山が史上最高でなくともかまわない
換算レート2000が64年五冠王のときの大山だということだね

59 :
>>57
勝率と相手レートから算出する式にほぼ等しいということはないでしょ
一致率と相手一致率から得られる重回帰式は、何通りも試してきているわけだよ
そのなかには、一致率と相手一致率の係数の比率がほぼ1:1から1:2まで限りなくある
どの重回帰式を選ぶかで、例えば、本田四段の評価を下げることもできれば上げることもできる
そういうわけで暫定式なわけだし検証を続ける意味がある
最終的には、歴代棋士に適用するためには上位棋士によく合致する換算式を採用するのがよいと考えているけどね
まだ、それをやるにはデータ不足かも知れないので、棋士のレートを問わずデータ数が多い一致率から算出した換算レートを適用しているだけのことだよ

60 :
>>49
ご本人?
そうでなければ何故その自信が?

61 :
>>1
重回帰したならモデルを示せよ
回帰係数の有意性はどうなってんだよ
大事な情報隠すんじゃねえよ

62 :
>>57
根本的に誤解があるのは、勝率と相手レートを基に算出する式{の結果}にほぼ等しいというのは、換算レートの欠陥でなく長所だということ
あなたはそこがわかっていない
要はEloレートとあまり変わらないと認めている、まさにその点が換算レートの意義なんだよ
で、Eloレートとあまり変わらないのは下手な検証をしてもらうまでもなく、Eloレートとの相関係数が高いことで証明済みなんだ
しかも、この換算レートを算出した換算式はこの上位24棋士にもっとも適合する換算式を回帰分析して得たものではない
データ数16局以上の棋士の回帰分析から得られた換算式で換算レートを求めたものだ
いわば、汎用性の高い換算式を流用している
それでもEloレートとの高い相関が得られていることに意味があるのだ

63 :
>>61
有意性は>>5に出ている
F値もP値も0の水準
モデルは今から前スレから拾ってくる

64 :
回帰分析のモデル
https://i.imgur.com/LC7NOB6.png
換算レートは回帰分析で得られた式の通りで計算したものになっている
つまり、24が加えられていないのと1ヶ月前のデータなので>>1の換算レートと数値が違っている

65 :
自分の中では理論も議論も完成していて、すべての質問に対して「お前はバカ、俺が正しい、そんなのは誤差」
と答えるだけなんだから掲示板の体をやめて個人で論文でも書いて公開したらええやん

皮肉だけじゃなくて、その方がいろんな人に見てもらえるからいいと思う
それとも2chの将棋板でみんなに納得してもらったという看板が必要なのか…?
そんなもんクソの役にも立たんのはわかってるだろ

66 :
そういうふうに見えてるって相当ひねてるな、まあどうやらここで垂れ流してるだけ以上に本格的に考えてる感があるのは同意だが

67 :
Eloレートと換算レートの算出の仕組は極めて似ている
Eloレートの算出に必要なのは棋士のEloレートと相手棋士のEloレートだ
換算レートの算出に必要なのは棋士の一致率と相手棋士の一致率だ
Eloレートならより強い相手に勝つほど多くポイントが得られ、より弱い相手に負けるほど多くポイントを失う
換算レートの仕組はEloレートと違って勝敗の内容にもジャッジメントしている
例えば、>>6に上げた三浦九段の場合で説明しよう
これまでの一致率が74%の三浦が一致率74%で勝っても三浦の一致率は変わらない
三浦のこれまでの相手一致率が75%だから今回対局相手の棋士の一致率も75%なら相手一致率も変わらないので換算レートも変わらないことになる
つまり、勝っても換算レートは動かないことになる
実際には勝つときは自分の平均一致率より高い一致率になるのが普通だ
仮に一致率85%で勝ったなら(74%*12+85%)/13=74.8%
一致率を0.8%上げることになる
1%=17の計算ならおよそレートを14上げることになる

では、負けるとどうなるか
一致率59 %で負けたとする
すると一致率は
(74%*12+59%)/13=72.8%
およそ1.2%下がるので、換算レートは20下がってしまう
今日の三浦九段がまさにそうだった
Eloレートは6下がっただけだが、換算レートを21下げたのだ
このように一致率は勝ったときと負けたときで大きく違うことがある
いわば、勝敗の内容が換算レートの増減を決めている
これに対して相手一致率は1局の一致率とは異なるため、大きな違いにはならないことが多い
これまでの相手より一致率が3%も高い相手でも三浦の例なら
(75%*12+78%)/13=75.2%
だから0.2%だ
これまでのデータが積み重ねられるほど影響は減少することになる

68 :
で結局肝心の過去の棋士については棋譜が足りないのであんまんからないけどなんとなく現在の棋士より強い気がする
するったらするだからな
意味が無い

69 :
ちなみに持ち時間の違いはどう考えてるの?

70 :
>>62
勝率のみで考える式に近いというのは長所でも短所でもなく単なる事実
式を変型すると自分の一致率を基に変数を求める部分は
(0.65+勝率×0.18)×1743×{実測一致率/(勝率×0.84)+(敗率×0.65)}となる
つまりあなたが意図してようが意図していまいが勝率でまず変数を出して実測一致率で補正するという形になってる

で、「実測一致率/(勝率×0.84)+(敗率×0.65)」でどれくらい補正がかかるかというと一致率が変わるとレートが17.4変わる
24人の内2%(レートにして35)以上補正されているのが6人、3%以上補正したのがその内3人
レートにして藤井61、佐藤天-77、山崎-87
一致率による補正影響はこの程度で、かつ>>55で見たように補正により精度が上がっているかどうかも微妙

71 :
>>70
この研究のテーマは、入手できた棋譜を解析して得た一致率のみを変数にして棋士の棋力を測定することが可能かということ
したがって、対局があった全棋譜を解析できた棋士以外は、データ上の棋士の勝率と実勝率は異なっている
以前は実勝率で補正することも試みたが、相手一致率を併用するとなると、データ上の一致率を相手一致率で補正するわけだから勝率による補正を行う必要がない
というより、勝率で補正してはならない
というわけで、得られた棋譜だけで換算レートを算出するという大胆な研究になった
相手一致率も実勝率で補正した一致率でないわけだから、算出した一致率を補正されていない相手一致率で補正するということをやっているわけだ
当然誤差が生じるが大丈夫なのか
案ずるよりは産むが早しで、データが積み重なるほどEloレートとの近似性が向上していくことが確認されてきた
個々の棋士のレートが妥当なのかは今は検討する段階(レベル)ではない
まだ様子を見ているだけだ
換算式自体が暫定であり、解析対象を変えるだけで回帰分析の結果も変わる
今は、7月時点でデータ局数が16以上あった棋士の回帰分析から得られた換算式で換算レートを出しているだけ
したがって、勝率で式を置き換えるのはまったくナンセンスだ

最初の問題意識を思い出してほしい
一致率で史上最強棋士はわかるか?ということから出発したのだ
現在のEloレート2強は一致率から算出した換算レートでも2強と認識された
これだけでも素晴らしい成果なのだ
順位だけではない、レート差も含めて換算レートがEloレート上位棋士とどこまで近似するかがこれからの勝負だ

72 :
一致率が高い棋士が史上最強という命題を検証するためには、明らかに弱いと断定できる棋士の中に一致率が同等以上に高い棋士がいないことを確かめなければならない
その目的もあって、全棋士の一致率を解析している

73 :
将棋ソフトは年々強くなってんだから一致率高い棋士が最強って前提がまずおかしいだろ

74 :
使用するソフトの前提条件は?
ハム将棋じゃ、どうやっても相関は得られそうにない?
実は強くもないソフトの真似をしてるだけという可能性は如何にして排除すんの?

75 :
ソフトの棋譜を分析した場合に、勝率互角の2系統のソフトについて
自分と同系統のソフトを異常なまでに高く評価するんじゃないの?

76 :
>>50
一致率が強さの指標に有効かは、まず、現棋士のランキング(Eloレーティング)が一致率でも近似できることを証明しなければならない
山下氏はこうしたことをやっていないし、平均悪手が少ない順に並べてもEloレーティングのようには並ばない
というわけで、前スレに書いた通りhttps://mevius.2ch.sc/test/read.cgi/bgame/1557753233/617
なお、前スレは1000まで書き込まずに放置しておけば暫く閲覧可能なはず

77 :
>>75
どのソフトでもかまわないが、そのソフトで解析した現棋士の一致率で現棋士のEloレーティングを近似できることが証明されれば、過去の棋士も近似できるということになるはず
あくまでも、そのソフト限定での話なので、そのソフトのクセは問題にならない
近似力が高いソフトほど良いソフトという違いがあるだけだね

78 :
illqha4が出ててめちゃくちゃ強いらしいけど解析は今後もillqha3なんですか?

79 :
>>78
途中で変えるわけにはいかないので、全部やり直しするのが大変なんだよな
illqha3での結果が納得できなければ変えていただろうけど、たしか、illqha4はレートで50ほどしか違わないよね
つまり、プロ棋士とのレベル差で見るとほとんど無視できる差なんじゃないかな
追検証したい人は最新のソフトを使うのもありだし、より深い探索で解析するのもありだね
その結果、現役棋士最強は渡辺でも豊島でもなかったということになったらそのソフトは捨てたほうがいいね

80 :
Eloレーティングに対する私見

現棋士に関してはEloレーティングがあるからそれで十分で、Eloレーティングがあるからこそ他の指標の検証もできる
しかし、Eloレートは過去との連続性に難点があると言われている
とくにインフレが問題らしい
棋士の数が増えるのもインフレの要因になるが、数が同数でも増えるほうは1500点、減るほうは成績低下や高齢での引退なので1300点、1200点と点数を減らしてやめていく
これがインフレの元になっている
最近は勝率すらインフレを起こしていると言われている(特に下位クラスの実力のバラツキが甚だしい)
つまり、相手の絶対レベルが違うとしたら、基準となる1500点の質が時代によって違う可能性が高い
というわけでEloレートの代用になる指標があればいいのにということになった

81 :
一致率を調べる意義
もし、一致率が棋力判定に使えるなら利点が多い
(1)一致率なら最強時代が異なる棋士でも比較できる
(2)新人棋士のレーティングが信頼できるものになるには100局必要とされるが、一致率ならその半分以下で十分だ★
(3)レーティングでは、研究が嵌まってたまたま一時的に高くなっているのか、地力の違いで高くなっているのかが分からない
(4)一致率なら、研究から離れた局面でどれだけ最善手を指せるか、疑問手や悪手率が少ないかの指標となるので、棋士の地力が評価できる
(5)一致率なら、先後や手数の違い、勝局時、敗局時の一致率など細かい分析ができる
(6)レーティングより少ない局数で評価できるから、線型や持ち時間の長さなどで分類して分析することも可能だ

★前半40手除外しても平均1局110手だから70手ある
レーティングは勝ちか負けかの1対のデータなのに対して、一致率の場合は一致したか一致しなかったかで1局1棋士に35個のデータがある
すなわち、データ数が圧倒的に多い

82 :
持ち時間のばらつきをどう補正しているかを知りたい
レートなら勝ち負けしかないからサンプル数重視で無視するという考え方もわかるけど、
一致率は持ち時間が長いほど有利なわけだからなにがしかの補正をしてるんだよね。

64年の大山は防衛戦と王座戦、NHK杯しかなくて当時は二日制は10時間だったから
対局の半分は10時間の将棋だったんじゃないの

83 :
>>81
一致率の最大の欠点は対戦相手の強さによって大きく変わって来てしまう事
なので時代が違うと対戦相手の平均レベルがわからないので比較ができない

Eloレーティングは初期値を1500等で仮置きすると適正なレートに落ち着くまで時間がかかるが、WHRを使えばその問題は解消される
単純に>>46の式を使っても凡その強さはわかる
一致率を調べるまでもなく圧倒的に簡単に算定できる上に精度もどちらが上かわからない

84 :
>>81
あ、持ち時間で分類もできるとしているのか。
でも昔は10時間とか7時間が多いから面倒だな

85 :
>>80
レーティングは時代が異なると完全には同一視できなくなる可能性という問題点があるが、実際にどこまでズレるかはわからない
山下論文のP11の図3、図4を見ると一見インフレしているように見えるが谷川・加藤の推移を見るとそんな事はなく実際に上位棋士のレベルが上昇した可能性が高そう
(仮に200近くインフレしていたら現在の谷川が昔の新人で全く伸びなかったプロレベル、引退前の加藤は街のアマチュアレベルという事になってしまう)
file:///C:/Users/%E6%B5%85%E4%BA%95/Downloads/IPSJ-GPWS2014002%20(2).pdf

なおレーティングがインフレになるというのは誤った俗説で、新規にプロ入りするレベルははどうか、全体の人数の増減はどうかによってインフレになる場合もデフレになる場合もある
実際に自分でモデルを作って検証すればわかる
また戦術の進化等による全体のレベル向上があればそもそもインフレしているのが正しい

86 :
>>76
平均悪手が少ない順に並べてもレーティングのように並ばないというのはどこにある情報?
あと「平均悪手」という単語は「平均悪手率」なのか山下論文で使っている「平均悪手点」の意味なのかどちら?
「平均悪手点」の意味であれば山下論文の図11で少なくともレート2700〜2800程度までは相関してる事を示している
レートがそれ以上の場合の「並ぶか」という厳密な検証はなされていないが、少なくとも表20を見ると「並ばない」結果にはなっていない

87 :
>>85
将棋の場合はインフレするよ
新四段の若手は大抵平均レベルよりも強く引退してくベテランは平均レベルよりも弱いから

88 :
>>87
仮にレーティング1800の実力を持つ者がプロ入りして来た場合1500→1800になる為には差額の300点を全体から奪い取る事になるのでデフレになる
新人プロの実力は平均すると1500より上なのでこれがデフレ要因
最終的に彼らが平均して1500以下の実力になって棋士総人数が不変ならばデフレ要因はなくなりインフレ要因だけが残るが、実際には人数は増え続けているのでデフレ要因とインフレ要因のどちらが上回っているかわからない

これ以上はスレチになるのでレーティングスレがあればそちらに行くよ

89 :
>>82
現棋士に関しては勝率での補正も持ち時間での補正もやってない
持ち時間で3区分した一致率は出せる
@1時間以下
A3時間以上6時間以下
B8時間以上
の3つに分けることができる
64年大山の棋譜はNHK杯以外はすべて7時間以上の対局だった

>>31に記したように3時間以上棋戦とNHK杯では一致率に差が生じている
しかし、二日制対局と3時間以上の棋戦の比較では一致率の違いが持ち時間の差違によるものなのか対局者の平均レートの違いによるものかはわからないようだ
そこで、二日制タイトル戦登場者に限定してAとBにわけて表を作成してみた
Bのほうは勝率5割になるが、Aのほうは勝率0.638なのでBのほうが平均で一致率が2%少ないという数値になっているが、これはやむを得ない
しかし、勝局の一致率はほとんど変わらず、敗局の一致率はむしろAのほうが高い(1.3%)
というわけで、まだ、二日制のデータが24局しかないため結論的なことは無理なんだが、二日制のほうが一致率が高くなるという傍証は見つかっていない

A
https://i.imgur.com/xfdtV0F.png
B
https://i.imgur.com/lmJRVDx.png

90 :
>>86
平均悪手(点)を採用しての話をしている
山下氏の平均悪手(点)は検証できない
しかし、山下氏は現棋士の平均悪手を調べてEloレートとの相関を調べたわけではない
将棋クラブ24の棋譜の平均悪手とEloレートが相関したと言っているだけ
プロ棋士のレベルで平均悪手の相違が棋力にどう関連するかはまったく検証されていない
例えば、後半10手を除外しているが、プロ棋士の勝ち負けは最後の10手の良し悪しで決まることもある
大悪手なのか、形作りの手なのか、あるいは勝負手なのかの区別が付けられないという理由で評価値が10以上マイナスになる手を平均悪手の計算から除外しているが、これも疑問符がつく
また、当時のソフトは一致率が50〜60%台で当てにならなかった
一致率が当てにならないようでは平均悪手も当てにならないはずだ
それを、最後の10手は除外するとか、数値が大きいマイナス点は形作りや勝負手の場合もあるから除外するとか工作しても終盤力の差で勝敗が分かれるプロ棋士のレートを出すのは無理でしょ
そもそも平均悪手は評価値の大小も増減もソフトによって、解析の深さによって全然違ってくる
一致率の誤差どころではない
一次関数に平均悪手を代入するだけでプロ棋士のレートがわかるなどということは絶対にない

91 :
>>86
平均悪手を小さい順から並べてもEloレートの順のようにはならないというのは自分で解析してみての実感なんだな
俺は平均悪手でプロ棋士の棋力の推定が本当に可能なのか2017年から解析して2018年8月で打ち切った
徒労に終わったのは惨憺とした結果しか得られなかったからだ

画像の表で説明する
このM値が平均悪手だが、算術平均でなく中央値を採用している
前半40手は除外したが後半10手は除外していない
そのため、算術平均だと頓死などの棋譜が1局あるだけでその棋士の平均悪手のケタが違ってしまうため意味をなさない
しかし、そうした棋譜を免除して平均悪手を採用することには疑問があった
そこで、中央値を採用するのがベターという結論になった
で、この表は2018年1月から8月までを集計したものだ
データ局数にバラツキがあるのは全棋士対象でなくレート上位60位ぐらいの棋士までの棋譜の解析に限定していたためだ
何なら、2017年のデータとか通算のデータとかを出してもよいが、これだけで、平均悪手のダメさ加減は納得していただけるはず
https://i.imgur.com/1g0EV1P.png

https://i.imgur.com/p2lamxD.png

92 :
>>88
インフレになるかデフレになるかわからないというのは、その通りで、それが1500点の質の違いなので、時代が違うと比較は難しいという結論になる
そのいい例が大山五冠の頃のレートだろう
1964年度に1934点のレートを記録しているが、この当時の棋士のレートは10年前に64名いた棋士全員を1500点にしてスタートしている
つまり、大山名人から升田らのA級棋士も1500点だったわけで、しかも毎年度対局数が40局程度しかない時代だった
当然デフレが生じていたはずだ
また、棋士のレベルも現在の新四段のレベルは高いが、それはプロ棋士全体の100番目以下のプロ棋士集団と比較しての話だ
大山時代は日本で60番目に強いくらいでないとプロ棋士になれなかったわけだから単純な比較は不可能だろう

93 :
>>91
「中央値」って何?
そもそも一定以上に評価が下がる手を入れると評価がおかしくなるから除外してるよね
同じ手法を取ってうまくいかないから「中央値」を採用してみたというのならわかる
それをうまくいくかどうか全くわからない「中央値」を採用してうまくいかなかったからといって、なんでそれがそもそもやり方が違う山下論文方式の「平均悪手(点)」を否定する事になるの?

山下論文方式はソフトが今より弱かった時期でさえ少なくともレート2800点までの相関は調べており、ひふみんのデータを見る限りではそれ以上のレートでも機能していても全くおかしくない
それをソフトも強くなってるのに試しもせずに否定する根拠は全くない

94 :
>>93
除外していないよ
某棋士の解析が5棋譜あって平均悪手が小さい順にこうなったとする
20 30 50 60 200
平均値は360/5=72
中央値は50
さきのデータでいうと50なら26番目だが、72なら56番目だ
順位が30も違う
平均悪手が200の棋譜は大悪手で負けた棋譜だ
想像つくと思うが、中央値でなく平均値を採用すると中央値を採用する以上に強さのランキングとは言えないものになる
では、山下式平均悪手の算出はどうなのか
平均悪手200になった棋譜が30手の平均なら悪手合計は6000だ
この中に1手1000の悪手が5手含まれていても計算から除外するというのが山下方式となる
すると悪手合計は1000になる
これを 30-5=25 で平均するから平均悪手は40になるわけだ
先の5個の平均悪手のうち200を40に変えて平均値をだすと平均値は200/5=40になる
つまり、先の5個の中央値だった50のほうに近づくわけだ
したがって、単純平均を採用するより中央値を採用したほうが山下式平均悪手に近いのだ
そして、大悪手を除外する山下式でプロ棋士の棋力がわかるとは到底思えないのもこのためだ

なお、1棋譜の平均悪手200点がレアな例でないことは先のデータ>>91を見ればわかる
この中で最大の平均悪手は627点だ
たった1局の過ちのせいで、このあと100局のデータを採ってもこの局がない場合と比較して順位で6以上違ってしまうのだ
平均値を採用するより中央値を採用したほうに合理性があるのはそうした理由からだ
百聞は一見に如かずなわけだから、今日のうちに平均値が小さい順に並べた棋士のデータも貼ってお見せすることはする
しかし、>>91のデータだけで納得できない人がいたとは意外だったよ

95 :
>>77
> Eloレーティングを近似できることが証明されれば
「証明」は実は不可能で、「ある程度までに精度を高めることができれば」というのが限界では?

> 過去の棋士も近似できる
「レーティング近似値として十分に役に立つレベルの値が得られる」という意味になりそうな気がするが
しかし過去の棋士のレーティングがそもそも何の役に立つか?という気がしてならない…

96 :
>>95
>>93と同じ人?
だったら、>>94で納得できたか返事してくれないかな
違ってたらごめんよ
あと、この自問自答には何と返せばいいの?

97 :
たとえば、上位グループとほとんど没交渉な下位グループというのを考えてみると良い

果たして上位グループから得られた知見をもってして
下位グループのレーティングを高精度に近似できるか?
それなりの労力で実際に確認できるはずなのでやってみるのも一考

だがしかし、仮にそれが上手く行った場合でさえも、言えることは
「既知のグループメンバーと特異的に変わらない指し手の新規メンバーについては
高精度な近似ができる」というのが限界のはず

何故なら、極端な例を持ち出すと、途中までは全ての指し手をソフトを使用して選ぶが
最後の1手で必ず大悪手を指して負けるといったような者がいた場合
その者のレーティングを正しく近似することは、ほぼ間違いなく上手く行かないはずであり
なおかつ、未知のグループに関しては
そのような極端なデータの偏りが絶対にないとは言い切れないからである

98 :
>>97
全棋士の一致率を調べているのは
>>72に書いたようにまさにそれが理由だよ
常に途中まで完璧に指すことができているのに一手ばったりの悪手が多くて勝率5割しかない棋士がいたら、彼の一致率は勝局も敗局も85%となり全局平均の一致率85%、あるいは勝局はもっとよければ全局平均86%もありうる
したがって一致率が高い棋士が史上最強ではないことになる
実際は仮定と現実は違って、そうした実例は確認されていないばかりか、レート下位棋士のデータ群ほど一致率が低いことが確認されている
それはそれとして、何でコジツケのような疑問しか提示されないのか、なぜ一致率と棋力の相関の高さに否定的になろうとするのか解せないな

99 :
レート区分及びクラス区分の最新集計表を作ってみた
100区分のレートにすると、Eloレートと換算レートばかりでなく、Eloレートと一致率単独の相関係数も驚異の0.99となった
一致率と棋力が比例関係にあるばかりでなく、データ数を増やしていけば一致率だけでも有力であることを示している

下表のクラス別の集計表を見るとC2が特徴的で、換算レートでも一致率でもC2はB2と同等のようだ
これは、今のC2にB2棋士と同等以上の棋力がある棋士が多いと解釈できる
2期前まではC1がそんなクラスだった
いずれにしても、B2以下の棋士は玉石混交でほとんど差がないことがこの表からわかる
そして、B1以上の棋士との間には実力の壁があることも明らかだ

将棋ファンならこうした資料は大歓迎なはずなんだが、なぜかケチつけようとするレスが必ずある
そういう人は、どういう利害で発言しているのかも表明してほしいね

https://i.imgur.com/RkAbsAe.png

100 :
>>89
「3つに分けることができる」が不可解というか、そらわけることはできるだろうけど根拠がないなあ
データを沢山積み上げて、本当に3時間と6時間には微少な差しかないんだと立証できれば凄いことだと思うけど


100〜のスレッドの続きを読む
第3回AbemaTVトーナメント Part45
【初段〜四段】将棋倶楽部24 低段者が集うスレ11
おうちでAbemaTVトーナメント2DAYS Part7
こんな羽生さんはいやだあ Part29
第77期 順位戦 part10
将棋系youtuberアユムさん応援スレッド 2
[ID無] 棋士のおもしろ画像を集めるスレ 33
第61期 王位戦 Part2
[IP有] 藤井聡太応援スレ Part532
女流棋士総合スレ第七十九局【世代交代】
--------------------
【妄想】二宮和也【捏造】
ニューオータニがマスコミの偏向報道に苦言 「答えたとおりに報道してくれない」 ネット「名誉棄損と業務妨害でKした方が良いな
慶応の集団強姦常習事件の主犯が超キモい韓国人だと判明した途端、報道が無くなったね。★3
パニック障害の俺が振られたったwwwww
ファンサカ実況
チケットが売れてないからサポートメンバーが必要だけど娘。を共有しよう
憲法9条改正議論スレ 20
偽装請負★フリーランスのエージェント102★多重派遣
岩手の中古車販売店を語るスレ2
IF小説でも有り得ない設定
無線のここが変だと指摘するスレ
海底軍艦
【エスパー】超初心者の質問に答えるスレ207
ハロメンの水玉コラを貼るスレ(再)
【PS4/XBOX1】ワンピース海賊無双 総合 part101【Switch】
【僻みを超えて】ウルトラマンR/B Part7【闇を斬ってみろ】
ファイアーエムブレム風花雪月 クロードアンチスレ
種田恵さん
新!正・統・派【205】
三菱電機名古屋製作所 6ヵ月目
TOP カテ一覧 スレ一覧 100〜終まで 2ch元 削除依頼