<div dir="ltr">Leela has surprisingly large tactical holes. Right now it is throwing a good number of games against me in completely won endgames by fumbling away entirely alive groups.<div><br></div><div>As an example I attached one game of myself (3d), even vs Leela10 @7d. But this really isn't a onetime occurence.</div><div><br></div><div>If you look around move 150, the game is completely over by human standards as well as Leelas evaluation (Leela will give itself >80% here)</div><div>But then Leela starts doing weird things. </div><div>186 is a minor mistake, but itself does not yet throw the game. But it is the start of series of bad turns.</div><div>236 then is a non-threat in a Ko fight, and checking Leelas evaluation, Leela doesn't even consider the possibility of it being ignored. This is btw a common topic with Leela in ko fights - it does not look at all at what happens if the Ko threat is ignored.</div><div>238 follows up the "ko threat", but this move isn't doing anything either! So Leela passed twice now.</div><div>Suddenly there is some Ko appearing at the top right.</div><div>Leela plays this Ko fight in some suboptimal way, not fully utilizing local ko threats, but this is a concept rather difficult to grasp for AIs afaik.</div><div>I can not 100% judge whether ignoring the black threat of 253 is correct for Leela, I have some doubts on this one too. </div><div>With 253 ignored, the game is now heavily swinging, but to my judgement, playing the hane instead of 256 would still keep it rather close and I'm not 100% sure who would win it now. But Leela decides to completely bury itself here with 256, while giving itself still 70% to win. </div><div>As slowly realization of the real game state kicks in, the rest of the game is then the usual MC-throw away style we have known for years.</div><div><br></div><div>Still... in this game you can see how a series of massive tactical blunders leads to throwing a completely won game. And this is just one of many examples. And it can not be all pinned on Ko's. I have seen a fair number of games where Leela does similar mistakes without Ko involved, even though Ko's drastically increase Leelas fumble chance.</div><div>At the same time, Leela is completely and utterly outplaying me on a strategical level and whenever it manages to not make screwups like the ones shown I stand no chance at all. Even 3 stones is a serious challenge for me then. But those mistakes are common enough to keep me around even.</div></div><div class="gmail_extra"><br><div class="gmail_quote">2017-05-22 17:47 GMT+02:00 Erik van der Werf <span dir="ltr"><<a href="mailto:erikvanderwerf@gmail.com" target="_blank">erikvanderwerf@gmail.com</a>></span>:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div class="gmail_extra"><div class="gmail_quote"><span class="">On Mon, May 22, 2017 at 3:56 PM, Gian-Carlo Pascutto <span dir="ltr"><<a href="mailto:gcp@sjeng.org" target="_blank">gcp@sjeng.org</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><span>On 22-05-17 11:27, Erik van der Werf wrote:<br>
> On Mon, May 22, 2017 at 10:08 AM, Gian-Carlo Pascutto <<a href="mailto:gcp@sjeng.org" target="_blank">gcp@sjeng.org</a><br>
</span><span>> <mailto:<a href="mailto:gcp@sjeng.org" target="_blank">gcp@sjeng.org</a>>> wrote:<br>
><br>
>     ... This heavy pruning<br>
>     by the policy network OTOH seems to be an issue for me. My program has<br>
>     big tactical holes.<br>
><br>
><br>
> Do you do any hard pruning? My engines (Steenvreter,Magog) always had a<br>
> move predictor (a.k.a. policy net), but I never saw the need to do hard<br>
> pruning. Steenvreter uses the predictions to set priors, and it is very<br>
> selective, but with infinite simulations eventually all potentially<br>
> relevant moves will get sampled.<br>
<br>
</span>With infinite simulations everything is easy :-)<br>
<br>
In practice moves with, say, a prior below 0.1% aren't going to get<br>
searched, and I still regularly see positions where they're the winning<br>
move, especially with tactics on the board.<br>
<br>
Enforcing the search to be wider without losing playing strength appears<br>
to be hard.<br>
<div class="m_-3398371817144305815HOEnZb"><div class="m_-3398371817144305815h5"><br></div></div></blockquote><div><br></div></span><div>Well, I think that's fundamental; you can't be wide and deep at the same time, but at least you can chose an algorithm that (eventually) explores all directions.</div><div><br></div><div>BTW I'm a bit surprised that you are still able to find 'big tactical holes' with Leela now playing as 8d KGS</div><div><br></div><div>Best,</div><div>Erik</div><div><br></div></div><br></div></div>
<br>______________________________<wbr>_________________<br>
Computer-go mailing list<br>
<a href="mailto:Computer-go@computer-go.org">Computer-go@computer-go.org</a><br>
<a href="http://computer-go.org/mailman/listinfo/computer-go" rel="noreferrer" target="_blank">http://computer-go.org/<wbr>mailman/listinfo/computer-go</a><br></blockquote></div><br></div>