<html xmlns:v="urn:schemas-microsoft-com:vml" xmlns:o="urn:schemas-microsoft-com:office:office" xmlns:w="urn:schemas-microsoft-com:office:word" xmlns:x="urn:schemas-microsoft-com:office:excel" xmlns:m="http://schemas.microsoft.com/office/2004/12/omml" xmlns="http://www.w3.org/TR/REC-html40"><head><meta http-equiv=Content-Type content="text/html; charset=utf-8"><meta name=Generator content="Microsoft Word 15 (filtered medium)"><style><!--
/* Font Definitions */
@font-face
        {font-family:"Cambria Math";
        panose-1:2 4 5 3 5 4 6 3 2 4;}
@font-face
        {font-family:Calibri;
        panose-1:2 15 5 2 2 2 4 3 2 4;}
/* Style Definitions */
p.MsoNormal, li.MsoNormal, div.MsoNormal
        {margin:0in;
        margin-bottom:.0001pt;
        font-size:12.0pt;
        font-family:"Times New Roman",serif;}
a:link, span.MsoHyperlink
        {mso-style-priority:99;
        color:blue;
        text-decoration:underline;}
a:visited, span.MsoHyperlinkFollowed
        {mso-style-priority:99;
        color:purple;
        text-decoration:underline;}
span.EmailStyle17
        {mso-style-type:personal;
        font-family:"Calibri",sans-serif;
        color:#1F497D;}
span.EmailStyle18
        {mso-style-type:personal-reply;
        font-family:"Calibri",sans-serif;
        color:#1F497D;}
.MsoChpDefault
        {mso-style-type:export-only;
        font-size:10.0pt;}
@page WordSection1
        {size:8.5in 11.0in;
        margin:1.0in 1.0in 1.0in 1.0in;}
div.WordSection1
        {page:WordSection1;}
--></style><!--[if gte mso 9]><xml>
<o:shapedefaults v:ext="edit" spidmax="1026" />
</xml><![endif]--><!--[if gte mso 9]><xml>
<o:shapelayout v:ext="edit">
<o:idmap v:ext="edit" data="1" />
</o:shapelayout></xml><![endif]--></head><body lang=EN-US link=blue vlink=purple><div class=WordSection1><p class=MsoNormal><span style='font-size:11.0pt;font-family:"Calibri",sans-serif;color:#1F497D'>I have some hard data now. My network’s initial training reached the same performance in half the iterations. That is, the steepness of skill gain in the first day of training was twice as great when I avoided training on fill-ins.<o:p></o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt;font-family:"Calibri",sans-serif;color:#1F497D'><o:p> </o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt;font-family:"Calibri",sans-serif;color:#1F497D'>The has all the usual caveats: only one run before/after, YMMV, etc.<o:p></o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt;font-family:"Calibri",sans-serif;color:#1F497D'><o:p> </o:p></span></p><div><div style='border:none;border-top:solid #E1E1E1 1.0pt;padding:3.0pt 0in 0in 0in'><p class=MsoNormal><b><span style='font-size:11.0pt;font-family:"Calibri",sans-serif'>From:</span></b><span style='font-size:11.0pt;font-family:"Calibri",sans-serif'> Brian Sheppard [mailto:sheppardco@aol.com] <br><b>Sent:</b> Friday, December 1, 2017 5:39 PM<br><b>To:</b> 'computer-go' <computer-go@computer-go.org><br><b>Subject:</b> RE: [Computer-go] Significance of resignation in AGZ<o:p></o:p></span></p></div></div><p class=MsoNormal><o:p> </o:p></p><p class=MsoNormal><span style='font-size:11.0pt;font-family:"Calibri",sans-serif;color:#1F497D'>I didn’t measure precisely because as soon as I saw the training artifacts I changed the code. And I am not doing an AGZ-style experiment, so there are differences for sure. So I will give you a swag…<o:p></o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt;font-family:"Calibri",sans-serif;color:#1F497D'><o:p> </o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt;font-family:"Calibri",sans-serif;color:#1F497D'>Speed difference is maybe 20%-ish for 9x9 games.<o:p></o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt;font-family:"Calibri",sans-serif;color:#1F497D'><o:p> </o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt;font-family:"Calibri",sans-serif;color:#1F497D'>A frequentist approach will overstate the frequency of fill-in plays by a pretty large factor, because fill-in plays are guaranteed to occur in every game but are not best in the competitive part of the game. This will affect the speed of learning in the early going.<o:p></o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt;font-family:"Calibri",sans-serif;color:#1F497D'><o:p> </o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt;font-family:"Calibri",sans-serif;color:#1F497D'>The network will use some fraction (almost certainly <= 20%) of its capacity to improve accuracy on positions that will not contribute to its ultimate strength. This applies to both ordering and evaluation aspects.<o:p></o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt;font-family:"Calibri",sans-serif;color:#1F497D'><o:p> </o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt;font-family:"Calibri",sans-serif;color:#1F497D'><o:p> </o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt;font-family:"Calibri",sans-serif;color:#1F497D'><o:p> </o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt;font-family:"Calibri",sans-serif;color:#1F497D'><o:p> </o:p></span></p><p class=MsoNormal><b><span style='font-size:11.0pt;font-family:"Calibri",sans-serif'>From:</span></b><span style='font-size:11.0pt;font-family:"Calibri",sans-serif'> Andy [mailto:andy.olsen.tx@gmail.com] <br><b>Sent:</b> Friday, December 1, 2017 4:55 PM<br><b>To:</b> Brian Sheppard <sheppardco@aol.com>; computer-go <computer-go@computer-go.org><br><b>Subject:</b> Re: [Computer-go] Significance of resignation in AGZ<o:p></o:p></span></p><p class=MsoNormal><o:p> </o:p></p><div><p class=MsoNormal>Brian, do you have any experiments showing what kind of impact it has? It sounds like you have tried both with and without your ad hoc first pass approach?<o:p></o:p></p><div><p class=MsoNormal><o:p> </o:p></p></div><div><p class=MsoNormal><o:p> </o:p></p></div><div><div><p class=MsoNormal><o:p> </o:p></p></div></div></div><div><p class=MsoNormal><o:p> </o:p></p><div><p class=MsoNormal>2017-12-01 15:29 GMT-06:00 Brian Sheppard via Computer-go <<a href="mailto:computer-go@computer-go.org" target="_blank">computer-go@computer-go.org</a>>:<o:p></o:p></p><blockquote style='border:none;border-left:solid #CCCCCC 1.0pt;padding:0in 0in 0in 6.0pt;margin-left:4.8pt;margin-top:5.0pt;margin-right:0in;margin-bottom:5.0pt'><p class=MsoNormal>I have concluded that AGZ's policy of resigning "lost" games early is somewhat significant. Not as significant as using residual networks, for sure, but you wouldn't want to go without these advantages.<br><br>The benefit cited in the paper is speed. Certainly a factor. I see two other advantages.<br><br>First is that training does not include the "fill in" portion of the game, where every move is low value. I see a specific effect on the move ordering system, since it is based on frequency. By eliminating training on fill-ins, the prioritization function will not be biased toward moves that are not relevant to strong play. (That is, there are a lot of fill-in moves, which are usually not best in the interesting portion of the game, but occur a lot if the game is played out to the end, and therefore the move prioritization system would predict them more often.) My ad hoc alternative is to not train on positions after the first pass in a game. (Note that this does not qualify as "zero knowledge", but that is OK with me since I am not trying to reproduce AGZ.)<br><br>Second is the positional evaluation is not training on situations where everything is decided, so less of the NN capacity is devoted to situations in which nothing can be gained.<br><br>As always, YMMV.<br><br>Best,<br>Brian<br><br><br>_______________________________________________<br>Computer-go mailing list<br><a href="mailto:Computer-go@computer-go.org">Computer-go@computer-go.org</a><br><a href="http://computer-go.org/mailman/listinfo/computer-go" target="_blank">http://computer-go.org/mailman/listinfo/computer-go</a><o:p></o:p></p></blockquote></div><p class=MsoNormal><o:p> </o:p></p></div></div></body></html>