Читерство на КЧР 2019

[whitedogПавел Приступа]

Наконец-то зашевелились.
А по процентам это легко. Достаточно включить компьюторную программу и посмотреть процент совпадения ходов в партии с ходами программы.

Посмотрел у Раднаева 70% совпадений с лучшим ходом, у Кулькова ~63%. Как прикажете это интерпретировать? Очевидно, если больше 65, то читер, а если меньше, то спортсмен из РТ.
Как же хочется, чтобы мы начинали мыслить не категориями «Поверь мне» или «Посмотри на график, это же очевидно», а системной экспертизой и математическим аппаратом. Без всякой субъективной истории по возможности. Уповаю на активное участие математиков, экспертов и исполкома.

В контексте 63% у Кулькова разрешите ещё раз вас процитировать:
«Более 50 процентов ходов были сделаны с помощью программы.»

Надеюсь, уважаемый Андрей Кульков не удостоился подобных голословных обвинений в свой адрес.

[HappyLookИгорь Бурнаевский]

На коленке быстренько модифицировал код GoReviewPartner таким образом, что считается количество совпадений между ходами, сыгранных игроками с теми ходами, которые предлагает Лила (всеми адекватными, которые она в принципе рассматривает). Засовывается любой .sgf, на выходе график/гистограмма/массив_попаданий.

Как это читать и что есть что
Если 0, то Лила этот ход даже не рассматривает (и можно назвать его ошибкой).
1 - самый сильный ход по мнению программы, 10 - самый слабый из рассматриваемых.
По оси y - абсолютное количество ходов, попавших в тот или иной "приоритет" программы. В 1 приоритете учитываются форсированные ходы, в т.ч. атари на 100500 камней, таким образом ничего необычного в таком большом проценте попаданий в топ-1 ходов Лилы. Кроме того не учитывается фусеки (а точнее первые 20 ходов), т.к. можно играть как угодно и это мало на что влияет, разница в оценке целой плеяды ходов на уровне 0.1-0.2%.
Использовалась довольна старая версия Лилы, файлу с весами несколько месяцев (03.09.2018), время на каждый ход - 15 секунд, что дает около 2000 плейаутов на ход.

Пара гистограмм, без мнений, но с небольшими выводами.
Коричневый цвет - пересечение, т.е. столько ходов сыграл и игрок белым и игрок черным цветом.

=================== График 1 ===================
Партия 10-дневной давности между сильнейшими игроками в России:

Наглядно видно, что по мнению программы Илья ошибался реже Саши и в целом чаще попадал в мнение Лилы, 91% попали в топ-4 вариантов программы. У Саши этот процент составляет 82%.

=================== График 2 ===================
Так же, без каких-либо мнений аналогичный график на аналогичных настройках для партии Кульков-Раднаев:

Наглядно видно, что по мнению программы Виталий ошибался реже Андрея и в целом чаще попадал в мнение Лилы, 87% попали в топ-4 вариантов программы. У Андрея этот процент составляет 76%.

[whitedogПавел Приступа]

Игорь, спасибо большое хоть за какой-то наглядный материал в этой ветке.

Вопросы для размышления:
1. Следует ли из цифр, что Илья 9 ходов из 10 сделал с помощью программы?
2. Показывает ли процент уровень читерства? Или он отражает и силу игры? А может и схожесть стиля игры с лилой? Если ответить на мой первый вопрос про 91% у Ильи, то может, отпадёт соблазн из голых цифр (50 и 70 процентов) делать скоропалительные выводы?

[HappyLookИгорь Бурнаевский]

Игорь, спасибо большое хоть за какой-то наглядный материал в этой ветке.

Вопросы для размышления:
1. Следует ли из цифр, что Илья 9 ходов из 10 сделал с помощью программы?
2. Показывает ли процент уровень читерства? Или он отражает и силу игры?

Турнир был в реале, так что сомневаюсь, что Илья или Александр смогли бы сжульничать :) Оба наших мастера постоянно занимаются с Лилой и совершенствуют свою игру - это их работа, потому достаточно легко объяснить такие высокие проценты (думаю мы в праве сказать, что 91% - много, даже не имея критериев оценки данных графиков).

Как по мне, так это хорошая индикатриса уровня игры. Чем сильнее игрок, тем выше процент совпадений к условному идеалу (хотя Лилу можно назвать идеалом с натяжкой).

Сейчас я загрузил на анализ свою партию с Антоном Ч. со второго тура КЧР. После этого планирую вбить топ-про и партию Димы С. Если такие исследования кому-то интересны, то могу выложить по готовности.

[KirillNskКирилл Дубовик]

Если такие исследования кому-то интересны, то могу выложить по готовности.

Мне интересны!
Спасибо за инфографику.
Ещё очень интересно было бы посмотреть гистограмму по партии Колегова. Насколько я понимаю, проигрыш в 40 очков к концу партии с такой разницей в рейтинге - это очень редкое явление

[breakfastАлександр Динерштейн]

Вообще ни о чем это.
В проигранных кто-то просто доигрывает, считая что проиграть пару очков более сильному сопернику это достойно. Кто-то максимально обостряет. Лила, понимая, что уже нет шансов, может предлагать ходы в точку 1-1 ...

А про процент совпадений. Я знаю, что рекомендует программа в фусеки, но всё равно играю и тенген и 5-5, и разные редкие варианты джосеки (даже зная, что программе они не нравятся). Конечно совпадений будет меньше, чем у Ильи, который старается играть по первой линии программ. А меня от такой игры тошнит.

Так что если и проводить подобные автоматизированные разборы, то только отсекая фусеки и йосе. Вот в середине партии действительно, у кого больше процент совпадений, тот играет сильнее.

[svetogor]

Да, было бы интересно посмотреть.
и в таком случае хотелось бы данную статистику сделать постоянной по всем игрокам (ну или хотя бы по игрокам топ 100, или участвующим в официальных чемпионатах). чтобы потом по диаграммам можно было сказать в зале такие результаты, в интернете такие результаты. (хотя это тоже не показатель).
или сделать для игроков с рейтингом выше 2000 обязательность записи партий на турнирах( с которыми можно было бы сравнивать соревнования в интернет)
кстати если посмотреть с этой точки зрения можно было бы потом разобрать партии "аномальщиков"

[HappyLookИгорь Бурнаевский]

Вообще ни о чем это.
В проигранных кто-то просто доигрывает, считая что проиграть пару очков более сильному сопернику это достойно. Кто-то максимально обостряет. Лила, понимая, что уже нет шансов, может предлагать ходы в точку 1-1 ...

А про процент совпадений. Я знаю, что рекомендует программа в фусеки, но всё равно играю и тенген и 5-5, и разные редкие варианты джосеки (даже зная, что программе они не нравятся). Конечно совпадений будет меньше, чем у Ильи, который старается играть по первой линии программ. А меня от такой игры тошнит.

Так что если и проводить подобные автоматизированные разборы, то только отсекая фусеки и йосе. Вот в середине партии действительно, у кого больше процент совпадений, тот играет сильнее.

Фусеки не учитывается, как я написал выше. Насчет йосе спорно, если говорить о тех партиях, что я уже "скормил" программе: похоже на честный доигрыш, на пределе своих возможностей, почти все ходы из топ-5 программы.

В целом это просто сводка, без мнения/оценки или намеков на что-либо. Нет явных метрик, нет достаточных вычислительных мощностей для постоянного анализа и сбора большого количества данных и прочего. В принципе так же нет партий игроков в необходимом для анализа количестве.

В идеале нужно анализировать несколькими программами, с различными файлами весов, на различном количестве плейаутов. По сути невыполнимая задача.

[breakfastАлександр Динерштейн]

Я решение вижу таким.
Для начала извиниться перед Виталием.

Второй шаг. Взять штук 100 его партий, сыгранных в интернете, столько же - сыгранных вживую. Сравнить при помощи программы. И если мы увидим большую разницу в проценте совпадений с первой линией, то либо человек играет нечестно, либо человеку просто комфортнее дома. Вживую на турнирах может быть шумно, душно, человек может волноваться сильнее и так далее.
И если мы зафиксируем эту разницу, то в этом случае мы можем попросить проводить следующие онлайн партии в присутствии судьи или с вебкамерой (не обязательно с трансляцией на Ютуб, достаточно если человек просто будет записывать видео, которое нужно будет предъявить судье турнира по первому требованию).

А по одной партии доказать ничего нереально. Я обладателя японского титула Кисей обыгрывал. И что? У каждого бывают партии, где удаётся "прыгнуть выше головы".

[HappyLookИгорь Бурнаевский]

============== График 1 =============
Моя партия с Антоном, второй тур КЧР.


Близкая игра (4.5 очка, хотя должно было быть 1.5), очень близкие графики.
Если брать топ-4 ходы (не знаю почему именно топ-4, но для предыдущих графиков я писал именно так) 76% совпадений ходов для Антона и 78% для меня.

============== График 2 =============
Рандомная партия между Mi Yuting, 9p и Park Junghwan, 9p.


Близкая игра. Для Mi Yuting попаданий в топ-4 было 88%. Для Park Junghwan 86%.