Ли Седоль, 9-дан о своих шансах в матче с AlphaGo

[doctor]

Поздравляю форумчан с победой Ли Седоля в 5-й партии!
Итого счет 3:2, правда в пользу альфаго.
Информацию взял с сервера Тайджем.
Но, если бы матч был бы длиннее, то я бы не ставил на машину.

[MaximG]

Поздравляю форумчан с победой Ли Седоля в 5-й партии!
Итого счет 3:2, правда в пользу альфаго.
Но, если бы матч был бы длиннее, то я бы не ставил на машину.

А разве не завтра 5-я игра?...

[Nikita Barykin]

Завтра. Но Валерий Дмитриевич, как известно, обладает даром предвидения.

[breakfast]

Сбор подписей под петицией для продления матча на 2 дополнительные партии:
https://www.change.org/p/google-alphago ... m=copylink

[WinPooh]

Сбор подписей под петицией для продления матча на 2 дополнительные партии:
https://www.change.org/p/google-alphago ... m=copylink

"Если вы не отзовётесь -
мы напишем в Спортлото!"

[Филиппов Вадим]

Сбор подписей под петицией для продления матча на 2 дополнительные партии:
https://www.change.org/p/google-alphago ... m=copylink

Спасибо, Александр! шансы на победу уже очень малы. Всё таки вероятности не в пользу Седоля. Но всем будет интересно и необычайно полезно посмотреть продолжение. Когда он стал в курсе с чем имеет дело.
Подписался.

[Эшу]

Причём они реально утверждают, что AlphaGo способно учиться. Я раньше думал, что это журналисты что-то путают.

Вообще то алгоритмы обучения нейронных сетей без учителя существуют уже не один десяток лет. АльфаГо реально способна обучаться на основе сыгранных партий и в этом нет ничего фантастического. Любой программист, знакомый с нейронными сетями это Вам подтвердит :)

Такое мнение сложилось у меня после прочтения статьи на Хабре: https://habrahabr.ru/post/279071/ (Любопытно ваше мнение о ней на предмет соответствия Nature)

Неиросети обучаться способны, и они использовались при создании АльфаГо, но вот само АльфаГо учиться не способно в виду использованного DeepMind подхода к его созданию. То, что АльфаГо играет с собой миллионы партий и с каждым днём становится всё сильнее, - враньё Google и фантазии фанатов машинного обучения. Со времени партий с Фаном программисты могли только подкрутить пару коэффициентов, плюс увеличение мощности железа : "Максимальная версия кластера в статье — 280 GPUs, но Fan Hui играл с версией с 176 GPUs." (из статьи на Хабре)

По большому счёту, АльфаГо работает также как Zen, - много раз доигрывает позицию до конца и смотрит результат. Основное отличие в том, что Zen доигрывает рандомными ходами, а АльфаГо "человечными ходами". Затем берутся все выигрышные партии, смотрится какой ход в них чаще всего встречался, и этот ход и делается (отсюда и лезут все адзикэши, стопроцентное одноочковое сенте встречается во всех доигрываниях (яркий пример на левой стороне во второй партии)).
Нейросети используются только для того, чтобы рубить тупиковые ветки при этом многократном доигрывании.
Вот что написано в статье по поводу обучения неоросетей: "Интересная деталь! В оригинальной статье (в Nature) пишется, что этот процесс длился всего 1 день (остальные тренировки — недели)."

Выше WinPooh приводил свой эксперимент по обучению нейросети: https://habrahabr.ru/post/254753/
Нейросеть, смотря шахматные позиции и зная результат, определяла стоимости шахматных фигур.
Предположим, что она бы делала это идеально правильно, за день с точностью до десятых долей пешки, за неделю с точностью до тысячных долей, за месяц - до миллионных. Толку от подобной точности никакой.

Нейросети в АльфаГо выполняют вспомогательные функции, и обучались они каждая под свою конкретную задачу.

[Филиппов Вадим]

По большому счёту, АльфаГо работает также как Zen, - много раз доигрывает позицию до конца и смотрит результат. Основное отличие в том, что Zen доигрывает рандомными ходами, а АльфаГо "человечными ходами".

Тут вот какое дело. Я уже не первый месяц использую зен как спаринг партнёра по дороге на работу. Могу сказать что "машинных" решений там не так много. Зен довольно человечен. Играет стандартами, ставит стандартные формы и дзёсэки. Ну не может он одним монтекарло раз за разом воспроизводить классические варианты ути-коми. В начале он играет обычные дзёсэки, как человек, только с уклоном оказать давление на центр. Но это обычные, человеческие варианты.

Если оно училось играя партии сама с собой... Что она начинает вытворять когда проигрывает мы видели. Как же выглядело это обучение? Вот они играют, одна половина попадает в худшую позицию и дальше начинает подыгрывать другой половине, сливая партию. Это поддавки самой себе, чему там можно научиться? Подлавливать монтекарло там можно научиться, т.е. обыгрывать существующие программы.

[Эшу]

Про Zen сужу со слов других людей, статей про него не читал.
Все программисты прикручивают, что-то к своему детищу, иначе все боты играли бы одинаково.
Но у меня сложилось мнение, что подход к оценке позиции у всех современных го-программ один - многократное доигрывание до конца.

[WinPooh]

Про Zen сужу со слов других людей, статей про него не читал.
Все программисты прикручивают, что-то к своему детищу, иначе все боты играли бы одинаково.
Но у меня сложилось мнение, что подход к оценке позиции у всех современных го-программ один - многократное доигрывание до конца.

Собственно, для игровых программ в любых играх возможно только 4 варианта:

1. Считаем всё и до конца.
Это простейшие игры (крестики-нолики), эндшпильные базы в шахматах и шашках, а также "алгоритм бога", для большинства игр нереализуемый.

2. Считаем всё, но не до конца.
Это первые шахматные программы, до начала активного использования отсечений вариантов. Брут-форс, он же голая альфа-бета. Дерево широкое и неглубокое. Играть сильно не получается из-за эффекта "горизонта".

3. Считаем кое-что, и не до конца.
Это современные шахматные программы, отсекающие огромное количество вариантов по эвристикам (средняя степень ветвления дерева доходит до теоретического предела = 2, и даже меньше). До конца считать всё равно не получается, поэтому на листья дерева навешиваем некоторую синтетическую оценку, и пытаемся её оптимизировать.
Дерево не очень широкое, но намного глубже, чем в (2). Хотя отдельные ветви могут очень сильно отличаться по длине. Подход Ботвинника - сюда же.

4. Считаем кое-что, но до конца.
Вот это - Монте-Карло. Лес узких и глубоких деревьев. Те же (или несколько другие) эвристики для отбора вариантов, но в синтетической оценке мы больше не нуждаемся. Вместо неё - статистические показатели успешности доигрывания вариантов до финальных позиций. Оказалось, что в Го хорошо работает только этот подход. А вот в шахматах он явно слабее, чем (3).