Теория игр нэша. Теория игр и равновесие нэша. Некооперативные игры и Нобелевка

В результате освоения данной главы студент должен:

знать

• определение равновесия по Нэшу (как в чистых, так и в смешанных стратегиях);
• основные свойства равновесия по Нэшу;
• теоремы, формулирующие условия существования равновесия по Нэшу в стратегических играх;
• определение понятия "равновесие дрожащей руки";

уметь

Решать задачу нахождения равновесия по Нэшу в биматричных играх (в том числе графическим методом для игр);

владеть

• простейшими методами анализа свойств биматричных игр 2 х 2 с использованием результатов их графического решения;
• системой представлений как о возможностях, так и об объективных проблемах практического применения понятия равновесия по Нэшу;
• терминологическим аппаратом, позволяющим самостоятельно осваивать научную и профессиональную литературу, использующую понятие равновесия но Нэшу и его свойства.

В данной главе мы рассмотрим основной объект исследования теории бескоалиционных игр, получивший название равновесия по Нэшу. Данное понятие было предложено выдающимся американским математиком Джоном Нэшем (John Forbes Nash) сначала в его диссертации, а затем в серии работ, вышедших в 1950-1953 гг. .

^ Ситуацию s* в игре Г = (I, {} i Î I , {(s)} i Î I) будем называть равновесием но Нэшу (в чистых стратегиях), если для любого игрока i Î I

Другими словами, ситуация равновесия по Нэшу - это такая ситуация в игре, от которой ни одному из игроков невыгодно отклоняться поодиночке (при условии что остальные участники игры придерживаются своих стратегий, образующих равновесие по Нэшу).

Рассмотрим отображения, которые для каждого игрока i Î I для каждой возможной подситуации Î ставят в соответствие некоторую стратегию , являющуюся его наилучшим ответом для данной подситуации:

Отображения возвращающие наилучшие ответы на подситуации, также называют отображениями отклика игрока. Из неравенства (3.1) следует, что ситуация равновесия по Нэшу образуется стратегиями, которые возвращаются отображениями отклика всех игроков, т.е. ситуация равновесия по Нэшу - это ситуация, образуемая наилучшими ответами каждого игрока на наилучшие ответы остальных:

В свою очередь, из условия (3.3) вытекают следующие свойства.

• 1. Строго доминируемые стратегии и НЛО-стратегии не могут входить в равновесие по Нэшу.
• 2. Стратегии, образующие равновесие по Нэшу, не могут быть исключены в процессе удаления строго доминируемых стратегий и рационализации игры.

Одновременно следует подчеркнуть, что слабо доминируемые стратегии перечисленными свойствами не обладают. Несложно сконструировать пример равновесия по Нэшу, в котором будут присутствовать одна или несколько слабодоминируемых стратегий.

Для рассмотрения свойств равновесия по Нэшу вернемся к игре "дилемма заключенного" (см. табл. 2.1).

Как нетрудно заметить, данная игра имеет единственное состояние равновесия по Нэшу. Это ситуация (С, С), в которой оба игрока сознаются и получают по пять лет тюремного наказания. Фундаментальным качеством ситуации (С, С) является именно то, что от нее действительно никому невыгодно отклоняться поодиночке. Если один из заключенных попытается сменить стратегию с "сознаться" на "молчать", то

этим он только ухудшит свое положение - вместо пяти лет наказания получит десять - и улучшит положение другого игрока, которого отпустят.

Нельзя не признать, что ситуация равновесия в данном примере является неэффективным исходом для заключенных. Ведь в ситуации (М, М) - оба молчат - их полезности выше (срок наказания составляет один год против пяти). Однако ситуация (М, М) обладает тем недостатком, что она неустойчива. В ней каждому из игроков выгодно сменить стратегию "молчать" на "сознаться", при условии что другой игрок продолжает придерживаться стратегии "молчать". В этом случае наказание для предавшего становится нулевым, правда, резко возрастает для преданного: с года до десяти.

Таким образом, дилемма заключенного достаточно ярко отражает тот факт, что

равновесие по Нэшу - необязательно "самая выгодная" ситуация для игроков, это устойчивая ситуация.

Также на примере дилеммы заключенного достаточно наглядно может быть продемонстрировано соотношение равновесия по Нэшу с таким фундаментальным понятием экономики, как оптимальность по Парето . Напомним, что

распределение называют оптимальным но Парето (Парето-оптимальным), когда полезность (благосостояние) ни одного из участников этого распределения не может быть увеличена без уменьшения полезности какого-либо другого участника.

Нетрудно заметить, что в дилемме заключенного ситуация равновесия но Нэшу является единственной Парето-неоптимальной: полезность участников "безболезненно для каждого из них" можно улучшить, перейдя от ситуации (С, С) к ситуации (М, М), но последняя не является равновесием по Нэшу в силу своей неустойчивости. С этой точки зрения дилемма заключенного является классическим примером, демонстрирующим различия между понятиями "равновесие по Нэшу" и "оптимальность по Парето".

Продемонстрируем возможности практического использования концепции равновесия по Нэшу на примере сюжетов из литературного приложения.

• За свой вклад в теорию некооперативных игр Дж. Нэш в 1994 г. получил Нобелевскую премию по экономике
• Введено итальянским экономистом и социологом Вильфредо Парето (1848-1923)

Проявляет себя в реальности, дабы показать, что это понятие является не просто абстрактным термином, а обобщением реально существующей закономерности. Однако, несмотря на наглядность примера, на основании только его одного может показаться, что мы наткнулись на какой-то вырожденный случай. Поэтому имеет смысл рассмотреть и более общее описание данного правила.

Многие читатели, возможно, знакомы с равновесием Нэша по одному весьма распространённому его частному случаю - так называемой «дилемме заключённого». Его суть примерно в следующем.

В тюрьме находятся два заключённых, которых взяли с поличным по отдельности, но ещё подозревают в более тяжких преступлениях. Если участие докажут, то срок заключённых возрастёт до десяти лет. Сейчас же они отсиживают по году каждый. Следствие предлагает каждому из них пойти на сделку и дать показания против второго. В этом случае первому срок скостят до полугода, а второй сядет на десять. Однако заключённые понимают, что если они оговорят друг друга, то вряд ли их обоих пощадят - скорее добавят каждому ещё лет по пять.

Расклад можно отобразить при помощи следующей таблицы.

Легко видеть, что «зелёные» варианты (1, 2) и (2, 1) являются симметричными, в двух же других положение заключённых будет идентичным. Поэтому можно рассмотреть логику ситуации с точки зрения только одного из заключённых - для второго она будет такой же.

Заключённый, разумеется, хочет наименьшего срока для себя. Но если он будет хранить молчание, то, возможно, его коллега даст против него показания, чем повысит ему срок до десяти лет. Если бы не обещанное снижение срока, то можно было бы тешить себя мыслью «а зачем мне это?», но соблазн снизить срок слишком вели́к. Кроме того, второй заключённый, как понимает первый, будет подозревать его, первого, в том, что он даст показания против второго и повысит тем самым ему срок.

«Обидно будет оказаться крайним и загреметь на десять лет», - думает первый. Но «и второй наверняка думает так же, и так же подозревает меня, - понимает он, - а потому шансов, что коллега меня не заложит, очень мало. Выходит, надо давать показания: если второй каким-то чудом промолчит, то будет полгода, проговорится - пять. Ну хоть не десять, которые я неизбежно получу из-за разоткровенничавшегося со следствием моего подельника!».

«Оранжевый» вариант (1, 1) является удобоваримым для обоих и в каком-то смысле это оптимум в данной ситуации. Однако у каждого есть ещё лучший вариант - соответствующий «зелёный» (1, 2) или (2, 1). В результате чего на деле будет реализован «красный» вариант (2, 2).

Можно сказать, что для каждого из заключённых он не так плох: всего пять лет против десяти в «зелёном» варианте в пользу подельника. Однако представим, что в «красном» варианте обоим дадут по десять. Логика в данном случае чуть-чуть поменяется: «если я его сдам, то хотя бы есть шанс отвертеться от десяти лет, а если промолчу - шансов нет, он меня наверняка заложит по тем же соображениям». Однако тут система подталкивает заключённых выбрать наихудший вариант из возможных. Действуя, что характерно, строго ради своей выгоды.

Рассмотрим теперь ещё одну ситуацию. Есть две фирмы - А и Б. Каждая из них может воспользоваться стратегией - Икс или Игрек. Однако на результаты оказывает влияние не только стратегия, выбранная самой фирмой, но и стратегия второй фирмы тоже. Выигрыш или проигрыш каждой из фирм мы представим в виде следующей таблицы.

Я специально для повышения накала страстей подобрал числа так, чтобы убыточное для обеих фирм состояние лишь незначительно отличалось бы от «соседних» с ним: тем удивительнее, что будет реализовано именно оно. Фирмы, действуя строго в своих интересах, с большой вероятностью захотят получить тысячу рублей вместо ста и тем самым не получат ничего, а наоборот, даже утратят. Переход же одной из фирм на стратегию Икс ещё сильнее ухудшит её положение - другая фирма будет обогащаться, а вторая терять ещё больше, хотя и незначительно больше.

Запишем вышеприведённые матрицы в более общем виде, абстрагировавшись от «фирм», «заключённых», «сроков» и «рублей». Положим, что у нас просто есть два игрока А и Б, играющие в некоторую игру, где на каждом ходе можно совершить один из двух ходов - Икс или Игрек. Выигрышем являются просто некие «баллы», наибольшее число которых каждый игрок и стремится набрать.

Правила игры, представленные данной матрицей, будут «подталкивать» игроков к реализации «красного» варианта (2, 2), даже если выигрыши игроков в этом случае существенно меньше, чем во всех остальных вариантах. Правда, в зависимости от соотношения выигрышей (которые могут быть в том числе отрицательными - то есть проигрышами), обозначенных буквами «a» и «b» с индексами, частота реализации каждого из вариантов будет разной.

В частности, на выбор может влиять среднее арифметическое выигрышей при выборе каждой из стратегий, а также предположительная вероятность, с которой игрок сделает тот или иной ход (которая, кстати, может быть аппроксимирована частотой ходов, сделанных в предыдущих раундах). Так, в простейшем случае игрок А для оценки хода Икс складывает a 0 и a 2 и делит результат на два, полагая выбор хода со стороны Б равновероятным. То же самое он проделывает для хода Игрек - складывает a 1 с a 3 , после чего делит результат на два - и сравнивает результаты. В более сложном случае игрок считает сумму a 0 *p x + a 2 *p y , где p x и p y - вероятности ходов Икс и Игрек, сделанных игроком Б. Результат сравнивается с a 1 *p x + a 3 *p y .

Можно было бы, конечно, снова поделить результат на два, но поскольку деление на два имеет место быть для обоих вариантов хода, для сравнения величин эта операция необязательна, как, впрочем, и в случае «равновероятных ходов».

Также игрок может ориентироваться на сами величины. Например, если один из ходов означает вероятный проигрыш - особенно крупный, такой, какой игрок не может себе позволить, - игрок, не исключено, будет выбирать другой ход, даже если предположительный выигрыш при другом ходе в среднем ниже, но зато в обоих случаях положительный.

Наконец, надо помнить, что люди часто, скажем так, «помнят о другом игроке». Если второй игрок - конкурент или даже враг, то, возможно, будет иметь место тенденция выбирать такой ход, который навредит другому игроку, даже если первый игрок из-за этого выиграет мало, и даже, не исключено, проиграет. Если второй игрок - друг, то чаще будет выбираться ход, позволяющий чуть-чуть выиграть и ему тоже - в том случае, если «игра» - это не заранее заявленное соревнование, а какой-то процесс из реальной жизни. Возможности мести и поблажек, разумеется, зависят от соотношений в матрице - при некоторых из них скорее забудут, что соперник - твой друг, чем начнут ему слегка подыгрывать.

Иными словами, рассматриваемый нами принцип отображает именно что тенденцию, а не детерминированность. Чем сильнее соотношения значений выигрышей и проигрышей подобны фигурировавшим в «дилемме заключённого», тем чаще и быстрее система будет подводить игроков к «наихудшему» варианту и тем «более наихудшим» будет этот вариант.

Есть как бы «невидимая рука рынка», которая как бы невидимо подталкивает игроков… ну, вы знаете. Точнее, нет, может быть, и не знаете. В классическом варианте «рука рынка» как бы подталкивает куда всем надо, а тут она толкает совсем не туда. Не во всеобщее благо, а в перманентный кризис, которого при иных раскладах можно было бы избежать, что нам иллюстрирует и «дилемма заключённого», и гипотетический пример с конкуренцией фирм, и реальный пример с неизбежным завышением сроков разработки софта, о котором речь шла в предыдущей статье.

Рынок толкает игроков к равновесию Нэша, которое сколь угодно далеко может отстоять от их общего и личного блага.

В данном случае мы рассматривали только двух игроков и игру с двумя ходами, однако возможно и более широкое обобщение, которое как раз и является формулировкой равновесия Нэша:

Если в некоторой игре с произвольными количеством игроков и матрицей выигрышей существует такое состояние, что при выборе не соответствующего ему хода любым из игроков в отдельности его личный выигрыш уменьшится, то это состояние окажется «равновесным» для данной игры.

Кроме того, в ряде случаев ходы игроков будут иметь тенденцию стремиться к этому состоянию, даже если в этой игре есть другие состояния, в рамках которых выигрыш игроков в целом и/или по отдельности выше.

Приводить примеры такого общего случая способом, подобным ранее использованному, ощутимо тяжелее, поскольку добавление каждого игрока будет добавлять ещё одно измерение к матрице выигрышей. Однако об этом - позже.

Равновесие Нэша (Nash equilibrium ) - это такая ситуация, при которой ни один из игроков не может увеличить свой выигрыш, в одностороннем порядке меняя свое решение. Другими словами, равновесие Нэша - это положение, при котром стратегия обеих игроков является наилучшей реакцией на действия своего оппонента

Равновесие Нэша в чистых стратегиях для стратегической игры - это такой профиль стратегий, что для всякого агента выполняется следующее условие:

Если в игре каждый из противников применяет только одну и ту же стратегию, то про саму игру в этом случае говорят, что она происходит в чистых стратегиях , а используемые игроком А и игроком В пара стратегий называются чистыми стратегиями .

Определение. В антогонистической игре пара стратегий (А i , В j) называется равновесной или устойчивой, если ни одному из игроков не выгодно отходить от своей стратегии.

Применять чистые стратегии имеет смысл тогда, когда игроки А и В располагают сведениями о действиях друг друга и достигнутых результатах. Если допустим, что хотя бы одна из сторон не знает о поведении противника, то идея равновесия нарушается, и игра ведется бессистемно.

33. Функция Неймана- Моргенштерна в теории игр. Равновесие Байеса-Нэша

Систематическая же математическая теория игр была детально разработана американскими учёными Дж. Нейманом и О. Моргенштерном (1944) как средство математического подхода к явлениям конкурентной экономики. В ходе своего развития И. т. переросла эти рамки и превратилась в общую математическую теорию конфликтов.

Основным в И. т. является понятие игры, являющееся формализованным представлением о конфликте. Точное описание конфликта в виде игры состоит поэтому в указании того, кто и как участвует в конфликте, каковы возможные исходы конфликта, а также кто и в какой форме заинтересован в этих исходах. Участвующие в конфликте стороны называются коалициями действия; доступные для них действия - их стратегиями; возможные исходы конфликта - ситуациями (обычно каждая ситуация понимается как результат выбора каждой из коалиций действия некоторой своей стратегии); стороны, заинтересованные в исходах конфликта, - коалициями интересов; их интересы описываются предпочтениями тех или иных ситуаций (эти предпочтения часто выражаются численными выигрышами). Конкретизация перечисленных объектов и связей между ними порождает разнообразные частные классы игр.

Определить оптимальную стратегию можно:

• Равновесие Байеса-Нэша: если определено статистическое распределение встречаемого поведения (например, 33 % «око за око», 33 % всегда обманывают и 33 % всегда сотрудничают), то стратегию можно вычислить математически . Этим детально занимается теория эволюционной динамики.

Теория игр – наука, исследующая математическими методами поведение участников в вероятных ситуациях, связанных с принятием решений. Предметом этой теории являются игровые ситуации с заранее установленными правилами. В ходе игры возможны различные совместные действия – коалиции игроков, конфликты…

Часто отмечают, что в действительности олигополия - это игра характеров - игра, в которой так же, как в шахматах или в покере, каждый игрок должен предугадать действия соперника - его блеф, контрдействия, контрблеф - настолько, насколько это возможно. Поэтому экономисты, занимающиеся теорией олигополии, были восхищены появлением в 1944 году объемистой и высоко математезированной книги под названием “Теории игр и экономическое поведение”.

Стратегия игроков определяется целевой функцией, которая показывает выигрыш или проигрыш участника. Формы этих игр многообразны. Наиболее простая разновидность – игра с двумя участниками. Если в игре участвуют не менее трёх игроков, возможно образование коалиций, что усложняет анализ. С точки зрения платёжной суммы игры делятся на две группы – с нулевой и ненулевой суммами. Игры с нулевой суммой называют так же антагонистическими: выигрыш одних в точности равен проигрышу других, а общая сумма выигрыша равна 0. По характеру предварительной договорённости игры делятся на кооперативные и некооперативные.

Наиболее известный пример некооперативной игры с ненулевой суммой – “дилемма заключённого”.

Итак. С поличным поймали 2х воров, которым предъявлено обвинение в ряде краж. Перед каждым из них встаёт дилемма – признаваться ли в старых (недоказанных) кражах или нет. Если признается только 1 из воров, то признавшийся получает минимальный срок заключения – 1 год, а другой максимальный – 10 лет. Если оба вора одновременно сознаются, то оба получать небольшое снисхождение – 6 лет, если же оба не признаются, то понесут наказание, только за последнюю кражу – 3 года. Заключённые сидят в разных камерах и не могут договориться друг с другом. Перед нам игра с некооперативная с ненулевой (отрицательной) суммой. Характерной чертой этой игры является невыгодность для обоих участников руководствоваться своими частными интересами. “дилемма заключённого” наглядно показывает особенности олигополистического ценообразования.

3.1. Равновесие Нэша

(Названное в честь Джона Форбса Нэша) в теории игр - тип решений игры двух и более игроков, в котором ни один участник не может увеличить выигрыш, изменив своё решение в одностороннем порядке, когда другие участники не меняют решения. Такая совокупность стратегий выбранных участниками и их выигрыши называются равновесием Нэша.

Концепция равновесия Нэша (РН) не совсем точно придумана Нэшем, Антуан Августин Курно показал, как найти то, что мы называем равновесием Нэша в игре Курно. Соответственно, некоторые авторы называют его равновесием Нэша-Курно. Однако Нэш первым показал в своей диссертации Некооперативные игры (1950), что равновесия Нэша должны существовать для всех конечных игр с любым числом игроков. До Нэша это было доказано только для игр с 2 участниками с нулевой суммой Джоном фон Нейманом и Оскаром Моргернштерном (1947).

Формальное определение.

Допустим, - игра n лиц в нормальной форме, где - набор чистых стратегий, а - набор выигрышей. Когда каждый игрок выбирает стратегию в профиле стратегий игрок получает выигрыш . метьте, что выигрыш зависит от всего профиля стратегий: не только от стратегии, выбранной самим игроком , но и от чужих стратегий. Профиль стратегий является равновесием по Нэшу, если изменение своей стратегии не выгодно ни одному игроку, то есть для любого :

Игра может иметь равновесие Нэша в чистых стратегиях или в смешанных (то есть при выборе чистой стратегии стохастически с фиксированной частотой). Нэш доказал, что если разрешить смешанные стратегии, тогда в каждой игре n игроков будет хотя бы одно равновесие Нэша.

Равновесие Нэша – это часть теории игр, её автором выступил американский математик Джон Нэш. Эта теория демонстрирует оптимальную игру «в вакууме»: когда ставить олл-ин или коллировать пуш оппонентов. Важно понимать, что пуша/колла по Нэшу в современных покерных реалиях уже не является единственно верной. Она является оптимальной только при условии, если ваши оппоненты знают об этой стратегии и придерживаются её без отклонений.

Оптимально использовать стратегию пуш/фолда по Нэшу можно только против сильных и понимающих игроков. При минимальном отклонении эффективность этой стратегии значительно снижается. Наиболее выгодным вариантом использования равновесия Нэша является подстройка под оппонентов, и коррекция собственной игры на основе диапазонов соперников.

Где использовать равновесие Нэша?

Диапазоны равновесие Нэша подходят для игры в , Sit&Go и турнирах . Применять эту стратегию следуют, когда ваш стек опускается до 15 больших блайндов или ниже, и ваша игра сводится к одним пуш/фолд решениям. Чтобы отточить свое мастерство игры, вам следует использовать специальное программное обеспечение, которое моделирует такие ситуации: и ICMIZER.

Предположим, что ваш оппонент идет олл-ин, а у вас осталось 14 больших блайндов. По равновесию Нэша, вы можете коллировать с широким диапазоном рук, имея 20 BB, включая карманные тройки, QJ, QT и даже K2s.

Но это диапазон «в вакууме», который не учитывает тип турнира, стадию и разницу в выплатах. Эта стратегия является верной, но только при условии, что игра состоит только из двух решений префлоп: пуш или фолд. В современных реалиях сильные игроки способны сыграть глубокую постфлоп раздачу и со стеком в 15 больших блайндов.

Помимо использования равновесия Нэша, вы всегда можете просто подождать хорошей руки и заколлировать противника. Но если вы точно не знаете, что является хорошей рукой относительно размера вашего стека, то ориентируйтесь на таблицы Нэша.

Диапазон пуша Нэшу

Диапазон колла по Нэшу

Зеленый цвет – эффективный стек от 15 до 20 больших блайндов.

Желтый и темно-желтый цвет – эффективный стек от 6 до 14 больших блайндов.

Красный цвет – эффективный стек от 1 до 5 больших блайндов.

Использование в своей игре равновесия Нэша подойдет игрокам, поскольку предоставит первоначальное понимание о диапазонах пуша или колла для стандартных турнирных ситуаций и поможет достаточно быстро начать покером.