Стационарный бандит википедия: Почему процветает Китай, а не Россия

Почему процветает Китай, а не Россия

Мансур Олсон известен в исторической социологии двумя ключевыми тезисами: о стационарном бандите, приходящем на место бандита кочующего для учреждения государства, и о логике коллективных действий, с помощью которых разнообразные группы интересов это самое государство подрывают. Но в его книге «Власть и процветание. Перерастая коммунистические и капиталистические диктатуры» (Новое издательство, 2012, Библиотека Фонда «Либеральная миссия») это не главное.

Бандит в стационаре

«Во времена далекие, теперь почти былинные» (как сказал бы Владимир Высоцкий) существовали всякие дикие народы, кормившиеся за счет набегов на города народов оседлых. Эти кочующие бандиты грабили население до последнего гроша, дома поджигали, мужчин убивали, женщин насиловали, детей уводили в рабство. Так и жили. Кормились с большой территории. Поскольку на малой могло просто не хватить городов для разбоя. И вот в какой-то момент стало ясно, что кочующему бандиту проще превратиться в стационарного. Сесть на трон, жить на одном месте, города сохранять, людей особенно не трогать… Но главное – покоренное население облагать налогом с тем, чтобы оно могло работать и кормить захватчиков постоянно. Проще говоря, оказалось, что забирать себе всё имущество тружеников или даже большую его часть бандиту невыгодно. Выгодно забирать часть разумную: и себе хорошо, и народу – терпимо.

Так возникло государство. Понятно, что эта краткая схема представляет собой чрезвычайно сильное упрощение, но общую логику действий господствующего племени (народа, класса, социальной группы) она передает. В рамках этой логики под воздействием разных конкретно-исторических обстоятельств могло возникать множество вариантов государственного строительства, вплоть до призвания бандитов (варягов) самим населением с целью наведения порядка.

Однако, чем сложнее становилось государственное устройство, тем больше у несчастных стационарных бандитов (князей, царей, королей, президентов, премьеров, генеральных секретарей и фюреров) становилось проблем. Не имея достаточной информации о жизни и доходах вверенного их заботам населения, они недобирали налогов, а при введении государственного регулирования экономики и систем социального страхования сильно переплачивали из бюджета разного рода лоббистским группам. Эти сплоченные коллективы могли, используя разные методы убеждения (вплоть до подкупа чиновников или воздействия на сознание избирателей), выторговывать всякие льготы, а бремя издержек содержания себя любимых перекладывать на госбюджет и честного налогоплательщика. В общем, действовали эти группы почти по-бандитски, не давая высокопоставленному стационарному бандиту цивилизованно управлять своим государством.

В книге «Власть и процветание» Олсон сформулировал два тезиса, объясняющих, при каких условиях стационарный бандит, превратившийся в правовое государство, может минимизировать указанные выше проблемы. Во-первых, он должен защищать индивидуальные права своих граждан (в том числе, право собственности), не наезжая на них и соблюдая требования закона. Во-вторых, он должен пресекать действия всяких прочих хищников, которые хотели бы ради поживы наезжать на слабых, но эффективно работающих и создающих блага обывателей. В том числе он должен пресекать и действия сильных лоббистских групп, грабящих население не напрямую, а через посредство госбюджета.

В принципе, выводы эти для нас сейчас более или менее очевидны. Но Олсон получает из них любопытные практические следствия, далеко не очевидные и весьма актуальные для сегодняшней России. Во-первых, он объясняет, почему у Китая получились такие хорошие реформы во времена Дэн Сяопина, тогда как в СССР при Горбачеве все пошло из рук вон плохо. Во-вторых, он объясняет, какие неприятные последствия получаются в том случае, когда нелиберальное государство слишком много власти и собственности подгребает под себя.

Бандиты против бандита

Обычно приходится слышать, что Китай процветает, мол, потому, что проводил не шокотерапию, а постепенные преобразования, сохранил коммунистическую партию и поддержал старые госпредприятия, а также плановую систему, сочетающуюся с рынком. Большинство таких рассуждений находятся в интервале от спорных и недоказанных до откровенно нелепых. На самом деле интересен вопрос о том, почему при Дэн Сяопине китайское руководство не раскололось, не вступило во внутренний конфликт, не породило сильные консервативные группы и смогло проводить нужные стране реформы, несмотря на ужасающую бедность населения, которому тогда жилось намного хуже, чем нам в «лихие 90-е». Ведь важнейшей проблемой советской перестройки и последующих реформ была неспособность Горбачева и Ельцина удержаться от популизма, развалившего экономику.

В свете теории Олсона объяснение таково. В Китае 1970-х годов не было сильных лоббистских групп, которые могли бы противостоять реформаторскому руководству Дэн Сяопина, поскольку их уничтожил еще Мао Цзэдун в ходе культурной революции. После нее Пекин был так силен, а общество так слабо, что вынуждено было послушно следовать за «генеральной линией партии» и тогда, когда эта линия была коммунистической, и тогда, когда она стала реформаторской.

Отсутствием оппозиционных лоббистских групп Олсон объясняет также экономическое чудо в Германии и Японии после Второй мировой войны. Если в Китае возможных лоббистов уничтожил сам лидер страны, то в Германии и Японии сильные промышленные лоббисты, сотрудничавшие с милитаристскими режимами, стали жертвами военного поражения. При оккупационных властях они носа не смели высунуть, а не то что требовать себе денег, льгот и курса на импортозамещение.

Нетрудно заметить, что в перестроечном СССР и в пореформенной России многочисленные группы интересов – от всяких матерых товаропроизводителей до заматеревших генералов – все время давили на власть, требуя себе благ, участия во власти и выгодных условий приватизации. Отсюда – наши печальные результаты. Впрочем, по окончании «лихих 90-х» власть, как известно, эти результаты обнаружила и стала предпринимать усилия для восстановления вертикали власти: нагнула олигархов, собрала налоги, пресекла сепаратизм, подчинила государству телевидение, и, наконец, резко увеличила роль государственного регулирования и даже государственной собственности в экономике.

Согласно теории Олсона такого рода жесткая борьба с группами интересов обычно оборачивается вовсе не победой, а поражением государства. Сосредотачивая в своих руках то, что надо и не надо, оно теряет возможность контроля над ситуацией. У предприятий и конкретных людей оказывается все меньше стимулов для того, чтобы хорошо работать. Приходится их заставлять быть честными, направлять для надзора за ними все больше чиновников. Но чиновники эти, как их не корми, все в лес смотрят. Образуют с контролируемым бизнесом новые группы интересов. Возникает коррупция. Для пресечения коррупции государство пользуется услугами еще более высокопоставленных чиновников и силовиков. Но и они, в конечном счете, оказываются коррумпированы. Если рассуждать в терминах Олсона, то можно сказать, что люди добровольно объединяются во все новые банды, чтобы противостоять стационарному бандиту для защиты своих интересов.

Таким образом, мы имеем две разных модели. Китай хоть и не пресек коррупцию, но дал свободу бизнесу в условиях, когда лоббистские группы были слабы и не могли заставить власть перераспределять в свою пользу ресурсы. Отсюда – высокие темпы роста ВВП и даже процветание при авторитарной власти. Россия же в 1990-е годы дала свободу бизнесу, но пресечь лоббизм не смогла, что ослабило государство и сделало его популистским. А когда новая власть ограничила свободу бизнеса и усилила государство, группы интересов стали использовать его в своих корыстных целях. В результате экономика остановилась, а группы интересов продолжили богатеть, несмотря на грозный окрик со стороны Кремля.

Зомия против Левиафана | Курсы InLiberty

15 дек | сб

10:30–11:10 Интро

ЗАЧЕМ НУЖНО ГОСУДАРСТВО?

Илья Венявкин

И почему мы должны об этом думать?

11:15–12:30 Лекция

СТАЦИОНАРНЫЙ БАНДИТ

ГОСУДАРСТВО КАК КОНСТРУКТ

Элла Панеях

Что современная социальная теория знает о происхождении государства? Как общество прошло путь от племенной жизни до «государства всеобщего благосостояния», а «кочующий бандит» превратился в «оседлого»?

12:45–14:30 Игра

ИНСТИТУТЫ МОДЕРНА

ДИЗАЙН СРЕДЫ

Михаил Комин, Илья Венявкин

Все без исключения государственные институты появились на свет благодаря каким-то конкретным историческим обстоятельствам. Обстоятельства изменились, а что с институтами?

14:30–15:15 Перерыв на обед

15:15–17:15 Игра

ИНСТИТУТЫ МОДЕРНА

ДИЗАЙН СРЕДЫ

Михаил Комин, Илья Венявкин

Продолжение игры

17:30–18:30 Лекция

САМОРАЗВИТИЕ, РАЗНООБРАЗИЕ
И ДРУГИЕ ЦЕННОСТИ

КАК ОБЩЕСТВО СТАЛО
ПРОГРЕССИВНЕЕ ГОСУДАРСТВА?

Элла Панеях

Индустриальному обществу государство обеспечивало стабильность, безопасность
и стандартизацию. Но современным людям
и современной экономике нужно нечто большее. Что прогрессивнее — люди или институты?

18:45–19:30 Итоги дня

КАК ОТЛИЧИТЬ МОДЕРН
ОТ ПОСТМОДЕРНА?

ЛАЙФХАКИ

Элла Панеях

Чем традиционное общество отличается от сегодняшнего, и как использовать знания об этом в собственной повседневной жизни?

Как все-таки произошли государства? Это важный вопрос, чтобы понять: нужны ли они людям?: alex_rozoff — LiveJournal

Академическое изложение теорий происхождения государства цитируется в Википедии
https://ru. wikipedia.org/wiki/Теории_происхождения_государства_и_права
Предельно укороченное изложение есть на сайте Анкап-тян
https://ancapchan.info/2019/08/20/2416/
Тут я буду придерживаться изложения Анкап-тян, убрав религиозно-мистические теории (как заведомо вздорные) и добавив те светские теории, которые у Анкап-тян выброшены из реестра ради компактности итогового текста.
Базу, плюсы и минусы каждой теории я буду указывать кратко — поскольку по ссылкам есть детальные изложения. По ходу дела, я попробую обосновать, почему (не)нужность государства, или его (не)заменимость — следуют из выбранной теории его происхождения.

Ну, поехали.

1. Теория общественного договора. В естественном состоянии имеет место война всех против всех, и для прекращения этой войны учреждается некое правление, которое упорядочивает насилие. Даже авторы теории не заявляли, что люди собрались и договорились учредить государство. Они заявляли лишь, что люди ведут себя в отношении государства так, будто договорились о его учреждении.
ПЛЮСЫ: это позволяет людям повысить свою самооценку — путем веры в то, что они участники договора, а не объекты, из которых госбюрократия добывает ресурсы.
МИНУСЫ: эта теория неадекватна во всем, начиная от ложного постулата «войны всех против всех» (такая война возникает именно при государстве, а не без него), и заканчивая подменой понятия договора (поскольку никакого договора не заключалось, и с этим согласны даже авторы теории).

2. Теория стационарного бандита. Государство возникло из противостояния между оседлыми аграриями и кочевниками, которые практиковали грабительские набеги. В определенный момент кочевникам приходила в голову мысль перейти от охоты (бандитизма) к скотоводству (превратив аграриев — в подконтрольное стадо). Кочевники сделали свою власть постоянной, заменили грабеж — данью (налогом) и методом проб и ошибок установили законы, максимизирующие дань и минимизирующие возможности аграриев к мятежу.
ПЛЮСЫ: эта теория очень хорошо согласуется с практикой государств на протяжении практически всей истории, кроме коротких периодов ослабления государств и усиления гражданского общества.
МИНУСЫ: стартовая схема аграрии-кочевники не всегда согласуется с исторически-признанными обстоятельствами формирования государств. Довольно часто правящий клан возникал не из этноса завоевателей, а из самого аграрного этноса.

3. Марксисткая теория. Государство возникло, когда в ходе первичного имущественного расслояния, появились достаточно богатые семьи, которым требовались рабы, чтобы обслуживать разросшееся владение (возник клас рабовладельцев). В начале рабами становились пленные, но затем стало практиковаться обращение соплеменников в такое же рабство. Соответственно, принимались законы, чтобы минимизировать возможность рабов к мятежу.
ПЛЮСЫ: Как и теория стационарного бандита, эта теория объясняет практику государств, и при этом охватывает возможность зарождения стационарного бандита внутри собственнного этноса.
МИНУСЫ: Марксизм (в отличие от теории стационарного бандита) не объясняет происхождения дани со свободных аграриев.

4. Ирригационная теория. Государство возникло в связи с необходимостью строительства крупных ирригационных сооружений для нужд земледелия.
ПЛЮСЫ: Эта теория находит для государства хотя бы одну полезную функцию в материалной сфере — и такая функция практически действительно наблюдается.
МИНУСЫ: Эта теория не объясняет возникновение государств там, где подобные сооружения не требовались. Кроме того, как показывает археология, для строительсвта круных сооружений вовсе не требуется государство (есть следы крупных сооружений, построенных в до-государственную эру)

5. Психологическая теория. Государства возникли в связи с потребностью индивида жить в коллективе, и искать авторитет, указаниями которого можно было бы руководствоваться в повседневной жизни, а также желанием давать указания менее инициативным сородичам.
ПЛЮСЫ: эта теория старается связать феномены политической власти с психологией людей.
МИНУСЫ: эта теория могла бы объяснить лишь происхождения мини-социумов численностью менее числа Данбара (около 200 индивидов), однако для таких социумов характернеы вождества, а не государства. Кроме того, сомнителен тезис о желаниях подчиняться и подчинять, как о неких «природных» паттернах психики.

Похоже, что билиже всего к реальности лежит сумма теорий 2 и 3. Отсюда, вообще говоря, следует, что государство в общем случае бесполезно для людей, и является неким феноменом паразитирования на людях, реализующих оседлые технологии производства, при которых становится возможным производить некоторый биологический избыток благ (прежде всего — продуктов питания).
Никаких функций, для которых государство было бы необходимо — в обществе нет.

Такие дела.

P.S. При дискуссии приветсвуется добавление теорий государствогенеза.

Версия генезиса гастролирующего бандита

Обновлено 07.07.2021. НЕОКОНОМИКА или новая российская экономическая теория использует те же слова, включая и слово гастролирующий бандит, которые используют марксизм и ЭКОНОМИКС, как в англосаксонских странах называется неоклассическая экономическая теория. При этом любое определение гастролирующего бандита является маленькой гипотезой, доказательством которой является эмпирическая практика многих людей. В разных теориях термин гастролирующий бандит поднимает свой ряд ассоциаций, который я пытаюсь зафиксировать путем перепечатки текста гастролирующий бандит в словаре с сайта ВикипедиЯ, как отражающего самое распространенное в мире значение слова гастролирующий бандит. Сохраняю ортодоксальное описание гастролирующего бандита не только потому, что НЕОКОНОМИКА строится как научно-исследовательская программа, сколько потому, что понятие гастролирующего бандита, оставаясь допущением, благодаря уже своему употреблению попадает в твердое ядро фактически в качестве аксиомы. В ортодоксии феномен гастролирующего бандита использовался для обоснования теории предельной полезности, то НЕОКОНОМИКА (как называется новая экономическая теория) считает теорию принятия решений исключительно психологической, что и заставляет меня произвести критику текста гастролирующий бандит в википедии.

25.07.2017. Сегодня при просмотре статьи — ПОНЯТИЕ СТАЦИОНАРНЫЙ БАНДИТ — в глоссарии неокономики я углядел слабость аргументов Андрея Акопянца в части объяснения генезиса — т.е. ПОЯВЛЕНИЯ на свет — гастролирующих бандитов, из которых могут состояться бандиты стационарные. Удивляться нечему, так как определение взято без всякой критики у Мансура Олсона — автора концепции государства как стационарного бандита, который сам не дал объяснения причин появления гастролирующих бандитов. Однако без объяснения генеза гастролирующего бандита концепция не только не полна, так — не возникает никакой преемственности с предыдущей исторической эпохой. К сожалению такое фрагментарное представление об истории имеет не только Акопянц.

1.2. И Андрей Акопянц и Мансур Олсон принимают гастролирующих бандитов как данность — мол, в первобытнообщинном строе имманентно существуют некие группы грабителей, которые существует просто потому, что можно кого-то ограбить. (Олег Григорьев сам несколько раз возвращался к вопросу о природе гастролирующего бандита, предполагая под ним разного рода кочевников. Косвенными аргументами Григорьев считал — 1) наличе транспорта и 2) практику управления стадом животных в том смысле, что покоренный народ можно стричь налогами, при этом не убивая.) Идея ясная, так как каждый читатель, знакомый с марксистской сквозной историей и так представляет древность, как кишащую разными разбойниками. Только одна беда — вся эта «ясность» на бытовом уровне — кладется в фундамент неокономической исторической науки. Я же считаю, что такое определение гастролирующего бандита, построенное по принципу теоретической догматики — не может относиться к неокономике, тем более — быть помещенным в глоссарий этой науки, исповедующей принцип историзма.

2.4. Другое дело, что иерархия из представителей вождя (аристократия) в стоянках очень напоминает элитную иерархию в государстве, но вождь в вождестве никак не бандит. НО эта видимая «похожесть» была взята на Западе как основа для теории об вождестве, выдвигаемом на роль альтернативы государству. Пополнение множества ортодоксальных версий происхождения государства еще одной — о вождестве как альтернативе — лишь больше запутало представление о возникновении государства в западной науке. (Если же вернуться к марксистской теории происхождения государства у Маркса и Энгельса — то она не отличается от договорной теории. Хуже того, принятие «на веру» Марксом и Энгельсом этнографической версии развития первобытных племен, придуманной Морганом, заставило их самих выдумывать теорию о разложении родовой общины, что предопределило не только последующий крах теории классовой борьбы Маркса, но послужило препятствием для развития социальной и экономической антропологии, и не только в СССР.)

2.5. Упор ЛИШЬ на моменты смены формаций, которые по Марксу происходили в результате революций, не позволял даже предположить какое-либо развитие племен в период первобытнообщинного строя. Считалось, что формация — это неизменяемая крайне статичная ступень, когда в обществе ничего не меняется, а лишь подспудно происходит нарастание неких противоречий. Между этими моментами революционных переходов на новую ступень — ничего не происходить не может — как 2 миллиона лет назад племена появились, так они и должны сохраняться неизменными до момента трансформации в государство. Таким образом, авторитет Маркса задавил направление изучения эволюции племени в первобытном периоде, так как даже предположение о существовании следующей единицы человечества, которой были ТЕРРИТОРИАЛЬНЫЕ ВОЕННО-ПОЛИТИЧЕСКИЕ СОЮЗЫ ПЛЕМЕН — считалось бы крамолой.

[/quote]

3.1. Как ни странно — именно признание нами существования эпохи ВОЕННО-ПОЛИТИЧЕСКИХ СОЮЗОВ (скорей всего в течение всего неолита — т.е. на протяжении всей хоть как-то зафиксированной истории человечества) — поможет нам понять причины появления гастролирующих бандитов.

3.2. Вернемся к тексту статьи Акопянца и прочитаем его объяснение с точки зрения пресловутой теории «общественного договора»:

4.1. Первый момент — не понятно время действия всей этой теории об общественном договоре, которое Акопянц отнес к какому-то периоду существования анархического общества, что является абсурдом, но заимствованным от Мансура Олсона: «В обществе, которое не подчинено никаким законам – анархическом…»

4.2. Как-то трудно представить себе анархию сред людей, которые на заре человечества боролись за выживание, да и ВСЁ общество составляли довольно изолированные друг от друга малочисленный социальные группы, которые называются ПЛЕМЕНА. Так как экономика каждого племени представляла собой воспроизводственный контур, не имевший никакой надобности, а главное -возможности для контактирования с другими, то нельзя говорить о договоре на этапе, когда единицей человечества были племена. Каждое племя жило ресурсами, которые давал территориальный природный комплекс, никакой торговли и быть не могло, так как рядом живущие племена могли сами производить все то, что производили соседи, а какой-либо обмен на длинные расстояния — т.е. через территорию других племен был невозможен.

5.1. Второй момент: Какие-то бухгалтерские подсчеты о выгодности «установления добровольных соглашений» (я уже отметил — не понятно, кого с кем, ведь все живут племенами) — это натягивание на историю собственных предположений: «… в таких условиях издержки по установлению добровольных соглашений выше, чем выгоды, которые может получить отдельный человек…»

5.2. Акопянц тут противоречит сам себе — ведь все общества — есть лишь изолированные группы по 100-200 человек в племенах, а у него как бы параллельно существует некое ОБЩЕСТВО с бухгалтерами. Даже если согласиться, что рядом — пусть в другом измерении существует (Бог знает, откуда взявшиеся) некие нестационарные (roving) и стационарные (stationary) бандиты, то откуда членам племени знать — что договор выгоднее, ведь перепробовать уже не удастся. К тому же — что это такое? — «отдельный человек» в период первобытного общества? когда единицей человечества было племя. Как эта категория могла попасть в общество много-десяти-тысячелетней давности?

6.1. Третий момент: Это пассаж — вообще фантастика: «Такие общества начинают регулироваться через установление над ними контроля со стороны нестационарных (roving) и стационарных (stationary) бандитов».

6.2. Маркс с Энгельсом хоть придумали разложение первобытного общества, а тут — просто прилетели с Марса некие «бандиты» и «ходют кругом с договорами» — хотя их сущность совершенно не понятна.

Генезис гастролирующего бандита

7.1. Собственно, дальнейший текст и есть мое обоснование исторической закономерности появления в структуре племен гастролирующих бандитов в виде специальной группы из мужчин, которых обучали военному делу. Просто племенам для выживания и развития на этапе, когда начал действовать фактор ограниченности земли — понадобилась армия.

7.2. Для понимания моей теории догосударственного общества следует представлять состояние племен десятки тысяч лет назад, когда в некоторых регионах Земли все свободные земли были заняты размножившимися племенами. Ведь каждое племя жило лишь ресурсами, которое могло собрать на территории природного комплекса, которым владело. Когда в результате размножения — численность вырастало настолько, что у членов племени уменьшался объем потребления — наступала пора почкования. Внутри племени выделялась группа с новым вождем, которая должна была уйти на некое расстояние от комплекса материнского племени и освоить некую территорию, которая становилась природным комплексом отпочковавшегося племени.

7.3. Будь территория суши Земли очень большой — люди и сегодня бы жили в составе племен, но так как суша — ограниченный ресурс, то по мере роста численности людей в некоторых регионах наступила нехватка земли, прекратившая практику почкования. Это был настоящий демографический кризис перенаселенности, когда членам племени некуда было уйти, хотя норма потребления падала.

8.1. На первом этапе начинаются ВОЙНЫ МЕЖДУ ПЛЕМЕНАМИ с целью захвата земли, куда могут отпочковаться часть членов материнского племени. Причем, войны между племенами имеют крайне жестокий характер, так как нужна лишь земля для избыточного населения своего племени, поэтому члены чужого, если не убегут — будут убиты. Племя, проигравшее в войне за природный комплекс, обречено на смерть, если (1) не отнимет природный комплекс у другого племени или (2) не уйдет за пределы «тесного» региона туда, где могут быть свободные земли, которые способны прокормить единицу человечества.

8.2. Ярким примером может служить исход готов с голодного и сурового Скандинавского полуострова. Конечно, здесь мы имеем дело с целым ВОЕННО-ПОЛИТИЧЕСКИМ СОЮЗОМ, но скорей всего, процесс с одним племенем был бы аналогичным.

8.3. В результате сами готы прошли всю Европы и несколько раз длились, так они согнали с родных земель «племя» вандалов (СОЮЗ), которым в поисках свободной земли вообще пришлось перейти из Европы в Северную Африку.

8.4. Следующий этап начинается с формирования оборонительных СОЮЗОВ ПЛЕМЕН, так как при отсутствии каких-либо границ — ни одно племя, даже в центре региона — не защищено от попытки захвата у него природного комплекса любым другим, пришедшим хоть с другого конца. Выходом становится появление СОЮЗОВ из соседних племен, которые могли существовать лишь при военной демократии между племенами, как залог того, что члены одного племени будут защищать территорию чужого как свою.

8.5. Тут надо заметить — особливо для националистов — этнические чувства порождает всего лишь участие в войне племен на одной из сторон, основным фактором чему служит лишь соседство природных комплексов. Именно поэтому некоторые народности совмещают признаки разных рас — так как не родство, а лишь соседство в древности было основой для образования нации.

8.6. Третий этап начинается после формирования крепких оборонительных СОЮЗОВ, что прекращает войны между отдельными племенами за землю. Ведь нет смысла завоевывать с кровью чужой комплекс, если его нельзя удержать под напором племен из СОЮЗА. Однако если нельзя захватить землю, которая служит источником ресурсов, то никто не запрещает захватить уже готовые продукты труда у чужого племени.

8.7. Демографический кризис заставляет все усилия племени направить на добычу и производство еды для растущего в численности населения стоянки племени. Можно смело предположить, что производство предметов (которое у людей как правило — лишь роскошь) сужается до ассортимента жизненно-необходимых. При этом ликвидировать нехватку продуктов можно за счет грабежа чужих племен, для чего в племенах появляются группы самых сильных и ловких мужчин, которые начинают специализироваться в военном деле. Племя идет на жертвы. отстраняя их от обычных дел, кормит и обучает владению оружием в надежде, что они когда-нибудь принесут в племя богатую добычу из грабительского похода. Масштаб экономической системы племени не давал возможности производить достаточное количество разнообразных материальных продуктов, поэтому эти гастролирующие бандиты были экономическими агентами по доставке в племя предметов, которые оно само не в силах было произвести.

8.8. Появление ВОЕННО-ПОЛИТИЧЕСКИХ СОЮЗОВ позволяло собирать достаточно большие отряды даже для военных походов на богатые поселения не только других СОЮЗОВ, но и уже существующих государств, материальная культура которых была намного богаче. Мы знаем про бесчисленное количество нападений пограничных племен на римские поселения, а в истории Руси — совместные походы балтийских норманнов (варягов) и славян на города Черного моря и на Византию — считались почетным занятием.

Появление стационарных бандитов

9.1. Становление гастролирующего бандита бандитом стационарным — было предательством по отношению к родному племени, которое выкормило и обучило членов этого гастролирующего бандита в надежде на добычу. Я думаю, для решения — остаться среди покоренного населения — большое значение имело соотношение богатства с материнским племенем. Видимо, до членов гастролирующего бандита доходила выгодность проживания среди населения, которое имело более высокий уровень жизни, чем в материнском племени, откуда пришел это бандит. Одно дело — притащить домой на плечах мешок украденной утвари, а другое дело — поселиться среди людей, ассортимент предметов которых намного богаче, чем дома.

9.2. Собственно, для нас важен один момент — ИМЕННО ЗАХВАТ создает противопоставление новой ЭЛИТЫ и покоренного народа. Если в ходе войны между племенами — целью было собственное хозяйствование на чужой земле, то решение гастролирующего бандита остаться жить среди покоренного населения имело целью — получать часть продукта, производимого этим населением на регулярной основе в виде налогов. Это объясняет тот факт, что большинство государств основано кочевыми народами, которые имеют практику управления стадами, с которых они регулярно получают вторичные продукты. Экономическая схема государства у кочевника уже есть в голове, не говоря уже о большей мобильности и вооруженности кочевых гастролирующих бандитов. Да и у кочевников больше стимулов для набегов, так как кочевой образ жизни не позволяет производить им продукты, для которых требуется глубокое разделение труда.

9.3. Поэтому образование государств в Азии началось на заре человечества и проходило с образованием сразу территориальных империй, тогда как в тесной лесистой Европе процессы образования государств начинались позже и с образования небольших городов-государств, которые уже потом, захватывая и присоединяя соседей, разворачивались в полноценные государства. Тут показательна история Древней Греции, когда гористый ландшафт не позволил ахейцам создать империю. Так как долины были разделы горами, то в каждой долине появилось собственное государство, которое входило в конгломерацию под названием ДРЕВНЯЯ ГРЕЦИЯ — как отдельное племя в ВОЕННО-ПОЛИТИЧЕСКОМ СОЮЗЕ.

9.4. Как происходило превращение гастролирующего бандита в стационарного исследовано крайне мало — по той причине, что тысячи лет господствовали иные концепции, по понятным причинам старающиеся скрыть бандитскую суть государства. Однако даже сегодня, если взглянуть на структуру любого государства — сразу видна армейская иерархия, которая сохранилась с момента возникновения этого государства. Когда-то давным-давно бандиты, пришедшие армий и завоевавшие некое население объявили себя властителями всего, а народ рабами — тем ничем, которые остались в живых, лишь потому, что согласились платить регулярные налоги новой элите. В следующем поколении взаимное положение элиты и народа было воспроизведено и так воспроизводится до настоящего времени, практически не меняясь.

9.6. Государство нельзя сделать белым и пушистым — его суть есть сохранение и воспроизводство привилегированного положения элиты над народом. Поэтому в государстве — ДВА класса, один из которых — ЭЛИТА, которая и есть носитель государства, а народ — лишь источник материального благосостояния. Здесь проявляется другая сторона государства — как института, создаваемого враждебными неродственными к коренному населению людьми, пришедшими в составе гастролирующего бандита. Именно на сокрытие этого непривлекательного факта было направлено множество мифов о сценариях возникновения государства.

10.1. Если принять мою теорию, то генезис гастролирующего бандита становится ясным. Гастролирующий бандит появляется как необходимый экономический агент в структуре племен в период окончания эпохи войн между племенами. Просто появление ВОЕННО-ПОЛИТИЧЕСКИХ СОЮЗОВ делало почти невозможным захват чужого природного комплекса. Тогда племена, испытывающие дефицит продуктов, формируют отряды снабженцев, задача которых — приносить в племя продукты, которые само племя не в силах произвести. Из племенных отрядов СОЮЗЫ ПЛЕМЕН формируют настоящие армии, которые способны захватить большие территории и укрепленные поселения. Но тут естественное желание повысить собственное потребление, толкает членов этих армий к желанию остаться среди покоренного ими народа, где они могут стать новой элитой, получающей соответствующие привилегии и материальный достаток.

10.2. Вывод: Само по себе появление гастролирующих бандитов как экономических агентов в структуре племен не имело отношения к появлению государств, но случайно выяснилось, что захватчики, движимые естественным желанием жить лучше, могут остаться среди покоренного им населения в качестве элиты, противостоящей этому населению, так как обладают для этого силой. Далее класс захватчиков устанавливает монополию на применение силы и стремится отстаивать захваченный народ как свою собственность от других гастролирующих бандитов. Со временем элита перенимает язык и обычаи покоренного народа, вбирая в себя часть народа для формирования иерархии чиновников, которая ныне считается синонимом государства.

10.3. Надеюсь, читателям понятны мои предположения, хотя сегодня теория догосударственного общества еще не обладает стройностью.

Bandit | Rainbow Six Вики

Bandit

Имя

Доминик Брунсмайер

Подразделение

Страна

Германия

Дата рождения

13 августа 1974 года

Место рождения

Берлин, Германия

Открытие

1,000

Доминик «Bandit» Брунсмайер (нем. Dominic Brunsmeier) — один из оперативников защиты, представленных в Tom Clancy’s Rainbow Six: Siege. Его особый гаджет — «УПТ-1» проводит ток через металлические объекты.

Личное дело[]

Биография[]

«В выживании главное — уловить момент. Природа не дает второго шанса».

Брунсмайер и его брат-близнец родились в семье, проживавшей в рабочем районе недалеко от Берлинской стены. Отец служил в полиции и подталкивал ребят пойти по его стопам. Работая в Федеральной полиции, Брунсмайер отлично проявлял себя в кризисных ситуациях. Он перешел в авиагруппу, где получил лицензию пилота вертолета, но благодаря способности к приспособлению и опыту пограничной работы вскоре оказался вовлечен в операции под прикрытием. В итоге Брунсмайер был внедрен в террористическую организацию «Фракция Красной армии» (RAF), а позднее — в ганноверскую банду «Ангелы ада». В обоих случаях именно его действия привели к аресту преступных лидеров и получению важнейших данных. Работая под прикрытием, Брунсмайер смог глубже изучить тактики партизан и устройство различных СВУ. Он разработал прототипы электрифицированной преграды и стационарного щита. Брунсмайер свободно говорит на немецком, английском, польском и турецком.^[1]

Психологический портрет[]

Неудивительно, что оперативник, годами работавший под прикрытием в банде байкеров и группе террористов, обладает недюжинным интеллектом и способностью адаптироваться. Перечитывая досье Доминика Брунсмайера (Bandit), я каждый раз удивляюсь, насколько он полезен в своей работе. Очевидно, что выживать ему помогала находчивость. Поразительно, что он сумел сохранить свое чувство юмора. Мне кажется, именно оно позволило ему пережить все трудности. При этом он может быть невероятно холоден. Когда я смотрю в глаза Брунсмайера, то сразу чувствую себя обычным гражданским.[…]

Доминик с теплотой говорит о брате. Ему нравится возиться с племянниками: по его словам, лишь они позволяют дурачиться столько, сколько душа пожелает. Он рассказал о своем детстве в тени Берлинской стены: о том. как порой тишину разрывал звук сработавшей мины; о том, как они с братом- близнецом разыгрывали постовых.[…]

Я не хотел напрямую расспрашивать о работе под прикрытием. В итоге Брунсмайер лишь недавно решил поделиться кое-какой информацией. Он описал, насколько сложно сохранять свое «я», когда нужно выдавать себя за другого. Вопрос «Кто ты?» преследовал его во сне, а ответ на него был сродни смертному приговору. В принципе, даже задавать этот вопрос было опасно, поэтому Доминик гнал от себя подобные мысли. Мы обсудили действия, предпринятые для того, чтобы его личность не раскрыли — особенно невероятные слухи, которые о нем ходили. Улыбнувшись, Брунсмайер сказал, что они правдивы лишь отчасти. Я не собираюсь подрывать его доверие — только хочу узнать, какое влияние прошлое может оказать и на него самого, и на команду Rainbow.[…] Сейчас единственное решение — слаженно работать друг с другом.[…]

Крайне важно, чтобы Брунсмайер не закрылся в себе. Надеюсь, совместная подготовка с такими оперативниками, как Майлз Кэмпбел (Castle), Эммануэль Пишон (Twitch) и Элиас Кец (Blitz), поможет. Их влияние позволит Доминику усмирить своих демонов.

— Доктор Харишва Панди, «Гарри», глава команды ^[2]

Подготовка[]

• ФПОГ (ныне — Федеральная полиция)
• Фракция Красной Армии (Вайтерштадт)
• GSG9
• GSG9: агент под прикрытием в банде «Ангелы ада» (Ганновер)^[3]

Профильный опыт[]

• На втором году службы в ФПОГ был приписан к оперативной группе, задачей которой было устранение угроз, связанных с действиями Фракции Красной Армии
• В 2006 году был завербован GSG9: на четыре года в качестве агента под прикрытием внедрён в ганноверскую банду «Ангелы ада»^[4]

Примечание[]

Доминик Брунсмайер удивился тому, что УПТ-1 решили подвергнуть экспертизе, ведь, по его словам, это довольно простое и понятное устройство. Bandit — технарь, и потому в лаборатории чувствует себя не в своей тарелке. (Примечание: нужно закупить больше халатов размера L. Свой я ему больше не дам. Не знаю, чем он его запачкал, но лучше бы этот халат сжечь.)

Нам удалось получить приличное количество данных. Забавно было экспериментировать с максимизацией функционала: у Bandit есть свои методы и хитрости на этот счет. Что касается будущих модификаций, то я бы рекомендовал поколдовать над батареей. Bandit придерживается правила «Если работает — не трогай», а значит, его придется уговаривать. Так что пока ставлю пометку «В процессе».

— Pulse

Особый гаджет[]

УПТ-1 — четыре генератора переменного тока, благодаря которым можно подвести электричество к любому металлическому элементу фортификации (колючая проволока, укрепленная стена, устанавливаемый щит). Уничтожает значительное число гаджетов, находящихся на наэлектризованных поверхностях, и не позволяет поставить другие, пока генератор активен.

Любой противник, который будет пытаться установить гаджет или даже просто приблизится к такой стене/проволоке, будет получать урон. Если дрон будет проезжать через колючую проволоку, в которую установлен генератор, или рядом со стеной или щитом, к которому подведено электричество, то он будет немедленно уничтожен.

Взаимодействие УПТ-1 с гаджетами других оперативников[]

УПТ-1 уничтожает:[]

УПТ-1 не влияет на:[]

Снаряжение[]

Список изменений[]

Примечания[]

1. ↑ Внутриигровое личное дело: раздел «Биография»
2. ↑ Внутриигровое личное дело: раздел «Психологический портрет»
3. ↑ Внутриигровое личное дело: раздел «Подготовка»
4. ↑ Внутриигровое личное дело: раздел «Профильный опыт»

Alibi | Оперативники | Tom Clancy’s Rainbow Six Осада

БИОГРАФИЯ

«Никогда не раскрывайте свои карты».

Ария де Лука, получившая позывной «Alibi», родилась в Триполи и в возрасте трех лет иммигрировала из Ливии вместе с родителями. Отец занимался производством боеприпасов и, используя свои связи, экспортировал их в Северную Африку. Де Лука научилась пользоваться оружием во время тренировок на стрельбище. Направление семейного бизнеса тоже оказало свое влияние. В 18 лет Ария приняла участие в соревнованиях под эгидой Европейской конфедерации практической стрельбы и выиграла золото в дисциплинах «Стрельба по движущейся мишени» и «Стрельба из пневматического пистолета». После турнира вербовщик из корпуса карабинеров предложил девушке пойти на службу в полицию.
Навыки и профессионализм позволили де Лука быстро продвинуться по карьерной лестнице: одно время она даже боролась с организованной преступностью в рядах Специальной оперативной группы. В итоге Арию приняли в Специальную группу вмешательства (G.I.S.), а после удачной операции в Афганистане, которую ей пришлось завершать в одиночку, избрали для ведения работы под прикрытием. В качестве торговца оружием она внедрилась в преступную группировку Винчигерра и в течение нескольких лет пыталась нейтрализовать ее деятельность изнутри. Данные об операциях против «семьи» Винчигерра попали в газеты, и G.I.S. пришлось форсировать события.
По завершении работы под прикрытием Ария де Лука получила приглашение в команду Rainbow.

ПСИХОЛОГИЧЕСКИЙ ПОРТРЕТ

Оперативник Ария де Лука (Alibi) отлично скрывает свою личность: возможно, это последствия работы под прикрытием, но вероятнее — защитный механизм, сформированный еще в детстве. […] Она испытывает сильнейшую ненависть к преступным синдикатам (очевидный факт — это единственная тема, которая заставляет ее нервничать), в связи с чем может действовать нерационально в рамках операций против организованной преступности. […] Благодаря информатору из администрации корпуса карабинеров удалось получить доступ к психологическому портрету де Лука, составленному при ее вступлении в G.I.S. Сравнительный анализ полицейских рапортов и данных медкарт членов ее семьи позволяет предположить, что отец девушки был жертвой рэкета… вряд ли он настолько неуклюж, что постоянно травмировал пальцы, падал с лестницы и дважды ломал руку. Сама оперативник никогда не получала травм, а ее физическое и моральное состояние находится на высшем уровне. Психологическое состояние вызывает вопросы: возможно, именно конфликты отца с организованной преступностью послужили причиной вступления де Лука в ряды полиции. […]

Выбор «Alibi» в качестве позывного тоже любопытен, учитывая обстоятельства, при которых пришлось завершать операцию по нейтрализации «семьи» Винчигерра. На бумаге де Лука — верная защитница своей страны, награжденная золотой медалью «За гражданскую доблесть». Однако есть люди, считающие именно ее источником утечки, которая чуть не привела к краху операции G.I.S. […] Выступая в роли торговца оружием, она быстро снискала доверие членов «семьи» Винчигерра и в определенный момент получила доступ к базе возле Генуи, которую преступники использовали для совершения сделок, связанных с торговлей людьми. Де Лука — натурализованная иммигрантка: увидев беженцев, которых планировали продать в рабство или заставить заниматься проституцией, она вполне могла «дать слабину» и начать действовать вопреки приказам. […] Доподлинно известно, что оперативник пыталась уговорить начальство устроить рейд базы в Генуе, но ей отказали по причине «недостаточного количества собранных данных». Журналист, написавший разоблачительную статью, получил информацию от осведомителя через несколько дней после того, как де Лука встречалась со своими «боссами».[…]

Официально заявляю: если де Лука организовала утечку данных, чтобы подтолкнуть G.I.S. к действию и спасти беженцев, то она заслуживает похвалы. Это означает, что существуют моральные принципы, которыми оперативник никогда не поступится. Есть подозрения, что продвижению кандидатуры де Лука способствовал генерал Барстон, который, очевидно, не является сторонником программы Rainbow. Какие бы цели он ни преследовал, нет оснований утверждать, что сама оперативник в курсе замысла генерала. Следует выяснить, какую роль Барстон отвел ей в своих планах, если таковые имеются. […]

Для адаптации де Лука в команде стоит включить в отряд Адриано Мартелло (Maestro): нам будут полезны и его навыки, и его способность располагать людей к себе. Оперативники работали вместе во время операций, связанных с группировкой Винчигерра: де Лука поставляла разведданные для отряда Мартелло. Полагаю, их отношения могут оказаться намного ближе, чем кажется с первого взгляда. Являются ли они близкими друзьями? Родственниками? Есть ли связь иного рода? Время покажет. Пока оперативник де Лука без проблем вписывается в отряд, выдерживая все испытания, которые любят устраивать новичкам оперативники СП S.A.S. и SEALS […]. Считаю, что Ария де Лука станет полезным активом команды Rainbow, а ее навыки позволят проверить способность других участников программы адаптироваться к нестандартным условиям боя.

— Доктор Харишва Панди

Смелые фантазии, или Подлинная история Леньки Козыря

Ростов-на-Дону, 5 июля 2019. DON24.RU.  Весной этого года на телеэкраны вышел сериал «Ростов». События сюжета, как видно из названия, происходят в нашем городе. 1920 год, главный герой фильма Ленька Козырев – бывший преступник, а потом командир эскадрона 1-й Конной армии – назначается, почему-то под угрозой расстрела, первым начальником ростовского уголовного розыска. Затем он лихо ловит налетчиков и маньяков, а ему мешают чекисты, традиционно для современного кино изображенные даже более аморальными, чем ловимая Козырем нечисть.

Последнее время, казалось бы, обыденная для сериалов тема, если бы не одно но: авторами фильм анонсировался, как основанный на реальных исторических событиях, а сценарист Сергей Кисин в многочисленных интервью даже называет имя прототипа – Станислав Невойт, чья биография легла в основу сериала. Правда, сценарист сделал оговорку, что архивных материалов по Невойту почти не сохранилось, чем обеспечил себе простор для самых смелых фантазий.

Так кто же он был на самом деле? Его реальная жизнь оказалась не менее, а может и более увлекательна, чем сериальная версия.

Станислав Войцехович Невойт появился на небосклоне ростовского уголовного сыска в январе 1920 года после того, как в город победоносно ворвалась конница Буденного и местный ревком озаботился наведением порядка в Ростове и Нахичевани, которые накрыла волна уголовной преступности.

Сразу надо внести ясность: Невойт никогда не был не то что первым, но и вообще начальником ростовского угрозыска. Первым начальником уголовно-разыскного подотдела юридического отдела ревкома Ростова и Нахичевани-на-Дону в январе 1920 года был назначен Александр Караев, он же Алекс Витольдович Коврецкий. К себе в помощники он выбрал Станислава Невойта, и общее польское происхождение сыграло здесь не главную роль.

Когда буденновцы стремительно освободили город, Невойт находился в числе подпольщиков, которые попались в руки деникинской контрразведки и ожидали расстрела в ростовской тюрьме. Счастливый случай, в том числе и для создаваемого угрозыска. В условиях, когда нельзя было принимать бывших полицейских и сыщиков, а сотрудники набирались из вчерашних токарей и пекарей, опыт подполья как нельзя лучше подходил для борьбы с преступным элементом.

Помощник действительно не вызывал никаких нареканий: Стасик (так без формальностей его называли товарищи) удивительно быстро обзавелся сетью осведомителей, грамотно планировал операции по захвату преступников. Его звездный час наступил в конце января. Газеты писали: «Уголовная милиция вместе с особым отделом производит аресты преступных элементов, выпущенных из тюрем белогвардейцами». На самом деле, конечно, преступников никто не выпускал, те сами разбежались вслед за надзирателями, как только в городе показались конники в буденовках. Зная многих в лицо, Невойт оказался незаменим при облавах на своих бывших сокамерников. Карьера складывалась удачно.

Все поменялось 20 февраля 1920 года. Об этом дне советские историки Гражданской войны старались не вспоминать. В то раннее утро белогвардейцы, казалось бы, навсегда выгнанные из Ростова и напоминавшие о себе только редкой артиллерийской пальбой со стороны Батайска, скрытно, в обход переправились через Дон и совершенно неожиданно атаковали город.

Уголовно-разыскной подотдел спешно сформировал эвакуационный обоз, погрузил на подводы всю документацию и ценности и выдвинулся из Ростова на север по Таганрогскому проспекту (ныне Буденновский). Не доезжая до нынешней улицы Текучева отряд попал в засаду. Сотрудники вынуждены были спасаться, бросив обоз. Пропал без вести начальник угрозыска Александр Караев. Стасик с десятью сотрудниками каким-то чудом смог благополучно вырваться из окружения белых.

Три дня Ростов находился в руках деникинцев. Когда красные вернулись в город, руководитель юротдела Ростово-нахичеванского ревкома Г.Я. Мерэн по результатам неудачной эвакуации назначил разбирательство.

Дознанием, которое вел С. Невойт, было установлено, что А. Караев спрятался в квартире одного из своих сотрудников, но в тот же день оказался арестован белыми, и дальнейшие его следы потерялись. С обозом исчезли не только ценности, изъятые при обысках и у преступников в качестве вещественных доказательств, но и уголовно-регистрационная картотека.

Невойт в рапорте на имя нового начальника уголовно-разыского подотдела Ивана Никитовича Художникова считал необходимым досконально проверить каждого сотрудника, кто оставался в Ростове, для чего любезно предлагал свои услуги.

Тем временем в марте 1920 года создается Донская чрезвычайная комиссия. Чекисты стали параллельно расследовать обстоятельства случившегося, не исключая, что захват белыми члена ревкома Караева и засада на обоз явились результатом предательства.

Пришлось до мельчайших деталей разбирать обстоятельства отступления из города каждого агента угрозыска, проверять алиби, допрашивать немногочисленных очевидцев. Удивительно, но как в воду канули свидетели ареста. У некоторых сотрудников нашли погрешности в анкетах, пришлось их уволить, но в сотрудничестве с белыми и в возможной гибели Караева они были невиновны.

В ДонЧК прекрасно сознавали профессиональный уровень разведки Деникина. И январский захват Буденным Ростова застал врасплох далеко не все службы. Например, в этот день белые успели вывезти за Дон не только штабы, но даже эвакуировать поездом в Новороссийск оборудование и уже напечатанные купюры Ростовской экспедиции Госбанка по изготовлению денежных знаков.

На всякий случай решили проверить обстоятельства зачисления в угрозыск всеми уважаемого товарища Невойта. И оказалось, что подполье было разгромлено и почти все, кто его знал, погибли в застенках еще до прихода красных. Немногие оставшиеся в живых находились на фронте.

Легенда приговоренного к расстрелу подпольщика могла служить отличным прикрытием для внедрения деникинцами своего агента в советские органы. Тем более что Стасик входил в число ограниченного круга лиц, посвященных во все детали эвакуации, и знал адрес предполагаемого укрытия Караева.

24 марта 1920 года Невойт арестовывается ДонЧК, допрашивается, но уже 3 апреля вновь приступает к работе. Сложившиеся стереотипы о тогдашней вседозволенности среди чекистов были далеки от истины. Держать арестованным специалиста такого уровня, который может принести пользу советской власти, строжайше запрещалось Дальнейшее следствие по делу Невойта шло, не мешая его повседневной работе в угрозыске.

Более того, 30 апреля 1920 года Донской ревтрибунал, не найдя достаточных доказательств вины, вернул материалы дела Станислава Невойта в ДонЧК на доследование. Сам председатель ревтрибунала Мерэн лично знал Невойта и считал его верным борцом за дело революции.

В этот самый день Невойт получил благодарность от заведующего Донской областной милицией Ф. Симонова за успешную ликвидацию банды налетчиков. Правда, в ходе перестрелки на Дмитриевской (ныне улица Шаумяна) погиб негласный сотрудник Новочеркасской ЧК, в чем некоторые исследователи видят якобы причину последующей мести чекистов, но из сохранившегося рапорта ясно видно, что негласный сотрудник погиб от бандитской пули, и, следовательно, этот эпизод не имел никакого отношения к последующим событиям.

А события эти развивались стремительно. Начавшаяся война с Польшей приняла угрожающий характер. Польская разведка, взаимодействуя с Врангелем, располагала самой свежей информацией из советских штабов и учреждений тыла о снабжении частей и передвижении красных войск, получила доступ к секретным шифрам.

7 мая польские войска заняли Киев.

На следующий день из Харькова в Ростов прибыл Ф. Дзержинский. На Украину председателя ВЧК направили с задачей в кратчайшие сроки ликвидировать иностранные шпионско-диверсионные организации, в первую очередь польские резидентуры. По инициативе Донревкома Дзержинским проведено совещание с участием особых отделов и ДонЧК. Вот что сказано Железным Феликсом: «Ростов можно сравнить с редиской: снаружи красная, а внутри – белая. Ростов взят красными воинами, но внутри его сильна контрреволюция. Город начинен шпионами, диверсантами, прочей разной нечистью. Нам, чекистам, предстоит в короткий срок выкорчевать всю эту заразу и сделать Ростов действительно советским городом. Ленин надеется, что мы, чекисты, с честью справимся с этой задачей».

Следуя напутствию Дзержинского, в последнюю декаду мая ДонЧК раскрыла контрреволюционную организацию штабс-капитана Константина Пшенецкого, подпольный штаб которой помещался в Донском областном управлении милиции. Удалось доказать связь организации с Польшей. В числе 30 арестованных оказались казначей Донской областной милиции Артюнов, помощник начальника 5-го отделения милиции Светличный-Сохатый. В ходе этой операции 26 мая 1920 года чекистами вновь арестовывается Станислав Невойт. А 1 июня его окончательно исключили из списков сотрудников ростовского угрозыска. В эти же дни особо уполномоченный ВЧК по Донской области и Кавказу Карл Ландер отчитывается В. Менжинскому, что «польские элементы изымаются».

Можно задаться вопросом: откуда же тогда взялась версия, что Невойт – бывший уголовник?

Единственная зацепка ведет к заслуженному работнику угрозыска П.Ф. Рыженко, воспоминания которого приводит Анатолий Ковалев в своем очерке, опубликованном в 1967 году в сборнике «Всегда начеку». По словам ветерана, тогдашний начальник Ростовского угрозыска Иван Художников лично выявил причастность Невойта к криминальному миру.

По непонятной для Художникова причине все операции против ростовских бандитов оканчивались неудачей. Удавалось хватать только залетных гастролеров. Так продолжалось, пока на чердаке бывшего полицейского участка случайно не нашлась дореволюционная картотека преступников, где в числе зарегистрированных полицией налетчиков значился… его помощник Станислав Невойт.

В архивных документах ничего об этом не сказано, молчал и сам Художников. Да и Рыженко с Невойтом никогда вместе не работал.

Зато достоверно известно, что Невойт выписывал бывшим уголовникам «охранные грамоты» вроде этой: «Удостоверение бывшему уголовному Семену Тимофеевичу Ширману в том, что с него взята подписка как с вернувшегося к честному труду. Если он будет уличен в какой-либо краже, прошу доставить мне».

Такое самоуправство, плюс перехваченное от уголовника письмо, где тот просил защиты у «товарища Стасика», привели к тому, что Невойт получил от Художникова служебное взыскание. Это же во многом объясняет, почему Невойт обладал такой завидной сетью осведомителей в преступном мире.

Удивительным образом Стасик совершал подвиги на ниве борьбы с преступностью именно тогда, когда решалась его судьба в кабинетах ДонЧК. Уже упоминалось о засаде на Дмитриевской в день рассмотрения его дела в Донревтрибунале, а за день до второго ареста он лихо арестовал на «малине» шайку квартирных грабителей, хотя даже в рапорте перепутал фамилию потерпевшего Добышкина, назвав его Боткиным, несмотря на то что ограбленный… был соседом Невойта по дому!

Так что Леха-Козырь, он же С.В. Невойт, работал на польскую разведку и, скорее всего, был специалистом старой сыскной школы, а не бывшим преступником. И конечно, в отличие от сериала, он не ловил Котелка с Медиком. Первого в составе банды Павла Зорина схватили в 1922 году в ходе спецоперации, которой руководил командированный в угрозыск чекист Петр Михайлов, а успешную разработку Ивана Менникова по кличке Медик провела ударная группа ОГПУ в 1923–1924 годах.

Но тайна в деле Невойта все же остается. В отличие от остальных участников шпионской организации Пшенецкого, в архивах УФСБ по Ростовской области отсутствуют данные о приговоре в отношении Невойта. Как ни странно, но это еще больше подтверждает версию о причастности его к вражеской разведке.

Дело в том, что, по сложившейся в годы Гражданской войны практике, материалы на всех значимых арестантов направлялись в Москву, в ВЧК. Например, в том же 1920 году в Центр отконвоировали работавшего у Деникина пропагандистом известного литератора Краснушкина-Севского и знаменитого профессора права Малиновского. В отношении последнего Москва отменила вынесенный коллегией ДонЧК расстрельный приговор, и позже Малиновский участвовал в подготовке первого советского уголовного кодекса 1922 года, а затем долгие годы занимался преподавательской деятельностью.

Профессиональные разведчики и контрразведчики в условиях войны с Польшей представляли для ВЧК особый интерес. Существует несколько случаев того времени, когда агенты польских резидентур после ареста и идеологической проработки соглашались работать на советскую власть, а впоследствии, порой изменив фамилию, даже сделали большую карьеру на Лубянке.

Возможно, что прототип Леньки Козырева оказался в числе именно таких «бойцов невидимого фронта», но об этом мы точно никогда не узнаем.

Словарь | RTG 1878: Economic Achaeology

Теория выбора в бандитской борьбе, сбор информации и задачи поиска пищи

Образец цитирования: Авербек Б.Б. (2015) Теория выбора в бандитской борьбе, выборка информации и поиск пищи.PLoS Comput Biol 11 (3):
e1004164.

https://doi.org/10.1371/journal.pcbi.1004164

Редактор: Пол Шратер, Университет Миннесоты, Соединенные Штаты Америки

Поступило: 28 августа 2014 г .; Принято к печати: 30 января 2015 г .; Опубликовано: 27 марта 2015 г.

Это статья в открытом доступе, свободная от всех авторских прав, и ее можно свободно воспроизводить, распространять, передавать, модифицировать, надстраивать или иным образом использовать в любых законных целях.Работа сделана доступной по лицензии Creative Commons CC0, выделенная в общественное достояние

Доступность данных: Все соответствующие данные находятся в документе и его файлах с вспомогательной информацией.

Финансирование: BBA была получателем гранта NIH: ZIA MH002928-01. Финансирующие организации не играли никакой роли в дизайне исследования, сборе и анализе данных, принятии решения о публикации или подготовке рукописи.

Конкурирующие интересы: Авторы заявили, что никаких конкурирующих интересов не существует.

Введение

Процесс принятия решений был изучен с широким кругом задач. Выбор во многих из этих задач либо не влияет на будущий выбор, либо моделируется так, как если бы он не влиял на будущий выбор. Например, когда вас просят выбрать между азартными играми (например, 50% -ный шанс 20 долларов или 100% шанс 11 долларов), выбор в текущем испытании не влияет на азартные игры, представленные в следующем испытании, или на информацию о том, какое решение будет принято в следующем испытании. следующее испытание. Соответственно, даже задачи обучения с подкреплением, в которых выбор действительно влияет на информацию, которая будет доступна для выбора в будущем, часто моделируются с использованием обучения с подкреплением по дельта-правилам (DRRL) или логистической регрессии, ни одна из которых не дает нормативного описания задачи.Эти подходы к моделированию предполагают, что текущий выбор должен полностью определяться прошлыми результатами без учета того, как они повлияют на будущее.

Однако многие интересные проблемы принятия решений требуют рассмотрения того, как текущий выбор повлияет на будущее [1–7]. Например, был интерес к компромиссу между исследованием и использованием [8–17], выборкой информации [4,6] и поиском пищи [18,19]. Компромиссы между исследованием и использованием существуют в любом реальном контексте принятия решений, когда нужно выбирать между продолжением использования известного варианта, например, знакомого ресторана, илиисследуя неизвестный или новый ресторан. Точно так же выборка информации лежит в основе многих процессов сознательного выбора, когда собирают информацию, прежде чем принять решение. Например, можно изучить обзоры или рейтинги продуктов, прежде чем совершить крупную покупку. Эти задачи требуют более сложных стратегий выбора, поскольку выбор может определяться будущими ожидаемыми ценностями. Другими словами, лучшим выбором может быть не тот, который принесет самую большую немедленную награду. Лучший выбор может привести к получению большего вознаграждения в будущем за счет меньшего немедленного вознаграждения.Выбор в этих задачах можно смоделировать с помощью марковских процессов принятия решений (MDP). MDP обеспечивают общую структуру моделирования, полезную в задачах, где будущее зависит от того, что человек выбирает в настоящем. Если предположить, что агент максимизирует ожидаемое (дисконтированное или недисконтированное) общее вознаграждение, MDP можно использовать для предоставления нормативных или, по крайней мере, приблизительно нормативных решений большинства текущих проблем принятия решений.

Хотя выборное поведение субъектов часто отклоняется от нормативного поведения [4], особенно в группах пациентов [5,20,21], нормативные модели по-прежнему важны.В частности, нормативные модели определяют информацию, на которой должны основываться решения, и вычисления, которые должны выполняться на основе этой информации. Эти два момента можно концептуализировать как стратегию, оптимальную для поставленной задачи. Кроме того, нормативные модели могут быть параметризованы, чтобы соответствовать поведению отдельных субъектов [4,5,22]. Этот подход может дать представление о том, как испытуемые отклоняются от нормативной модели, и, следовательно, он может предложить конкретные недостатки или предубеждения, в отличие от общего изменения в выполнении задания.

Здесь мы использовали MDP для моделирования n-вооруженного бандита, сбора информации и задач по поиску пищи. Нормативные решения некоторых из этих задач, насколько нам известно, в настоящее время отсутствуют в литературе. Однако существует обширная теоретическая литература по задачам бинарных бандитов [23,24], а некоторые задачи по добыче пищи были смоделированы с использованием теоремы о предельной ценности [25]. Для MDP развитие методов аппроксимации с использованием базисных функций открыло решение гораздо более широкого класса проблем, чем было решено ранее [26].Нормативные решения дают представление об оптимальных стратегиях. Мы также использовали модели для изучения нескольких конкретных вопросов. Например, когда полезно исследовать в бандитской задаче и какие особенности задачи могут повысить ценность исследования? Как нестационарность может стимулировать исследования? Более того, как только задачи были отображены в структуре MDP, мы могли изучить их сходства и различия. Это показало, что решения по всем этим задачам представляют собой компромисс между немедленной и будущей ожидаемой наградой.Кроме того, мы определили два фактора, которые важны для компромисса в этих задачах. Первый — это неопределенность, а второй — временной горизонт. В задачах бандитизма и выборки информации будущие ожидаемые значения относительно выше для вариантов, относительно которых существует большая неопределенность. Когда неопределенности меньше, ценность действия больше определяется немедленной ожидаемой наградой. Кроме того, неопределенность и ценность изучения неопределенных вариантов более ценны, когда временной горизонт длиннее. Мы также показываем, что максимизация вознаграждения в задачах по поиску пищи с недисконтированным бесконечным временным горизонтом нечувствительна к задержкам в пути к участкам.В целом с MDP модели с бесконечным горизонтом без дисконтирования нечувствительны к конечным задержкам до вознаграждения.

Результаты

Мы использовали марковские процессы принятия решений, частично наблюдаемые (POMDP) ​​или полностью наблюдаемые (MDP), для моделирования нескольких задач выбора. Для этих моделей нас интересует утилита u _t . Для MDP утилита зависит от состояния, а для POMDP — от информационного состояния. Мы обозначаем как состояния, так и информационные состояния s _t . Затем полезность задается действием a, которое максимизирует значение действия Q (s _t, a):

Значение действия:

можно разбить на непосредственное: r (s _t , a) + C (s _t , a) и будущее: γΣ _j∊s p (j | s _t , a) u _{t +1} (j) ожидаемые значения, которые мы будем называть IEV и FEV соответственно.IEV — это ожидаемое вознаграждение, r (s _t , a), за выполнение действия a в состоянии s _t плюс возможные затраты на выборку C (s _t , a). Это происходит немедленно. FEV — это ожидаемое значение полезности следующего состояния, где функция перехода между состояниями или вероятность перехода в состояние j при выполнении действия a в состоянии s _t , равна p (j | s _t , a) . FEV — это оценка (возможно) дисконтированных будущих вознаграждений, которые будут получены с учетом текущего действия.Состояние — это информация, на которой основаны решения. Для большинства задач, за исключением задач по поиску пищи, состояние является скрытой переменной, и эта скрытая переменная дает начало наблюдениям через модель наблюдения. В этом случае мы имеем дело с частично наблюдаемым Марковским процессом принятия решений (POMDP). Наблюдения определяют информационное состояние, и можно сделать вывод о значении скрытого состояния, используя наблюдения. Мы явно называем состояние информационным состоянием для POMDP.

Разведка в неподвижном двуруком бандите

Когда среда неизвестна и для изучения среды используется обучение с подкреплением без использования моделей [27], можно использовать исследование, чтобы заставить алгоритм RL выбирать из всего пространства возможных вариантов. Здесь мы имеем дело с задачами, в которых указана среда, и MDP (или POMDP) ​​могут использоваться для вычисления ожидаемых значений для каждого состояния. Поэтому для выбора не нужно использовать эвристическое исследование.Однако исследование, если оно определяется как выбор вариантов, которые имеют меньший IEV, но большее значение действия, все же может быть оптимальным [27]. Если агент максимизирует общее ожидаемое вознаграждение, можно выбрать вариант с меньшим IEV, если его FEV относительно больше. Таким образом, можно отказаться от немедленных вознаграждений, чтобы получить больше вознаграждений за соответствующий временной горизонт. Мы начали с изучения компромисса между исследованием и использованием в стационарной задаче с двумя руками бандита, в которой оба бандита заплатили одинаковую фиксированную награду.Бандиты, однако, различались по доле раз, когда они доставляли награду, если выбирали. В этом случае компромисс между исследованием и использованием влияет на несколько первых вариантов, прежде чем обе цели будут выбраны несколько раз. Мы смоделировали это как конечное состояние, конечный горизонт, недисконтированный POMDP, где информационными состояниями было количество раз, когда каждый бандит был выбран, C _i , и количество раз, когда каждый бандит был вознагражден, R _i . Это информационное пространство состояний формируется достаточной статистикой для двух бандитских процессов.Переходы через пространство информационных состояний происходят после каждого выбора и связанного с ним результата, и они соответствуют обновлениям убеждений для процесса.

Чтобы более количественно исследовать пространство состояний информации для бандитской задачи, мы можем исследовать распределения ожидаемых будущих значений вознаграждения, сгенерированных в этой задаче. Каждый из вариантов бандита представлен деревом возможных исходов (рис. 1А). Каждый узел в дереве определяет информационное состояние (т.е. R _i , C _i ) для этой опции.Информационное состояние может использоваться для оценки базовой вероятности вознаграждения q для каждого варианта бандита, где q — скрытое состояние системы. Когда выбирается один из вариантов, выполняется обход дерева. С биномиальной функцией правдоподобия и бета (α, β) апостериорной вероятностью вознаграждения определяется как

Бета-априор является естественным сопряженным априорным значением для биномиальной функции правдоподобия. Следовательно, предшествующее можно интерпретировать как данные. Апостериорное ожидаемое значение равно, где мы определили фактический выбор и вознаграждение как r _i , c _i , а апостериорный выбор и вознаграждение как данные плюс предыдущий R _i = r _i + α, С _я = с _я + α + β.Если мы начнем с бета (α = 1, β = 1), у нас будут апостериорные значения R _i = 1, C _i = 2 для каждой руки бандита до того, как будут выбраны какие-либо варианты (рис. 1A). Возможные апостериорные ожидаемые значения даны узлами дерева (рис. 1A). Эти узлы также являются непосредственным ожидаемым значением для выбора, то есть <, и эти значения также определяют вероятности перехода. Таким образом, если кто-то находится в состоянии, R _i , C _i , он переходит на R _i + 1, C _i +1 с вероятностью и один переходит на R _i , C _i +1 с вероятностью.Это определяет два из терминов на правой стороне. уравнения 2 (без учета стоимости выборки). Другой термин на правой стороне. уравнения 2 — это полезность следующего состояния u _{t + 1} . Эти утилиты рекурсивно связаны с будущими утилитами, u _{t + 2} и т. Д. Однако в последнем испытании, предполагая задачу, в которой есть конечное количество попыток, и это количество известно априори, FEV отсутствует, потому что в следующем испытании не будет выбора. Следовательно, полезности в последнем испытании, t = N, задаются IEV, t (s _t , a)>.IEV для каждого состояния, которое может существовать в финальном испытании, может быть непосредственно рассчитан на основе этих информационных состояний. После их расчета можно рассчитать полезности для t-1 и продолжить в обратном порядке, пока не будут рассчитаны полезности для текущего испытания. Это алгоритм обратной индукции ([28]; см. Методы).

Рис. 1. Пространство состояний бандита.

A. Часть дерева распределения вознаграждений, начиная с бета-версии (1,1) для одного из вариантов бандитов. Когда выбран один из вариантов, результаты пересекают это дерево.Число в каждом узле указывает апостериорное число вознаграждений (числитель) и количество выборок варианта (знаменатель). Б. Пространство продукта в обоих вариантах бандита. Синие линии (и дроби) указывают на выбор варианта 1, красные линии (и дроби) указывают на выбор варианта 2. Числитель и знаменатель дробей такие же, как на панели A, и определяют апостериорную вероятность вознаграждения. Толстые линии показывают действия, которые будут выполняться на каждом узле оптимальной политикой, тонкие пунктирные линии показывают варианты, которые не выполняются оптимальной политикой.C. Распределение вероятностей вознаграждения (т. Е. Вариантов / вознаграждений) на конечном горизонте (N = 8 вариантов), начиная с двух разных бета-априорных значений (вариант 1: бета (1,1) и вариант 2: бета (2,2)), которые можно интерпретировать как различный опыт работы с опциями. Эти априорные значения соответствуют состоянию 1/2: 2/4, обозначенному на панели b прямоугольником. Сплошная черная полоса под осью x указывает значения q, для которых p (q) одинаково. Звездочки, наложенные на графики, показывают средние значения двух распределений (0.575 и 0,585 для варианта 2 и варианта 1 соответственно).

https://doi.org/10.1371/journal.pcbi.1004164.g001

Если вариант не был выбран, потенциально может быть достигнута любая точка в дереве, хотя и не в соответствии с оптимальной политикой и распределением вероятностей вознаграждения широкий. Это дерево, таким образом, представляет возможные результаты, если один из вариантов выбирается повторно (рис. 1A). Однако пространство состояний для задачи — это пространство произведения по узлам двух из этих деревьев (рис.1B), поскольку он построен из всех комбинаций возможных исходов каждого отдельного дерева. Когда FEV рассчитывается для одного из вариантов, он рассчитывается только для узлов в полном дереве, которые посещаются оптимальной политикой. Это связано с тем, что оператор max в уравнении 1 является ожиданием политики, которая оптимизирует выбор в каждом состоянии. Таким образом, при вычислении FEV ожидание берется для той части пространства продукта (рис. 1B), где ожидаемая ценность действия для одного варианта больше, чем для другого варианта (жирные линии на рис.1Б). Математическое ожидание не вычисляется по пунктирным линиям (рис. 1B), потому что оптимальная политика не выбирает эти действия. Если мы исследуем распределение вероятностей вознаграждения на репрезентативном конечном горизонте (рис. 1C), мы увидим, что варианты, для которых была произведена меньшая выборка, имеют более высокие ожидаемые значения, когда каждый IEV равен 0,5. В этом примере менее вероятно, что вы столкнетесь с вероятностью вознаграждения (q) 0,5 для опционов, которые были отобраны меньше, и более вероятно, что вы встретите варианты с вероятностью вознаграждения больше 0.8. Эта увеличенная масса по сравнению с узлами с более высокой вероятностью вознаграждения в дереве стимулирует исследования в бандитских задачах.

В качестве примера мы рассмотрели сценарий, в котором вариант 1 бандита был выбран 6 раз и вознагражден три раза (рис. 2A). (Обратите внимание, что в этом примере агент не следует оптимальной политике. Скорее, мы определили варианты и результаты, чтобы проиллюстрировать значения действий в конкретных сценариях.) Значение действия для варианта 1 превышает значение действия для варианта 2 во время первых трех испытаний, в то время как это вознаграждается.Однако FEV варианта 2 больше, чем FEV варианта 1, даже в первых трех испытаниях, во время которых поощряется вариант 1. После того, как вариант 1 не был вознагражден один раз, он становится более ценным для выборки варианта 2 (то есть Q (s, 2)> Q (s, 1) в испытании 5). После того, как вариант 1 был выбран 6 раз и трижды вознагражден, его IEV будет таким же, как вариант 2, для которого ожидаемое значение было 0,5 из-за предыдущего. Однако значение действия (IEV + FEV) на данном этапе отдает предпочтение варианту 2 (т. Е. Испытанию 7). Если вариант 2 затем отбирается 6 раз и награждается 3 раза, значения действий для двух вариантов снова одинаковы (т.е. испытание 13). Бонус за разведку (здесь принимаемый как разница в FEV между двумя вариантами в испытании 4) также больше, когда временной горизонт длиннее (рис. 2B). Это связано с тем, что вариант 2 можно использовать для более длительного временного горизонта, если он был выбран и признан лучшим. Когда первый выбранный вариант вознаграждается, а его продолжают выбирать и вознаграждать, значение действия второго варианта не будет превышать значение первого варианта (рис. 2С), учитывая эти конечные временные горизонты.

Рис 2.Пример с двумя вооруженными бандитами.

Панели A и C показаны для модели с фиксированным горизонтом из 50 проб. A. Разница в значении действия между вариантом 1 и вариантом 2. Синие точки обозначают выбор с наградой, черные точки обозначают выбор без награды (R + = вознагражден, R- = не вознагражден). Квадратная скобка указывает разницу в будущих ожидаемых значениях, показанных на панели B. Результаты приведены для модели с конечным временным горизонтом с горизонтом испытаний 50 и без дисконтирования. В этом примере агент не следует оптимальной политике. Выборы и результаты были зафиксированы, чтобы проиллюстрировать конкретную точку зрения.B. Разница в будущей ожидаемой стоимости в испытании 4 как функция временного горизонта. C. Разница в ценности действия в сценарии, в котором выбрана одна из целей, и она вознаграждается каждый раз, кроме испытания 16.

https://doi.org/10.1371/journal.pcbi.1004164.g002

Бонус за разведку зависит от трех факторов. Продолжая рассмотренный выше пример, предположим, что выборка была произведена из варианта 1, а из варианта 2 — нет. Во-первых, есть неопределенность в отношении варианта 2 (т.е. априорное распределение вероятностей вознаграждения для опционов без выборки является широким, если исходить из нечеткой априорной вероятности). Следовательно, вариант 2 может быть лучше, чем вариант 1. Если вариант 1 не может быть лучше, чем вариант 2, из-за структуры предшествующих знаний бонус за разведку отсутствует. Второй фактор, как показано выше (рис. 2B), — это временной горизонт [17]. Если временной горизонт слишком короткий, невозможно получить достаточно дополнительных вознаграждений, когда вариант 2 окажется лучше, чем вариант 1, чтобы компенсировать сценарии (т.е. другие эпизоды задачи), когда вариант 2 оказывается не так хорош, как вариант 1. Этот фактор основан на предположении, что вариант 2 может быть лучше, чем вариант 1. В-третьих, если выбран вариант 2, и он не так хорош, как вариант 1, затем можно вернуться к варианту 1. С другой стороны, если вариант 2 лучше, чем вариант 1, то можно придерживаться варианта 2. Это предпочтение варианта, который окажется лучше в будущем, управляет выбором в настоящем с помощью оператора max над значениями действий в уравнении полезности (уравнение 1), которое воздействует на распределение будущих результатов с помощью встроенной рекурсии.

3-вооруженный бандит новинка задание

Затем мы рассмотрели новую задачу [5,8,29]. Это задание для трехрукого бандита, во многом похожее на задание с двухруким бандитом, описанное выше. Размер вознаграждения одинаков для каждого варианта бандита, но вероятность получения вознаграждения при выборе каждого варианта различается. В дополнение к этому, однако, варианты выбора заменяются новыми вариантами выбора со стохастическими интервалами. Таким образом, после того, как субъекты накопят опыт работы с текущим набором из 3 вариантов бандитов в течение определенного периода времени, один из вариантов заменяется новым вариантом.Эти замены являются стохастическими и заранее не известны, но они указываются испытуемому. Мы смоделировали эту задачу с бесконечным горизонтом, конечным состоянием, дисконтированным POMDP. Как и в случае с двуруким бандитом, информационное состояние определяется R _i , C _i для каждого варианта. Состояние полной информации теперь представляет собой пространство продукта на трех деревьях (рис. 1A), поэтому оно больше.

Для проверки этой задачи мы рассмотрели сценарий, аналогичный рассмотренному для двухрукого стационарного бандита.Ценность действия выбранного варианта (вариант 1) увеличивалась, пока он был вознагражден в испытаниях 1–3 (рис. 3A, варианты выбора и награды см. На рис. 3D; обратите внимание, что эти действия не выбираются оптимальной политикой. они были выбраны, чтобы проиллюстрировать эффект опыта с опцией). FEV также увеличился для всех трех вариантов из-за общего увеличения ожидаемого вознаграждения в окружающей среде (рис. 3C). Однако, как и у двухрукого бандита (рис. 2А), ВРЭ был выше для неизученных вариантов (рис.3Б). Кроме того, когда вариант 1 был заменен, после того, как каждый из вариантов был выбран несколько раз, его FEV увеличился по сравнению с двумя другими вариантами (рис. 3B, испытание 15). Точно так же, когда вариант два был заменен в испытании 20, его FEV увеличился (рис. 3B). Как и в случае с двухруким бандитом, когда параметр скидки был увеличен до 1 (рис. 3E), бонус исследования увеличился (рис. 3F). Таким образом, когда доступен большой временной горизонт для использования нового варианта, если он оказывается более ценным, FEV для изучения этого варианта увеличивается.Каждый раз, когда вводится новая опция, это эквивалентно сбросу этой опции на предыдущую бета (1,1), сбрасывая ее в начало дерева (рис. 1A). Таким образом, неопределенность приводит к получению бонуса за разведку до тех пор, пока имеется достаточный временной горизонт для использования нового варианта, если он окажется лучше, чем доступные альтернативные варианты. Соответственно, частота замены новых опционов также влияет на бонус новизны, эффективно ограничивая временной горизонт (рис. 3F). Если коэффициент замещения высок, у человека, вероятно, будет меньше времени, чтобы использовать новые варианты, которые оказались хорошими, прежде чем они снова будут заменены.

Рис 3. Утилиты в задаче новинки.

Панели A-D, γ = 0,95. A. Общая ожидаемая ценность для трех вариантов из 25 пробной выборки. Звездочки указывают на испытания, в которых были представлены новые варианты выбора. Цвета обозначают каждый вариант выбора. B. Разница в будущих ожидаемых значениях (ОФВ: 1-2: разница между будущими ожидаемыми значениями при выборе 1 против 2 и т. Д.). C. Ожидаемые значения трех вариантов в будущем. Звездочки указывают на испытания, в которых были представлены новые варианты выбора.Цвета обозначают каждый из 3 вариантов выбора. D. Выбор и награды за 25 испытаний, показанных на панелях A-C. Звездочки указывают, где были введены новые варианты. Синие символы обозначают варианты, которые были вознаграждены (R +), черные символы обозначают варианты, которые не были вознаграждены (R-). Положение на оси Y указывает на выбор (например, Канал 1 — это вариант выбора 1). E. Функция дисконтирования для разных ставок дисконтирования. F. Бонус за разведку (т. Е. Разница между вариантом 1 и вариантом 2, когда вариант 1 заменяется в испытании 15) как функция параметра скидки и как функция вероятности замены нового варианта.По мере приближения параметра скидки к 1 и увеличения временного горизонта в будущем бонус за новизну увеличивается. Есть 3 оси абсцисс. Первые два соответствуют графику бонуса новизны как функции рассчитанного временного горизонта или скидки. По оси абсцисс в испытаниях указано количество испытаний, N = -1 / log _e (γ), при котором полезность дисконтируется на 1 / e. Третья — ось абсцисс для скорости замещения, построенная с γ = 0,95. Коэффициент замещения для линии горизонта времени и всех других данных p = 0,05.

https://doi.org/10.1371/journal.pcbi.1004164.g003

Разведка в нестационарных бандитах

Чтобы исследовать исследования в связанных задачах бандитов, мы использовали бесконечный горизонт, дисконтированное, непрерывное состояние, POMDP, чтобы смоделировать нестационарную задачу двурукого бандита [9]. Информационное состояние в этой модели определяется средним значением и дисперсией бандитов, которые являются достаточной статистикой для двух процессов. Бандиты в этой задаче возвращали непрерывные ценные награды (например,г. 0–100). Средние значения возвращенных значений для каждого бандита были нестационарными во времени после независимых случайных блужданий, число которых уменьшилось до 50. Фактическое вознаграждение, полученное в отдельном испытании, было дано выборкой из распределения Гаусса с текущим средним значением, и стандартное отклонение 4. IEV определяется расчетным средним для каждого бандита. Полезность зависит от оценочных средних значений двух вариантов (рис. 4A), а также от предполагаемой дисперсии вариантов (рис. 4B). Влияние дисперсии на полезность также зависит от временного горизонта (рис.4Б). Дисперсия имеет больший эффект, когда временной горизонт длиннее. Влияние дисперсии полезности можно понять в рамках, разработанных выше для стационарного бандита (рис. 1). В частности, когда выборка не проводится, ее дисперсия растет из-за нестационарности базовой генеративной модели, эффективно перемещая ее назад по дереву (рис. 1A). С другой стороны, когда выбирается вариант, его дисперсия уменьшается, эффективно продвигая его вперед по дереву (рис.1А). Таким образом, вариант, который не был выбран для нескольких испытаний, становится похожим на новый вариант, и его следует изучить.

Рис 4. Утилиты в нестационарном двухруком бандите.

A. Полезность как функция среднего значения варианта 1 и среднего значения варианта 2 со стандартным отклонением для обоих вариантов, равным 4, и ставкой дисконтирования, γ = 0,90. B. Полезность как функция стандартного отклонения для 2 значений скидки, когда среднее значение равно 50 для обоих вариантов, а стандартное отклонение равно 4 для варианта 2. C. Оценка среднего и стандартного отклонения для вариантов 1 и 2 при их выборке при условии, что средства зафиксированы на 45 и 55.Черная линия указывает на выбор варианта 1 (y = 5) или варианта 2 (y = 15). Ставка дисконтирования γ = 0,90. D. То же, что и панель C, за исключением γ = 0,99. E. График значения действия для двух вариантов данных, представленных в C, γ = 0,90. F. Значение действия для двух вариантов данных, отображаемых на панели D, γ = 0,99. G. Пример последовательности выборок и оценок среднего и дисперсии, γ = 0,90 для средних, взятых из генеративной модели. H. Пример последовательности выборок и оценок среднего и дисперсии, γ = 0,99.

https: // doi.org / 10.1371 / journal.pcbi.1004164.g004

Мы рассмотрели последовательность выбора алгоритма на некоторых примерах. Если мы рассмотрим искусственный случай, когда средние значения зафиксированы на 45 и 55 (но алгоритм все еще предполагает, что средние значения нестационарны), и сравним выборку при двух разных параметрах дисконтирования (эффективные временные горизонты), мы увидим, что алгоритм периодически производит выборку вариант с меньшим оценочным средним по мере роста его дисперсии (рис. 4С). Кроме того, когда параметр скидки больше (γ = 0.90 vs γ = 0,99) алгоритм делает выборку чаще, что согласуется с большей разницей в полезности для данного стандартного отклонения для больших параметров скидки (рис. 4B). Это также можно четко увидеть в значениях действий (рис. 4E и F — обратите внимание, что алгоритм сначала произвел стохастическую выборку варианта 1 на панели E и варианта 2 сначала на панели F, что приводит к первоначальным колебаниям в сторону уменьшения и повышения). При фиксированном средстве значения действия зависят только от дисперсии двух процессов, если мы игнорируем спад процесса до 50.Когда опцион выбирается, его дисперсия уменьшается, а его полезность уменьшается, а когда опцион не выбирается, его дисперсия увеличивается, а его полезность увеличивается. Комбинация этих факторов в конечном итоге приводит к тому, что значение действия для опции, которая недавно была выбрана без выборки, превышает значение действия для опции, которая выбирается в данный момент (рис. 4E и F), и затем производится выборка для опции, которая не была выбрана в последнее время. Это можно увидеть в примерах последовательностей, взятых из фактического процесса генерации (рис. 4G-H, фактические значения процесса идентичны для этих двух примеров).В этом случае, когда алгоритм моделируется с более длинным временным горизонтом, он делает больше выборок (рис. 4H).

Выборка информации

Затем мы исследовали задачу по сбору информации, которую часто называют задачей с бусинами или урной [4,5,20,21,30]. В этом задании испытуемым показывают последовательность бусинок, взятых из одной из двух возможных урн (рис. 5А). В одной из урн q оранжевых бусинок и 1 q синих бусинок, а в другой — q голубых и 1 q оранжевых бусинок. После того, как каждая бусинка нарисована, у испытуемых есть три варианта выбора.Они могут либо вытащить еще одну бусину из урны, предположить, что бусинки вытянуты из урны преимущественно синего цвета, либо предположить, что бусинки вытянуты из урны преимущественно оранжевого цвета. Отбор другого бусинки обычно подразумевает явную оценку стоимости образца. Другими словами, с субъектов взимается плата за сбор дополнительной информации. В этой задаче значение выбора урны дается IEV, потому что после выбора урны больше не разрешается брать пробы, поэтому FEV равен нулю, тогда как значение отбора пробы из другой бусинки дается FEV (за вычетом затрат на -sample), потому что нет награды, если кто-то не пытается вывести урну.Таким образом, эта задача явно устанавливает компромисс между немедленными и будущими ожидаемыми наградами, и в этом смысле она похожа на компромисс между исследованием и использованием в бандитских задачах.

Рис 5. Задание на бисер.

A. Пример распределения бусинок в бусинах в банке. Б. Укажите пространство для бусинок. Примерная последовательность розыгрышей взята из панели C. C-F. Значение действия для трех вариантов выбора как функция отрисовок, например, последовательностей. Результаты бусинок показаны в виде бусинок оранжевого и синего цвета.Звездочка указывает на первое испытание, в котором ожидаемая ценность выбора урны больше, чем ожидаемая ценность повторного рисования. В этом случае идеальный наблюдатель угадал бы урну с наибольшим значением. Не то чтобы это было значение после просмотра бусинки, показанной в соответствующем испытании. В панелях C-E стоимость выборки составляет C (s _t , a) = -0,005. На панели F C (s _t , a) = -0,025.

https://doi.org/10.1371/journal.pcbi.1004164.g005

В большинстве случаев испытуемым говорят, что они могут нарисовать только максимальное количество бусинок, и после того, как последняя бусина нарисована, они должны угадать урну. .Таким образом, задача может быть смоделирована как конечный горизонт, конечное состояние, без скидки, POMDP. Информационное пространство состояний проще, чем пространство состояний в бандитской задаче, поскольку оно задается одним деревом (рис. 5B), где вместо вознаграждений и отсутствия вознаграждений состояние задается числом синего (или оранжевого) нарисованные бусинки и общее количество нарисованных бусинок. Они формируют достаточную статистику для процесса. Рисуя бусы, мы прорабатываем пространство состояний, как и в случае с бандитскими заданиями.Например, первые 3 прорисовки бусинок для примерной последовательности, показанной на фиг. 5C, будут проходить через набор показанных состояний (фиг. 5B). В отличие от бандитской задачи, эта задача была смоделирована с неинформативным априорном прорисовке бусинок, потому что обычно она выполняется, показывая испытуемым одну бусину перед тем, как попросить их принять решение [21]. Значения действий для угадывания урны или выборки снова показывают, что ценность угадывания урны возрастает по мере увеличения свидетельства в пользу этой урны (т. Е. Большего количества бус, нарисованных соответствующего цвета), и уменьшается по мере уменьшения свидетельства в пользу урны в совокупности. мода (рис.5C-F). Ценность выборки снова изначально выше значения угадывания урны, но в какой-то момент она падает немного ниже. Обратите внимание, что без стоимости выборки (C (s _t , a) = -0,005 в панелях CE и C (s _t , a) = -0,025 на панели F) всегда лучше всего отбирать все образцы. доступные бусины. Чтобы изучить влияние соотношения затрат на выборку, мы рассчитали значения для двух затрат на идентичные последовательности вытяжек бусинок (рис. 5E-F). Когда стоимость была ниже (C (s _t , a) = -0,005; рис.5E) оптимально было отложить принятие решения до тех пор, пока не будет нарисовано 11 ^th бусинок, тогда как при более высоких затратах (C (s _t , a) = -0,025; рис. 5F) оптимальным было принять решение через 2 бисерины. Эту задачу можно рассматривать как чисто исследовательскую: сколько времени нужно исследовать, прежде чем совершить (использовать) один из вариантов? Это похоже на изучение нового варианта для нескольких испытаний, при этом всегда учитывается, следует ли вернуться к известному варианту или придерживаться нового варианта.По мере того, как увеличивается уверенность в том, из какой урны извлекается урна, выбор урны (который доставит IEV), в отличие от повторного рисования (что ценно из-за FEV), становится более ценным.

Собирательство

Последними задачами, которые мы рассмотрели, были задачи по поиску пищи. Подобно задачам, рассмотренным выше, в этих задачах происходит компромисс между ближайшими и будущими ожидаемыми значениями. Если кто-то останется в текущем патче, ресурсы которого истощаются (т. Е. Выберет IEV), или перейдет к новому патчу (т.е. выбрать FEV) [19]? Или следует один образец снова (т.е. выбрать FEV) или принять участие в текущей предложенной игре (т.е. выбрать IEV) [18]? Пространства состояний для этих задач фундаментально отличаются от пространств состояний в задачах бандитизма и выборки информации (рис. 6A и 7A). Пространства состояний для задач сбора пищи рекурсивны. Другими словами, пространства состояний для задач по поиску пищи не представляют обучения или накопления информации. Обучение или накопление информации не являются рекурсивными, потому что вы не возвращаетесь в то же состояние (технически это не совсем точно, так как с некоторой вероятностью можно вернуться в предыдущее состояние либо в нестационарном бандите, либо в бандите новизны).Скорее, в задачах по поиску пищи животному предоставляется текущее состояние, и ему не нужно оценивать убеждения или распределения по состояниям. Следовательно, эти задачи являются MDP, в отличие от POMDP, где состояние скрыто. В задачах сбора пищи человек наблюдает за состоянием напрямую.

Рис. 6. Патч, покидающий задание на поиск пищи.

A. Модель пространства состояний для задачи. Все пространство состояний свернуто. Показанное пространство состояний будет повторяться, по одному для каждой комбинации сока и задержки перемещения.Мы показываем это здесь, индексируя состояние выбора по этим переменным. B. Разница в значении действия для пребывания на участке и в пути в зависимости от текущего сока и текущей задержки путешествия. Желтая линия указывает на безразличие между пребыванием и путешествием. C. Разница в величине действия (те же данные, что и на графике B), каждая линия представляет различную задержку движения. D. Среднее время в патче как функция текущей задержки движения. Обратите внимание, что кривая является прерывистой из-за дискретности задачи.E. Разница в полезности с бесконечным недисконтированным временным горизонтом. Желтая линия указывает на безразличие между пребыванием и путешествием. F. Разница в ценностях действий с недисконтированным, бесконечным временным горизонтом. Обратите внимание, что задержка хода не влияет на стоимость, как можно было бы ожидать.

https://doi.org/10.1371/journal.pcbi.1004164.g006

Рис. 7. Задача сбора проб.

A. Модель пространства состояний для задачи поиска пищи. Цифры в кружках обозначают одну из пар предложений.Поскольку было доступно 6 индивидуальных игр, в каждом раунде сбора пищи было 15 пар предложений. Внизу панели показаны азартные игры, которые будут доступны в конкретном поединке за добычей. В каждом испытании испытуемым показывают случайно выбранную пару из 6. Если они принимают пару, они переходят к этапу принятия решения. Если они делают выборку снова, отображается новая пара, и они должны решить, принять ли эту пару, или снова выбрать выборку, и т. Д. B. Ожидаемое значение для принятия текущей ставки или повторной выборки для примерной последовательности розыгрышей.Вариант под номером испытания — это пара опций, которая была представлена ​​в этом испытании.

https://doi.org/10.1371/journal.pcbi.1004164.g007

Патч, покидающий задачу

В задании на время выхода из заплатки субъекты в каждом испытании выбирали между пребыванием в текущем патче или переходом к новому участку [19]. Состояние, связанное с выбором, определяется текущим количеством сока и задержкой движения. Если они останутся в текущем патче, они получат награду (с небольшой задержкой), а сумма награды, которую они получат в следующем испытании, если они снова решат остаться в текущем патче, будет уменьшена.Если они решат покинуть текущий патч, им придется дождаться известной задержки путешествия, и они не получат немедленной награды. Сумма вознаграждения, которая будет получена в новом патче, сбрасывается до фиксированного уровня, а время прохождения до следующего нового патча выбирается из распределения возможных времен прохождения (рис. 6A). Задача времени выхода патча была смоделирована как бесконечный горизонт, дисконтированный MDP. Соответствующие переменные состояния при принятии решения представлены текущей задержкой поездки и текущей оценкой вознаграждения (рис.6А). Из модели можно рассчитать разницу в значении действия для пребывания в патче и ухода за другим патчем (рис. 6B и 6C). Можно видеть, что чем больше время прохождения, тем дольше человек остается в области (рис. 6D), что согласуется с тем, что было показано ранее с эвристическими моделями [19]. Однако этот эффект возникает только для параметров дисконтирования меньше 1. Недисконтированная модель нечувствительна к конечному времени пробега (рис. 6E и 6F). Это связано с тем, что недисконтированные MDP с бесконечным горизонтом нечувствительны к конечным временным задержкам.Другими словами, если K — среднее время первого перехода в состояние s _t = j и из состояния j следует оптимальная политика, то с бесконечным горизонтом функция ценности может быть записана [26]:

Из этого можно видеть, что действия, предпринятые до входа в состояние j в момент времени K, не имеют значения. Это потому, что первая сумма конечна, если вознаграждения конечны, и поэтому она стремится к нулю в пределе. В задаче поиска корма, если K — это время, необходимое для перехода к межпробному интервалу (ITI) после выбора путешествия, не имеет значения, как долго K будет для конечного K.

Собирательство путем отбора проб

Последнее задание — это вариант стандартных заданий по поиску пищи. Состояние для этой задачи задается текущей предлагаемой парой азартных игр, а пространство состояний включает в себя все возможные пары азартных игр. В большинстве задач по сбору пищи уменьшение предельного вознаграждения в текущем патче в конечном итоге приводит к тому, что значение действия оставляет патч выше значения действия, чтобы оставаться в патче, потому что выход имеет фиксированное ожидаемое значение. В этой задаче, однако, использовалась парадигма, в которой в каждом испытании выбирались две азартные игры из набора из шести возможных индивидуальных азартных игр (рис.7А). Шесть отдельных азартных игр, из которых были составлены пары, были показаны для текущего схватки за добычей, и их значения вознаграждения были известны (например, игра 1 могла иметь ценность 12 очков). В каждом раунде была отобрана пара игр из набора индивидуальных игр (15 возможных пар предполагая выборку без замены из 6 и симметричность игр). Например, если ставки для данной сессии были g1… g6, субъект может быть показан в одном испытании g3 и g5. Затем они должны решить, взаимодействовать ли с этой парой предложений или пробовать снова.Если они сделали выборку снова, новая пара была взята из текущего набора из шести возможных азартных игр (возможно, g2 и g3). Каждый раз, когда испытуемые снова отбирали пробы, они также несли затраты на выборку. (Обратите внимание, что стоимость выборки оплачивается во время выборки, и это не снижает ценность будущих азартных игр в MDP.) Если они решили принять предложение, они перешли к этапу принятия решения. На этом этапе выявлялась вероятность того, что вознаграждение, связанное с каждой игрой, будет доставлено, и эта вероятность случайным образом присваивалась каждой игре каждый раз, когда начинался этап принятия решения.На стадии принятия решения испытуемые должны были выбрать одну из двух азартных игр в зависимости от ее величины и связанной с ней вероятности. Например, они могут выбирать между p ₁ g ₁ и p ₄ g ₄ , где pi — вероятность того, что субъекты получат gi вознаграждения, если они выберут эту игру на стадии принятия решения. Затем агент выбирает игру с наивысшим ожидаемым выигрышем.

Значение выборки снова дается FEV. ОФВ не равен средним значениям отдельных азартных игр.FEV — это ожидаемая стоимость будущих розыгрышей (см. Методы) плюс затраты на выборку. Временной горизонт велик, и можно нарисовать много будущих образцов. Однако соотношение затрат на выборку снижает ценность будущих выборок линейно со временем, если смотреть с точки зрения настоящего решения. Это можно сравнить с экспоненциальным дисконтированием, которое экспоненциально снижает ценность будущих образцов. При достаточном временном горизонте ОФВ фиксируется. Задача не предусматривала явного временного горизонта, поэтому мы смоделировали ее как конечный (хотя и длинный) временной горизонт MDP.Поэтому просто отбор проб до тех пор, пока IEV предложенной пары не превысит (постоянный) FEV (рис. 7B). Важно отметить, что отбор большего количества проб в этой задаче поиска корма, в отличие от задачи по бусам, не улучшает IEV. Другими словами, IEV не обязательно увеличивается с выборками, хотя можно выбрать пару с лучшим IEV. Это связано с пространством состояний проблемы. Кроме того, без учета затрат на выборку оптимальной стратегией будет выборка до тех пор, пока не будет выбрана пара с наивысшим значением.Соотношение затрат к выборке создает ситуацию, когда выбор пары, которая не является самой большой, является оптимальным, потому что получение лучшей пары может стоить слишком дорого.

Обсуждение

Мы применили марковские модели процесса принятия решений (MDP / POMDP) ​​к задачам выбора, которые использовались для изучения компромисса между исследованием и использованием, выборкой информации и поиском пищи. Модели позволили нам определить нормативные механизмы выбора в этих задачах, и, следовательно, они дают представление об их сходствах и различиях.Все задачи манипулируют компромиссами между ближайшими и будущими ожидаемыми значениями (IEV против FEV). Задачи временного дисконтирования явно манипулируют этим компромиссом. Мы не рассматривали их в настоящем исследовании, но мы смоделировали их ранее, используя MDP [5]. Нормативное исследование в бандитских задачах можно определить как выбор варианта, IEV которого меньше, но FEV больше, чем вариант, с которым у человека больше опыта. Это также стимулирует исследования, когда есть нестационарность или когда представлены новые варианты, потому что оба они увеличивают неопределенность.В задачах выборки информации устанавливается явный компромисс между повторной выборкой, значение действия для которой определяется FEV (плюс небольшая стоимость выборки), и выводом варианта, значение действия для которого определяется IEV. Наконец, задачи по поиску пищи также предоставляют возможность остаться в текущем участке, который имеет больший IEV, но снижается FEV, или перейти на новый участок, действие, для которого IEV равен нулю, но FEV больше. В этих задачах IEV и FEV рассчитываются по-разному.Другими словами, механизмы, лежащие в основе оценки ценности, различаются для разных задач. При попытке понять нейронные цепи и основные нейронные процессы, которые выполняют решения в этих задачах, будет важно понять, как эти вычисления выполняются в мозге.

Результаты для конкретной задачи

Мы начали с изучения компромисса с исследованием эксплойта в задаче «Двуручный бандит», в которой сумма вознаграждения для обоих вариантов была одинаковой, но они различались в той доле раз, в которой они были вознаграждены.Бандитские задания использовались для изучения обучения в здоровых и клинических группах населения [31,32]. В первых нескольких испытаниях есть смысл в выборке обоих вариантов, а варианты без выборки имеют больший ОФВ. Это будущее ожидаемое значение зависит от трех факторов. Во-первых, распределение возможных вероятностей вознаграждения для опциона без выборки является широким, учитывая предыдущий. Таким образом, вариант без выборки может быть более полезным, чем варианты, которые были выбраны. Во-вторых, если выбран вариант без выборки, и он не так хорош, как другие варианты, испытуемый может вернуться к другим вариантам.Однако, если (ранее) полный вариант лучше, чем другие варианты, объект может придерживаться его. Наконец, временной горизонт должен быть достаточно длинным, чтобы можно было пожинать плоды от вложения образцов в новый вариант.

Эвристически можно рассмотреть следующий примерный пример. Предположим, что кто-то выбрал один из двух доступных вариантов (назовем его вариантом 1) и обнаружил, что он вознаграждается в 70% случаев, и теперь у него есть еще 100 попыток. Затем можно было бы попробовать альтернативный вариант (вариант 2) 10 раз.Если вариант 2 вознаграждается в 80% случаев, можно было бы придерживаться этого варианта, получая в среднем 80 вознаграждений за горизонт испытаний 100. Если будет обнаружено, что вариант 2 вознаграждается только в 20% случаев, тогда можно вернуться к варианту 1, получая в среднем 0,2 * 10 + 0,7 * 90 = 65 вознаграждений. Если вариант 2 (т. Е. Все варианты 2, с которыми встречается один при повторных проигрываниях задачи) либо награждается 80%, либо 20% времени, средняя награда с этой упрощенной стратегией будет 72,5 за 100 испытаний. тогда как это было бы только 70, если бы вы всегда придерживались варианта 1.В среднем 2,5 дополнительных награды — это бонус исследования. Это зависит от возможности того, что новый вариант лучше, чем текущий вариант, от того факта, что кто-то вернется к альтернативе, если он лучше, чем новый вариант, и от наличия достаточного временного горизонта.

Мы также рассмотрели две другие задачи, которые являются расширением задачи бандита. В частности, нестационарный бандит [9] и задача-новинка [5,8,29,33]. У нестационарного бандита средние величины вознаграждения для двух вариантов следуют независимым случайным блужданиям.Когда опцион отбирается несколько раз, можно получить относительно точную (т.е. с низкой дисперсией) оценку его среднего значения. Однако, когда выборка не проводится, распределение его среднего становится широким. Когда случайное блуждание не наблюдается в течение определенного периода времени, дисперсия его оценки линейно растет со временем. Один из способов концептуализировать это по отношению к стационарному бандиту — сказать, что когда вариант не использовался в течение некоторого времени, он становится как новый вариант, и его изучение имеет ценность.Это верно для любых задач, в основе которых лежит нестационарность вознаграждения [34]. Однако именно дисперсия в оценке среднего определяет бонус за разведку. Когда дисперсия становится большой, вариант может быть лучше, чем текущие варианты, и исследование выгодно. Точно так же в задаче новизна, когда новый вариант заменяется одним из выбранных вариантов, вероятность вознаграждения для нового варианта неизвестна, и поэтому полезно изучить его.

Затем мы исследовали задание на бусинки или урну [4,5,20–22,30,35]. Это задача выборки информации, аналогичная по структуре другим задачам выборки [36]. Модель POMDP для этой задачи оптимизировала выбор только в отдельных испытаниях с явным указанием стоимости для выборки. Он не позволил оптимизировать ставки вознаграждения за несколько испытаний. Испытуемым предоставляется возможность выбрать столько информации, сколько они захотят, прежде чем угадать урну. Выбор образца основан на убеждении, что FEV выборки больше, чем IEV угадывания урны.В этом отношении отбор образцов аналогичен исследованию, поскольку это выбор в пользу FEV по сравнению с IEV. Однако оно отличается от исследования тем, что исследование в бандитских задачах обычно имеет некоторый IEV. То есть выбор неизвестного варианта в бандитских заданиях обычно приводит к некоторому вознаграждению. В целом это не обязательно должно быть правдой. Однако в задачах выборки информации выбор выборки обычно приводит к нулевому IEV (или слегка отрицательному IEV, определяемому стоимостью выборки). Таким образом, отбор проб больше похож на поиск пищи.Также стоит отметить, что варианты времени реакции задач перцептивного вывода могут быть смоделированы в рамках, эквивалентных подходу, используемому здесь для моделирования выборки информации [37,38]. Задачи перцептивного вывода, как и многие другие задачи выбора, часто моделируются с использованием структуры дрейфа-диффузии, и предполагается, что когда частица, несущая свидетельство, пересекает порог, принимается решение. Переход «порога» — это выбор для остановки выборки. Это часто делается для моделей дрейфовой диффузии в задачах перцептивного вывода на основе времени поведенческой реакции.Но с помощью MDP порог может быть рассчитан динамически на основе текущих уровней доверия, затрат на выборку и вероятностей перехода [38]. Таким образом, можно вывести оптимальный порог для любой решаемой задачи.

Последними задачами, которые мы рассмотрели, были задачи по поиску пищи. Эти задачи также позволяют найти компромисс между ближайшими и будущими ожидаемыми значениями. Выбор кормов приводит к нулевому IEV. Ценность действия выбора корма полностью зависит от ВРЭ. Задачи сбора пищи отличаются от задач, рассмотренных выше, потому что их пространства состояний имеют рекурсивную структуру и состояние наблюдается, а не выводится из наблюдений, несущих информацию.Задачи снова и снова проходят через свои рекурсивные пространства состояний. Выбор определяется как сравнение между текущими и будущими стохастическими предложениями. Текущее предложение может заключаться в том, чтобы остаться в патче и получить примерно известную, уменьшающуюся награду или принять текущую пару предложенных азартных игр. Будущее стохастическое предложение может быть явно рассчитано на основе предоставленной информации. Это либо значение нового патча, учитывая текущее время прохождения, либо ожидаемое значение этапа принятия решения для набора азартных игр, который может быть получен из текущего набора.Эти средние значения фиксируются с достаточным временным горизонтом. Следовательно, стратегия состоит в том, чтобы либо оставаться в текущем патче, пока значение вознаграждения не упадет ниже значения выхода, либо пробовать азартные игры до тех пор, пока выбранная игра не будет стоить больше, чем ожидаемая ценность будущих выборок. В задачах поиска пищи, как правило, не происходит обновления оценок распределения, и поэтому в этом отношении поиск пищи коренным образом отличается от исследования.

Факторы, определяющие стратегии выбора при выполнении задач

Есть два важных фактора, которые определяют предпочтения при выборе при выполнении этих задач.Первый — это неопределенность, а второй — временной горизонт. Неопределенность влияет на эти модели двояко. Во-первых, в бандитских задачах, когда доступны новые варианты, или, что эквивалентно, когда нестационарные варианты не исследовались в течение некоторого времени, распределение возможных значений вознаграждения широкое, а неопределенность высока. Следовательно, выбор вариантов несколько раз, чтобы узнать о них, является ценным, учитывая достаточный временной горизонт. Стоимость этой неопределенности определяется будущим ожидаемым значением.Однако сама выборка снижает неопределенность в выборе вариантов. Когда человек узнает, что вариант является ценным или нет, он может действовать соответствующим образом. Таким образом, повышенная неопределенность влияет на стоимость через FEV. Поскольку мы использовали модели, максимизирующие ожидаемое вознаграждение, неопределенность не влияет на IEV. Однако, поскольку неопределенность может привести к большему ОФВ, уменьшение неопределенности и, следовательно, уменьшение ОФВ увеличивает относительную важность IEV для общего значения действия. То же самое относится и к задачам выборки информации.Пока неопределенность высока, ОФВ высок. Однако, когда неопределенность уменьшается, IEV угадывания урны становится больше. Интересно, что, в отличие от этого, возрастающая неопределенность в задачах временного дисконтирования фактически снижает предпочтение отложенных, более крупных вознаграждений [5]. (Задачи с временным дисконтированием — это задания, в которых испытуемым предлагается выбор между немедленным меньшим вознаграждением и отложенным большим вознаграждением.) Это связано с пространством состояний заданий с временным дисконтированием. Можно смоделировать задачи временного дисконтирования, используя MDP, который на каждом временном шаге включает возможность выхода из пути к вознаграждению и выхода из состояния без вознаграждения с некоторой вероятностью.Если эта вероятность завершения в состоянии отсутствия вознаграждения увеличивается, становится менее вероятным, что кто-то получит вознаграждение из-за фиксированной задержки вознаграждения. Интересно, что это считается фундаментальным фактором, стимулирующим преступность [39].

Временной горизонт также важен. В задачах с бесконечным горизонтом временной горизонт контролируется параметром скидки. В задачах бандитов временной горизонт влияет на относительную ценность исследования. В стационарных задачах временной горизонт влияет на относительную ценность исследования новых или неизвестных вариантов.Более длинные временные горизонты или параметры дисконта, близкие к 1, увеличивают ценность разведки. В нестационарных средах эта взаимосвязь более сложна, поскольку нестационарность ограничивает эффективный временной горизонт любой политики. Однако при поиске пищи временной горизонт также важен. В недисконтированных задачах с бесконечным горизонтом время в пути не имеет значения. Если у кого-то есть бесконечный, недисконтированный временной горизонт, то любое конечное время в пути не влияет на стоимость. В нестационарной бандитской задаче, когда параметр скидки приближается к единице, алгоритм чаще выбирает варианты с меньшими средними.В качестве другого примера рассмотрим упрощенный MDP, показанный на рис. 8. Решение этой проблемы с бесконечным горизонтом без учета дисконтирования не отдает предпочтение действию 1 по сравнению с действием 2 [40], потому что относительное значение этого начального временного вознаграждения будет равно нулю в бесконечное время. предел. Для работы с такими ситуациями существуют такие методы, как чувствительная оптимальность скидки, хотя они могут применяться только к управляемым пространствам состояний [40]. Однако в этом случае MDP со скидкой благоприятствует действию 1. Это говорит о том, что временное дисконтирование в той или иной форме повсеместно, потому что оно всегда актуально с биологической (или вычислительной) точки зрения.Является ли дисконтирование экспоненциальным или гиперболическим или принимает какую-то другую форму, не так важно. Более важным является некое монотонное уменьшение ценности будущих наград с удалением в будущее.

Рис 8. Пример MDP.

Обратите внимание, что из состояния 1 выбор действия 1 приводит к вознаграждению в 1000 и детерминированному переходу в состояние 2. Выбор действия 2 из состояния 1 приводит к вознаграждению в 1 и детерминированному переходу в состояние 2. Только одно действие является доступен в состоянии 2.Это приводит к награде 1 и детерминированному самопереходу.

https://doi.org/10.1371/journal.pcbi.1004164.g008

Заключение

Компромисс исследования и использования часто моделируется с помощью эвристики. Сильная критика эвристики состоит в том, что они объясняют не больше, чем предполагают, и говорят нам не больше, чем данные [28]. Однако эвристика может предоставить разумные решения инженерных проблем, часто дает представление о закономерностях в данных и может лучше приближать поведение, чем нормативные модели [15].Например, недавняя работа явно исследовала роль шумного и направленного исследования и обнаружила, что люди используют как направленные, так и шумные стратегии исследования [31]. Однако в некоторых случаях эвристику трудно интерпретировать. Например, бета-параметр или параметр обратной температуры в обучении с подкреплением по дельта-правилам (DRRL) часто считается контролирующим компромисс «исследовать-эксплуатировать». Однако этот параметр может управлять шумом только в процессах выбора, а стандартные реализации DRRL не уменьшают этот шум по мере изучения значений вознаграждения.Следовательно, с помощью этого параметра невозможно отличить исследование от шума в процессе выбора, а плохое обучение выглядит как исследование. Несколько более сложных вариантов, включая выборку Томпсона [41,42] и родственные алгоритмы [43], однако, уменьшают исследование с обучением и могут достичь минимального сожаления.

В рамках MDP исследование не обязательно должно быть ненаправленным или шумным. Исследование может быть преднамеренной, направленной, нормативной стратегией, если имеется достаточное знание окружающей среды и агент имеет достаточные вычислительные ресурсы.Необязательно исследовать столько, сколько изучают или накапливают информацию (бандитские задачи или задачи по отбору информации), пока дополнительная информация не укажет, что альтернативный выбор лучше. Каждый выбор предоставляет некоторую информацию, потому что вы всегда переходите через состояния, поскольку варианты доставляют информацию в этих задачах. Точно так же, оставление текущего участка в задаче поиска пищи — это явный расчет относительной ценности перехода к новому участку, ожидаемое значение которого характеризуется некоторым распределением вероятности по значениям участков.Возможно, что у животных есть относительно простые стратегии решения этих проблем. Однако кажется вероятным, что они разработали, по крайней мере, хорошее приближение к базовым нормативным полезностям, по крайней мере, в задачах, которые соответствуют экологическим условиям животного или в которых животные имеют большой опыт.

Методы

Марковские процессы принятия решений

Мы смоделировали задачи, используя марковские процессы принятия решений с наблюдаемыми (MDP) или частично наблюдаемыми (POMDP) ​​состояниями.Задачи были смоделированы как конечный или бесконечный горизонт, дискретное время и дисконтированные (то есть с параметром скидки γ <1) или недисконтированные (т.е. с параметром скидки γ = 1), как указано в рукописи. Некоторые модели также включают стоимость образца. Для моделей с дискретным состоянием полезность, и , состояния, с , в момент времени t равна

где — набор доступных действий в состоянии s в момент времени t, r ( s _t , α ) — награда, которая будет получена в состоянии s в момент времени t, если будет выполнено действие a.Переменная C ( s _t , α ) представляет собой стоимость выборки, которая может быть равна нулю. Суммирование j производится по множеству возможных последующих состояний S в момент времени t + 1. Это ожидаемая будущая полезность, взятая через распределение вероятностей перехода p ( j | s _t , α ). Вероятность перехода — это вероятность перехода в каждое состояние j из текущего состояния, s _t , если предпринять действие a.Член γ представляет собой коэффициент дисконтирования. Термины в фигурных скобках представляют собой значение действия, Q ( s _t , α ) = r ( s _t , α ) + C ( s _t , α ) + γ Σ _{j ∈ s} p ( j | s _{t 9112 α u t +1 ( j ), за каждое доступное действие.Для моделей с непрерывным состоянием полезность равна}

Все интегралы состояний по непрерывным состояниям вычислялись в дискретных приближениях. Уравнения 1 и 2 предполагают, что агент максимизирует вознаграждение через оператор max.

Для дискретных состояний, моделей с конечным горизонтом и управляемыми пространствами состояний мы использовали алгоритм обратной индукции для вычисления полезностей и значений действий [28]. Это было сделано для двухруких стационарных бандитов, бус и сбора проб. С конечным горизонтом конечное состояние приносит награду, но дальнейшие действия невозможны.Следовательно, если мы начнем с определения утилит конечных состояний, мы можем работать в обратном направлении и определить полезности всех предыдущих состояний. В частности, алгоритм работает следующим образом [40], где N — конечное состояние.

1. Установите t = N

2. Заменить t-1 на t и вычислить.

Задавать

3. Если t = 1 остановка, в противном случае вернитесь к 2.

Нестационарный двухрукий бандит, новинка и задачи по поиску пищи с участка были смоделированы как POMDP или MDP с бесконечным горизонтом.Утилиты были подобраны с использованием алгоритма итерации значений [40]. Этот алгоритм работает следующим образом. Сначала вектор полезностей по штатам, v ⁰ , был инициализирован случайными значениями. Мы устанавливаем индекс итерации n = 0. Затем вычисляем:
(3)
После каждой итерации мы вычисляли изменение оценки значения, и проверяли либо || Δ v || <∈, либо span (Δ v ) <∈. Диапазон определяется как. интервал ( v ) = max _s∈S v ( s ) — min _s∈S v горизонт ( s ) для бесконечности модели значение продолжает расти с итерациями уравнения 3, но диапазоны сходятся [40].Это связано с тем, что конечные значения состояния представляют собой средние затраты на этап плюс дифференциал. Это применимо только к примеру с оставлением участка сбора пищи с параметром скидки, равным 1. В этом случае мы исследовали только дифференциальные значения, поэтому средняя стоимость за этап вычитается, потому что она добавляется ко всем состояниям.

Мы также использовали приближенные методы для нестационарного двухрукого бандита и задачи новизны, поскольку их пространства состояний были трудноразрешимыми на соответствующих временных горизонтах. Для этих POMDP мы определили основу, а затем аппроксимировали полезность с помощью
(4)
Во всех случаях мы использовали фиксированные базисные функции, чтобы мы могли вычислить базисные коэффициенты, a _i , используя методы наименьших квадратов.Мы собрали матрицу Φ _{i , j} = ϕ _i ( s _j ), которая содержит значения базисных функций для конкретных состояний, s _j . Затем мы рассчитали матрицу проекции
(5)
И рассчитал приближение
(6)
Жирным шрифтом выделены векторные состояния или выбранные состояния, в которых мы вычислили приближение. При использовании приближения в алгоритме итерации значений мы сначала вычисляем приближение.Затем мы подставляем аппроксимацию в правую часть уравнения 3,. Затем мы вычисляем приближения к новым значениям. Это повторяется до схождения.

В качестве базисных функций использовались кусочные полиномы и / или b-сплайны [44]. По поводу b-сплайнов см. [44]. Для кусочных полиномов первые базисные функции задаются как h _i ( x ) = x ^i-1 . Для сплайна порядка K (т.е. для кубического K = 3) i изменяется от 1 до K + 1.В дополнение к этим глобальным полиномам мы также добавляем hj ( x ) = ( x-t _j ) ^K для узлов J, t _j . Поскольку все пространства состояний были многомерными, а основание кусочно-полиномиального базиса варьировалось между узлами, нам также приходилось вычислять произведения базисных функций по измерениям. Вычислить базисное пространство полного тензорного произведения обычно было трудно. Он создал матрицу проекции, которую либо нельзя было сохранить в памяти, либо итерация по очень большой матрице проекции была настолько медленной, что алгоритм не мог сойтись за разумный промежуток времени.Поэтому мы начали с линейных членов и добавляли члены взаимодействия возрастающего порядка (то есть второго порядка, третьего порядка,…), пока приближение не перестало улучшаться. Мы не обнаружили улучшения, выходя за рамки квадратичных членов.

местоположения узлов были систематически исследованы, чтобы найти местоположения, которые привели к хорошему приближению. Аппроксимации проверялись несколькими способами. Сначала мы построили график зависимости от ^{n + 1} , чтобы убедиться в их согласованности после сходимости, а также проверить дисперсию остатка.Во-вторых, мы добавили узлы, чтобы увидеть, улучшилась ли посадка. В-третьих, мы увеличили порядок полинома, чтобы увидеть, улучшилось ли соответствие. Во всех случаях использовались кубические многочлены (т.е. K = 3). Когда порядок был увеличен до кубического, итерация значений часто расходилась. Наконец, производительность приблизительного вывода MDP для задачи новизны можно сравнить с соответствующей моделью конечного горизонта, по крайней мере, для коротких временных горизонтов, чтобы увидеть, сделали ли они последовательные прогнозы.

Для задачи новизны числовое значение было легче реализовать, если мы приблизительно рассчитали количество выборок для каждого варианта (N) и вероятность того, что он был вознагражден (p).Мы использовали базис B-сплайнов порядка 3 ^rd . Расположение узлов для N было 0 и 150, и алгоритм был оптимизирован (с использованием обозначения оператора двоеточия в Matlab) N = и p = 0: 0,25: 1. Значения N не были целыми числами, но это не влияет на оценку функции значения. . Включены взаимодействия до второго порядка. Для нестационарного двурукого бандита средние значения соответствовали B-сплайну 3 ^rd порядка, а стандартные отклонения соответствовали кусочному полиному 2-го порядка.Такой подход дал хорошо работающие функции ценности. Расположение узлов для средних было дано -30 50 и 130. Средние были оценены как 0, 12,5, 25, 37,5, 50, 62,5, 75, 87,5, 100. Расположение узлов для стандартных отклонений было дано как 0,25, 1, 3, 5 и 15. Стандартные отклонения были оценены как 0,5, 1, 2, 3, 4, 5, 7 и 14. В модель были включены взаимодействия между всеми базисными функциями до второго порядка.

Подробная информация о конкретных задачах моделей MPD

Стационарный двурукий бандит на задание.

В задании «Стационарный двурукий бандит» в каждом испытании можно выбрать одного из двух возможных бандитов (действий). Каждый бандит платит с некоторой фиксированной, постоянной вероятностью, а сумма вознаграждения всегда одинакова. Мы смоделировали задачу с конечным горизонтом, конечным состоянием, без учета POMDP. Пространство состояний — это дискретное информационное состояние, поэтому базовая модель — это дискретный MDP. Пространство состояний задается количеством раз, когда каждый вариант выбирается, и количеством раз, когда каждый вариант вознаграждается, включая предыдущую информацию.Это пространство состояний увеличивается с испытаниями, ограничивая временной горизонт, который можно смоделировать. Мы используем нижний регистр для обозначения фактических выборов и вознаграждений (r ₁ , c ₁ , r ₂ , c ₂ ) и верхний регистр для обозначения апостериорных ожидаемых значений, которые включают предварительную информацию о вариантах выбора и вознаграждениях ( R ₁ , C ₁ , R ₂ , C ₂ ). Для единственного варианта, предполагая, что бета (α, β) предшествует, ожидаемая апостериорная вероятность вознаграждения q равна.Ожидаемое вознаграждение за каждый вариант в рамках предшествующей бета-версии (1,1) составляет
. Переходы между состояниями обозначены q. При выборе варианта i происходит переход к R _i +1, C _i +1 с вероятностью R _i / C _i и есть переход на R _i , C _i +1 с вероятностью 1-R _i / C _i .Утилиты для этой модели могут быть рассчитаны с использованием обратной индукции.

Задача нестационарного двурукого бандита.

В этой задаче снова есть два бандитских варианта. Награда, доставляемая каждым бандитом, является непрерывной, а ожидаемая награда следует за убывающим случайным блужданием. Мы смоделировали эту задачу, используя бесконечный горизонт, непрерывное состояние, дисконтированный, POMDP. В этом случае информационное состояние является непрерывным, поэтому модель более сложна, чем предыдущие POMDP. Коммунальные услуги были смоделированы с использованием базисной аппроксимации.Пространство состояний — это информационное пространство, заданное текущей оценкой среднего и дисперсии выплаты для каждого бандита [45]. Мы использовали модель перехода состояний, приведенную в исходной публикации [9], за исключением того, что мы смоделировали только двух бандитов, чтобы ограничить размерность модели и сделать ее управляемой. Среднее значение выплаты вознаграждения определяется убывающим случайным блужданием:
(7)
Выплата производится по:
(8)
При λ = 0,9836 и θ = 50. Оба распределения шума были i.i.d. Фильтр Калмана можно использовать для отслеживания среднего значения для этой модели.Обновление фильтра Калмана для среднего и дисперсии выбранного варианта после вознаграждения, y _i ( t ), определяется следующим образом:
(9)

И за неизбранный вариант
(10)

Информационное состояние — это все прошлые наблюдаемые результаты [45]. Однако, поскольку модель нестационарного бандита является гауссовой, достаточная статистика дается средним значением и дисперсией гауссова распределения для каждого бандита. Поэтому информационное пространство для этого POMDP, эквивалентное пространству состояний для MDP, может быть компактно представлено: как оценочное среднее и стандартное отклонение (или дисперсия) каждого бандита.Нам не нужно сохранять все прошлые результаты, и размер информационного пространства состояний не увеличивается со временем. Для этой модели уравнение полезности требует вычисления математического ожидания по наблюдаемой переменной с учетом информационного состояния. Конкретно,
(11)
Этот интеграл был рассчитан численно путем дискретизации y в пределах +/- 2 стандартных отклонений и выборки 10 точек. Увеличение диапазона y или плотности выборки оказало минимальное влияние на результат. Ожидаемое вознаграждение определяется:
(12)
что является средним значением гауссиана.Распределение по наблюдаемым значениям определяется выражением:
(13)
Из-за линейной гауссовой статистики интеграл в 16, который вычисляет маргинальное распределение x _{t +1} и y _{t +1} дает и [46].

Задача новинка.

Новинка — задание «3-х вооруженный бандит». Как и в случае с двухруким бандитом, варианты вознаграждаются с разной вероятностью, но сумма вознаграждения всегда равна 1. Вероятности вознаграждения для каждого бандита постоянны, пока эта опция доступна.В каждом испытании есть 5% шанс, что один из вариантов бандита будет заменен новым вариантом. Ранее мы моделировали эту задачу с усеченным временным горизонтом [5]. Однако бонус исследования увеличивается с увеличением временного горизонта. Поэтому нам нужен подход, который позволил бы нам изучить более длительные временные горизонты. Мы использовали приближенные методы для соответствия бесконечному горизонту, дискретному состоянию, дисконтированному POMDP. Однако основная модель — это дискретная MDP. Пространство состояний — это количество раз, когда каждый вариант был выбран, и количество раз, когда он был вознагражден, s _t = {R ₁ , C ₁ , R ₂ , C ₂ , R ₃ , C ₃ }.Это пространство состояний было аппроксимировано с использованием дискретного непрерывного приближения. Оценка немедленного вознаграждения дается максимальной апостериорной оценкой,. Набор возможных следующих состояний s _{t + 1} задается выбранной целью независимо от того, вознаграждена она или нет, и заменен ли один из вариантов новым вариантом [5]. Таким образом, каждое состояние приводит к 21 уникальному последующему состоянию. Определим qi = r _t ( s _t , α = i ), и переключатель p = 0.05, как вероятность новой замены. Переход в последующее состояние без замены нового выбора и без вознаграждения предоставляется:

и за вознаграждение

Когда предлагался новый вариант, он мог заменить выбранный стимул или один из двух других стимулов. В этом случае, если выбранная цель i не была вознаграждена и была заменена другая цель j, мы имеем

и если выбранная цель не была вознаграждена и была заменена

И, соответственно, после вознаграждения и замены другой цели j имеем

и

Обратите внимание, что когда новый вариант заменяется выбранным стимулом, то же последующее состояние достигается с вознаграждением или без него.

Задание бисер.

В задаче «Бусинки» цель состоит в том, чтобы определить, из какой из двух урн берется содержимое, учитывая последовательность извлечений из одной из урн [4]. Приведена пропорция бусинок в урнах. Бусы извлекаются из одной из урн по одной. После того, как каждая бусинка нарисована, можно либо догадаться, что вынимается урна с преимущественно синими бусинками, либо что вынимается урна с преимущественно оранжевыми бусинками, либо можно попросить показать другую бусину. Мы смоделировали задачу как конечный горизонт, дискретное состояние, недисконтированный POMDP.Поскольку информационное пространство состояний дискретно (т. Е. Результаты могут быть только синими или оранжевыми), основная модель задается MDP дискретного состояния. Для текущих моделей соотношение бусинок в урнах всегда составляло 60/40. Максимальное количество бусинок, которое можно было нарисовать, составляло 12. Награда за правильность составляла 1, штраф за ошибку — 0, а стоимость выборки составляла -0,005. Пространство состояний определяется количеством нарисованных бусинок ( n _d ) и количеством нарисованных синих ( n _b ) бусинок, s _t = { n _d , n _b }.Чтобы угадать синюю урну, a = blue, мы имеем:
(14)
где C _e — стоимость ошибки (здесь 0 для результатов), а C _c — награда за правильность, которую мы установили равной 1. Вероятность того, что мы берем из синей урны p _b дан кем-то
(15)
где q — доля бус в урне большинства. Вероятность оранжевой урны, p _o , тогда равна 1- p _b . Второй член в уравнении 1, который является значением следующего состояния, равен 0 для выбора синих или оранжевых урн, потому что выбор урны завершает последовательность.Чтобы снова рисовать, a = draw, мы имеем
(16)
где C _s — стоимость чертежа (-0,005, если не указано иное). Из заданного состояния s _t , если кто-то снова рисует, он вытягивает либо синюю, либо оранжевую бусину, поэтому два последующих состояния: s _{t + 1} = n _d +1, n _b +1, если нарисована синяя бусина, или s _{t + 1} = n _d +1, n _b в противном случае. И вероятности перехода равны

Патч для сбора пищи.

Пространства состояний для задач поиска пищи показаны на рис.6А и 7А. Мы моделировали задачу выхода патча [19] как MDP дискретного состояния с бесконечным горизонтом. Мы рассмотрели как случаи со скидкой, так и случаи без скидки. Пространство состояний было задано текущим уровнем сока, текущей задержкой в ​​пути, временем в пути (0, если не в пути), временем задержки вознаграждения (0, если не в задержке вознаграждения) и временем межпробного интервала (ITI) (0, если нет). в ITI). Чтобы упростить пространство состояний, мы использовали шкалу времени 100 мс и 20 мкл сока. Задержки ITI (1500 мс), перемещения (переменная от 500 мс до 10 500 мс) и вознаграждения (400 мс) были смоделированы как серия состояний с детерминированными переходами.Они не показаны явно на фиг. 6A. Таким образом, всегда переходили из ITI ₁ в ITI ₂ ,… в ITI ₁₅ (то есть 1500 мс ITI), а затем переходили из ITI ₁₅ в состояние выбора. Была соответствующая последовательность детерминированных переходов для задержек путешествия и вознаграждения, оба из которых заканчивались в ITI. В конечном состоянии отсрочки вознаграждения была получена сумма вознаграждения, равная текущему вознаграждению. Таким образом, время было смоделировано явно.Награда была детерминировано, а не стохастически, уменьшена на 20 ul на выбор, чтобы остаться в текущем патче, чтобы упростить модель. Состояние выбора было единственным состоянием, в котором было доступно более одного действия, и в этот момент можно было оставаться в текущем патче или перейти к новому патчу. Единственным стохастическим переходом в модели был переход к новой задержке перемещения для нового фрагмента после того, как текущий фрагмент был оставлен. Вероятность перехода на каждую из задержек поездки была равномерной.Таким образом, p (задержка перемещения = i | s _t , a = патч выхода) = 1/11 с 11 задержками перемещения (от 500 мс до 10500 мс с интервалами 1000 мс).

Собирательство путем отбора проб.

В задании «Собирательство с помощью выборки» испытуемым показывают набор из 6 азартных игр для каждой схватки за добычей [18]. С каждой игрой связана разная награда. В каждой точке две азартные игры выбираются как пара из 6 и предлагаются испытуемым. Если испытуемые отвергают текущую пару, эта пара возвращается в набор, и новая пара азартных игр выбирается из набора из 6 игр.Если испытуемые соглашаются на риск, они переходят к стадии принятия решения. На стадии принятия решения испытуемым сообщается вероятность того, что игра 1 пары выплатит свое вознаграждение, и вероятность того, что игра 2 выпадет свое вознаграждение. Затем испытуемые должны выбрать из пары азартную игру 1 или игру 2. Затем им сообщают, «выиграли ли они» в этом судебном процессе. Затем они возвращаются к новой игре с 6 новыми индивидуальными играми.

Для этой задачи [18] мы смоделировали только стадию кормодобывания.Этап принятия решения детерминирован. Предполагается, что испытуемые выберут вариант, имеющий наивысшее ожидаемое значение на этом этапе. Мы смоделировали задачу, используя MDP с конечным горизонтом (максимум 60 отсчетов) без дисконтирования с дискретным состоянием. Горизонт может быть сокращен из-за затрат на выборку, но пространство состояний для этой задачи невелико, и алгоритм работает быстро. Коммунальные услуги были смоделированы с использованием обратной индукции. Средние значения определяют полезности в последнем состоянии (т. Е. Испытании 60), где предполагается, что испытуемым придется сыграть предложенную ставку, а затем эти полезности были распространены назад в текущее испытание.Пространство состояний было задано количеством комбинаций азартных игр, потому что в каждый момент на стадии сбора пищи предлагалась одна пара. 6 отдельных азартных игр приводят к 15 парам азартных игр, предполагая выборку без замены из предлагаемых азартных игр и комбинируя симметричные пары (т.е. азартная игра 2,3 аналогична азартной игре 3,2). Стоимость отдельных азартных игр варьировалась от 20 до 130 единиц с шагом 10. Стоимость выборки, C _s , была установлена ​​на уровне ожидаемого значения -7 баллов. В каждом состоянии испытуемые могли выбрать участие в текущей игре, которая привела к стадии принятия решения и окончанию схватки за добычей, или они могли сделать выборку снова, и в этом случае они переходили к новой паре азартных игр, которая была выбрана единообразно из пары возможных азартных игр.Таким образом, p (s _t = i | s _t , a = sample) = 1/15. Ожидаемая ценность каждой пары азартных игр не была выражена средним значением двух азартных игр или максимумом среднего значения каждой азартной игры. Скорее, ожидаемая стоимость данной пары была выражена следующим образом:
(17)
Это потому, что предполагается, что испытуемые выберут азартную игру с наивысшим ожидаемым выигрышем. Следовательно, вероятности работают под оператором max.

индексов Гиттинса и бандитских задач.

Также возможно использование индексов Гиттинса для выбора оптимальных действий в стационарных бандитских задачах [47].Индексы Gittins (GI), или индексы динамического распределения, позволяют разделить проблемы многорукого бандита на набор проблем однорукого бандита. Значение состояния каждого бандита сравнивается с эталонным процессом. Поскольку многорукие бандиты могут быть разделены на проблемы одноруких бандитов, пространство состояний, по которому вычисляются значения, значительно меньше. Однако вычисление индексов для каждого отдельного бандита сложнее. Кроме того, индексы могут быть рассчитаны только для конечного горизонта, поэтому бесконечный горизонт, недисконтированные оценки не могут быть получены.Однако из-за упрощенных состояний можно исследовать относительно большие временные горизонты. Поэтому мы описываем здесь базовый расчет, основанный на формулировке перезапуска, данной Катехакисом и Вейноттом [48]. Мы не приводим никаких результатов, поскольку они были представлены ранее [24,48]. Для задачи стационарного n-вооруженного бандита GI для состояния i одного бандита можно оценить, найдя фиксированную точку:
(18)
Фиксированную точку можно найти с помощью итерации значения, как это было сделано выше. Стратегия состоит в том, чтобы подключить состояние i, решить уравнение 18, используя итерацию значений, а затем использовать u _t (s _t = i) в качестве GI для этого состояния.Это необходимо сделать для каждого состояния, для которого требуется индекс. Не то чтобы действие, установленное здесь, касается только одного бандита против эталонного действия, а не набора бандитов. Таким образом, индексы действительны для n бандитов после того, как вычислены для одного бандита. После расчета GI для всех состояний выбирается бандит, GI которого является наибольшим, учитывая его состояние в каждом испытании. Однако ГУ не являются оценками стоимости.

13 Решения проблемы многорукого бандита для нематематиков | by Jae Duk Seo

Простые решения проблемы многорукого бандита для нематематиков (таких как я).

GIF с этого сайта

Введение

Проблема проста, у нас есть игровой автомат с числом рук n. И у нас есть ограниченное количество испытаний, на которых мы можем натянуть руку, а также мы не знаем, какие руки принесут нам больше всего денег.

Предполагая, что распределение вероятностей не меняется со временем (это означает, что это стационарная проблема)….

Какую руку мы должны тянуть? Следует ли нам тянуть руку, которая приносила нам наибольшее вознаграждение в прошлом, или мы должны исследовать ее в надежде получить более оптимальную руку?

Есть несколько решений этой проблемы, и обычно люди измеряют сожаление, чтобы оценить каждое решение.(Сожаление ==, проще говоря, размер штрафа, который мы получаем за то, что не потянули оптимальную руку.) Итак, чтобы свести к минимуму сожаление, нам просто нужно вытащить руку, которая с наибольшей вероятностью даст нам награду.

Но я хотел посмотреть на дополнительное измерение, в частности, я также учту, насколько хорошо каждый алгоритм оценивает распределение вероятностей для каждой руки. (вероятность того, что нам дадут вознаграждение). И посмотрите каждое их выступление в меньшем масштабе, в котором у нас всего 12 рук, и в большем масштабе, в котором у нас есть 1000 рук.

Наконец, цель этого поста — предоставить простую реализацию каждого решения для нематематиков (таких как я). Следовательно, теоретические гарантии и доказательства не обсуждаются, но я предоставил различные ссылки для людей, которые хотят изучить эту проблему более глубоко.

Ниже приведен список методов, которые мы собираемся сравнить… ..

1) Векторизованный
2) Жадный
3) e-Greedy
4) Decay e-Greedy
5) Линейное бездействие вознаграждения (методы преследования )
6) Штраф за линейное вознаграждение (методы преследования)
7) Верхние границы достоверности
8) Настроены верхние границы достоверности
9) Выборка Томпсона (бета-распределение)
10) Выборка Томпсона (равномерное распределение)
11) Нейронная сеть
12) Boltzmann Exploration (Softmax)
13) Gradient Bandits

Обучение воровству — OSRS Wiki

Это руководство для тренировки навыка воровства.

Общая информация и советы [править | править источник]

Совет для карманной кражи: перейдите в меню параметров, перейдите к игровому контроллеру в правом верхнем углу и выберите «Скрытый» в разделе «Параметры NPC« Атака »». Это превратит опцию «Карманник» в щелчок левой кнопкой, а не правой кнопкой. Кроме того, можно воровать более одного раза за одну анимацию, поэтому нажатие на спам максимизирует опыт.

При тренировке с блэкджеком жертвы иногда ловят вас каждый раз, когда вы пытаетесь их нокаутировать.Когда это происходит, жертва может находиться в состоянии предупреждения . Чтобы исправить это, пройдите диалог Приманки, пока жертва не будет успешно заманена.

Дневник Ардуна [править | править источник]

Различные уровни дневника Ардуна дают повышенный шанс успешно обыскать различных NPC. Завершение среднего дневника Ардуна увеличивает шанс игрока на успех при карманной краже на 10% в пределах Ардун, тогда как жесткий дневник Ардуна распространяет этот бонус на весь Гилинор.Наличие в вашем инвентаре плаща Ардуна — это , а не , чтобы воспользоваться этим бонусом. ^[1]

Разбойное снаряжение [править | править источник]

При ношении компонентов мошеннического снаряжения есть шанс украсть дважды добычи у NPC, при этом полный набор гарантирует двойную добычу. Однако на выпадение опыта это не влияет.

В набор входят маска для разбойников, топ для разбойников, брюки для разбойников, перчатки для разбойников и сапоги для разбойников.Предметы из экипировки можно найти во время грабежа сейфа (шанс 1/8) в конце мини-игры «Логово разбойников», доступ к которому можно получить при 50 Воровстве, а 80 Воровство дает дополнительный ярлык, чтобы сделать это быстрее.

Ожерелье Dodgy [править | править источник]

Изворотливое ожерелье дает владельцу 25% шанс не быть оглушенным и поврежденным, если ему не удается украсть NPC, что делает его очень полезным для карманных краж. Ожерелье имеет 10 зарядов, пока не рассыпется в пыль.

Shadow Veil [править | править источник]

Находясь под действием заклинания Shadow Veil, игроки имеют 15% шанс избежать оглушения и повреждений во время карманной кражи NPC.Это складывается мультипликативно с хитроумным ожерельем, в общей сложности 36,25% шанс не получить урон от неудавшегося карманника ^[2] .

Перчатки безмолвия [править | править источник]

Перчатки безмолвия повышают вероятность успеха игроков при карманной краже на 5%, пока они экипированы. Для того, чтобы носить перчатки, необходим уровень Охотника не ниже 54. Перчатки безмолвия можно купить на Великой бирже по цене 1877 за штуку или создать в магазине модной одежды в Варроке из двух темных мехов кеббита по цене 600.Перчатки безмолвия повреждаются каждый раз, когда игрок терпит неудачу в попытке карманной кражи, и они уничтожаются после 62 неудач, если считать с того момента, когда они были новыми. Если у игрока есть несколько перчаток тишины, все они будут отображать одинаковый статус, когда их состояние проверено. Однако, если используемые в данный момент перчатки тишины разваливаются, то любые другие пары, которыми владеет игрок, сбрасываются в «новое» состояние. Состояние перчаток имеет значение только для игрока, владеющего ими, и не является собственностью самих перчаток.Игроки с уровнем Ремесла не ниже 64 могут восстановить свои перчатки тишины до «нового» состояния, используя 1 темный мех кеббита стоимостью 393 и нить стоимостью 8 на перчатках.

Перчатки безмолвия с вероятностью успеха 5% не сочетаются с с эффектом 10% успеха плаща Ардуна. Эффект плаща перекрывает 5% -ный эффект перчаток, и поэтому перчатки устаревают.

Уровни 1–37: Квесты [править | править источник]

Ранние уровни можно пропустить, выполнив квесты, дающие опыт воровства.Завершение Biohazard, Hazeel Cult, Fight Arena, Tower of Life и Tribal Totem даст в общей сложности 7200 опыта, повышая уровень Воровства 1 до уровня 24. Эти квесты можно легко выполнить на низком уровне, и они имеют небольшие требования, однако некоторые из них есть какой-то бой. Кроме того, завершение Королевы воров (рекомендуется использовать сертификат благосклонности Куренда от Клиента Куренда в Порт-Пискарилиус), Гигантский гном, Смерть Доргешууну, Голем, Существо Фенкенстрейна и Вражда даст дополнительно 22 500 опыта. , который поднимет игрока до 37 уровня Воровства.

Уровни 1–5: Мужчины / Женщины [править | править источник]

С 1 по 5 уровень единственный жизнеспособный вариант — воровать мужчин или женщин около RuneScape . Игрокам, чья точка возрождения находится в Ламбридже, не нужна еда для этого, так как они могут обокрасть мужчин / женщин вокруг замка Ламбридж и просто позволить им убить вас. Получение уровня 5 Воровство от карманных краж мужчин и женщин требует 49 успешных карманников. В деревне Дрейнор есть дом рядом с курсом аджилити, в котором есть человек, которого вы можете обокрасть, удерживая его в ловушке с закрытой дверью, не давая ему уйти от вас.

Уровни 5–25: Булочные [править | править источник]

Сейф для прилавка пекаря в Ист-Ардуне.

С 5 по 25 уровень быстрее всего набирается опыта за кражу из хлебных киосков на рынке Восточного Ардуна или во внутреннем дворе за пределами замка Куренд. В Восточном Ардуне есть место для сейфа от охранников, просто станьте под пекарем за прилавком пекарни дальше на восток, и охранники не смогут вас заметить. У пекарни во дворе замка Куренд также есть сейф, где вас не заметят (если только охранник случайно не вернется туда, что случается не часто), когда вы крадете его из-за спины.Игроки могут получить до 19 200 опыта в час, если все бросить.

Хотя чайная лавка в Варроке доступна на этом уровне, она значительно хуже, чем пекарня, из-за более медленного возрождения. Шелковые прилавки также предлагают худшие впечатления.

Уровни 25–45: Прилавки с фруктами [править | править источник]

Расположение фруктовых ларьков в Хосидиусе.

Воровство из фруктовых ларьков в Хосидиусе предлагает самый быстрый опыт с 25 по 45 уровень. Это требует 15% благосклонности Хосидиуса и дает 28.5 опыта за фрукт. Лучшее место для этого — самый восточный дом рядом с пляжем (см. Рисунок), где есть 2 стойла рядом друг с другом и поблизости нет сторожевых собак. Украдите из обоих киосков как можно быстрее и уроните фрукты, бегая между ними, ешьте странные фрукты, которые вы получаете, или используйте зелья выносливости, чтобы пополнить энергию бега. Кроме того, вы можете украсть только из одного ларька, что проще и не требует бега. Игроки могут получить до 42 750 опыта в час, если крадут из обоих киосков, или 34 200 опыта в час, если крадут только из одного.

Хранить фрукты в банке не рекомендуется, так как это сильно снижает уровень опыта. Железные люди, которые хотят хранить фрукты, должны использовать киоск на рынке и использовать банк к западу от него (см. Рисунок), и принести 15–20 корзин и наполнить их, чтобы вместить больше фруктов за поездку. Тем не менее, есть три сторожевых собаки, которые защищают стойло, что может помешать игроку. Одна может оказаться в ловушке внутри здания, а две другие собаки, патрулирующие середину рынка, могут быть пойманы по диагонали или на другой стороне прилавка.

Уровни 45–49, 65–91 / 99: Блэкджек [править | править источник]

Blackjacking bandits in Pollnivneach предлагает самый быстрый опыт с 45 по 49 уровень и с 65 по 91 уровень. Игрок может использовать три разных типа бандитов, но метод одинаков для всех: вырубить бандита и дважды обокрасть их, пока они без сознания. Если игроку не удается нокаутировать бандита, он наносит ему 4 здоровья и становится агрессивным.

Для блэкджека игроки должны выполнить квест «Вражда» и иметь любой вид блэкджека.Тип блэкджека не имеет значения для игры в блэкджек. Получение полного разбойного снаряжения на уровне 50 рекомендуется для двойной добычи на каждого карманника, хотя это не увеличивает количество опыта.

Игрокам также понадобится еда, чтобы лечить себя, так как бандиты часто наносят урон даже на более высоких уровнях. Принесите сарадоминское пиво или высокоэффективный инвентарь, блокирующий еду (например, пироги или карри) в банкнотах, и при необходимости снимите их у торговца по обмену банкнот, расположенного рядом с универсальным магазином.Кроме того, кувшины с вином можно купить у бармена Али, который находится в баре на южной окраине Польновнеча. Рекомендуется надевать накидку Hitpoints для более быстрого восстановления здоровья, если она есть у игрока.

Показатели опыта показаны в таблице ниже. Ставки варьируются в зависимости от производительности и типа используемой пищи.

Кража артефактов предлагает более быстрый опыт с 49 по 65 уровень и мини-игру Pyramid Plunder после 91 уровня, но этот метод остается жизнеспособным до уровня 99.Однако этот метод требует значительного количества кликов, поэтому в долгосрочной перспективе игрокам может быть проще попробовать другие методы, перечисленные ниже.

Если использовать этот метод с 45 по 91 уровень, игрок заработает 2 500 000 монет, или 5 000 000 монет при ношении полного мошеннического снаряжения.

Сброс агрессивности [править | править источник]

Использование сейфа для сброса агрессивности.
Смена оружия для сброса агрессивности.

Когда игроку не удается нокаутировать бандита, он становится агрессивным.Если это произойдет, лучше не воровать снова, так как неудача с карманником приведет к тому, что вы не сможете попытаться нокаутировать в течение нескольких секунд. Если вы достаточно быстры, вы можете сделать следующее:

• Продолжайте пытаться выбить их еще раз, и в конечном итоге у вас все получится. Это лучший вариант, но требует быстрой реакции.
• Обыщите бандита с полным инвентарем. На самом деле вы не будете воровать, но выбор диалогового окна сбросит агрессивность.Следует отметить, что вы можете попытаться снова нанести удар сразу после диалогового окна, даже если вы будете казаться оглушенными.
• Карманная кража бандита с 28 мешочками для монет в вашем инвентаре лишит вас возможности попытаться украсть, но не позволит NPC стать агрессивным после неудачной попытки нокаута.

Если вы недостаточно проворны и бандит начинает атаковать вас, вы не можете украсть или нокаутировать бандита в бою. Следующая тактика сбросит агрессивность бандита в этом случае:

• Идите в ближайший сейф и подождите, пока ваша шкала здоровья не исчезнет, ​​затем немедленно вырубите их снова.
• Смените оружие (кроме блэкджека) и нажмите «Нокаут», чтобы оно перестало быть агрессивным. Подождите несколько секунд, прежде чем снова переключиться на блэкджек, так как бандит будет продолжать атаковать вас, если вы сделаете это слишком быстро.
• Если бандита заманивают в дом, в котором есть лестница, вы также можете использовать ее для сброса агрессивности.
• Нажатие на опцию приманки, когда на вас появляется хитовая площадка, и удерживание пробела, чтобы завершить диалог приманки, прежде чем он ударит вас снова, прерывает агро.Иногда приманка не срабатывает, и бандит говорит: «Я занят», если это произойдет, просто повторяйте, пока не сработает.

Советы [править | править источник]

Заманите бандита в такое место, где он окажется в ловушке и не сможет никуда двинуться. Убедитесь, что бандит не может пройти через вас; это можно сделать, выбив бандита, быстро убегая от бандита и возвращаясь перед ним. Бандит не телепортируется к месту своего возрождения, пока вы продолжаете блэкджек. Один из лучших домов, чтобы заманить бородатого или обычного полльновского бандита, — это дом Али Красильщика в северной части Полльновняха, он очень маленький и имеет лестницу, по которой можно быстро сбросить агрессивность, если это необходимо.Менафитского бандита можно заманить в южную часть дома рядом с баром.

Рекомендуется иметь полный инвентарь, используя инвентарь, блокирующий еду (например, пиво Сарадомин, вино, рагу, пироги и т. Д.) В вашем инвентаре. Это сводит к минимуму возможность быть оглушенным бандитом во время карманной кражи. Время, сэкономленное на избежание оглушения, значительно увеличит количество опыта. Следует отметить, что наличие полного инвентаря не полностью, а полностью предотвращает кражу сознательного бандита, поскольку даже с полным инвентарем вы можете сделать это в тот же момент, когда бандит приходит в сознание.Если вы используете отвар Сарадомина для исцеления, рекомендуется не включать автоматическое разбивание флаконов, чтобы у вас был полный инвентарь после того, как вы выпили зелья.

Для минимального движения мыши (аналогично тренировке Construction) установите для параметра «Атака» NPC значение «Скрытый», используйте режим изменения размера, увеличьте масштаб и установите угол камеры, чтобы при щелчке правой кнопкой мыши по бандиту курсор мыши был по опции «Карманник».

Игроки могут дважды обокрасть бандитов без сознания в нужный момент.Время подходит, когда вы получаете падение опыта каждые 2 тика, и поэтому очень полезно включить падение опыта для визуальной подсказки. Игроки должны щелкнуть следующее действие в том же тике, что и они получают урон от предыдущего действия; щелкните, чтобы воровать на том же тике, что и вы получаете падение опыта от нокаутации бандита, и щелкните, чтобы обокрасть во второй раз, когда вы получаете падение опыта от первого карманника.

Уровни 49–65 / 99: Кража артефактов [править | править источник]

Кража артефактов в Порт-Пискарилиус предлагает самый быстрый опыт с 49 по 65 уровень.Этот метод остается реальной альтернативой для игроков, которые предпочитают что-то менее интенсивное, или для игроков, которые хотят тренировать Воровство, выполняя действия, которые можно выполнять во время движения. К таким действиям относятся сжигание бревен, резка драгоценных камней, выдувание расплавленного стекла и патроны для оперения.

Для этого действия игроки должны иметь 75% одобрения в Порт-Пискарилиус. Поскольку этот метод предполагает постоянный бег, игрокам нужно будет использовать зелья выносливости, чтобы восстановить энергию бега. Рекомендуется иметь изящный наряд и кольцо выносливости с минимум 500 зарядами.В качестве альтернативы игроки могут телепортироваться в свой дом и использовать бассейн оживления или выше, чтобы восполнить энергию бега, хотя это немного снизит уровень опыта.

Также настоятельно рекомендуется завершить A Kingdom Divided для книги мертвых, которая предлагает быстрый телепорт в Порт Пискарилий с помощью опции «Флейта рыбака». Использование этого телепорта для приближения к домам значительно увеличит уровень опыта. Воспоминания Харедста тоже можно использовать, но в них меньше обвинений.Книгу можно перезарядить, осмотрев Старый Мемориал к северу от Лендс-Энда. Игроки могут попасть туда с помощью благословляющего телепорта Рады в Корандский лес или телепорта-талисмана Ксерика в Смотровую площадку Ксерика. Каждый заряд требует 1 закона, 1 души, 1 разума и 1 руны тела.

1. Поговорите с капитаном Халедом, чтобы украсть артефакты у жителей жилого района.
2. Телепортируйтесь к Флейте Фишера с книгой мертвых (или мемуарами Харедста) и украдите артефакт из ящиков внутри назначенного дома.
3. Провезти артефакт, не привлекая внимания патрульных.
4. Отнесите украденный артефакт капитану Халеду и повторите процесс. При необходимости подзаряжайте книгу мертвых.

За каждое успешное ограбление вы получаете опыт воровства и 500–1000 монет. Попадание в ловушку значительно снижает уровень опыта, поэтому обычно лучше дождаться подходящего момента, чтобы проскользнуть мимо патрульных, чем рисковать быть пойманным.

Показатели опыта показаны в таблице ниже.При хорошей практике и использовании зелий выносливости можно украсть до 55 артефактов в час.

Уровни 91–99: Грабеж пирамиды [править | править источник]

Мини-игра The Pyramid Plunder предлагает самый быстрый воровской опыт в игре, начиная с 91-го уровня.Игроки могут начать тренироваться на пирамидальном грабеже на уровне 71 или 81 в качестве альтернативы блэкджекингу или краже артефактов, однако до 91 уровня опыт значительно медленнее.

Игрокам нужно будет получить доступ к Софанему, начав квест «Маленький помощник Иктларина» или используя телепорт со скипетром фараона в Джалсавру. Игрокам также понадобится хорошо исцеляющая еда (например, отвар Сарадомина), некоторые зелья выносливости и некоторая форма противоядия внутри пирамиды. Также настоятельно рекомендуется иметь 1-2 скипетра фараона для прямого телепорта к мумии-хранителю и отмеченные артефакты для перезарядки скипетров, чтобы поддерживать высокий уровень опыта.Выполнение наборов задач в Дневнике пустыни увеличит количество зарядов, которые может удерживать скипетр фараона. Если игрок не сможет получить скипетр фараона, завершите Контакт! рекомендуется для банка рядом с пирамидой, иначе игрокам придется возвращаться в банк в Нардах каждый раз, когда им понадобится еда или зелья против яда.

Рекомендуется не хранить артефакты (кроме некоторых золотых для перезарядки скипетра фараона), так как они не стоят очень много, и их хранение значительно снизит уровень опыта.Однако во время обучения вы можете получить скипетр фараона из золотых сундуков, который затем можно продать для получения прибыли или оставить себе.

Игроки могут получать до 270 000 опыта в час, начиная с 91 уровня. До 91 уровня игроки могут рассчитывать получить до 125 000 опыта в час на уровнях 71–80 и 190 000 опыта в час на уровнях 81–90. Более высокие показатели могут быть достигнуты при наличии дуэта.

Требуется примерно 335 игр, чтобы с 91 до 99 в Pyramid Plunder.

Обратитесь к странице Pyramid Plunder для правильного руководства по стратегии.

Уровни 1–25: Палаты Ксерика [править | править источник]

Кража из сундуков в Комнате Воров внутри Палат Ксерика — еще один вариант обучения для начальных уровней. Для этого нет требований, но может пригодиться зелье выносливости или суперэнергетика, а наличие отмычки в вашем инвентаре позволит вам быстрее открывать сундуки. Для начала разведывайтесь, пока не найдете рейд с комнатой для воров, начните рейд, пройдите в комнату для воров и украдите из сундуков.Каждый раз, когда вы находите пещерную личинку в одном из сундуков, вы получаете 40 опыта. Некоторые сундуки могут немного повредить вам при открытии, они будут делать это каждый раз, поэтому избегайте их, как только вы их найдете. Обязательно бросайте или кладите свои личинки, когда это необходимо, а не кладите их в корыто, так как вы больше не сможете получить опыт таким образом, когда комната будет завершена.

Игроки могут получить более 21 000 опыта в час с помощью отмычки в своем инвентаре.

Уровни 25 / 85–99: Под водой [править | править источник]

С завершением Bone Voyage и доступом к Острову Ископаемых, подводное воровство (также известное как «плавание») становится доступным.

В отличие от большинства других методов обучения, он фокусируется на обучении сразу двум навыкам, Воровству и Ловкости, и, хотя он является более медленным воровским опытом, чем другие перечисленные методы, скорость, с которой тренируются оба навыка, делает его эффективным в целом на некоторых уровнях. Из-за масштабирования ставок для каждого уровня уровни воровства и ловкости играют определенную роль в том, стоит ли этот метод того, чем другие альтернативы. Тем не менее, с 85-го уровня «Воровство» он становится стабильно эффективным. В качестве альтернативы, опыт можно получить либо в воровстве, либо в ловкости, а не в обоих, но обычно это неэффективно из-за используемого масштабирования.

Уровни 55–99: Рыцари Ардуна [править | править источник]

Использование разных предметов или выполнение средних заданий Дневника Ардуна изменит рейтинг опыта.

Карманные кражи «Рыцари Ардуна» — более медленная, но более легкая и немного более прибыльная альтернатива блэкджеку, начиная с 55-го уровня. Однако, поскольку этот метод довольно медленный на более низких уровнях, игроки могут рассмотреть возможность использования более быстрых методов примерно до уровня 80–90 Воровства. На более высоких уровнях уровень опыта становится сопоставимым с самыми быстрыми методами обучения, только немного медленнее, чем блэкджек, начиная с уровня 95.

Для этого метода игрокам необходимо выполнить средние задания в дневнике Ардуна, так как это увеличивает вероятность успеха карманной кражи в Ардуне на 10%. Без перка у игроков не получится чаще воровать карманные кражи, и их опыт будет намного хуже. Игроки перестают обкрадывать рыцарей Ардуна на 95 уровне с перком среднего дневника. Настоятельно рекомендуется использовать хитрые ожерелья, чтобы снизить вероятность оглушения и получения урона, что немного увеличивает количество опыта.Также рекомендуется ношение полного разбойного снаряжения для двойной добычи на каждого карманника. Обучение с 55-го по 99-й уровень на Knights of Ardougne принесет примерно 7 500 000 монет без мошеннического снаряжения и примерно 15 000 000 монет с полным набором.

Показатели опыта показаны в таблице ниже. Ставки предполагают, что игрок завершил средний дневник Ардуна и использует изворотливые ожерелья. Они также предполагают, что какое-то время тратится на ошибки и открытие мешочков для монет. Начиная с 95-го уровня, идеальный показатель составляет 252 900 опыта в час.Игроки могут рассчитывать на использование примерно 200 хитрых ожерелий и необходимость исцелить 16000 очков здоровья (с учётом естественной регенерации при 1x скорости восстановления здоровья) с 55 по 95 уровень.

Приманка к северу от рынка [править | править источник]

Атакуйте рыцаря, находящегося в юго-восточной части рынка Ардун, и заманите его к зданию к северу от рынка.Встаньте в дверном проеме этого здания, чтобы рыцарь стоял на юге рядом с вами. Бегите на два квадрата на запад, чтобы рыцарь стоял к востоку от вас. Затем бегите на площадь к югу от дверного проема, чтобы рыцарь встал в дверном проеме. Используйте специальные атаки копья дракона на рыцаря, быстро бегите внутрь и закройте дверь, прежде чем рыцарь сможет выйти наружу. Вы также можете пройти под рыцарем, чтобы заставить его отступить, но может потребоваться несколько попыток, чтобы он пошел в правильном направлении.Подождав некоторое время, конь переместится на большинство южных квадратов дома, и он сможет перемещаться только между этими двумя квадратами. Если он может переместиться в другое место, вы заманили не того коня, и вам придется сделать это еще раз.

Игроки также могут просто прыгать по мирам, пока не найдете тот, в котором рыцарь уже был заманен.

После того, как рыцарь был правильно заманен, встаньте к северу от него. Поверните камеру на запад и полностью вниз и увеличьте масштаб. Таким образом, вы сможете щелкнуть спамом в том же месте (вокруг сундука), чтобы воровать.Важно, чтобы вы не стояли ни на одном из квадратов, по которым он может ходить, так как он застрянет и исчезнет через 5 минут постоянной активности.

Приманка к югу от рынка [править | править источник]

Стартовый квадрат для размещения рыцарей, используя специальную атаку копья дракона, чтобы заманить его в ловушку в здании.
Два рыцаря Ардуна в ловушке у причалов

Пожалуй, лучшая, хотя и самая сложная в установке приманка включает в себя ловушку двух рыцарей к юго-востоку от южного берега.Преимущество этого метода заключается в том, что он не требует второй учетной записи для всплеска, и после настройки игроку не нужно перемещать мышь, даже чтобы открывать мешочки с монетами.

Для выполнения этой техники требуется копье дракона и руны для ловушки или запутывания.

1. Атакуйте одного из двух рыцарей, найденных в южной половине рынка, и заманите его на показанный квадрат (справа).
2. Оглушите рыцаря ловушкой / запутыванием
3. Используйте специальную атаку драконьим копьем 3 раза, пока рыцарь не окажется к северу от двери, при этом убедитесь, что вы атакуете рыцаря только с северной площади.
4. Откройте дверь, толкните рыцаря еще раз специальной атакой копья дракона и закройте за ним дверь
5. Беги на юг, чтобы рыцарь перестал быть агрессивным
6. Повторите шаги 1–5 со вторым рыцарем (убедившись, что у вас достаточно специальной атаки)
7. Как только два рыцаря окажутся в ловушке в здании, используйте вторую дверь на востоке и встаньте в квадрате, отмеченном (справа)

.

8. Установите камеру лицом на запад и полностью вниз, поместив кошелек для монет в справа вверху инвентаря
9. Измените свои настройки; щелкнув параметры , Дополнительные параметры и включив боковые панели , чтобы вы могли открывать и закрывать свой инвентарь с помощью клавиши Esc (также рекомендуется включить клавиши мыши)
10. Поместите курсор в самый верхний правый угол мешочка для монет и удерживайте его здесь, закройте свой инвентарь (Esc) и обыщите рыцаря

Выполнив следующие действия, при закрытом инвентаре вы можете обокрасть восточного рыцаря, когда он перемещается между две плитки, не двигая мышью.Когда вам нужно открыть кошелек для монет, просто нажмите Esc, и кошелек для монет должен оказаться под курсором. Оставаясь на один квадрат к югу от двух рыцарей, они никогда не исчезнут.

Брызги [править | править источник]

Другой вариант — использовать сплеш-аккаунт, чтобы держать рыцаря на месте. Это можно сделать где угодно, если на счету разбрызгивания рыцарь просто танкуется, но для этого требуется высокая защита и хорошая защитная броня, а также накидка Hitpoints и браслет регенерации.В качестве альтернативы заманите рыцаря в место, где брызгальщик сможет найти рыцаря, например, на юго-восточном берегу Ардуна, где можно использовать заборы в качестве блокады. Рыцарь не исчезнет, ​​пока он агрессивен по отношению к сплешеру, а аккаунт сплешинга останется в системе, если он атакует или танкует рыцаря.

Игроки также могут принести стопку рун закона и посох, дающий неограниченное количество рун воды вместо еды, чтобы упростить процесс. После смерти две руны закона и посох будут сохранены, что позволит игроку быстро телепортироваться обратно на рынок Ардуна.Поднимите свои монеты и стопку рун закона с земли и продолжайте воровать. Включение Rapid Heal может помочь продлить поездки.

Уровни 78–99: Богатые сундуки Доргеш-Каан [править | править источник]

Богатые сундуки Доргеш-Каана отмечены красным, а средние сундуки — зеленым.

На 78 уровне игроки могут взламывать богатые сундуки в городе пещерных гоблинов Доргеш-Каан. Чтобы взломать сундуки, игроки должны принести отмычку и завершить Смерть Доргешууну. Этот метод низкой интенсивности может быть идеальным для игроков с низкими хитпоинтами и Железных людей, поскольку вы не получаете урона и не требуете еды или припасов (таких как хитрые ожерелья или противоядия).

Метод включает в себя вход в один из двух домов в Доргеш-Каане, в которых есть два богатых сундука, взлом обоих сундуков и прыжок в новый мир. Добыча из сундука возродится примерно через 5 минут и дает 650 опыта воров за каждый выбор. Это соответствует примерно 12-13 прыжкам в мир до возрождения сундука.

Без банковского счета игроки могут рассчитывать получить до 210 000–230 000 опыта в час, при условии, что не так много других игроков прыгают между мирами (при условии, что 340 сундуков в час; 170 миров).Однако, если игроки сбегают в банк на первом этаже, они могут ожидать около 190 000 опыта и 300 000 зм в час. Использование сумки с драгоценными камнями, если банковское дело может увеличить опыт в час. Игрокам, желающим сэкономить, рекомендуется носить одежду для снижения веса, например, изящную одежду.

Уровни 1–99: Сад волшебницы [править | править источник]

Мини-игра The Sorceress’s Garden состоит из навигации по лабиринту, избегая при этом стражей, которые собирают фрукты и выживают из них сок.Пестик и ступка используются для выдавливания фруктов в сок, а пивной стакан используется для хранения выжатого сока. Пивные бокалы можно создать, купить или получить, обыскав полку в доме Колдуньи. Только один квадрат можно получить за проход через сад.

Чтобы открыть доступ в сад, поговорите с Османом перед дворцом о соке площади, чтобы открыть сад Волшебницы. Он также тот, кому вы обмениваете свои стаканы сока квадратного сока в обмен на опыт воровства.

Уровень опыта неизвестен для некоторых садов нижнего уровня, однако максимальный «реалистичный» уровень опыта из Летнего сада волшебницы, требующий 65 Воров, составляет 140 000 опыта в час.

Уровень 82–99: Карманные виры [править | править источник]

Карманные вайры из 82 с мошенническим снаряжением, хитрыми ожерельями и сложным завершенным дневником Ардуна получат 120-180 тыс. Опыта в час и ~ 2 000 000 зм / час в зависимости от уровня воровства. Для этого потребуется выполнить квест Грехи отца.

Уровень 85–99: Карманные эльфы [править | править источник]

Карманные кражи эльфов, начиная с 94, могут принести хорошую прибыль и достойный опыт игрокам, которые ищут и то, и другое.Рекомендуется завершить Песню эльфов перед тем, как начать обкрадывать эльфов, так как они дадут улучшенные семена телепортации кристаллов.

На уровне 99 игроки могут ожидать около 150 000 опыта в час и 2 600 000 зм в час, если предположить, что игроки используют хитрые ожерелья и полное мошенническое снаряжение.

Уровни 94–99: Фермеры-мастера [править | править источник]

На уровне 94 и с жестким бонусом «Дневник Ардуна» вы можете обкрадывать карманных фермеров со 100% шансом успеха.Обычно они дают семена ранарра и львиного зева, которые можно продать с очень высокой прибылью; Нормы для этих прибыльных семян зависят от уровня Фермерства, поэтому рекомендуется высокий уровень Фермерства (71+). Несмотря на то, что мастера-фермеры становятся доступными на уровне 38 Воровство, они очень часто ловят вас на более низких уровнях и требуют, чтобы вы использовали много еды, что значительно снижает опыт и прибыль в час. Лучшее место для карманных кражи фермера — это Хосидиус к северу от рыночной площади, где есть дом, где можно легко заманить человека в ловушку, в место, где он не может никуда перебраться.Игроки могут набирать до 115 000 опыта в час.

Уровень 99+: Цхаар-Хур [править | править источник]

Карманные кражи ЦХаар-Гура (иногда называемые «рыцарями-драгоценностями») во внутренней части Мор Уль Рек — жизнеспособный вариант после 99 уровня. Подобно Рыцарям Ардуна, Цхаар-Гур можно заманить в такое место, где они не могут двигаться дальше. более двух плиток, что позволяет игроку многократно щелкать левой кнопкой мыши, чтобы украсть их. Поскольку их добыча не включает монеты, единственное другое необходимое взаимодействие — это исцеление и, возможно, замена хитрого ожерелья.Это делает карманные кражи Цхаар-Гура гораздо менее требовательными, чем Рыцари Ардуна, хотя и с более высокими требованиями.

Для этого метода игрокам нужно будет надеть плащ Воров и заполнить жесткий дневник Ардуна, чтобы увеличить шанс кражи. Накидка Воровства и перки жесткого дневника Ардуна складываются, что делает этот метод жизнеспособным. Несмотря на то, что этот метод становится доступным на уровне 90, обычно не стоит обходиться без бонуса воровской накидки, так как это сильно снизит уровень опыта.

Чтобы попасть во внутреннюю часть Мор Уль Рек, необходимо иметь огненную накидку. Игроки должны носить ледяные перчатки, чтобы иметь возможность обкрадывать Цхаар-Гур. Также настоятельно рекомендуется носить хитрое ожерелье. Игроки также должны взять с собой отвар Saradomin и запасные хитроумные ожерелья, чтобы продлить поездки. Для повышенных токкулов и драгоценных камней рекомендуется ношение мошеннической экипировки (кроме перчаток).

При хранении драгоценных камней настоятельно рекомендуется иметь сумку для драгоценных камней, поскольку драгоценные камни автоматически хранятся там, если она открыта.В противном случае они упадут на пол, если инвентарь будет заполнен. Игрокам рекомендуется брать с собой 3 хитрых ожерелья и 3–4 отвара Сарадомина на каждую поездку при хранении драгоценных камней. Каждая поездка продлится около 45 минут.

На уровне 99 Воровства игроки могут получить до 250 000–260 000 опыта в час. Хранение драгоценных камней снизит скорость до 240 000 опыта в час.

1. ↑ Jagex. Аккаунт мода Эша в Твиттере. 9 июня 2017. (Архивировано 25 мая 2020 года.)) Мод Эш: «Нет, вам просто нужно разблокировать дневниковую награду».
2. ↑ Jagex. Аккаунт мода Эша в Твиттере. 25 июня 2021 года. (Архивировано из оригинала 25 июня 2021 года.) Мод Эш: «Вуаль пытается первой, с 15% броском. В случае успеха NPC не кричит.
   Если это не удается, NPC кричит, а затем ожерелье делает свой 25% бросок.
   Так что ваш шанс уклониться от штрафа действительно составляет 36,25%, которые вы рассчитали, и вы можете увидеть, какой из них случился с вами ».

Места для рыбалки — OSRS Wiki

Есть несколько различных типов мест для рыбалки в RuneScape .Наиболее распространенными типами являются «Сеть / Наживка», «Приманка / Наживка», «Клетка / Гарпун» и «Сеть / Гарпун». В большинстве мест для рыбалки требуется минимум 280 тиков (около 3 минут), чтобы переместиться, и максимум 530 тиков (около 5 минут). Тем не менее, некоторые места для рыбалки, такие как Карамбван и Лягушонок, никогда не перемещаются, а места ловли удильщика длятся дольше, чем в большинстве других мест.

• Места для рыбалки обрабатываются игровым движком как NPC, о чем свидетельствует их цвет текста.
• Когда место рыбной ловли меняет место, если щелкнуть по нему во время изменения, игрок побежит в новое место, чтобы начать рыбалку. Это в основном потому, что место для рыбалки телепортируется само, а не исчезает и порождает новое место для рыбалки.
• Несколько недоступных мест для рыбалки можно увидеть возле друидов Хаоса в Темнице Эджвилля. В отличие от других мест для рыбалки, с ними не обращаются как с неигровыми персонажами.

K проблема с вооруженным бандитом · Falmouth-Games-Academy / comp250-wiki Wiki · GitHub

На пыльной равнине,
Многорукий бандит сталкивается,
Их выбор ружья натянуты

Проблема К-вооруженного бандита описана в [1].Это проблема, когда агент должен сделать один из нескольких вариантов. После выбора выдается числовое вознаграждение на основе стационарного распределения вероятностей. Цель состоит в том, чтобы максимизировать общее вознаграждение, полученное за определенный период. Это требует осознания имеющихся вероятностей, которые поначалу могут показаться случайными. Развития этой осведомленности можно добиться с помощью машинного обучения.

Эта проблема частично вдохновила Реми Кулом на подход к поиску деревьев методом Монте-Карло [2]. Он понимает, что вероятность того, что разрабатываемый план будет лучшим планом, не равна нулю; даже если это пока кажется плохой идеей.Это часто бывает в сложных играх.

Например, в FPS агент ИИ рассмотрел в своих планах два варианта развития: захватить точку появления врага (охраняемую двумя вражескими войсками) или спрыгнуть со скалы. В некоторых алгоритмах решение «спрыгнуть с обрыва» будет вырезано из дерева решений из-за крайне неблагоприятного состояния смерти.

Однако умный агент рассмотрит эту идею дальше, несмотря на все шансы. Оценка показывает, что их точка возрождения разбита лагерем 12 солдат-новичков, и убийство этих войск принесет более высокий балл, чем захват исходной цели.Дальнейшая оценка этого изначально бесперспективного плана может показать, что убийство этих войск заставит их снова появиться в точке их появления, что приведет к финальной битве, в которой ИИ наберет больше очков.

• [1] Р. С. Саттон и А. Г. Барто, «Обучение с подкреплением: введение», 2011 г. Доступно: http://incompleteideas.net/book/bookdraft2017nov5.pdf [Дата обращения: 13 февраля 2019 г.]
• [2] Р. Кулом, «Операторы эффективной селективности и резервного копирования в поиске по дереву Монте-Карло», Труды 5-й Международной конференции по компьютерам и играм, CG’06, (Берлин, Гейдельберг), стр.72–83, Springer-Verlag, 2007.

.

Монополия на насилие — Википедия

В то время как монополия на насилие как определяющая концепция государства была впервые описана в социологии Максом Вебером в его эссе Политика как призвание (1919), [1] монополия на законное применение физической силы — это основная концепция современного публичного права, восходящая к работе французского юриста и политического философа Жана Бодена 1576 года Les Six livres de la République и книги английского философа Томаса Гоббса 1651 года Leviathan .Вебер утверждает, что государство является «единственным человеческим Gemeinschaft , который претендует на монополию на законное применение физической силы. Однако эта монополия ограничена определенной географической областью, и на самом деле это ограничение определенной областью является одним из того, что определяет государство »[2]. Другими словами, Вебер описывает государство как любую организацию, которая преуспевает в обладании исключительным правом на применение, угрозу или санкционирование физической силы против жителей своей территории. Такая монополия, согласно Веберу, должна происходить через процесс легитимации.

Основная концепция современного публичного права, представляющая определение государства

Теория Макса Вебера

Макс Вебер писал в Политика как призвание , что фундаментальной характеристикой государственности является требование такой монополии. Расширенное определение приводится в Экономика и общество :

.

Обязательная политическая организация с непрерывной деятельностью будет называться «государством» [если и] постольку, поскольку ее административный персонал успешно поддерживает требование о монополии на законное применение физической силы ( das Монополия легитимная physischen Zwanges ) во исполнение его приказа.[3] [4]

Вебер применил к этому определению несколько предостережений:

• Он задумал это утверждение как современное наблюдение, отметив, что связь между государством и применением физической силы не всегда была такой тесной. Он использует примеры феодализма, где частная война разрешалась при определенных условиях, и религиозных судов, которые обладали исключительной юрисдикцией в отношении некоторых видов преступлений, особенно ереси и преступлений на сексуальной почве (отсюда и прозвище «непристойные суды»).Тем не менее, государство существует там, где единственная власть может законно санкционировать насилие.
• По тем же причинам «монополия» не означает, что только правительство может использовать физическую силу, но что государство — это то человеческое сообщество, которое успешно заявляет о себе как о единственном источнике законности для любого физического принуждения или судебного решения о принуждении. Например, закон может разрешать отдельным лицам применять силу для защиты себя или собственности, но это право проистекает из власти государства.Это прямо противоречит просвещенным принципам индивидуального суверенитета, делегирующим власть государству по согласию, и концепциям естественного права, согласно которым индивидуальные права, вытекающие из разумной самостоятельной собственности, существуют еще до государства и признаются и гарантируются только государством, которое может быть ограничено. от ограничения их конституционным законом. ^{[ необходима ссылка ]}

Критика Вебера

Роберт Хинрихс Бейтс утверждает, что государство само по себе не обладает силой насилия; скорее, люди обладают всей силой принуждения, чтобы гарантировать сохранение порядка и других равновесий.[5] Смысл этого состоит в том, что существует граница благополучия в обществах без гражданства, которую можно преодолеть только в том случае, если некоторый уровень принуждения или насилия используется для повышения сложности государства. Другими словами, без инвестиций в войска, полицию или какой-либо механизм принуждения ранние государства не могут наслаждаться законностью и порядком (или процветанием) более развитых государств.

Связь с дееспособностью государства

Анархистский плакат «Мы никогда не перестанем бороться с ГОСУДАРСТВЕННЫМ насилием», 12 декабря 2020 г.

Дееспособность государства часто измеряется с точки зрения его финансовой и юридической дееспособности.Фискальная способность означает способность государства возмещать налоги, а правоспособность означает превосходство государства как единственного арбитра в разрешении конфликтов и принуждении к исполнению контрактов. Без какого-либо принуждения государство иначе не смогло бы обеспечить свою легитимность в желаемой сфере влияния. В ранних и развивающихся государствах эту роль часто играл «стационарный бандит», который защищал жителей деревни от бродячих бандитов в надежде, что такая защита побудит жителей вкладывать средства в экономическое производство, а стационарный бандит сможет в конечном итоге использовать свою силу принуждения для экспроприировать часть этого богатства.[6]

В регионах, где присутствие государства минимально ощущается, негосударственные субъекты могут использовать свою монополию на насилие для установления легитимности или сохранения власти. [7] Например, сицилийская мафия возникла как рэкет, обеспечивающий защиту покупателей и продавцов на черном рынке. Без этого типа принуждения участники рынка не были бы достаточно уверены в том, чтобы доверять своим контрагентам соблюдение контрактов, и рынок рухнул бы.

На неорганизованных и подпольных рынках насилие используется для принуждения к исполнению контрактов в отсутствие доступного юридического разрешения конфликтов.[8] Чарльз Тилли продолжает это сравнение, чтобы сказать, что разжигание войны и формирование государства на самом деле являются лучшими представлениями того, во что может вырасти организованная преступность. [9] Отношения между государством, рынками и насилием были отмечены как имеющие прямую связь с использованием насилия как формы принуждения. [10] [11] Анархисты рассматривают прямую связь между капитализмом, властью и государством; понятие монополии на насилие во многом связано с анархистской философией отказа от любой неоправданной иерархии.[12] [13]

Другое

По словам Раймона Арона, международные отношения характеризуются отсутствием широко признанной легитимности в применении силы между государствами. [14]

Марта Лизабет Фелпс развивает идеи Вебера о легитимности частной безопасности на шаг вперед, утверждая, что использование частных лиц государством остается законным, если и только если военные подрядчики воспринимаются как контролируемые государством. [15]

См. Также

Ссылки

1. Макс Вебер, Рационализм Вебера и современное общество , переведенный и отредактированный Тони Уотерсом и Дагмарой Уотерс.Нью-Йорк: Palgrave Books, 2015, стр. 129–198.
2. Макс Вебер в книге Вебера «Рационализм и современное общество», переведенной и отредактированной Тони Уотерсом и Дагмарой Уотерс. Palgrave Books 2015, стр. 136
3. Вебер, Макс (1978). Рот, Гюнтер; Виттих, Клаус (ред.). Экономика и общество . Беркли: U. California P. p. 54.
4. Weber, Max (1980) [1921]. Винкельманн, Йоханнес (ред.). Wirtschaft und Gesellschaft (5 изд.). Тюбинген: Дж. К. Б. Мор (Пауль Зибек.п. 29.
5. Bates, R .; Greif, A .; Сингх, С. (2002). «Организация насилия». Журнал разрешения конфликтов . 46 (5): 599–628. DOI: 10.1177 / 002200202236166. S2CID 14970734.
6. Олсон, Манкур (1993). «Диктатура, демократия и развитие». Обзор американской политической науки . Сентябрь 1993 г. (3): 567–576. DOI: 10,2307 / 2938736. JSTOR 2938736.
7. Гамбетта, Диего (1996). Сицилийская мафия: дело частной защиты .Издательство Гарвардского университета. п. 1.
8. Оуэнс, Эмили Грин (2011). «Действительно ли подпольные рынки более агрессивны? Данные из Америки начала 20-го века». Обзор американского права и экономики . v13, N1: 1–44. DOI: 10.1093 / alert / ahq017.
9. Тилли, Чарльз (1985). «Война и создание государства как организованная преступность» в г. Возвращение государства в г., ред. П.Б. Evans, D. Rueschemeyer и T. Skocpol. Кембридж: Издательство Кембриджского университета, 1985. • Введение и глава
10. Торелли, Ханс Б.(1986). «Сети: между рынками и иерархиями». Журнал стратегического управления . 7 : 37–51. DOI: 10.1002 / smj.4250070105.
11. Уильямсон, Оливер Э. (1973). «Рынки и иерархии: некоторые элементарные соображения» (PDF). Американский экономический обзор . 63 (2): 316–325. JSTOR 1817092.
12. Ньюэлл, Майкл Э. (2019). «Как нормативное сопротивление анархизма сформировало государственную монополию на насилие». Европейский журнал международных отношений . 25 (4): 1236–1260. DOI: 10.1177 / 1354066119848037. S2CID 182194314.
13. https://onlinelibrary.wiley.com/doi/pdf/10.1111/j.1467-8330.2012.01034
14. Раймон Арон. Paix et guerre entre les Nations , Paris 1962; Английский: Peace and War , 1966. Новое издание 2003 года.
15. Фелпс, Марта Лизабет (декабрь 2014 г.). «Двойники государства: частная безопасность и передаваемая легитимность». Политика и политика . 42 (6): 824–849.DOI: 10.1111 / polp.12100.

.