Курс Здоровый дофамин-8

 

Занятие 9. Формирование поведения и подкрепления.

 

1. Нейропластичность и дофамин

- установлено, что способный на более эффективное обучение мозг обладает гибкостью и способностью сходу перестраивать соединения с целью усвоения новых знаний (высокая нейропластичность). - - излишняя «жесткость» нейронных путей связана с худшей обучаемостью

- дофамин определяет выработку BDFN (оба связаны с движением)

- 45 и 90 дней

Этап	Содержание	Цель
Раздумья	по поводу нашей цели	Формирование «себя в будущем», точные критерии цели
Подготовка	намерения и незначительные движения	Планирование, угрозы, структура
Действие	усилия по изменению	Конкретные действия с подкреплениями
Поддержание	управление срывами, закрепление успехов	Успешное совладание и удержание навыка в разном контексте (стресс и др.)
Сохранение	поддерживание изменений	Вариативное подкрепление

 

2. Формирование поведения.

 

- стимул, действие, реакция

- причинно-следственные связи: истинные, ложные, пропущенные.

- устранение неопределенности: знаки, апофения: «немотивированное видение взаимосвязей», сопровождающееся «характерным чувством неадекватной важности» (анормальное сознание значения).

- ошибка первого рода - ложное срабатывание (при избытке дофамина): множественные ложные причинно-следственные связи

- ошибка второго рода - пропуск события (при недостатке дофамина): пропуск причинно-следственной связи

- недостаток дофаминовых рецепторов снижает способность учиться на собственных ошибках, то есть делать правильные выводы из негативного опыта и не повторять поступков

- ошибка запускает механизм активации D2-рецепторов и принуждает не совершать подобных действий. Более того – записывает информацию об ошибке в память надежно.

- у людей с аллелем А1 при неправильном вы боре слабее возбуждался ростральный отдел поясной извилины {rostral cingulate zone, RCZ), который, как было показано ранее, участвует в "обучении на ошибках".

- мозг наркомана не в состоянии адекватно оценивать шансы на выигрыш или проигрыш, а значит, не может и понять, к чему приведет дальнейшее употребление наркотиков.

- блокировка неактуальных ассоциаций и их распад

- недостаточное «забывание»: контекст как фактор риска срыва (+стресс).

 

3. Преобразование среды.

 

-  контроль и преобразование среды как высочайшая награда

- подкрепление -  это информация, информация о том, что то, что вы делаете, приводит к результату.

- если у нас есть информация о том, как заставить окружающую среду подкреплять нас, значит, мы эту среду контролируем, и мы больше ей неподвластны.

- нравится обучатся, так как это дает контроль над происходящим

- научение как мощное подкрепление

- стимулы, награды и значимость.

-  длительный опыт ассоциирования мало значащих для индивида вещей заметно не сказывается на последующих реакциях и предпочтениях

- подкрепление: эмоциональный (удовольствие), мотивационный (желание) и когнитивный (обучение) компоненты

- повторяемость сочетающих событий

 

4. Дофаминовое окно обучения.

 

- условный стимул облегчает инициацию действия

- максимальный временной интервал не более 32–62 секунд, причем, чем короче этот временной интервал, тем эффективнее животные обучались.

- сенсорный след события А (stimulus trace) и события В

- нечувствительность к отсроченным  подкреплениям: пациенты с СДВГ (и зависимости) могут эффективно обучаться только на основе немедленного подкрепления

-  повышенный уровень дофамина снижает чувствительность человека к отрицательной обратной связи (прекондиционирование и депривация)

 

- подкуп, даете обещание, а не истинное подкрепление

- стрессовые негативные стимулы. Обучение вызывает «выученная беспомощность».

индивидуальной истории подкрепления. Почему одна награда может действовать по-разному?

слюноотделения.

 

 

5.  Временная задержка удовольствия.

 

- колебания уровня дофамина по пути движения к цели, дофамин обсуживает достижение цели

- компас, при усложнении замедление прироста. Уровень дофамина – индикатор движения к цели.

-  уровень нейромедиатора стабильно повышался, пока крыса стремилась к концу лабиринта, и пик дофамина приходился как раз на обретение награды. Система подкрепления как бы предвкушала конечный результат, растягивая ожидание. Разные животные бежали по лабиринту с разной скоростью, некоторые вообще иногда останавливались, однако это никак не отражалось на приросте уровня дофамина. Более того, даже возможность вознаграждения, как ни удивительно, не влияла на динамику нейромедиатора

- важно замечать даже небольшие изменеие. промежуточный, маленький результат. Иллюзии и предубеждения при сравнении своего результата с целью. Сравнивать нужно с исходной точкой.

- легче заметить ошибки, чем улучшение

- если оценить свой начальный уровень реалистично, любой результат порадует и даже вдохновит. Есть движение, усилия приносят результат, значит энергии будет отпускаться больше. -- когда же человек не замечает изменений, он делает вывод: "Ничего не выходит", "все зря", "теперь получается еще хуже"

- неправильная оценка исходного уровня или невнимательность. Если вы трудитесь над фигурой в спортзале и не видите результата, скорее всего вы забыли или не видели, каким вы были до тренировок.

- наиболее успешным приемом самоподкрепления является постоянная регистрация результатов,

- вести регистрацию так, чтобы улучшение было видно сразу.

 

6. Различные виды обучения.

 

- имитация, импритинг (запечатление), условнорефлекторное обучение, аффективное обучение, ассоциативное обучение, латентное обучение, обучение по типу инсайт.

- формирование установки на обучение  (object learning-set formation) , закрепление желаниия «учится учиться». Освобождение от связи «стимул-реакция» и «переход от ассоциативного обучения к инсайт-подобному обучению с одной пробы» 

- моделирование — (лепка) состоит в том, чтобы заставить обучающегося выполнять пассивно (двигать им как марионеткой) действие, которое должно быть разучено

- инструментальное или оперантное обучение, которое также называют обучением методом проб и ошибок. Первым из событий является не внешний сигнал, а собственное действие субъекта, а вторым – значимое событие. Подкрепление при таком типе обучения является результатом собственного действия и служит для субъекта показателем соответствия выполненного действия цели поведения, т. е. обратной связью.

- положительное подкрепление — это нечто, желаемое субъектом, негативное подкрепление — это то, чего субъект хотел бы избежать. Набор позитивных подкреплений.

- положительное подкрепление — это событие, совпадающее с каким-либо действием и ведущее к увеличению вероятности повторного совершения этого действия. Электронные устройства для негативного подкрепления.

- любое поведение, которое уже встречается вне зависимости от того, насколько оно спорадично, всегда можно усилить с помощью положительного подкрепления.

 

7. Время подачи подкрепления

 

- ошибка во времени подачи подкрепления не даст результатов (или результаты будут плохими) при использовании как одного, так и другого метода подкрепления

- отсрочка подкрепления может даже оказать вреднее воздействие («А что, разве я сейчас не выгляжу замечательно?»).

- слишком раннее подкрепление неэффективно, не стоит подкреплять действие, которое еще не совершилось. Закрепление выпрашивания.

- информационное содержание подкрепления становится важнее самого подкрепления

- тренер: «хорошо» во время занятия и разбор тренировки после него.

- проблема времени наказания: происходит после поведения, на которое оно должно воздействовать, нет возможности изменить поведение.

- прекращение отрицательного подкреления в момент достижения желаемых результатов (иначе – шум или самоутверждение)

- гибкая обратная связь. Обратная связь. Фидбек о прогрессе в достижении среднесрочных и долгосрочных целей (например, получение нового уровня в игре) мотивирует человека продолжать и стремиться к самой главной цели игры, а, соответственно, проводить за ней больше времени.

- если человек понимает, что находится на верном пути к получению награды, пусть это впечатление иллюзорно, у него будет больше мотивации дойти до конца.  Важно постоянно напоминать о цели, прогноз награды может заместить саму награду

 

8. Величина подкрепления

- как можно меньшая велична подкрепления

- дать большее количество подкреплений за один раз

- размер подкрепления зависит также от сложности задачи.

- большой куш – награда, которая намного больше обычного и является неожиданной.

 

9. Условное подкрепление.

- изначально ничего незначащий сигнал — звук, свет, движение, — который умышленно связывают с подачей подкрепления, «замечательно» или «очень хорошо»,  «ты прав» и др.

- важно точное бронирование формы или выражения для конкретного случая и запрет на использование ее в других ситуациях, не требующих подкрепления.

- в качестве отрицательного подкрепления возглас «Нет!».

- ваш личный список условных и безусловных подкреплений

 

10. Режим подкрепления.

-  постоянное подкрепление необходимо только на ранних стадиях обучения

- вариативный, непредсказуемый режим подкрепления: вариации по частоте подкрепления, вариации по виду подкрепления

- случайный, непредсказуемый порядок. Непредсказуемость: плюсы для формирования привычки, минусы для угашения ее.

-  чем длительнее интервалы между подкреплениями в вариативном режиме, тем сильнее он стимулирует поведение: срывы и зависимости, зависимые отношения.

- вариативное подкрепление неэффективно при решении сложных уникальных задач

- подкрепление начала. Дофамин и инициация действий, «отсроченное начало поведения с долговременной программой»

- примеры: «поощраять любое проявление вежливости у грубого человека, закреплять хорошее настроение у босса, поощрять звонок».

- организованное подкрепление (групповое)

- самоподкрепление. Переход от от одной задачи к другой, от нее к третьей, без пауз и наград

- самоподкрепление: дофаминовый маяк, празднование достижений, благодарность и признательность самому себе, геймификация рутины.

 

11. Базовые правила выработки подкрепления.

- последовательность шагов, необходимых для выработки поведения (последовательность)

- правила подкрепления на каждом этапе и выбор подкрепляемых паттернов поведения.

- реальные физиологически возможные границы изменения

- депривация как оптимальный фон выработки подкрепления

 

12. Правило постепенности.

-  повышайте критерий небольшими градациями, чтобы у субъекта всегда была реальная возможность выполнить требуемое и получить подкрепление.

- реалистичность требования. Ресурс силы воли и постепенное изменение. Учет текущей возможности (стресс, усталость и т.п.). Практически это означает, что, когда вы увеличиваете требования или повышаете критерий подкрепления, вы должны это делать в пределах, доступных в данный момент субъекту.

- любая задача, которую вы перед собой ставите должна быть гарантированно выполнима. У вас должно получиться.

 

- если становится слишком легко, то становится слишком скучно. Дофамин – это преодоление трудностей и выполнение задач.

- слишком сложно: поведение может быть сорвано. Непрерывный медленный прогресс приведет вас к поставленной цели гораздо быстрее, чем попытки форсировать быстрый прогресс с риском потерять все выработанное поведение.

- планирование буферов и границ. Делайте паузы, начать с того, чтобы ставить себе минимальные задачи и обязательно поощрять себя за их выполнение. Ни в коем случае не перескакивать к следующему делу сразу - обязательно делать паузу.

 

13. Правило конкретного навыка.

 

-  в конкретный промежуток времени отрабатывайте что-нибудь одно, не пытайтесь формировать поведение по двум критериям одновременно. Одно подкрепление не может содержать двух типов информации. Переключайтесь с перерывами между собой.

- частая ошибка сразу улучшить две или более стороны деятельности

- вычленение ключевого свойства, самого важного для достижения цели. Отдельная работа над различными критериями.

 

14. Правило стабильной воспроизводимости.

 

- прежде чем увеличивать или повышать критерий, пользуйтесь подкреплением текущего уровня ответа, т. е. подкрепляйте любое исполнение данного действия, имеющегося в данный момент.

- когда вы можете позволить себе подкреплять данный уровень поведения случайным образом и сохранять уверенность в получении его, вы получаете свободу в использовании подкреплений только за лучшие проявления данного поведения.

- селективное подкрепление «сдвинет» нормальное или среднее поведение в сторону того улучшения, которое вам желательно.

- серия чуть заметных переходов между непрерывным подкреплением — когда достигнут новый уровень выполнения — и вариативным подкреплением — когда достижение закрепилось и создалась возможность избирательного подкрепления еще более хороших ответов.

 

15. Правило ослабления критериев

 

-  вводя новый критерий, временно ослабьте старые.

-  нельзя наказывать за ошибки в выученном поведении, совершаемые при новых обстоятельствах.

 

16. Правило поддержки прорыва (инсайта)

 

- ловить «озарения» и давать задания дальше

- в случае внезапного успеха обучаемого, вы знали, что следует подкреплять далее

- скука может отбить охоту к обучению и вызывает отвращение у субъекта, который станет в будущем работать без особого желания, «средний темп» в школе.

- «инсайт-обучение»

 

17. Правило одной программы

- не менять программу, когда навык образован наполовину.

- постоянное повышение критерия осуществляется лучше, если процесс формирования данного поведения находится в одних руках

- если одна процедура выработки не приносит успеха, найдите другую

-  если навык ухудшается, «возвратитесь к детскому саду», быстро повторите весь процесс выработки с серией легких подкреплений.

- самый быстрый способ исправить такое ухудшение - вернуться к началу процесса выработки и очень быстро снова пройти весь путь, давая подкрепление в новых условиях (спустя двадцать лет, на публике и т. д.) и применяя по одному-два подкрепления на каждом уровне.

 

18. Правило завершения.

- не кончайте тренировку, не дав положительного подкрепления, это соответствует наказанию.

-  не лишайте внимания. Лишение внимания — мощный инструмент, поэтому не применяйте его без должной осторожности и несправедливо, уделять внимание до конца занятия.

- оканчивайте, по возможности, каждую тренировку на высокой ноте, как только достигнут успех

- дофамин и оценка дискомфорта при колоноскопии, послевкусие.

- завершение и латентное обучение. Последнее совершенное действие всегда закрепляется в сознании субъекта; вы должны быть уверены, что это хорошее, вознаграждаемое выполнение.

 

19. Правило оптимального времени

-  выбирайте лучшее время для сложных вещей. И самых трудных. Префронтальное время.

 

20. Управление с помощью стимулов

- «поставить поведение под контроль стимулов»

- активация дофаминовых нейронов облегчает инициацию действия (помогает начать действовать) и этот мотивационный эффект очень короток.

 - кратковременное возбуждение дофаминовых нейронов, наоборот, ускоряет инициацию следующего нажатия, но этого запала хватает лишь на 1 секунду, если увеличить промежуток между подкрепляющими стимуляциями совсем немного – до трех секунд – мышь быстро теряет интерес к педали

- мотивирующие стимулы вознаграждают, а вознаграждающие стимулы мотивируют. Мотивационные процессы критичны до момента выполнения движения, процессы подкрепления – сразу после

- установление управления поведением стимулами не является завершенным, пока оно совершается и в отсутствии условного сигнала.

- поведение всегда осуществляется сразу после подачи условного стимула.

-  поведение никогда не возникает в отсутствие стимула

-  поведение никогда не наблюдается в ответ на другие стимулы (если вы говорите: «Лежать!», собака не должна садиться).

-  никакое другое поведение не возникает в ответ на данный стимул

 

21. Угашение нежелательных видов поведения.

 

Метод 1. «Убить зверя».

Метод 2. Наказание.

-  почти никогда не приносит действительной пользы

- не совпадает по времени с нежелательным поведением; оно возникает после, а иногда намного позже

- у субъекта может не образоваться связь между наказанием и своими прежними действиями

 

Метод 3. Отрицательное подкрепление.

- происходит во время действия

- сочетание положительного и отрицательного подкреплений гораздо более эффективно

- отрицательное подкрепление прекращается тотчас же как выполнение действия улучшалось, даже незначительно

 

Метод 4. Угашение

- поведению предоставляется возможность исчезнуть самому по себе.

- случайное подкрепление — любое подкрепление, хорошее или плохое, — способствует сохранению поведения.

- бесполезен для искоренения хорошо отработанного, самоподкрепляемого поведения

 

Метод 5. Выработка несовместимого поведения.

- обучение субъекта выполнению другого действия, физически несовместимого с нежелательным.

- физические паттерны действия

- развлечения, отвлечения, занятия приятными вещами являются хорошей альтернативой при многих напряженных жизненных ситуациях.

 

Метод 6. Добиться, чтобы данное поведение совершалось по сигналу.

- совершать действие в ответ на определенный ключевой стимул,

-  поведение подчинить стимулу только тогда, когда он есть — в его отсутствие поведение начинает угашаться

- прекратить предъявлять стимул

- лениться по сигналу

 

Метод 7. «Формирование отсутствия»

- подкрепляется все что угодно, кроме нежелательного поведения.

- подкреплять лаской и вниманием любую деятельность, кроме разрушительной.

 

Метод 8. Смена мотивации.

- наблюдать за тем, что же в действительности способствует изменению поведения, а что не способствует.           

-  возможность устранить основополагающую причину и таким способом снять или изменить мотивацию, вы должны это сделать.

 

22. Элементы геймификации.

Выигрыш и награда. Когда человек ставит себе цели их достигает. Ставить себе цель и достигать её. К примеру, 10000 шагов в день, которые вам нужно пройти, чтобы ощущать себя бодрым. При этом количество пройденных шагов (и процент достижения цели) вы можете посмотреть в любой момент. В нашем случае выигрыш обязательно должен быть и в неигровом контексте, ведь мы достигаем целей и в здоровье. Важно получать выигрыш немедленно, а не в долгосрочной перспективе. Такое предпочтение сильнее проявляется у молодых людей, однако сохраняется на протяжении всей жизни. Лотерея.

Эксперименты, исследование, поиск чего-то нового. Важно создать условия, где нужно пытаться выяснить в процессе игры, как именно заполучить награду (стремление к победе/награде). Совершенствоваться в игре — значит экспериментировать. Пользователь знает, что когда-нибудь неизбежно потерпит поражение (срыв, откат), но  также знает, что всегда сможет начать заново, поэтому возможность поражения не пугает.

Страх потери. Штрафные баллы. Страх потери того, что уже есть, сильно перевешивает желание награды, которая еще не попала в их руки.

Отдых, расслабление. Игры и задания должны быть не слишком сложными, чтобы не вызывать отторжения.

Работа в команде. Можно поставить коллективную цель, сгруппировав участников например в количестве шагов, или в «20 дней без сахара» - любые онлайн соревнования и вызовы.

Признание заслуг, похвала от других. Получать бейджи за достижение хороших показателей, или награды, которые можно репостить.

Ощущение, что ты победитель. Статус. То есть что ты не просто выиграл,  как в первом пункте, а  одержал верх над кем-то. Видеть результаты своих друзей, с которыми хочется соревноваться и делиться достижениями

Коллекционирование. Многие любят коллекционировать что-то — и  в жизни, и в игре. Можно собирать рекорды личные, новые места для пробежек – что угодно.

Удивление.  Мы всегда радуемся чему-то новому и  неожиданному — особенно, если это неожиданная награда. Неожиданные награды мотивируют больше, нежели ожидаемые вознаграждения. Лотереи на собраниях анонимных алкоголиков улучшают исходы лечения зависимости!

Воображение и фантазия. Важно стимулировать спонтанность, т.к. это мощный ресурс изменения (арт-терапия, фантазия, творчество и др.)

Альтруизм. Мы любим делиться с другими, например, становится наставником кому-либо, кто решает эту же проблему и поддерживать его.

Ролевые игры. Можно пробовать разные виды физической активности, разные стили питания. Разнообразие и разные роли.

Безделье. Программа изменений должна содержать свой «шабат» - давать отдых.

Понятна и проста. Чем больше информационных и сенсорных помех возникает в процессе игры, тем меньше у человека будет стимула к ее продолжению. Это означает, что разработчики должны стремиться к простоте всех игровых аспектов — от интерфейса до индикаторов с важной информацией. Игра должна содержать в себе минимум отвлекающих моментов, способствуя концентрации человек