Жестовая кодировка протагонизма (на материале пересказов фильма о грушах)

Е.К. Павлова Московский Государственный Университет

О.В. ФедороваМосковский Государственный Университет

Междисциплинарность

• Исследование когнитивных процессов – обращение к смежным наукам

• Исследование центральности референта в дискурсе требует идей из разных областей науки

Мультимодальный подход

• Не один, а три канала передачи информации, [Kress 2010], [Кибрик 2010, 2013]:

СегментныйВизуальныйПросодический

Мультимодальный подход

• Не один, а три канала передачи информации, [Kress 2010], [Кибрик 2010, 2013]:

СегментныйВизуальный Просодический

Мультимодальный подход

• Визуальный: •направление взгляда•мимика• позы•жесты

Жесты

• указательные (дейктические) жесты• жестовые ударения• изобразительные жесты• иллюстративные регуляторы• ритмические жесты

Жесты

• указательные (дейктические) жесты• жестовые ударения• изобразительные жесты• иллюстративные регуляторы• ритмические жесты

Изобразительные жесты [Николаева 2005]

• Преобладают• Сопровождают наиболее содержательно

нагруженные фрагменты речи• Сопровождают переформулировки• Помогают в случае сбоев• Чаще относятся к рематической части

высказывания

Последовательные пересказы Ф. Бартлетта

• «Вспоминание» (Bartlett 1932) • Эксперимент с пересказом мифа индейцев

Северной Америки

Последовательные пересказы Ф. Бартлетта

• Экологический подход• Идея последовательных пересказов• Процесс вспоминания как реконструкции

Экологический подход

• Запоминание бессмысленных слогов (Ebbinghaus 1885/1964)

• Запоминания из повседневной жизни

Последовательный пересказ

• Текст• Пересказ испытуемого 1 испытуемому 2• Пересказ испытуемого 2 испытуемому 3• Пересказ испытуемого 3 испытуемому 4• …• Пересказ испытуемого n испытуемому n + 1

Вспоминание - реконструкция

• Реконструкция, а не точное повторение: детали опускаются (названия, имена, качества предметов)

• персонажи и события остаются

• Понятие схемы (= ‘фрейм’ (М. Минский), ‘скрипт’ (Р. Шенк и Р. Абельсон) и ‘сценарий’ (С. Гэррод) )

«Рассказы о грушах» У. Чейфа

• “The pear stories: Cognitive, cultural, and linguistic aspects of narrative production” 1980

• Исследование дискурса у носителей разных культур

• Шестиминутный ролик

Фильм о грушах

• Нет звучащей речи• Нет специфических для определенного

народа реалий

• Должно быть понятно представителям разных культур

Стимулы для порождения различных текстов

• Пейзаж• Насыщенная сюжетная линия• Причинно-следственные отношения• Мысли и эмоции героев• Незнакомые объекты

Протагонизм

• Центральность референта в дискурсе, «главный герой»

• П. Кланси: главный герой – более редуцированное средство (выражается местоимением или нулем)

• Способ маркирования того, что смены главного героя не произошло.

Протагонизм

• Givón 1990: способы измерения фактора центральности

• Линник 2010: протагонизм не является бинарным признаком

• Kibrik 2011: протагонизм повышает коэффициент активации референта при его реактивации

Сбор корпуса вторичных пересказов

Нулевой этап

• Анализ «Фильма о грушах»

Первый этап

• Запись на видео и аудиоаппаратуру 30 записей пересказа «Фильма о грушах»

• 2,5 часа• 15 000 словоупотреблений

• Анализ первого этапа: • Количество вербальных упоминаний

МальчикаФермераТроих мальчиков

В большинстве рассказов количество вербальных упоминаний мальчика преобладает

Второй этап

• Из собранного корпуса выбираем (по вербальным упоминаниям):

Запись с протагонистом-фермеромЗапись с протагонистом-мальчикомЗапись, в которой оба персонажа

получают примерно одинаковое количество упоминаний

Второй этап

• Каждую из 3 выбранных видеозаписей показываем 8 испытуемым и получаем 24 записи вторичных пересказов.

• Обрабатываем записи в программе ELAN

Второй этап: особенности обработки

• Изобразительные vs. дейктические жесты• Изобразительные жесты vs. жесты-

эмблемы• Изобразительные жесты vs. движения глаз

и головы

Задача

• Проследить, как наследуется центральность референта:

На вербальном уровнеНа жестовом уровне

Коэффициент центральности (КЦ)

• отношение вербальных упоминаний более центрального из двух героев к упоминаниям второго

• Центральность референта сохраняется, если КЦ вторичного рассказа отличается от КЦ первичного на не более чем 20%

Результаты: вербальный уровень

• центральность фермера сохраняется хуже всего

Результаты: жестовый уровень

• 1. Уменьшение количества изобразительных жестов во вторичных пересказах

• 2. два главных героя и/или вербальный статус главного героя во вторичном рассказе не сохраняется увеличение количества жестов

• 3. Меньше всего жестов используется при рассказах с протагонистом-мальчиком, больше всего – с фермером

Механизм компенсации

• Поддержать «слабого» героя

Иллюстративные жесты: примеры копирования

• показывать руками большой фартук с карманом на животе, собирать в него груши, выкладывать груши

• забираться по лестнице, перебирая вверх руками, слезать так же с лестницы

• показывать, как груши рассыпаются в разные стороны – руки в разные стороны

• брать в руки ручки корзины с грушами • показывать раму велосипеда – водить руками

параллельно земле• показывать, как слетела шляпа, сделав движение рукой от

головы назад• показывать дерево – вертикально водить рукой

Итоги

• Визуальный и вербальный каналы не идут параллельно, а компенсируют друг друга

• Жесты играют важную роль в анализе дискурса

• Взятая из смежной науки идея последовательных пересказов дала возможность изучать данную лингвистическую область

ЛитератураBartlett F. Remembering: A Study in experimental and social psychology, Cambridge 1932Mehrabian, A. Silent messages: Implicit communication of emotions and attitudes. Belmont, CA: Wadsworth, 1981 Chafe W. (ed.) 1980. The pear stories: Cognitive, cultural, and linguistic aspects of narrative production. Norwood.Kress G. 2010. Multimodality: A social semiotic approach to communication. London: Routledge Falmer.Kibrik A.A. 2011. Reference in discourse. Oxford: OUP.Кибрик А.А. 2010. Мультимодальная лингвистика // Когнитивные исследования, вып. IV. М., 134–152.Линник А.С. 2010. Лингвистическое обеспечение статистического анализа корпуса, размеченного по референции. Дипломная работа, ОТиПЛ филфака МГУ.Николаева Ю.В. Значение и функции жестов-иллюстраторов в устной речи // Материалы «Диалога-2005»

Спасибо за внимание!