Транскрипция как средство анализа пауз в русском жестовом дискурсе

Русский жестовый язык
Язык, на котором общаются между собой глухие в России
Визуально-пространственный язык

«Артикуляторы» ЖЯ
Мануальные:
Доминантная (активная) рука
Не-доминантная (пассивная) рука
Немануальные:
Глаза (направление взгляда)
Веки (степень раскрытости глаз)
Брови
Щеки
Рот
Подбородок
Голова
Туловище

Немануальный компонент
Композициональность
Engberg-Pedersen (1990)
Немануальные сигналы в датском ЖЯ
прижатый подбородок - топик
прищуренные глаза
приподнятые брови

Немануальный компонент
Композициональность
Engberg-Pedersen (1990)
Немануальные сигналы в датском ЖЯ
прижатый подбородок - топик
прищуренные глаза - доступный референт
приподнятые брови

Немануальный компонент
Композициональность
Engberg-Pedersen (1990)
Немануальные сигналы в датском ЖЯ
прижатый подбородок - топик
суженные глаза - доступный референт
приподнятые брови - новый, но известный
референт
- смена топика

Принципы транскрибирования ЖЯ
Для отображения одновременных изменений разных артикуляторов – несколько слоев транскрипции
Аннотации одновременных явлений располагаются вертикально друг под другом

Транскрипция РЖЯ в ELAN

Паузы в русском жестовом дискурсе

Определения пауз в ЖЯ
Grosjean & Lane (1977)
фиксация рук в неподвижном положении и неизменной конфигурации после выполнения жеста
Nespor & Sandler (1999):
расслабление рук и незначительное перемещение между двумя жестами
Winston & Monikowski (2003):
смена немануальных сигналов между двумя жестами

Методика исследования
5 нарративов РЖЯ, записанные на видео
2 глухих консультанта
видеозапись + распечатанная на бумаге транскрипция рассказа (жесты записанные в столбик русскими словами)
Цифры 1, 2 и 3, чтобы отмечать паузы в транскрипции

Результаты
Совпадение ответов 2-х консультантов – 82% случаев, 218 пауз
Если в звучащих языках паузы – это отсутствие артикуляции, то в РЖЯ паузы – это разнообразные модификации артикуляции
В звучащих языках паузы располагаются между словами. В РЖЯ подавляющее число пауз приходится на часть жеста

Абсолютные паузы
Не выполняется никакого жеста РЖЯ
Руки в положении покоя (на коленях, на столе, у груди говорящего)
Руки не имеют четкой конфигурации
1-2 паузы в рассказе (длит. ~ 1 мин)
Абсолютное начало и конец рассказа

Пауза между жестами
УДАРИТЬ-1.OBJ +++ ЗАТЕМ

Фазы жеста
по Kita, van Gijn, van der Hulst (1998)
( ПОДГОТОВКА ) >>
>> ( ФИКСАЦИЯ ) >>
>> РЕАЛИЗАЦИЯ /УДАР >>
>> ( ФИКСАЦИЯ ) >>
>> ( УГАСАНИЕ )

Правила выделения фаз
Принцип направленного усилия
Изменение скорости и направления движения руки

Фазы жеста и паузы
Если в жесте имеются послеударные фазы (Фиксация, Угасание), то эти моменты вопринимаются как паузы

Пауза на фазе фиксации
ЧЕЛОВЕК-ИДТИ ЧЕЛОВЕК-СЕСТЬ+ф ШЛЯПА

Пауза на фазе фиксации
ЧЕЛОВЕК-ИДТИ ЧЕЛОВЕК-СЕСТЬ+ф ШЛЯПА

Пауза на фазе угасания
БЕЖАТЬ ЧЕЛОВЕК-ДВИГАТЬСЯ+у ОБРАТНО КОМНАТА

Пауза на фазе угасания
БЕЖАТЬ ЧЕЛОВЕК-ДВИГАТЬСЯ+у ОБРАТНО КОМНАТА

«Мануальные» формы пауз
Обрыв (нереализация) жеста
Маркеры хезитации (указательный палец, перебирание пальцами)
Жесты с мультиударной фазой реализации (синхронное или попеременное повторяющееся движение двух рук)
Замедление
Абсолютные паузы

«Немануальные» паузы
Контраст, резкое и явное изменение (нескольких) немануальных сигналов – без остановки / замедления рук или наличия иных «мануальных» факторов, влияющих на восприятие пауз

Количество пауз разных типов
Паузы на послеударной фазе
На фазе фиксации - 62 (28% от общ.числа)
На фазе угасания – 78 (36%)
Немануальный контраст
44 (20%)
Маркеры хезитации
17 (8%)
Обрывы
14 (7%)
Абсолютные паузы
3 (1%)

Анализ послеударных пауз
Соотношение пауз и немануальных сигналов:
Типичная пауза – это временной промежуток (совпадающий с фазой фиксации или угасания), с двух сторон обрамлённый сменой немануальных сигналов, во время которого:
А) ничего не происходит или
Б) голова и тело возвращаются в нейтральное положение, выражение лица становится нейтральным («расслабляется)

Движение тела во время пауз
Вариант А (ничего не происходит) –
идея незавершённости
Вариант Б (возвращение в нейтральное положение) –
идея завершённости, возвращение на начало, «ресет»
Вариант Б имеет место при 49 из 78 фаз угасания (63%)
Вариант А возможен только при фазе фиксации – встретился 30 раз из 63 (47%)

Вариант А

Вариант Б

Варианты пауз
Отклонения от типичных пауз:
Есть послеударная фаза, но смена немануальных сигналов происходит только один раз
Нет остановки, расслабления или ритмического сбоя в движении рук – пауза реализуется как смена немануальных сигналов

Литература
Grosjean, F. & Lane, H. (1977). Pauses and syntax in American Sign Language // Cognition, 5.
Kita, S., van Gijn, I., & van der Hulst, H. (1998). Movement Phases in signs and co-speech gestures, and their transcription by human coders // Wachsmuth, I. & Fröhlich, M. (eds.) Gesture and sign language in human-computer interaction. Lecture Notes in Artificial Intelligence, 1317.
Nespor, M. & Sandler, W. (1999). Prosody in Israeli Sign Language // Language and Speech, 42 (2-3).
Winston, E. & Monikowski, C. (2003). Marking topic boundaries in signed interpretation and transliteration // Metzer, M., Collins, S., Dively. V. & Shaw, R. (eds.) From topic boundaries to omission: New research on interpretation. Washington D.C.: Gallaudet University Press.