Marino Bonaiuto
Augusto Gnisci, Seconda Università di Napoli
Fridanna Maricchiolo, Università di Roma Tre
L’uso strategico della comunicazione non verbale nella comunicazione interpersonale in vari contesti
Roma, 18 ottobre 2013
Comunicazione gestuale
Bonaiuto
Introduzione alla psicologia sociale discorsiva La comunicazione non verbale 2002 e 2003
Roma, 17 ottobre 2013
Sinergie Azienda e Università
Bonaiuto, Orsini, Angelini
Roma, 18 ottobre 2013
Comunicazione gestuale
Bonaiuto
Language and gesture
• Kendon (1995, 2004) ─ Kendon, Adam 1995. Gestures as illocutionary and discourse structure markers in
Southern Italian conversation. Journal of Pragmatics 23(3): 247–79.
─ Kendon, Adam 2004. Gesture: Visible Action as Utterance. Cambridge: Cambridge
University Press.
• McNeill (1985, 1992) ─ McNeill, David 1985. So you think gestures are nonverbal? Psychological Review
92(3): 350–371.
─ McNeill, David 1992. Hand and Mind: What Gestures Reveal About Thought.
Chicago: University of Chicago Press.
• Brain evidences: ─ Dick, Anthony S., Susan Goldin-Meadow, Uri Hasson, Jeremy I. Skipper and Steven
L. Small 2009. Co-speech gestures influence neural activity in brain regions
associated with processing semantic information. Human Brain Mapping 30(11):
3509–3526.
─ Alibali, Martha W., Kita Sotaro and Amanda J. Young 2000. Gesture and the
process of speech production: We think, therefore we gesture. Language and
Cognitive Processes 15(6): 593–613.
Co-occurrence and co-ordination
Roma, 18 ottobre 2013
Comunicazione gestuale
Bonaiuto
Gesture, attention, perception, and judgment
• During a speech listeners monitor two different integrate source of information of the speaker: verbal and gesture
1. Different co-speech gestures are differently perceived1
2. and they differently affect receivers’ evaluations about speaker’s competence and message persuasiveness2
Introduction
Roma, 18 ottobre 2013
Comunicazione gestuale
Bonaiuto
1. Beattie & Shovelton, 2006; Kelly et al., 2007. 2. Maricchiolo et al., 2009
Gesture and perception
• Gestures of a speaker are differently perceived and processed by receivers according to their (in)congruence with the speech3:
─ incongruent gestures make more difficulty in semantic integration (larger N400 effect) than congruent gestures.
• Gesture-speech semantic integration is affected by contextual factors4:
─ the presence of meaningless gestures (e.g. self-manipulation) influences the processing of meaningful gestures with speech, making speech-gesture integration difficult
Introduction
Roma, 18 ottobre 2013
Comunicazione gestuale
Bonaiuto
3. Kelly et al., 2007; 2008. 4. Holle & Gunter 2007; Kelly et al., 2007
Gesture and speaker evaluation
• Listeners (often without awareness5) use speaker’s gestures to perceive and evaluate his/her features, attitudes/intentions, or emotion, and to judge him/her6.
• Speaker’s gestures affect differently receivers’ judgments about speaker’s competence, composure and persuasiveness7:
─ the speaker, using ideational and conversational gestures during a persuasive message, is evaluated more competent, persuasive, effective, and composed than using adaptors.
Introduction
Roma, 18 ottobre 2013
Comunicazione gestuale
Bonaiuto
5. Bargh 1997; Grahe & Bernieri, 1999; 2002; Lakin 2006. 6. Ekman & Friesen, 1969; Gray & Ambady 2006; Krauss, et al., 1996; Patterson, 1982; 2001; 2009. 7. Maricchiolo et al., 2009
Hand gesture studies 2000 -
Roma, 18 ottobre 2013
Comunicazione gestuale
Bonaiuto
• Taxonomy (Chapter)
• Multimedia tool CodGest (Chapter and Unpublished)
• Cross-culture (Oral communication)
• Functions: correlational studies (Oral communication)
• Political communication: correlational (Chapters)
• Legal communication: experimental (JNVB)
• Influence in small group: experimental (SJP)
• Influence in persuasive communication: experimental (LCP)
• Processes: experimental (submitted)
Taxonomy
Roma, 18 ottobre 2013
Comunicazione gestuale
Bonaiuto
Maricchiolo, F., Gnisci, A., Bonaiuto, M. (2012). Coding hand gestures: A reliable taxonomy and a multi-media support. In A. Esposito, A.M. Esposito, A. Vinciarelli, R. Hoffmann, V.C. Müller (Eds.), Cognitive Behavioural Systems, Lecture Notes in Computer Science Vol. 7403. Berlin Heidelberg: Springer-Verlag (pp. 405-416). ISBN 978-3-642-34584-5
Bonaiuto, M., Gnisci, A., Maricchiolo, F. (2002). Proposta e verifica empirica di una tassonomia dei gesti delle mani nell’interazione di piccolo gruppo. Giornale Italiano di Psicologia, 29, 777-807.
Multimedia tool CodGest
Roma, 18 ottobre 2013
Comunicazione gestuale
Bonaiuto
Maricchiolo, F., Gnisci, A., Bonaiuto, M. (2012). Coding hand gestures: A reliable taxonomy and a multi-media support. In A. Esposito, A.M. Esposito, A. Vinciarelli, R. Hoffmann, V.C. Müller (Eds.), Cognitive Behavioural Systems, Lecture Notes in Computer Science Vol. 7403. Berlin Heidelberg: Springer-Verlag (pp. 405-416). ISBN 978-3-642-34584-5
Taxonomy across cultures and languages
Roma, 18 ottobre 2013
Comunicazione gestuale
Bonaiuto
Bonaiuto, M., Maricchiolo, F., Orlacchio, T. (2005). Cultura e gestualità delle mani durante la conversazione: un confronto tra donne native dell'Italia e del Burkina Faso. Paper presented at the Workshop “Intersoggettività, identità e cultura”, Università di Urbino, 14th - 15th September, Urbino.
Nazionalità
Gesti
Italiane Burkinabe
f f% z f f% z
Coesivi 709 22.3% -13.83 1731 51.4% 13.43*
Ritmici 200 6.3% -1.41 255 7.6% 1.37
Iconici 16 0.5% -1.25 29 0.9% 1.22
Metaforici 532 16.8% 10.69* 160 4.8% -10.39
Deittici 678 21.3% 12.87* 178 5.3% -12.50
Emblematici 24 0.8% -2.45 57 2.38% 1.92
Oggetto-Adattatori 496 15.6% 9.78* 164 4.8% -9.51
Persona-adattatori 10 0.3% -0.74 16 0.5% 0.72
Auto-adattatori 510 16.1% -4.53 773 23% 4.40*
Totale 3175 100% 3363 100%
Nessuna differenza tra Mòoré e Francese nel numero di gesti utilizzati per ciascuna categoria della tassonomia |0.16|< t <|1.77|; gdl = 8; p > .11
Functions: verbal and bodily features co-occurrence
Roma, 18 ottobre 2013
Comunicazione gestuale
Bonaiuto
Marcatori
Gesti
Interaz.
Conversaz
Coesione
sociale
Meta-
testuali
Parlato Assenza
parlato-
pausa
Coesivi 124
-5.35
150
0.94
646
5.03**
1609
1.14
47
-7.77
Ritmici 72
-11.97
124
-4.30
746
1.94’
2419
8.17**
14
-12.43
Ideativi 244
-14.17
288
-5.55
1109
-10.60
5707
18.15**
49
-17.78
Adattatori 448
15.06**
188
2.97**
371
-8.62
1429
-6.69
373
18.08**
Assenza
gesti
754
21.10**
359
7.86**
1362
15.07**
1323
-26.18
622
25.01**
Gesti
Dispositivi
Retorici
Coesivi Ritmici Deittici Metafo-
rici
Auto-
adattat.
Etero-
adattat.
Assenza
Gesti
Presenza 343
-1.40
477
-0.43
687
2.31**
471
8.08**
163
-5.99**
134
-4.95**
453
0.00
Assenza 2080
0.59
2710
0.18
3435
-0.98
1660
-3.43
1537
2.54
1208
2.10
*
*
X2 = 4211,5 gdl = 16
X2 = 157,1 gdl = 6
Bonaiuto, M., Maricchiolo, F., Gnisci, A. (2004).Gesti delle mani, retorica e persuasione. Abstract, VI Congresso Nazionale della Sezione di Psicologia Sociale dell’A.I.P., Sciacca. Pubbl. in: AA.VV., AIP Associazione Italiana di Psicologia, VI Congresso Nazionale Sezione di Psicologia Sociale, Sciacca, 22-24 settembre 2004, Contributi. AIP, Palermo (p. 44-49).
Diversi contesti d’interazione sociale:
• Simulazioni di discussioni in diadi e di interrogatori (video-registrati in laboratorio di Psicologia sociale)
• Interviste politiche televisive a Berlusconi e a Rutelli, andate in onda durante la campagna per le elezioni politiche 2001
• Interrogatori giudiziari di testimoni in processi per omicidio
Functions: verbal and bodily features co-occurrence
Roma, 18 ottobre 2013
Comunicazione gestuale
Bonaiuto
Bonaiuto, M., Maricchiolo, F., Gnisci, A. (2004).Gesti delle mani, retorica e persuasione. Abstract, VI Congresso Nazionale della Sezione di Psicologia Sociale dell’A.I.P., Sciacca. Pubbl. in: AA.VV., AIP Associazione Italiana di Psicologia, VI Congresso Nazionale Sezione di Psicologia Sociale, Sciacca, 22-24 settembre 2004, Contributi. AIP, Palermo (p. 44-49).
DOMANDE
COERCITIVE:
GESTO INIZIALE NELLA RISPOSTA
Coesivi Ideativi Adattatori TOT.
Affermazioni 2 (14.3%)
(–1.30)
2 (14.3%)
(+0.03)
10 (71.4%)
(+1.17) 100%
Sì/no 5 (19.2%)
(–1.31)
3 (11.5%)
(–0.48)
18 (69.2%)
(+1.53) 100%
Wh-specifiche 6 (46.2%)
(+1.62)
4 (30.8%)
(+1.94)
3 (23.1%)
(–2.84) 100%
Indirette 5 (45.5%)
(+1.40)
0 ( 0.0%)
(–1.47)
6 (54.6%)
(–0.24) 100%
Domande + coercitive
– coercitive X2(6, 64)=12.4, p=.05 *z>1.96, p<.05; **1.50<z<1.96, p=0.7
DOMANDE
MINACCIOSE:
GESTO INIZIALE NELLA RISPOSTA
Coesivi Ideativi Adattatori TOT.
Neutre 15 (33.3%)
(+1.05)
12 (19.4)
(+1.17)
9 (7.2%)
(–1.79) 100%
Minacciose 22 (21.9%)
(–1.05)
7 (9.4%)
(–1.17)
3 (8.8%)
(+1.79) 100%
X2(2, 68)=3.3, p=.19
*z>1.96, p<.05; **1.50<z<1.96, p=0.7
Gesti prodotti durante gli interrogatori giudiziari dagli interrogati (testimoni – imputati): Selezione di 4 interrogatori video-registrati sulla base di alcuni criteri (lunghezza di circa 20-30 min., qualità delle inquadrature per visione gesti)
Political speech: Politician personal profile
Roma, 18 ottobre 2013
Comunicazione gestuale
Bonaiuto
Maricchiolo, F. & Bonaiuto, M. (2005). Lo stile comunicativo dei leader politici: analisi di alcuni parametri verbali e non verbali nelle interviste televisive durante la campagna elettorale delle elezioni politiche 2001. In Sensales, G. (a cura di), Rappresentazioni della “politica”. Ricerche in psicologia sociale della politica. Milano: Franco Angeli (pp. 189-208).
Political speech: Speech-gesture co-occurrence and profile
Roma, 18 ottobre 2013
Comunicazione gestuale
Bonaiuto
Maricchiolo, F., Giuliano, L., Bonaiuto, M. (2008). Parole e gesti nell'analisi automatica del testo: il caso dei faccia a faccia tra Berlusconi e Prodi (2006). In S. Heiden, B. Pincemin (Eds.), JADT 2008: actes des 9es Journées Internationales d'Analyse statstique des Données Textuelles, Lyon, 12-14 mars 2008: proceedings of the 9th International Conference on Textual Data Statistical Analysis, Lyon, March 12-14, 2008. Lyon: Presses Universitaires de Lyon (Vol. II., pp. 786-798). ISBN 978-2-7297-0810-8
Political speech: Politician personal profile and effects
Roma, 18 ottobre 2013
Comunicazione gestuale
Bonaiuto
Maricchiolo, F., Bonaiuto, M. & Gnisci, A. (2008). Il Cavaliere vs. il Professore: stile comunicativo e valutazioni dell’audience durante il secondo confronto televisivo tra i candidati premier alle elezioni politiche del 2006. In G. Sensales, M. Bonaiuto (a cura di), La politica mediatizzata. Forme della comunicazione politica nel confronto elettorale del 2006. Milano: Franco Angeli (pp. 190-222).
Maricchiolo, F., Gnisci, A., Bonaiuto, M. (2013). Political Leaders’ Communicative Style and Audience Evaluation in Italian General Election Debate. In I. Poggi, F. D’Errico, L. Vincze, A. Vinciarelli (Eds.). Political Speech 2010, Lecture Notes in Artificial Intelligence 7688 (pp. 99–117). Berlin Heidelberg: Springer-Verlag.
Lying
Roma, 18 ottobre 2013
Comunicazione gestuale
Bonaiuto
Caso, L., Maricchiolo, F., Bonaiuto, M., Vrij A. & Mann, S. (2006). The impact of deception and suspicion on different hand movements. Journal of Nonverbal Behavior, 30, 1-19. DOI 10.1016/j.erap.2005.02.01
Roma, 18 ottobre 2013
Comunicazione gestuale
Bonaiuto
Social influence in small group
Maricchiolo, F., Livi, S., Bonaiuto, M., Gnisci, A. (2011). Hand gestures and perceived influence in small group interaction. The Spanish Journal of Psychology, 14, 755-764. http://dx.doi.org/10.5209/rev_SJOP.2011.v14.n2.23
Persuasive communication
Roma, 18 ottobre 2013
Comunicazione gestuale
Bonaiuto
Maricchiolo, F., Gnisci, A., Bonaiuto, M. & Ficca, G. (2009). Effects of different types of hand gestures in persuasive speech on receivers’ evaluations. Language and Cognitive Processes, 24, 239-266. DOI 10.1080/01690960802159929
18/10/2013
Aims of unpublished studies
Roma, 18 ottobre 2013
Comunicazione gestuale
Bonaiuto
Focus on mechanisms of perception, processing and evaluation of gestural communication by receivers of a persuasive message:
• Study 1: gesture and attention (eye fixation)
• Study 2: gesture and emotional reaction (face muscle activity)
• Study 3: gesture and implicit association (IAT)
18/10/2013
First unpublished study: Attention
Roma, 18 ottobre 2013
Comunicazione gestuale
Bonaiuto
• At the end of vision of persuasive message, the speaker is judged more competent, effective, compose, and persuasive (but not warm) when s/he accompany the speech with congruent gesture (ideational and conversational);
• During a persuasive video-message vision, those congruent gestures (ideational and conversational) are less fixated than speech-incongruent gestures (manipulations);
• Gestural fixation is then different for different gesture types, and therefore it is possible that gesture automatic processing before explicit evaluations is different too.
0
0,05
0,1
0,15
0,2
0,25
0,3
0,35
0,4
M
Object-adaptor
Self-adaptor
Conversational
Ideational
GESTURE CONDITION
Ideational Convers. Obj-adapt. Self-adapt.
M (ds) M (ds) M (ds) M (ds)
Warmth 5.2 (1.3) 5.3 (1.9) 4.9 (1.6) 5.9 (1.2)
Competence* 7.3a (2.3) 7.2a (1.4) 4.9b (1.7) 3.6b (2.6)
Composure* 7.7a (2.2) 7.4a (1.2) 5.1b (1.8) 3.8b (2.7)
Persuasiveness* 7.1a (2.0) 7.1a (1.9) 5.6a-b (1.4) 3.7b (2.5)
Effectiveness* 7.1ª (3.1) 7.1a(2.8) 3.3b (2.6) 3.7b (3.7)
18/10/2013
Second unpublished study: Physiological reaction
Roma, 18 ottobre 2013
Comunicazione gestuale
Bonaiuto
Gesture has significant effect on:
• Heart rate, that is arousal and activation
• Eye blinking, corresponding to attention, confirming previous study on eye fixation
• Corrugators activity, that indicates implicit negative reaction
• Explicit evaluation about speaker and message, confirming previous studies
0
1
2
3
4
5
6
Baseline Exper. Trial
Heart rate improvement
ideational
conversational
object-adaptor
self-adaptor
no gesture
0
1
2
3
4
5
6
7
8
9
Baseline Exper. Trial
Eye blinking improvement
ideational
conversational
object-adaptor
self-adaptor
no gesture
0
0,5
1
1,5
2
2,5
3
3,5
4
Baseline Exper. Trial
Corrugator activity improvement
ideational
coesive
object-adaptor
self-adaptor
no gesture
-1
-0,5
0
0,5
1
1,5
2
2,5
3
3,5
4
Baseline Exper. Trial
Zygomatic activity improvement
ideational
coesive
object-adaptor
self-adaptor
no gesture
Ideational Convers. Obj-adapt. Self-adap. No gest.
M (ds) M (ds) M (ds) M (ds) M (ds)
Warmth 5.10 (.59) 5.40 (1.27) 5.17 (1.16) 4.73 (1.43) 4.50 (1.44)
Competence* 6.20a(1.52) 5.70a-b(1.09) 6.23a(1.92) 4.77a-b (1.05) 3.60b(1.03)
Composure* 5.90a(.80) 5.67a(1.65) 3.60b(2.27) 3.63b (2.05) 5.50a(1.25)
Persuasiv.* 5.70a(3.30) 3.30a-b(2.16) 5.80a(2.70) 4.40a (2.95) 1.70b(2.16)
Efficacy* 6.20a(1.81) 6.30a(1.70) 6.40a(1.07) 5.30a-b (2.50) 3.60b(2.80)
Third unpublished study: IAT implicit association
-0,08
-0,06
-0,04
-0,02
0
0,02
0,04
0,06
0,08
0,1
0,12
M
Only Audio
No gesture
Ideational
Conversational
Object-adaptor
Self-adaptor
Ideat. Convers. Obj-adapt. Self-adapt. No gesture Only audio
M M M M M M
Competence** 5.14a 5.22a 4.53b 4.00c 5.07a 4.99a
Sincerity* 3.81a 3.75a 3.20c 3.26bc 3.64abc 3.72ab Ideat. Convers. Obj-adapt. Self-adap. No gesture Only audio
M (ds) M (ds) M (ds) M (ds) M (ds) M (ds)
Competence** 4.86a 4.67ab 4.28bc 3.95c 4.71ab 4.47ab
Influence** 6.05a 5.76ab 5.34b 4.6c 5.95a 5.75ab
Liking* 4.16a 4.02ab 3.58b 3.59b 4.05ab 3.89
Ideat. Convers. Obj-adapt. Self-adap. No gesture Only audio
M (ds) M (ds) M (ds) M (ds) M (ds) M (ds)
Composure** 5.40a 5.43a 5.76b 3.96c 5.65a 5.80a
Dominance** 4.41a 4.55a 3.86b 3.39c 4.42a 4.19ab Ideat. Convers. Obj-adapt. Self-adap. No gesture Only audio
EFFECTIVENESS M (ds) M (ds) M (ds) M (ds) M (ds) M (ds)
Comm. style** 4.67a 4.63a 3.98b 2.98c 4.52ab 4.67a
Speech* 4.85ab 5.06a 4.46b 4.65b 5.17a
Gesture* 4.41a 4.28a 3.51b 3.48b 3.85ab
Ideat. Convers. Obj-adapt. Self-adap. No gesture Only audio
ATTENTION M (ds) M (ds) M (ds) M (ds) M (ds) M (ds)
Speech** 5.63ab 5.26bc 5.10c 4.64d 5.8a 5.5abc
Gesture** 5.45b 5.10b 6.03a 6.29a 3.47c
Gesture-distraction** 3.22b 3.55b 4.88a 5.23a 2.49c Ideat. Convers. Obj-adapt. Self-adap. No gesture Only audio
MESSAGE M (ds) M (ds) M (ds) M (ds) M (ds) M (ds)
Comprehensib.** 5.59ab 5.53ab 5.28bc 4.91c 5.70ab 5.75a
Persuasiveness* 3.83ab 3.59ab 3.32bc 3.31bc 3.87a 3.23c Ideat. Convers. Obj-adapt. Self-adap. No gesture Only audio
M (ds) M (ds) M (ds) M (ds) M (ds) M (ds)
Reaction* 3.12ab 3.45a 2.44c 2.64bc 2.97abc 2.74bc
Vote* 2.93ab 2.97a 2.22c 2.20c 2.69abc 3.23bc
Roma, 18 ottobre 2013
Comunicazione gestuale
Bonaiuto
Towards a hypothesis of process model
Gesture
Eye fixation
Attention
Explicit evaluations about speaker and message
Physiological activation
Emotional reaction
Roma, 18 ottobre 2013
Comunicazione gestuale
Bonaiuto
Body, Language, Communication
• 16. Bonaiuto, M., Maricchiolo, F. (in press). Social psychology: Body and language in social interaction. (Vol. I, pp. 254-270)
• 55. Gnisci, A., Bonaiuto, M., Maricchiolo, F. (in press). Reliability and validity of coding systems for bodily forms of communication (Vol. I, pp. 875-876).
• 57. Maricchiolo, F., Di Conza, A., Gnisci, A., Bonaiuto, M. (in press). Decoding bodily forms of communication (Vol., pp. 900-912).
• 103. Maricchiolo, F., De Dominicis S., Ganucci Cancellieri U., Di Conza, A., Gnisci, A., Bonaiuto M. (in press). Co-speech gestures: structures and functions (Vol. II).
• 154. Bonaiuto, M., Bonaiuto, T. (in press). Europe – South (Italy). (Vol. II).
• 174. Bonaiuto M., De Dominicis S., & Ganucci Cancellieri U. (in press). Gestures, postures, gaze, and movement in work and organization (Vol. II).
• 175. Maricchiolo, F., Bonaiuto M., Gnisci, A. (in press). Body movements in political discourse (Vol. II).
Roma, 18 ottobre 2013
Comunicazione gestuale
Bonaiuto
Biodiversity and linguistic diversity
http://ec.europa.eu/regional_policy/sources/docgener/work/2012_02_governance.pdf
Gorenflo, L.J., Romaine, S., Mittermeier, R.A., Walker-Painemilla, K. (2012). Co-occurrence of linguistic and biological diversity in biodiversity hotspots and high biodiversity wilderness areas. PNAS, 109, 8032-8037.