Msc InformaticsInformatics Research Proposal

The Cognitive Role of Representational Gestures:An Investigation of Gesture­Speech Mismatch Using Euler Diagrams

Luke Maxwells0450776

The Cognitive Role of Representational Gestures:An Investigation of Gesture­Speech Mismatch Using Euler Diagrams

1 Introduction

Gestures are traditionally an important subject for cognitive science because of theircommunicative function. However, recent research has suggested the existence of acognitive aspect of   gesture,  meaning that our  thought  processes are in some waydirectly affected by gesture in a way not purely associated with communication.A number of studies focusing on the  gestural responses of subjects observed during areasoning­based   problem   solving   activity   have   indicated   a   relationship   betweenconcept­transition and instances of gesture­speech mismatch (see below). It   is   suggested   that   these   mismatched   gestures     correspond     to   representationalgestures that could be aiding cognition as well as communication.In   order   to   investigate   this   relatively   new   field   of   research,   a   variation   on   thereasoning task could be introduced, which offers ways of engaging cognition that mayproduce significantly different, or significantly similar, gestural and verbal responsesfrom subjects. The suggested task will involve the use of diagrammatical methods tosolve syllogisms,  and is believed to differ from the previous tasks in a number ofcrucial ways.

2 Purpose

The field of research concerning gesture­speech mismatch needs to be complimentedwith futher research in order to establish the existence of gesture­speech mismatchesin the context that they have been placed. Furthermore, we need to understand whatthe   implications   of   such   phenomena   are.   Finally,   we   should   understand   whatunderstanding might offer to other fields of research.

As   such,   the   reasearch   that   is   proposed   will   investigate   whether   the   particularinstances of gesture­speech mismatch can be observed in subjects filmed participatingin syllogistic reasoning tasks involving Euler diagrams. The results will be comparedto those of previous studies. 

It will be argued that introducing a diagrammatic task involving Euler diagrams mightengage gesture   in  a  way  that  has  been  hitherto  unexamined  by  both  encouragingproblem representation and encouraging the use of gestures. In addition, it is possiblethat  the introduction of shape via diagrammatic representation will  facillitate moredistinct correlations between the meanings of the  gestures produced and the concepts

being reperesented.

3 Background

Susan Goldin­Meadow has  authored a number of publications concerning gesture­speech   mismatch(Goldin­Meadow,1986,1992,1993,1999,2002).   This   phenomenonconcerns an apparant contrast between the meaning of gestures when accompanyingcertain utterances. These utterances  relate to attempts by both adults and children toexplain or describe certain problems or tasks which they have been set. The contrastseems to concern a point at which the subjects have difficulty solving a problem orunderstanding a concept.  When asked  to  describe   the  problem or  how it   is   to  besolved,   the   subjects   appear   to   demonstrate,   through   gesture­speech   mismatch,alternate representations of the problem which are seemingly contradictory. Goldin­Meadow obtained these conclusions through a series of experiments on adultsand  children.  During  one  experiment,   participants  were   set   the    Tower  of  Hanoiproblem (Goldin­Meadow, 1993).  The problem   consists  of  two vertical pegs, onesurrounded  from bottom  to   top  with   rings  of   increasing  size.  The    task   involvedtransferring the set of hoops from one peg to the other and placing them in the sameformation. Participants were not allowed to lift more than one peg at a time and thehoops had always to be left on one or other of the pegs (rather than on the floor).From these experiments Goldin­Meadow observed the phenomenon of gesture­speechmismatch; the participants would recount their actions in speech while attempting toexplain   why   they   made   certain   moves   and   while   doing   so   would   demonstratecontradictory   representations   with   their   hands.   The   mismatch   was   by   no   meanscontinuous. In fact, it seemed to occur at crucial moments in the participants' thoughtprocess; the stages where the participants were uncertain of the correctness of theircurrent or future decisions. Thus an important finding was that mismatch seemed tooccur when the participants were learning a new process or concept. Goldin­Meadowwas  careful   to   select  participants   that  had  never   tried   the   test  before.    What   sheobserved was that mismatch did not occur when the problem solving strategy wasfamiliar to them. Goldin­Meadow is not alone in her views concerning the cognitive signigicance ofreresentational gestures. Sotaro Kita argues  that gesture is involved in the conceptualplanning of the message to be verbalised(Kita, in press). He claims that these gestureshelp to “ package”  spatio­motoric information so that it is easier to verbalize. Morespecically,   speakers   use   gesture   to   explore   alternative   ways   of   encoding   andorganising spatial and perceptual information(Alibali,Kita&Young, 2000): 

“ ..gesture plays a role in speech production because it plays a role in the process ofconceptualisation. This opens the possibility that gesture may play a role, not only inspeech   production,   but   also   in   other   cognitive   activities,   such   as   reasoning   andproblem solving.”  (Alibali,Kita&Young, 2000)

According to Kita, analytical thinking is responsible for the hierarchical structuring ofconcepts,   presumably   so   that   they   conform   to   the   linguistic   codes   of   speechproduction   (Kita,   in   press,   pg.164).  A   function  of   our   spatio­motoric   thinking   is

therefore to organize information gathered from our interactions with the environment(Kita, in press,  pg.164). Kita continues by suggesting that spatio­motoric thinking can be applied to some kindof virtual environment of internal imagery (Kita, in press, pg.165). This seems vitallyimportant if we are to discover how gesturing really does help us think and what thespecific interactions of the various forms of thinking which we employ consist of.Although the details of the virtual envirnoment are yet to be fully elucidated, Kita'sdiscussion may offer a useful bridge between the linguistic explanations of gestureproduction and the more semantically ambiguous notion of gestures as  indexes oftransitional   knowledge.   We   are   still   left   with   the   fundamental   issues,   however,concerning  what the cognitive significance of the representational gestures involvedin mismatch actually are.To analyse gesture­speech mismatch further, an investigation of other reasoning tasksseems pertinent. By adding to the reasoning tasks which we consider we may yet beable to isolate the cognitive processes more clearly.  Keith Stenning(Stenning, 2002)has  proposed  that  by analysing   the  ways   in  which  we solve  syllogistic   reasoningproblems   we   may   gain   an   insight   into   the   higher   level   thinking   processes.   Byincorporating this approach in our analysis of gesture­speech mismatch we may enrichour understanding of the phenomena. Through his discussion of Euler diagrams and the difficulty of selection involved indiagrammatical problem solving, Stenning offers us the perfect context within whichwe may be able to ask further questions relating to gesture­speech mismatch. Not onlyare they part of a classical reasoning task that embodies the problem of representationselection, they introduce the concept of external representation. Even the process ofcreating and discussing them involves gesturing of some kind. Stenning refers to thevariety of alternative ways in which we might solve syllogisms as the representationalsupermarket. In this light we can understand that the difficulty in solving them comes,in part, from the difficulty in selecting the correct method. Furthermore, the methodsrelate to the ways in which the problem can be represented. If the aim is to analyse thenature of gesture­speech mismatch, and to ascertain the possible implications, thenusing   syllogistic   reasoning   against   the   backdrop   of   Euler   diagrams   must   be   areasonable step.  

4 Hypotheses

The suggested task offers an interesting test platform for the hypothesis because itdiffers from previous experiments in two important ways. Firstly, the principlemethod of diagrammatical reasoning involves  an explicit re­represention of theproblem which has been missing from the previous investigations. Hitherto, theproblems have involved mathematical problems, or reasoning­based exercised whereno specific problem­solving guidelines were given.  Introducing Euler circles offersthe opportunity to observe gestural activity in a context where an alternativerepresentation of the problem is described and explained. In doing so, it introducesalternative cognitive responses which might prove different or similar to thepreviously observed examples in some significant way espoused by the hypothesise.Furthermore, because individuals vary in terms of their suitability to such problem­

solving approaches, it will be interesting to record the possible effects both on thosewho react positively to the diagrammatical method and those who don't . 

The research is intended to determine whether subjects  will respond to the reasoningtask in similar ways to those who underwent the Goldin­Meadow  experiments. It ishoped that they will demonstrate instances of representational gesture that contradictthe verbalizations that they accompany. If such instances can be observed then wehave support for our initial hypothesis:

1. Instances of gesture­speech mismatch occur during reasoning tasksincorporating syllogistic reasoning tasks and Euler diagrams.

Due to the exploratory nature of the research, the focus must be on whether thephenomena can actually be observed at all. However, if instances of mismatch areobserved, then there are another of other hypotheses that can also be tested. The extentof the investigation will necessarily depend on the extent of the observations ofmismatch that are made.

If such instances can be observed at times where the subject is undergoing atransitional phase of understanding then we will have support for a furtherhypothesis:

2.Instances of gesture­speech mismatch involving representational gesturesobserved during reasoning tasks consitute an index of transitional knowledge, asproposed by Goldin­Meadow.

If the particular gestures observed as part of the mismatch indicate a trend where theyrepresent some concept utilised in solving the task, then we have some evidencesupporting another  hypothesis. It relates to what the extra element might be. If thereis a cognitive role, then how can it be defined. In order to address this question, thethird hypothesis states:

3.The gestural component of mismatches represent more than the difficultychoice of appropriate problem representation.

5 Methodology

Design

The experiments will involve the teaching of logical syllogisms using Euler diagrams.Participants   will   be   asked   to   listen   to   an   explanation   of   a   method   of   solvingsyllogisms and then asked to try solving them on their own. The task will involve an

introduction   to   the   syllogistic   problem,   followed   by   an   explanation   of   thediagrammtical method for solving   problems of this type. Subjects will then try tosolve example syllogism problems using   the  method.  Throughout   the  session,   theparticipants will be encouraged to describe their problems or solutions. An   analysis   of   the   findings   will   then   incorporate   a   classification   of   gesture,   aninterpretation of the meanings of gesture, and an evaluation of the observed results.The first part of the evaluation will concern whether the proposed mismatches havebeen observed and whether they appeared to index phases of transitional knowledge.The second part, dependent upon the results of the first, will evaluate the context andmeanings of any gestures observed in mismatch situations, and compare them to theprogress of the participant. This will reveal how particular gestures affect the learningprocess by showing how they correspond to the concept which is being learned. 

Aims

The   research   is   intended   firstly   to   determine   whether   any   instances   of   gesturemismatch can be observed in subjects participating in a reasoning task incorportingsyllogisms   and   Euler   diagrams.   If   they   can,   the   second   challenge   is   to   provideevidence that   the   gestures observed correspond  to concepts which  the participanteventually learned and also,   that they occur at a stage which precedes the point atwhich subjects were able verbalize their understanding. If this can be achieved, thenthe   argument   that   representational   gestures   play   an   important   cognitive   role   inlearning can be developed.Analysis will be performed regrarding the meaning of the gestures produced in thecontext   of   the   task.   This   will   be   implemented   through   a   comparison   of   theverbalizatoins which the gestures accompany to determine in what way, if any,  theyare  mismatching.  Conclusions  can   then  be  drawn concerning   the  meaning  of   thegesturese and their cognitive significance. 

Data collection

The data for the research will be collected by video taping the experiments. The rangeof gestures exhibited will be examined and described. The various gestures will thenbe categorized according to the appropriate framework.

Subjects

The subjects will be undergraduate university students recruited and paid an hourlyrate for participation

Materials and Procedures

Experiments will require the use of a classroom and a video camera. They will lastapproximately 60 minutes. An outline of the experimental struture is provided below:

• Introduction to nature of experiment – a general outline of the research alongwith an appropriate explanation of the experiment and the role of the subjects

• Description of tasks ­  format of the tasks explained e.g. use of blackboard, paperand pencil, rules etc.

(10mins)

• Explanation   of   syllogisms  –   a   definition   of   a   syllogism   accompanied   withexamples.

• Example   problems  –   a   small   set   of   famous   example   problems   involvingsyllogisms.

• Demonstration   of   Euler   circles   and   diagrammatical   method   for   solvingsyllogisms.

(20mins)

• Solving syllogisms using Euler circles(30mins)

6 Data Analysis and Evaluation

Assessing Participant Contiribution

The contribution of the participants will be documented and recorded using a videocamera. The video will then be analysed in both in terms of how well the participantsperfomed the task, and whether any of the described gesture­speech mismatch wasobserved.   In   cases   where   the   described   phenomena   appears   to   occur,   theverbalizations   will   be   transcribed   and   the   accompanying   gestures   described   in   adetailed and formal way(see below).

Catgorizing gestures

In   order   that   any   instances   of   gesture­speech   mismatch   can   be   recognised,   it   isimportant that the gestural activity is understood. In order to do this, a detailed andexplicit   statement  of   the   framework by  which  the  gestures  are  classified  must  beprovided. The framework will address a number of crucial methodological aspects:

1. The criteria for gesture2. The categories of gesture3. The defining characteristics of each category of gesture

The hypotheses can only by tested if the data is collected and classified explicitly.Experiments involving live recording of subjects is by nature a difficult undertaking.It is important that any results obtained should be verifiable as much as possible. Assuch,   it   is   important   that   the   appropriate   framework   for   categorizing   gesture   isadopted.  This  means  that  a   formal  classification must  be  described and  tested  forinter­rater reliability.

Interpreting gesture

Any observable instances will be analysed in terms of their relation to the meanings ofthe verbal responses of the subject, and the concepts involved. This will be done afteran acceptable classification of the observed gestures has been completed. The contextof each example of gesture­speech mismatch will then be examined in order to revealany   trends   in   representational   gestures   that   correspond   to   the   concept   eventuallylearned. 

7 Outputs

The anticipated results of the research project are outlined below:

• Observation of gesture­speech mismatch• Evidence that the mismatch occurs when there exists a choice between mulitple

possible interpretations of concept.

Other possible outcomes of the project may be:

• Evidence that gestural component of speech­gesture mismatch represents the actualconcept implemented to solve the problem.

• Support   for    argument   that  gesture  represents  a  mode of  commmunicating  andacquiring concepts that precedes our ability to articulate our understanding of theconcept. 

The research will contribute to ongoing research of gesture­speech mismatch. Theintroduction of the diagrammatical method explicitly places the gestural activitieswithin a context of problem representation. This is intended to explore any possiblelink between representational gestures and the cognitive processes involved inlearning. It is possible that the link will prove more than the association betweengestures and language and will incorporate features of cognitive understandingassimilated through the use of gesture. 

8 Workplan

The  research will  be   conducted  over   the   summer  semester.  The  timetable   for   theresearch and analysis is provided below:

Research preparation

Conducting   the   research   will   entail   detailed   planning.   A   framework   for   thecategorization  of   gesture  must  be  explicitly   formulated  before   any   results   can  beanalyzed.Video camera and room booking arrangements will need to be organized to

cover   the   period   designated   for   conducting   the   experiments.   The   format   of   theexperiment sessions will need to be structured to allow sufficient time for explanationof task and subject participation. The task must be of the appropriate complexity toallow for an enviroment where mismatches may be observed. A period of planningand   practice   is   therefore   essential   to   allow   for   meaningful   experimenation   to   becompleted.

Research experimentation

The actual experimentation phase will depend in part, on the results of the preparatoryphase. This will  determine how easily gesture­mismatch can be observed and howappropriate the reasoning task is for the purpose of the research. Decisions conceningthe number of subjects required and the optimal number of subjects per test can thenbe made. It is likely that the experimentation phase will be ongoing throughout thesummer and that analysis and research will be done simulatneously.

Analysis of Data

After each experimentation, an analysis of the video will be carried out. This willinvolve   transcription   of   verbal   responses   where   appropriate.   Descriptions   of   thephysical activity of the subjects will be described and applied to the framework forgesture in order to determine the character of the gestures observed and to classifythem accordingly.

Analysis of Findings

An   analysis   of   the   results   will   be   undertaken   in   order   to   evaluate   the   varioushypothese in the context of the observations. This will involve a discussion of whetherany particular instances of gestue­speech mimatch have been observed, and whetherthe instances represent an index of transistional knowledge. Further analysis will concern the meaning of the gestures in this context and whetherthey correspond to representatioins that are incorporated into a concept that is learned.Conclusions  will   then  be  drawn  concerning   the   cognitive   role   of   representationalgestures.

Activity Description Timescale

Research preparation • Determination   of   framework   forgesture categorization

• Administration arrangements

• Planning and testing of reasoning task

• Recruiting subjects

14 May 05 –1 June 05

Research experimentation • Testing subjects Ongoing 

Activity Description Timescale

Analysis of recorded data • Transcription   of   verbal   and   gesturalresponses.

• Classification of gesture

• Description of observed gestures

Ongoing

Analysiswill   beperformedafter   eachexperiment

Analysis of results

Writing of research paper

• Description of research

• Literature review

• Discussion   of   observed   gestures   andgesture­speech mismatch 

• Discussion   of   meaning   of   gesturesassociated with observed mismatches

• Discussion   of   cognitive   aspect   ofrepresentational   gestures   againstbackdrop of results.

August  05 –finalsubmission

References

1. Garber, P.,  &  Goldin­Meadow, S.   (2002). Gesture offers   insight   into problem­

solving in adults and children. Cognitive science, 26, 817­831.

2. Church, R. B. & Goldin­Meadow, S. The mismatch between gesture and speech

as an index of transitional knowledge. Cognition, 1986, 23, 43­71.

3. Perry, M., Church, R. B.,  &  Goldin­Meadow, S.  Is gesture­speech mismatch a

general index of transitional knowledge? Cognitive Development, 1992, 7 (1), 109­

122.

4. Goldin­Meadow, S., Wein, D. & Chang, C. Assessing knowledge through gesture:

Using children's hands to read their minds. Cognition and Instruction, 1992, 9 (3),

201­219.

5. Goldin­Meadow,  S.,  Alibali,  M.  W.,  &  Church,  R.  B.  Transitions   in   concept

acquisition: Using the hand to read the mind. Psychological Review, 1993, 100 (2),

279­297.

6. Alibali, M. W. & Goldin­Meadow, S. Gesture­speech mismatch and mechanisms

of   learning:   What   the   hands   reveal   about   a   child's  state   of   mind.  Cognitive

Psychology, 1993, 25, 468­523.

7. Iverson, J. M. & Goldin­Meadow, S. Why people gesture as they speak. Nature,

1998, 396, 228.

8. Goldin­Meadow, S. The role of gesture in communication and thinking, Trends in

Cognitive   Sciences,   Volume   3,   Issue   11,   1   November   1999,   Pages   419­429.

(http://www.sciencedirect.com/science/article/B6VH9­3XR2GXK

9. Eckman,   P.,   &   Friesen,   W.   V.   (1969).   The   repertoire   of   nonverbal   behavior:

Categories, origins, usage, and coding. Semiotica, 1

10.Kita,  S.  ().  How representational  gestures  help  speaking.   In  D.  McNeill   (Ed.),

Language and gesture: Window into thought and action, pp. 162 185. Cambridge,

UK: Cambridge University Press.

11.Levy,   Elena   T.,   &   McNeill,   David.   (1992).   Speech,   gesture,   and   discourse.

Discourse Processes, 15, 277­301.

12.Alibali, M., Kita, S., Young, A. Gesture and the process of speech production: We

think, therefore we gesture. In Language and Cognitive Processes 2000, 15 (6), 593

613

13.Kita, S.  (in press). How representational gestures help speaking. In D. McNeill

(Ed.),   Language   and   gesture:   Window   into   thought   and   action,   pp.   162   185.

Cambridge, UK: Cambridge University Press.

14.Stenning, K. Seeing Reason: Image and Language in Learning to Think. Oxford

University Press 2002.