what is really naturalistic in naturalistic decision-making research?

2
Author's biography: Robert F. Bordley has worked in General Motors' Corporate Strategy, Systems Engineering, R&D Portfolio Planning, Societal Analysis, Operations Research staffs, served as a National Science Foundation Program Director, and has been an adjunct professor. His sixty publications range from management science and economics to political science and physics. He has received General Motors' Presidential Council Award and its Award of Excellence as well as a National Science Foundation fellowship. Author's address: Robert F. Bordley , General Motors Corporation, MC482-A18-B16, PO Box 100, Renaissance Center, Detroit, MI 48265-1000, USA. E-mail: [email protected] DOI: 10.1002/bdm.383 What is Really Naturalistic in Naturalistic Decision-making Research? JEAN-PAUL CAVERNI* Aix-Marseilles I University & CNRS, France In 1980, Hogarth published a book `for decision makers', i.e. `people who manipulate their specialist knowledge making choices, be it in industry, commerce, government service, medicine, or indeed any other professional activity', whose major goal was `to help people make better decisions' p. ix). Hogarth reported p. 101) a real-world study by Fischhoff and Beyth 1975). Subjects were asked to make probabilistic predictions concerning President's Nixon visits to China and the USSR in 1972. Subjects were asked to assess probabilities of events such as the following: The USA will establish a permanent diplomatic mission in Peking, but not grant diplomatic recognition. President Nixon will meet Mao at least once. A group of Soviet Jews will be arrested attempting to speak with President Nixon. The USA and the USSR will agree on a joint space program. Subjects made their predictions before Nixon's visits and were unexpectedly asked to recall them some time thereafter. For the events that actually did occur, subjects recalled having reported higher probabilities than they really had reported, and vice versa for events that did not occur. Subjects were not very surprised by what did happen and what did not. Who would argue that such a result does not apply to real-world problems e.g. how to establish, nowadays, the responsibility physicians had in 1985, when they did not stop making blood transfusions after learning that scientists had hypothesized that blood might be infected by HIV)? I will comment on the naturalistic decision-making NDM) framework with the foregoing in mind. Naturalistic life situations involve many decisions NDM does not address, like the following types of decision-making situations: Is it better for me to watch a movie with Humphrey Bogart on TVor to improve my comment on this paper? Should I marry Hillary or Laura? Nobody will argue that such decisions are not naturalistic! So a more accurate ®rst letter for the acronym might be E Experts) instead of N. If NDM is EDM, its story does not begin in 1989, as Hogarth argued. For a long time, it has been known that normative theories do not account for either performances or processes followed by humans when making life decisions. Nevertheless, decision-making theories were viewed as enhancing better decisions. A strong point NDM has helped make is that experts' processes have to be known before decision making might be improved. To do so, a current question is this: Are commonly used laboratory problems representative of real- world problems? To know, one must describe real-world problems as accurately as possible and without any postulates. This has been a major NDM goal. Two possible NDM weaknesses have been pointed out by Lipshitz, Klein, Orasanu, and Salas this issue): 1) NDM researchers are unclear on what constitutes an error and 2) NDM methodology might be `soft'. I will discuss these in turn. *Correspondence to: Jean-Paul Caverni, Universit e d'Aix-Marseille, Laboratoire de Psychologie Cognitive, Case 66, 3 Place Victor Hugo, F-13331 Marseille Cedex 3, France. E-mail: [email protected] Commentaries 357 Copyright # 2001 John Wiley & Sons, Ltd. Journal of Behavioral Decision Making, Vol. 14, 353±384 2001)

Upload: jean-paul-caverni

Post on 06-Jun-2016

212 views

Category:

Documents


0 download

TRANSCRIPT

#������� - ����$�.���� �� � ����� � ��� ������ �� J�����" 3�����/ 4�������� .������*� .*����� =����������� (B' ;�����"�� ;"�������.������" <��"*���� -��������� (������� ������� ������ �� � 6������" .������ H�$������� ;������ '�������� ��� ��� %����� ��#$��� ��������� D�� ��)�* �$%"�������� ����� ���� ���������� ������� ��� ��������� �� ��"�����" ������� �����*���� D� ��� �������� J�����" 3�����/ ;����������" 4�$���" <���� ��� ��� <���� �� =)��""���� �� ��"" �� � 6������".������ H�$������� ��""������

#������� ���������� �� � ����� �� J�����" 3����� 4����������� 34��7<��7&�F� ;- &�) �� (���������� 4������ '������� 3>��F�7�� E.< =7���"� ��%��� %���"�*G�� ���

���� � �N%�� ���

�� ������ ��������� � ��������������!����� ������ "

�������� ������

������������ �������� ������ �� �

>� �0�� D������ �$%"����� � %��� 9��� �������� ������/� � � 9����"� ��� �����$"��� ����� ������"��� ����"���� �������������� %� �� �� ���$���*� ��������� ���������� �������� ��������� �� ������ ��* ����� �����������" �������*/� �������#�� ���" ��� 9�� ��"� ����"� ���� %����� ���������/ �� �)� D������ �������� �� ��� � ���"7���"� ��$�* %* H����������� &�*�� ��01�� .$%#���� ���� ����� �� ���� ���%�%�"����� ����������� ���������� ;��������/� 6�)�� ������ �� 4������� ��� E..( �� �01 .$%#���� ���� ����� �� ������ ���%�%�"����� �� ������ �$�� �� ��� ��""������

� �� E.< ��"" ����%"��� � ��������� ���"������ ������� �� ;������ %$� ��� ����� ���"������ ����������� � ;�������� 6�)�� ��"" ���� 3�� �� "���� ���� � < ���$� �� .����� A��� ��"" %� �������� ���������� �� ����� ���� ;�������� 6�)�� � �� E.< ��� ��� E..( ��"" ����� �� � #���� ����� �������

.$%#���� ���� ����� ����������� %����� 6�)��/� ������ ��� ���� $��)������"* ����� �� ����"" ���� ���� ���� ���������� H�� ��� ������ ���� ���$�""* ��� ���$�� �$%#���� ����""�� ������ �������� ������ ���%�%�"����� ���� ���* ���""* ��� ������������ ���� ����� ��� ������ ���� ��� ��� ���$� .$%#���� ���� ��� ���* �$������� %* ���� ��� ������ ��� ���� ��� ��� !����$"� ���$� ���� �$�� � ���$"� ���� ��� ���"* �� ���"7���"� ���%"��� �� � ��� �� ����%"���� ������*�� ��� ��������%�"��*��*������� ��� �� �0��� ���� ���* ��� ��� ���� ������ %"��� ������$����� ����� "������� ���� ���������� ��� �*�������,������ %"��� ����� %� �������� %* D>L�� > ��"" ������� �� ��� ���$��"����� ��������7������ �6'3� ��������� ���� ������������ �� ����

6��$��"����� "��� ���$������ ����"�� ���* ��������� 6'3 ���� ��� �������� "��� ��� ��""����� �*��� �� ��������7���������$������� >� �� %����� ��� �� �� ����� � ����� ���� D$�����* &����� �� L �� �� ������� �* ������� �� ���� ������.��$"� > ����* D�""��* �� 8�$��� 6�%��* ��"" ���$� ���� �$�� ��������� ��� ��� ���$��"�����O .� � ���� ���$���� +��� "�������� ��� �����*� ����� %� = �=)������ ������� �� 6 >� 6'3 �� ='3� ��� ����* ���� ��� %���� �� �0�0� �� D������ ���$�� H�� � "��� ����� �� ��� %��� ����� ���� ��������� �������� �� ��� ����$�� ��� ������ ������������ �� ��������� ��""����%* �$���� ���� ������ "��� ��������� 6�������"���� ��������7������ �������� ���� ������ �� ��������� %�������������� < ������ ����� 6'3 ��� ��"��� ���� �� ���� �)�����/ ��������� ���� �� %� ����� %����� �������� ����������� %� �������� � �� ��� � �$����� 2$������ �� ����� <�� ������"* $��� "�%������* ���%"��� �������������� �� ���"7���"� ���%"���� � ����� ��� �$�� ������%� ���"7���"� ���%"��� �� ���$����"* �� �����%"� ��� �����$� ��* ����$"���� ��� ��� %��� � ��#�� 6'3 ���"

�� �����%"� 6'3 ���������� ���� %��� ������� �$� %* 8������,� 5"���� -�����$� ��� .�"�� ����� ���$��� ��� 6'3����������� ��� $��"��� �� ���� �������$��� �� ����� ��� �� 6'3 �������"��* ����� %� 9����/ > ��"" ����$�� ����� ���$��

C4������������� ��� A���7;�$" 4������� E���������� �/<�)73�����""�� 8�%�������� �� ;�*���"���� 4��������� 4��� FF� � ;"��� L�����D$��� H7����� 3�����""� 4���) �� H����� =7���"� �������G$� $��� ��� ��

�������� � ��1

4��*����� � � A��� !�"�* B .���� 8�� ������� �� ��� ���� �� � �� ��� ��� L�" ��� ������� ���

E���$%���"*� 6'3 ������%$��� �� ��� �"����* ��""7����� ��%��� �%�$� ���� �� ����� �� &$� ��� ������%$���� ��* %�2$��� �$��������� <� �� ��$���� ���������� 6'3 ��$"� ��$�* ������O >� ��� � �������� �"��*� ���* �� ��+�� �� �� ������<"���$�� ����*%��* �� ���������� %* ��� ����� �� ���������� %������ � 2$������ ������� >� ��� & ����� �����7���� ��������� ������"��� �� ��� ����� �� ���� ��� ������ H�� ��� �$��� ��"����* %���� ��� ������*�� ��� ����" ��������� ������� ��� ����� ������ �""����� ��� �����%"� �����$����� �� ��� & ����� �� ����"$���� ���� �����%�"��*� 3�*%� ���� ���"����* �� � 9���$��"�����/� ���������� �� ��"" �� ���� � ��������7������ ���������� ��� & ����� �����7���� ������ �� ������ �� "���� �� ��� ������ ��� ������ ������� �� "�$��� ��� �����"�O .���"��� �$�� � ��%��� ��$"� ��2$��� ��������� ���� �� ����"�%"� D��� > ����"* ���� �� ������� ���� � ��������� ������ ��� ��� �� ��� �������� �� ����� �� �� ���������

�� ������ �������� ��� ���� �������"��* ��� �%�$� ���"7���"� ��$����� �� ��� ���� %$� �� �� ��������� �� �������� >���$"� %� ��PQ�� �� �������� ���� ��PQ�� ������� ��$"� %� ����������� �� ��$�* 6'3� ���� �������� "�%������* �)����7�����" �������"����� ��� ���������� �� ������������� 4�� ��� ����"$�� ���� ��� �� ��� ������ �� ����� %���$�� ������������� �� ������ 6������ �"�� �� ���$�� ���� 8������, � ��� ������ 9��$"� ��� ����������" "�%������* ������� �� � %�����#�% �� ��������� ��� 2$������� ����� %* 6'3 ����������� ���� ��� ������� �$�����"* �� $���/ .$�� �� ���$���� �� �"��$��� �� "��������� 6'3 ���%�" ������ ���"*���� 9'������ R�����������S� �����7�"�$� �������"� ���� %��� $��� �)�������"*�� ��$���� �� �)����N������ ����������� / >� � ������ �� ������ ���� �� %����� ����� �� �� �� $��� �)�������"*� E���$%���"*�6'3 ������%$��� �� ��� ��%��� �%�$� ��� �������+� � ������ �� �� $�$�" �������� ��� ��� ��""������ .������ �� �%�$����"��* �� � ������� ���� ��� ���" �� ������%��� ��� �)�"������ ���� ���"��*� ���� ��"��%"� ��� ��"�� �������� ��� ��� "��������� ;������ ���� ��� ������ �� ���$����� ������� �� ���+������ �*�������� ��� �������� >� ����� ���� 6'3 ���$"� ������ �� ������ �� ����� ������

��� ��"* ��� �)���"� � ��������� ��� ��"��%�"��* �� ����� ��$����� 6'3 ����������� ����������� 9��� ���������������������� R���S �� ��������� ��� ���� ������� �����"�� �� ���� �� ������/ �� ��� 3�*%�� �� ��� 6�)�� ����* ��������� %� ���������� �� ��� �"��*� �� %� ������ ��"��%"� �� ��"�� -�� ��� ���� �)�"�������� �%�$� ��� �� �� ��� %������ ������� ���������� ���� ���� ��� ����� �)����� �����$� �)�"������ ��*����� �%�$� ��� �� �� ��� %������ �� ���� > ��� ���+�� �$�� �� �%#������ �������� %* 8������, ��� ��� ��""���$��

(��$��%�"��* �� ��$� ���%�%"* ��� �� 6'3/� ���������� &$� ��� ��� ���$� ���� 6'3 �� �� � ������$"�� ������ �� ������"$���� �� ���� ���" � ��������� ����� �$��$� �� �� ���� ���� �� �� ��� ����� ��� �� ���� ���� ���� �� �� ��� �� ������� ��"* ��� �����+� ��* ����� ���* �����%"� ��*�

< ������ ������%$���� �� 6'3 �� �� ���� ���� ������� � �$����� ����� �� ��������7������ ��������� ����� ��� ���� ���������� �� �����%"� �����$� � ���������� �����"� ��� �%������ ����" �� � J��,���� �00F� '���� ��� 6'3 ��� �)�"����"*��"�������� ����������� ���� ���"*��� �' <� �� � ���" ��� %$�"���� �������� >� ���%�%"* ��� �$�+������ ' < ���%�%"* ����������* ��� $������������ ��*���"�����""* ���"����� ��������� ��������� ��� �� ���� �� ���� "���������"* ��""�� 9���7$��"�����/ �� ��� +�"� �)������ %* 8������, ��� ��� ��""���$��

(=H=(=64=.

H��������� & � B &�*��� ( ��01�� 9> ���� �� ��$"� ������/� (����%���� ���%�%�"����� �� ����7�$�$�� ������ ����� ��� ���� ��� �� ��� "���� �������� ��� ���F

J��,���� I ��00F� (��"* �� ���������*� <�������� ��� ��#$������� �������%�"��*� ��� ��� %����� $������������ �� ������������� �������" ���������� ������� �� ��� ���� �� � �� ��� ��� �� ������

D������� ( ��0�� ������� ��� ��� �4 �� $�.������. �� �� � ��� 4���������� !�"�*

#������� - ����$�.�� ����� � !�" ��#� ������"* ������ �� � �����" ����" �� ��PQ�� ���%�%�"��* 4$�����"*� �� �$�� �)��������� ���*�������� ������� �%��� �� ������� �������7������� ��������� ��� �� ��"������ �����" ��@$������ !��� ������������� ��$���� �������$�" ����������� �� ��� ���������� �������" ���������� D� �� �������� � ���� ���$���� �� ������������ ��������� ��� �������� ������

#������� �������� ����� � !�" ��#� 4�������� ;�*���"��* 8�%������*� E��������* �� <�)73�����""�� > ��� 46(.� � ;"��� L�����7D$���3�����""��� H7������ H����� =7���"� �������G$� $���7��� ��

���� � �N%�� ���

��� ������� �� ��� ���� �� � �� ��� �� &��� '() *��� +�� ,

4��*����� � � A��� !�"�* B .���� 8�� ������� �� ��� ���� �� � �� ��� ��� L�" ��� ������� ���