elaboración de estaciones para el examen clínico objetivo ...co, las indicaciones para el...

Inv Ed Med 2014;3(9):56-59

http://riem.facmed.unam.mx

ISSN: 2007-5057 – see front matter © 2014 Facultad de Medicina Universidad Nacional Autónoma de México. Arte, diseño, composición tipográfica y proceso fotomecánico por Elsevier México. Todos los derechos reservados.

Correspondencia: Departamento de Evaluación Educativa, Secretaría de Educación Médica, Facultad de Medicina, Universidad Nacional Autónoma de México. Edificio B, Tercer piso, México D.F., México. Teléfonos: 5623 2300, ext. 43030. Correo electrónico: [email protected]

PAuTAs EN EDucAcióN MéDicA

Elaboración de estaciones para el examen clínico objetivo es-tructurado (ECOE)

Juan Andrés Trejo-Mejía,1 Glenda Blee-Sánchez,2 Jorge Peña-Balderas1

1 Departamento de Evaluación Educativa, Secretaría de Educación Médica, Facultad de Medicina, Universidad Nacional Autónoma de México, México, D.F., México 2 Departamento de Salud Pública, Facultad de Medicina, Universidad Nacional Autónoma de México, México, D.F., México

Recepción 8 de enero de 2013; aceptación 1 de octubre de 2013

PALABRAS CLAVEEcOE; competencia clíni-ca; examen profesional; estaciones; procedimien-tos; interpretación de es-tudios; México.

ResumenEsta pauta describe los elementos para elaborar una estación del examen clínico objetivo es-tructurado (EcOE), especialmente una estación procedimental de interrogatorio o exploración física y se presenta un ejemplo para darle mayor objetividad.

KEYWORDSOscE; clinical competen-ce; professional exam; stations; procedures; stu-dies interpretation; Mexi-co.

Designing of stations for the objective structured clinical examination (OSCE)

AbstractThis paper describes the elements to make an OSCE station, especially procedure station and we present an example to give it more objectivity.

Elaboración de estaciones para el examen clí-nico objetivo estructuradoLas tendencias actuales de la evaluación de los médicos le dan menos relevancia al solo recuerdo de hechos, con-ceptos o principios y se la asignan a la evaluación del de-sarrollo de competencias. La evaluación de la competen-cia clínica se ha realizado a través del tiempo utilizando

instrumentos como el examen oral y el examen ante pa-ciente real; el avance de la psicometría ha permitido de-terminar la baja confiabilidad1 de estas herramientas, las cuales han sido desplazadas por el Examen clínico Objeti-vo Estructurado (EcOE), que se considera actualmente el método con mayor grado de objetividad para evaluarla.2

Este examen está conformado por un número deter-minado de estaciones (12 a 18) en un circuito por el que

Elaboración de estaciones para el ECOE 57

ISSN en trámite – see front matter © 2014 Facultad de Medicina Universidad Nacional Autónoma de México. Arte, diseño, composición tipográfica y proceso fotomecánico por Elsevier México. Todos los derechos reservados.

pasan todos los estudiantes. En cada una de las estaciones se evalúan las competencias, ya sea ante un paciente real o simulado (interrogatorio, exploración física, diagnósti-co o manejo) o sin paciente (interpretación radiográfica, búsqueda en bases de datos, o análisis de trabajos de in-vestigación). En la Facultad de Medicina de la universidad Nacional Autónoma de México, el EcOE se aplica desde 1996 y es parte de la Fase Práctica del Examen Profesional de la licenciatura desde 2002.

El desarrollo de casos para las estaciones del EcOE es el elemento principal de este instrumento.3 Los casos se desarrollan basados en las competencias que se desean evaluar, las cuales se obtienen de los programas de es-tudio. Previo a la elaboración de estaciones es necesario crear una tabla de especificaciones y una matriz de conte-nidos, donde se delimitarán las áreas, los conocimientos, habilidades y actitudes que se evaluarán.4,5 La tabla de especificaciones y la matriz se construyen con ayuda de los expertos en la temática a evaluarse; ambas aseguran que haya un balance entre los contenidos del EcOE y el peso que tienen en el programa.

Componentes básicos de una estación de ECOEAl elaborar una estación de EcOE es necesario definir lo siguiente:

— El objetivo de la estación: ¿Qué se va a evaluar? — El lugar donde se dará el encuentro entre el estu-

diante y el paciente: consulta externa, urgencias, etc.

Tabla 1. Material para el estudiante.

INSTRUCCIONES

Lea la presentación clínica y siga las indicaciones que se le dan a continuación. Cuenta usted con seis minutos.

PRESENTACIÓN CLÍNICALactante masculino de 9 meses de edad que es traído por su mamá por presentar tos.

1. Realice a la madre el interrogatorio indirecto sobre:

a. El padecimiento actual.

b. Los antecedentes personales relevantes para el padecimiento actual.

2. Al terminar el interrogatorio solicite los datos de la exploración física y exprese a la madre en voz alta:

a. Su diagnóstico presuncional

b. La complicación más frecuente

c. La conducta a seguir

DATOS DE LA EXPLORACIÓN FÍSICA

EF: Peso 8.700 Kg. Talla 71 cm. FC 120 x min. FR 70 x min. Temp 37ºC.Lactante masculino inquieto, tórax en tonel, con disnea, aleteo nasal, tiros intercostales y cianosis distal.A la auscultación: espiración prolongada, sibilancias espiratorias, disminución de los ruidos respiratorios, hipersonoridad.

— El tipo de encuentro: una visita del paciente por un problema de salud, su control o seguimiento, la solicitud de un certificado de salud, etc.

— El tipo de interacción: interrogatorio, exploración física, interpretación de estudios de laboratorio, diagnóstico, manejo integral o realizar determina-das maniobras en un maniquí.

Elaboración de estacionesPara la inclusión de un caso clínico en un EcOE se debe tener la historia clínica completa, que incluya el perfil psicológico-social, aspectos emocionales, de conducta y los estudios de laboratorio y gabinete; es por ello que se recomienda tomar casos reales para elaborar las estaciones.

Tabla 2. Material para el examinador.

NOMBRE DEL ALUMNO_________________________________

El evaluador mediante observación directa debe señalar si el alumno realizó () o no (X) las siguientes conductas o proce-dimientos. El examinador debe limitarse a observar, no debe presionar al alumno ni darle información adicional.

LISTA DE COTEJOInterrogó sobre el padecimiento actual:____1. Inicio de la tos ____2. Primer episodioCaracterísticas de la tos:____3. Seca ____4. Productiva____5. Aislada____6. En accesos____7. Disneizante____8. CianozanteDatos de dificultad respiratoria: ____9. Aleteo nasal ___10. Tiros intercostales___11. Disociación toracoabdominal___12. Respiración sibilanteSíntomas generales:___13. Fiebre ___14. Ataque al estado general___15. AnorexiaAntecedentes:___16. Cuadro gripal ___17. Atopia___18. Familiares con cuadros similaresComplicación más frecuente:___19. Bronconeumonía___20. Envió a urgencias pediátricas___21. Realizó el diagnóstico de bronquiolitisHABILIDADES DE COMUNICACIÓN INTERPERSONAL___22. Saludó a la mamá del paciente___23. Se presentó ante la mamá del paciente___24. Preguntó su nombre a la madre___25. Explicó a la mamá que iba a hacer algunas preguntas___26. Utilizó un lenguaje claro y comprensible___25. Trato a la madre con respeto___28. Mantuvo contacto visual con ella___29. Preguntó si había dudas

Trejo-Mejía JA et al58

si se desea conformar un banco, considere la creación de estaciones equivalentes (contenido similar pero libre-tos diferentes).

Existen dos tipos de estaciones: de procedimientos y de interpretación de estudios de laboratorio y gabinete.

Las estaciones de procedimientos pueden ser de los si-guientes tipos: 1) interrogatorio, 2) exploración física, 3) diagnóstico y manejo, 4) habilidades técnicas (tales como aplicación de Diu o toma de Papanicolaou, en las que se emplea un maniquí).

sólo ejemplificaremos una estación de procedimientos de interrogatorio.

Las estaciones de interrogatorio y exploración física deben incluir los siguientes tres elementos:

1. El formato del estudiante: incluye instrucciones y presentación clínica con el dato pivote o motivo de consulta principal (Tabla 1).

2. El formato del evaluador: contiene la lista de cotejo con los enunciados que describan las acciones prin-cipales del procedimiento que se está evaluando

Tabla 3. Libreto para la mamá estandarizada de niño con bronquiolitis.

Usted es la mamá de un niño que tiene dificultad para respirar. Usted está muy angustiada porque ve a su niño muy malito. Su niño tiene un peso y talla normales. Tendrá en los brazos un muñeco que mantendrá cubierto con una cobijita, simulando que es su niño. Contestar a los alumnos solo lo que le pregunten y lo mismo, si le

preguntan algo que no está en el libreto, conteste no sé o no me acuerdo y si le dicen, ¿qué más?, usted diga ¿Cómo qué, doctor?El médico le va a explicar el diagnóstico, la complicación y la conducta a seguir por este problema

Conteste a los alumnos sólo lo que le pregunten.

¿Cuál es el nombre del niño? Jesús

¿Qué edad tiene? 9 meses

¿Por qué acude a consulta? Porque mi niño tiene mucha tos

¿Desde cuándo? Desde ayer en la madrugada

¿Es la primera vez que tiene tos? Si doctor

¿Tose mucho? Si doctor

¿Esa tos es seca o con flemas? Seca

¿Se presenta sola o en accesos? Así doctor, en accesos

¿Al toser le falta el aire? Si

¿Cuándo tose se pone azul de sus labios? Si

¿Al toser le dan ganas de vomitar o vomita? No, sólo hace el intento de vomitar

¿Respira bien su niño? Le cuesta trabajo respirar

Cuando respira, ¿se le abren los poros de la nariz? Si

¿Se le sumen las costillas? Si

¿Se le hunde el pecho cuando respira? Si

¿Se le mueve el abdomen al respirar? Si

¿La tos se acompaña de silbidos en el pecho? Si

¿Ha tenido fiebre? No doctor

¿Está decaído? No doctor

¿Ha comido bien? No, desde ayer en la mañana no quiere comer

¿Ha tenido gripe? Si, tenía dos días con gripita

¿Le escucha silbidos en su pecho?

¿Se le presentan cuando mete aire o cuando lo saca?

Si, doctor como si tuviera un gato

Cuando lo saca

¿Ha llevado a consulta previamente a su hijo? No doctor

¿En alguna ocasión se le han administrado ventolín -salbutamol? Nunca doctor

¿Alguna vez lo han internado de urgencias por no ceder la tos y los silbidos? No doctor

¿Alguien de su familia ha presentado cuadros similares?¿Quién?

Si doctor

A una tía materna le pasaba lo mismo que a mi hijo desde su infancia

¿Jesús tiene alguna alergia, por ejemplo a medicamentos o polen? No doctor

¿Sabe si Jesús tiene algún problema en su piel? No doctor

¿A Jesús se le ha diagnosticado algún problema de rinitis? No doctor

Elaboración de estaciones para el ECOE 59

(Tabla 2).4,5 Las habilidades de comunicación in-terpersonal se pueden calificar con una lista de co-tejo o de manera más apropiada, de acuerdo a una escala global (que no abordaremos aquí).4 Los ver-bos que se empleen deberán ser muy claros para que otro evaluador los pueda entender y calificar.

3. El material del paciente estandarizado: consta de un libreto que contiene toda la información nece-saria para su desempeño (incluida la conducta que debe seguir, su indumentaria, aspecto, lesiones en piel, etc.). se recomienda diseñarlos en formato de pregunta -respuesta y anotar todas las posibles combinaciones que tengan relación con el caso (Tabla 3).

Las estaciones de destrezas que requieran de uso de un maniquí, contienen en la lista de cotejo, la mayoría de los elementos descritos anteriormente, con excepción de las habilidades de comunicación y el libreto para el paciente.

Es importante señalar que cuando se elabore una esta-ción siempre debe existir congruencia entre el caso clíni-co, las indicaciones para el estudiante, la lista de cotejo y el libreto del paciente.

Materiales complementariosEn algunas estaciones de procedimientos y debido al tiempo limitado de 6-10 minutos, es necesario agregar, en formatos específicos y por separado, resultados de exá-menes de laboratorio o gabinete, de Papanicolaou o datos de la exploración física para que los estudiantes puedan integrar su diagnóstico.

Contribución de los autoresJATM, realizó el diseño del manuscrito tomando elemen-tos de los cursos previos y enriqueciéndolo.

GBs y JPB, realizaron las sugerencias para mejorarlo, haciéndolo más claro.

FinanciamientoNinguno.

Conflicto de interesesLos autores declaran que no hubo ningún conflicto de in-tereses.

Presentaciones previasDurante los cursos se han utilizado elementos vertidos en este manuscrito, un poco diferente, como apoyo para la elaboración de estaciones.

Referencias 1. Hubbard JP. Measuring medical education. Philadelphia: Lea &

Febiger; 1971.2. collins J, Harden RM. Real patients, simulated patients and si-

mulators in clinical examinations. Medical Teacher 1998;20(6): 508-521.

3. King A, Perkowsky R, Pohl H. Planning standardized patient pro-grams: case development, patient training and costs. Teach Learn Medicine 1994;6(1):6-14.

4. Hodges B, Hanson M, Mcaughton N, et al. creating, monito-ring and improving a Psychiatry OscE, Academic Psychiatry 2002;26(3):134-161.

5. Harden RM, stevenson WM, Downie W, et al. Assessment of clinical competence using an Objective structured Examination (OscE). British Medical Journal 1975;1:447-451.

Gaceta Médica de México. 2014;150

8

Evaluación de la competencia clínica con el examen clínico objetivo estructurado en el internado médico de la Universidad Nacional Autónoma de MéxicoJuan Andrés Trejo Mejía1,2*, Adrián Martínez González2,3, Ignacio Méndez Ramírez4, Sara Morales López5, Leobardo C. Ruiz Pérez6 y Melchor Sánchez Mendiola2

1Departamento de Medicina Familiar, México, D.F.; 2Secretaría de Educación Médica, México, D.F.; 3Departamento de Salud Pública, México, D.F.; 4Instituto de Matemáticas Aplicadas y Sistemas, México, D.F.; 5Departamento de Integración de Ciencias Médicas, México, D.F.; 6Secretaría de Enseñanza Clínica, Internado y Servicio Social, Facultad de Medicina, Universidad Nacional Autónoma de México (UNAM), México, D.F.

Gaceta Médica de México. 2014;150:8-17 ARTÍCULO ORIGINAL

Correspondencia:*Juan Andrés Trejo Mejía

Av. Universidad, 3000

Circuito Escolar, C.U., Del. Coyoacán, C.P. 04510, México, D.F.

E-mail: [email protected] Fecha de recepción en versión modificada: 09-05-2013

Fecha de aceptación: 28-11-2013

Resumen

Introducción: El examen clínico objetivo estructurado (ECOE) es un método que se utiliza para evaluar la competencia clínica en medicina, pero existe poca evidencia de su uso en escuelas de medicina mexicanas. Objetivo: Evaluar la competencia clínica de estudiantes de medicina mediante el ECOE, antes y después del internado médico. Métodos: Estudio de cohorte prospectivo, pre y postest. Fueron evaluados estudiantes de la Facultad de Medicina de la Universidad Nacional Autónoma de México (UNAM), durante el año de internado médico. El instrumento fue un ECOE de 18 estaciones, tres de cada área de disciplina del internado. Resultados: Se realizó el ECOE pretest a 278 estudiantes al ingresar en el internado médico y un ECOE postest 10 meses después. La muestra constituye el 30.4% del total de internos de pregrado. El alfa de Cronbach fue de 0.62 en el pretest y de 0.64 en el postest. La media global de la puntuación del ECOE pretest fue de 55.6 ± 6.6 y la del postest, de 63.2 ± 5.7 (p < 0.001); la d de Cohen fue de 1.2. Conclusiones: La competencia clínica de los estudiantes de medicina, medida con el ECOE, es mayor al final del internado médico, lo cual sugiere que el internado puede influir en el desarrollo de la competencia clínica de los estudiantes de medicina.

PALABRAS CLAVE: Educación médica de pregrado. Evaluación del aprendizaje. Competencia clínica. Internado médico. Examen clínico objetivo estructurado.

Abstract

Introduction: The Objective Structured Clinical Examination (OSCE) is a widely used measurement tool to assess clinical competence in the health sciences. There is little published evidence of its use in Mexican medical schools. Objective: To assess clinical competence in medical students with an OSCE, before and after the Medical Internship. Methods: Prospective cohort study, pre- post-test research design. The assessed population was medical students at UNAM Faculty of Medicine in Mexico in their Internship year. The instrument was an 18-stations OSCE, three stations per academic area of the Internship curriculum. Results: We assessed the clinical competence of 278 students in a pretest OSCE when starting the Internship year, and tested them 10 months later with an equivalent post-test OSCE. The sample of students was 30.4% of the total Internship population. Test reliability with Cronbach’s alpha was 0.62 in the pre-test and 0.64 in the post-test. The global mean score in the pretest OSCE was 55.6 ± 6.6 and in the post-test 63.2 ± 5.7 (p < 0.001), with a Cohen’s d of 1.2. Conclusions: The clinical competence of medical students measured with an OSCE is higher after the medical internship year. This difference suggests that the internship can influence the development of clinical competence in medical students. (Gac Med Mex. 2014;150:8-17)

Corresponding autor: Juan Andrés Trejo Mejía, [email protected]

KEY WORDS: Undergraduate medical education. Assessment. Clinical competency, Medical internship. OSCE.

J.A. Trejo Mejía, et al.: Evaluación de la competencia clínica con el examen clínico objetivo estructurado

9

Introducción

El avance del conocimiento y el acelerado desarrollo tecnológico han traído como consecuencia modifica-ciones importantes en el ejercicio de la medicina, por lo que, para dar respuesta a las necesidades, expec-tativas y exigencias de la sociedad actual, se requiere formar médicos que hayan logrado un nivel de com-petencia clínica adecuado, de tal manera que sean capaces de proporcionar una atención integral y al mismo tiempo mantener el aspecto humanístico de la medicina. Por ello, tanto la enseñanza clínica como su evaluación son aspectos de gran trascendencia en la formación del médico general.

La evaluación es el enjuiciamiento sistemático de la valía o el mérito de un objeto1. Implica un proceso sistemático de construcción de conocimiento a partir de la realidad, que orienta la toma de decisiones con el objetivo de provocar cambios positivos en ella. Di-cho proceso parte de la recopilación y el análisis de información, y, en el contexto educativo, se orienta a la emisión de juicios de valor respecto de algún suje-to, objeto o intervención educativos. Juega un papel central para determinar si los estudiantes han alcan-zado las competencias que han sido especificadas y si el programa educacional ha sido eficaz. Constituye una parte esencial e integral de la educación médica y tiene, entre otros, los siguientes propósitos: la eva-luación formativa otorga a los estudiantes realimenta-ción con respecto a su progreso e identifica las áreas fuertes y aquellas que requieren mejora; la evaluación sumativa o acreditadora permite determinar si los es-tudiantes alcanzan los estándares aceptables y si pue-den continuar o no con la siguiente etapa del proceso de enseñanza-aprendizaje1.

La finalidad de la evaluación del aprendizaje no es solamente la acreditación; cada vez más se reconoce que una de sus funciones principales es la formativa, de tal manera que permita elaborar un diagnóstico que conduzca a la identificación de los avances y deficien-cias en la formación de los estudiantes y, con base en esto, se puedan definir acciones que permitan conso-lidar logros y trazar planes de superación, así como perfeccionar la enseñanza de la competencia clínica y reforzar la función tutorial y los programas académi-cos de los planes de estudios. En nuestro medio, la práctica clínica es evaluada por los profesores me-diante exámenes ante pacientes reales y evaluaciones intermitentes durante el proceso formativo; este tipo de evaluación tiene varias desventajas, la principal de las

cuales es la escasa observación directa del desempe-ño clínico de los estudiantes por parte de los docentes2. Otras desventajas son el desempeño variable de los educandos entre un caso y otro, fenómeno conocido como especificidad de caso, y que la valoración con frecuencia es esporádica, oportunista, poco uniforme y subjetiva. Incluso profesores experimentados pre-sentan diferencias cuando valoran un mismo evento, por lo que su validez y confiabilidad pueden ser limi-tadas3-5. Esta forma de evaluación tradicional hace difícil valorar explícitamente todos los componentes que integran la competencia clínica, para proporcionar información valiosa sobre el proceso formativo de los estudiantes6-8.

La competencia clínica comprende un conjunto de atributos multidimensionales, entre los que destacan los siguientes:

– Habilidades clínicas: capacidad para adquirir in-formación al interrogar y examinar a los pacientes e interpretar el significado de la información ob-tenida.

– Conocimientos y comprensión: capacidad para recordar el conocimiento relevante sobre las con-diciones clínicas que llevan a proporcionar una atención médica a los pacientes efectiva y efi-ciente.

– Atributos interpersonales: expresión de aquellos aspectos de carácter profesional y personal del médico que son observables en las interacciones con los pacientes, como por ejemplo la comuni-cación en la relación médico-paciente.

– Solución de problemas y juicio clínico: aplicación del conocimiento relevante, las habilidades clíni-cas y los atributos interpersonales para el diag-nóstico y manejo de los problemas de un pa-ciente dado.

– Habilidades técnicas: capacidad para usar pro-cedimientos y técnicas especiales en el estudio y manejo de los pacientes7.

Los atributos anteriores y el amplio rango de sus componentes hacen compleja su evaluación con un solo instrumento. El desafío consiste en encontrar los instrumentos que nos permitan evaluar el espectro de componentes que más interesan. Se han realizado combinaciones de métodos múltiples para evaluar la competencia clínica. Un buen ejemplo de un solo evento con varios componentes es el ECOE, el cual ha sido adaptado a una gran variedad de escenarios.

En 1975, Harden inició la observación directa con múltiples estaciones estructuradas y listas de cotejo en el desarrollo del ECOE, superando las desventajas


10

del examen con pocos evaluadores ante un solo pa-ciente. Es necesario observar a los estudiantes cuan-do interactúan con los pacientes para evaluar sus habilidades clínicas, ya que cuanta más semejanza exista con la práctica clínica habitual, mayor valor tendrá la evaluación9.

Por otra parte, el desempeño de un examinado en un caso o situación clínica no es un buen predictor de su desempeño en otro caso o situación. Esto se ob-serva en el manejo de problemas de pacientes en pruebas escritas, simulaciones basadas en computa-dora, pacientes estandarizados y pacientes reales. La calidad del desempeño parece estar más determinada por el conocimiento específico y la experiencia de los estudiantes en relación con cada caso o situación que por sus habilidades generales para resolver pro-blemas5. Estudios con médicos y estudiantes han en-contrado incrementos en el desempeño con más edu-cación y experiencia clínica, dando tiempo para la reflexión. Esto justifica un amplio muestreo de situacio-nes clínicas y el aumento de la amplitud de la prueba para alcanzar una adecuada confiabilidad10-12.

En EE.UU. y Canadá, numerosos estudios han de-mostrado que el ECOE es un examen práctico con evidencia de validez y confiabilidad. Se trata de uno de los métodos de evaluación de la competencia clí-nica con mayor grado de objetividad13-16. Algunos de los componentes de la competencia clínica que se evalúan con este método son el interrogatorio, la ex-ploración física, la interpretación de los estudios de laboratorio y gabinete, el diagnóstico y plan de mane-jo, la comunicación en la relación médico-paciente8; estos componentes se consideran en la evaluación que se realiza con esta metodología en la Facultad de Medicina de la UNAM.

El ECOE es una prueba flexible en la cual se pueden usar una variedad de métodos para obtener una infor-mación amplia que permita evaluar las habilidades clínicas. El concepto de explorar varios componentes de la competencia clínica para mejorar la confiabili-dad de la evaluación es similar a la formulación de preguntas de opción múltiple para evaluar el conoci-miento de los estudiantes10. Al usarse en combinación con los formatos escritos, puede incrementar la con-fiabilidad, si se incluye una cantidad de estaciones suficiente para lograr una amplia muestra de situacio-nes clínicas.

Los criterios de evaluación son determinados por las competencias que deben alcanzar los estudiantes de acuerdo con los objetivos del plan de estudios y los programas académicos correspondientes7. Pueden

utilizarse pacientes reales, estandarizados o mani-quíes de acuerdo con la competencia a evaluar14.

En el plan de estudios de la Facultad de Medicina de la UNAM, los estudiantes, desde los años clínicos (tercer y cuarto año), tienen contacto con pacientes, analizan las enfermedades con sus profesores y de-sarrollan su competencia clínica en mayor o menor grado de acuerdo con su interés y la exposición a experiencias repetidas y reflexivas17. El internado mé-dico correspondiente al quinto año del plan único de la Facultad de Medicina es importante para mejorar las competencias y evaluarlas, ya que durante ese año los estudiantes tienen una mayor responsabilidad con los pacientes y se les puede dar realimentación para fortalecer sus habilidades y mejorar su desem-peño clínico de acuerdo con el perfil de egreso. Deben considerarse también la congruencia educativa-eva-luativa y la posibilidad de que todos los estudiantes sean valorados con una estrategia de tipo formativa, que en nuestra institución se utiliza como una modali-dad en la fase práctica del examen profesional.

Los procedimientos para evaluar la competencia clí-nica han sido variables y heterogéneos, y no contamos con una evaluación formal, longitudinal, formativa y sistemática para todos los estudiantes de internado que valore la competencia clínica de manera objetiva. Esta información es indispensable para realimentar a los estudiantes de la Facultad de Medicina de la UNAM en su desempeño, así como a los profesores y a la propia institución. Es necesario indagar sobre el estado de la competencia clínica de los estudiantes en el internado médico, por lo que se decidió evaluar dicha competencia al inicio y al final del internado médico.

Material y métodos

El estudio se realizó en la Facultad de Medicina de la UNAM, en la ciudad de México, durante el periodo comprendido entre marzo de 2010 y enero de 2011. Esta Facultad de Medicina, la escuela de medicina más grande del país, es una institución pública con aproximadamente 6,500 estudiantes de la carrera de médico cirujano, procedentes de toda la república. El tipo de estudio fue de cohorte prospectivo18, pre y postest19; el pretest consistió en una evaluación formati-va al inicio del internado y el postest, en una sumativa como parte del examen profesional de fin de carre-ra. La población blanco estuvo compuesta por los 708 estudiantes del internado médico de la Facultad de Medicina de la UNAM, y la población disponible en


11

que se realizó el estudio fueron los internos localizados en el Distrito Federal. La población muestreada fue de 354 estudiantes, que representaron el 50% de la po-blación blanco. Se realizó un muestreo aleatorio estra-tificado, para que estuvieran representadas todas las se-des hospitalarias del internado y las instituciones del Distrito Federal. Se presentaron 315 internos al pretest y 10 meses después se aplicó el postest; de esos 315 es-tudiantes iniciales, 37 no se presentaron al postest, por no haber aprobado el internado o el examen profesio-nal teórico. Así pues, la muestra final analizada fue de 278 estudiantes, que realizaron ambas evaluaciones y representaron el 39.2% de la población blanco; hubo 202 (72.7%) internos mujeres y 76 (27.3%) hombres.

Las variables independientes del estudio fueron el internado médico y las sedes de las instituciones de salud. La variable dependiente analizada fue la com-petencia clínica de los estudiantes. El instrumento de evaluación fue un ECOE de 18 estaciones, conforma-das y validadas por un comité de expertos profesores de la Facultad de Medicina, con al menos 10 años de experiencia clínica, pertenecientes a una especialidad troncal (cirugía, ginecoobstetricia, medicina familiar, medicina interna, pediatría y urgencias), que habían acreditado un curso-taller sobre el ECOE y participado en al menos tres exámenes con esta metodología. Estos 18 profesores elaboraron las estaciones, que fueron validadas además por un grupo de seis médi-cos familiares en las siguientes etapas:

– Primera etapa: se seleccionaron las habilidades a evaluar tomando como base el programa aca-démico del internado de pregrado del plan único de estudios de la Facultad de Medicina, obtenién-dose el perfil de los problemas más frecuentes a los que se enfrenta el médico general.

– Segunda etapa: una vez definido dicho perfil, los miembros del comité procedieron a determinar el número de estaciones de acuerdo con la habili-dad clínica que se consideró más representativa de cada enfermedad y que además fuera posible evaluar en los 6 min de cada estación. Basándo-se en la tabla de especificaciones y los compo-nentes de la competencia clínica a evaluar, se elaboraron las siguientes estaciones: diez de in-terrogatorio, tres de exploración física, una de diagnóstico y manejo, dos de interpretación ra-diográfica, una de interpretación de estudios de laboratorio y una de análisis de un trabajo de in-vestigación.

– Tercera etapa: se elaboró el material de apoyo para cada estación, resúmenes clínicos de casos

reales, listas de cotejo y estudios de laboratorio. Para incrementar la confiabilidad interevaluador y registrar el desempeño clínico relevante en cada una de las estaciones, las listas de cotejo utiliza-das fueron elaboradas por médicos especialistas en cada una de las áreas, las mismas que fueron revisadas por el grupo de investigación y valida-das por otro grupo de médicos del área corres-pondiente.

– Cuarta etapa: se seleccionaron pacientes reales y personas no enfermas que se capacitaron para que representaran un problema médico de forma consistente como pacientes estandarizados. Se conformaron estaciones de dos tipos:

• Estaciones de procedimientos, en las que se evaluó la capacidad del estudiante para interro-gar o examinar a pacientes reales o estandari-zados y para formular diagnósticos presuntivos.

• Estaciones de interpretación de exámenes de laboratorio y/o gabinete, en donde se evaluó además la integración diagnóstica y la capaci-dad para instalar un plan de manejo integral.

– Quinta etapa: finalmente el ECOE estuvo integra-do por 18 estaciones, tres de cada área de co-nocimiento del programa de internado. El ECOE se planeó para una duración de 2 h y cada una de las estaciones fue de 6 min, incluyendo dos estaciones de descanso.

En relación con las características generales de los casos utilizados, contenían una presentación con el escenario clínico y un formato de instrucciones para que el estudiante se centrase en el problema y siguie-ra las indicaciones; las listas de cotejo contenían enun-ciados relacionados con la actividad a realizar, ya fuera un interrogatorio, una exploración física, aconse-jar, integrar uno o varios diagnósticos, proponer indi-caciones de manejo, interpretar las alteraciones de estudios de laboratorio y de gabinete o analizar artí-culos de investigación. En las estaciones con pacien-tes, el examinador, además de calificar en la lista de cotejo, emitía una calificación global sobre las habili-dades de comunicación interpersonal, mediante una escala global de 1 a 9, en la que 1 a 3 = insatisfacto-rio, 4 a 6 = satisfactorio y 7 a 9 = superior20.

El número de enunciados a valorar en las estaciones de procedimientos con pacientes variaba entre 20 y 40 y en las de interpretación de estudios de laborato-rio y gabinete, entre 6 y 22. Cada enunciado fue cali-ficado como 0 o 1: un enunciado realizado recibió un punto y uno no realizado o realizado de forma inco-rrecta, 0 puntos. La calificación de una estación se


12

obtuvo sumando el resultado de los dos o tres com-ponentes que la constituían. En el caso de las estacio-nes de procedimientos se valoraron tres componentes: interacción con pacientes (interrogatorio, exploración física o manejo), formulación de diagnósticos y habili-dades de comunicación interpersonal, y en las esta-ciones de interpretación de estudios de laboratorio o gabinete, los siguientes dos componentes: datos nor-males y anormales interpretados y formulación de un diagnóstico. La calificación final del examen fue el resultado del promedio de calificaciones de todas las estaciones; la escala iba del 0 al 100% de aciertos.

Se realizó un análisis estadístico con el paquete JMP (versión 8), estadísticas descriptivas, prueba t de Stu-dent para dos muestras correlacionadas, prueba ANOVA para tres o más muestras y prueba ANOVA anidada para las instituciones. Se calculó la d de Co-hen como medida del tamaño del efecto en la puntua-ción global del ECOE21.

Se realizaron reuniones informativas con los estu-diantes, que habían sido invitados a participar volun-tariamente, y se mantuvo la confidencialidad de sus resultados. El protocolo de esta investigación fue apro-bado por el Comité de Investigación y Ética de la Facultad de Medicina (número 124-2009) y recibió el apoyo del Programa de Apoyo a Proyectos para la Innovación y Mejoramiento de la Enseñanza (PAPIME) de la UNAM (número de proyecto PE207410).

Resultados

Se aplicó el ECOE para evaluar la competencia clí-nica con 18 estaciones a 278 estudiantes del interna-do médico en marzo de 2010, lo que constituyó el pretest; y se realizó un ECOE equivalente en enero de 2011, siendo éste el postest; este último se estructuró con el mismo formato que el pretest y fue elaborado por el mismo grupo de profesores, considerando la tabla de especificaciones y los componentes similares de la competencia clínica. La equivalencia se confirmó mediante el consenso de los expertos y por el com-portamiento de las estaciones. Se midió la confiabili-dad con el alfa de Cronbach, que en el pretest fue de 0.62 y en el postest, de 0.64. En la aplicación del examen participaron 108 profesores evaluadores.

La media global del ECOE pretest al principio del internado fue de 55.6 ± 6.6 y la media de la medición postest al final del internado, de 63.2 ± 5.7, con una diferencia absoluta del 7.6% (p < 0.001) (Fig. 1). El índice d de Cohen, como medición del tamaño del efecto en la puntuación global del ECOE, fue de 1.221.

En la figura 1 se observa que el área de medicina familiar tuvo la mayor diferencia de medias pre y pos-test, que fue de 12.1, seguida por el área de cirugía. En contraste, el área de menor diferencia fue la de medicina interna, aunque todas las diferencias fueron significativas.

El análisis de las puntuaciones de las habilidades clínicas entre el pretest y el postest muestra que, en general, fueron mayores en este último con una dife-rencia estadísticamente significativa (p < 0.001). Al analizar las puntuaciones de las habilidades clínicas entre el pretest y el postest según los componentes de la competencia clínica, se observó que el componen-te con mayor diferencia en puntuación fue el de la interpretación radiológica, seguido de la exploración física, y el componente con menor diferencia fue el de la interpretación de los estudios de laboratorio (Fig. 2).

Para las puntuaciones obtenidas por institución del sistema de salud, se observa que, en general, las di-ferencias entre el pretest y el postest fueron estadísti-camente significativas (Tabla 1). La institución que tuvo la mayor diferencia en la puntuación de la com-petencia clínica, que se refleja en la mayor diferencia de medias, fue el Instituto Mexicano del Seguro Social (IMSS), y la menor diferencia de medias la presentó la Secretaría de Salud del Gobierno del Distrito Federal (SSGDF). Debe señalarse que la Secretaría de Salud (SSA) obtuvo, tanto en el pretest como en el postest, las medias más altas (Instituto Nacional de Ciencias Médicas y de la Nutrición Salvador Zubirán, Hospital General de México y Hospital Gea González), en com-paración con las otras instituciones. No obstante, al comparar las instituciones de salud mediante ANOVA estas diferencias no fueron significativas.

Discusión y conclusiones

En nuestro país, el médico general es una figura indispensable en la prestación de los servicios de sa-lud, ya que atiende la gran mayoría de consultas que se ofrecen diariamente y se estima que resuelve entre el 80 y el 90% de los problemas de salud de la pobla-ción22. La evaluación de la competencia clínica de los médicos generales constituye una prioridad en el con-texto nacional e internacional, por lo que es necesario identificar sus áreas de fortaleza, con el fin de conso-lidarlas, y las de oportunidad, para aumentar la calidad del proceso educativo en la formación del médico general y lograr el perfil del egresado a cabalidad.

La adquisición y el desarrollo de la competencia clínica en los estudiantes de la Facultad de Medicina


13

*

Cirugía

Ginecoobste

tricia

Medicina fa

miliar

Medicina in

terna

Pediatría

Urgencias

Global

*

* *

**

*

0

40

50

Pro

med

io

60

Áreas disciplinales

PretestPostest

70

80

100

Figura 1. Resultados obtenidos por los estudiantes en el ECOE (n = 278). El eje de abscisas indica el área de disciplinal y el de ordenadas, el promedio de las puntuaciones. Las barras representan el promedio obtenido en las áreas disciplinales en el pretest y el postest. Las líneas verticales de las barras representan los intervalos de confianza del 95%; la diferencia entre los promedios fue estadísticamente significativa (*p < 0.0001).

0

40

50

Pro

med

io

60

70

*

Interroga

torio,

Dx y m

anejo

Exploració

n

física

Interpretació

n

de Rx

Interpretació

n

de laboratorio

Análisis

de

la literatura

*

*

Componentes de la competencia clínica

*

80

100

PretestPostest

Figura 2. Resultados obtenidos por los estudiantes en el ECOE (n = 278). El eje de abscisas indica los componentes de la competencia clínica y el de ordenadas, el promedio de las puntuaciones. Las barras representan el promedio obtenido en cada componente en el pretest y el postest. Las líneas verticales de las barras representan los intervalos de confianza del 95%; la diferencia entre los promedios fue estadísticamente significativa (*p < 0.0001), con excepción del componente de interpretación de laboratorio.


14

de la UNAM se llevan a cabo principalmente en las instituciones del Sistema Nacional de Salud, donde la asistencia médica y la relación médico-paciente jue-gan un papel esencial en la adquisición de los cono-cimientos, habilidades, destrezas, actitudes y valores que el médico debe poseer. El internado médico re-presenta un año crucial para la adquisición de la com-petencia clínica del médico general. El plan de estu-dios de la Facultad de Medicina de la UNAM, vigente desde el año 2010, tiene una estructura organizacional por asignaturas con un enfoque por competencias y debe ser evaluado en todos sus componentes, entre los cuales destaca el desarrollo de la competencia clínica de los estudiantes23.

En nuestro país son escasos los trabajos que explo-ran la evaluación de la competencia clínica de los estudiantes de medicina utilizando instrumentos que posean evidencia de validez y confiabilidad6,12. En este sentido, el presente estudio representa el primer trabajo en nuestro medio que, con un diseño de inves-tigación pre y postest y un tamaño de la muestra sa-tisfactorio, pretende evaluar la competencia clínica de estudiantes de internado al inicio y al final del mismo. En nuestro estudio se documenta que, después del internado médico, se produce un incremento estadís-ticamente significativo de la competencia clínica de-terminada por el ECOE, de acuerdo con los resultados obtenidos por los estudiantes en las dos mediciones realizadas.

En la literatura, algunos estudios realizados en inter-nado utilizando el ECOE también han identificado un incremento significativo de la competencia clínica en el postest24,25. En uno de ellos, con ocho estaciones de 12 min y 106 estudiantes, hubo una mejoría signi-ficativa en las seis competencias nucleares del Con-sejo de Acreditación de Educación Médica de Posgrado de EE.UU., y en siete de las ocho estaciones

la diferencia de medias de las estaciones en el pre y el postest fue de 11.524. Otro estudio, con ocho esta-ciones de 10 min, encontró una diferencia entre el pre y el postest de 30.7 (mínima-máxima de 53.4 a 84.1), en 28 estudiantes en la práctica de medicina general25. En estos artículos, la dirección y la magnitud del cam-bio en el nivel de las competencias evaluadas con el ECOE son similares a las de nuestro estudio, lo que sugiere que el internado es una experiencia educativa que incrementa la competencia clínica.

En nuestro estudio, el cambio absoluto de compe-tencia clínica medido con el ECOE fue del 7.6%, lo cual, expresado en forma de tamaño del efecto con el índice d de Cohen, fue de 1.2. Esta magnitud de dife-rencia observada en términos porcentuales no parece ser muy elevada; sin embargo, el tamaño del efecto se puede interpretar como grande, de acuerdo con la clasificación de Cohen (> 0.8)21. El uso de índices de tamaño del efecto como la d de Cohen en publicacio-nes de investigación en educación podría ayudar a visualizar de una manera más estandarizada la mag-nitud de las diferencias entre los grupos y entre diver-sos estudios, así como promover la reflexión sobre el potencial significado educativo de los resultados26,27.

El internado permite a los estudiantes desarrollar su competencia clínica en mayor medida, debido a varios factores, como colaborar con sus profesores en el manejo de los pacientes y seguir un programa acadé-mico homogéneo con discusión de casos clínicos, experiencias clínicas repetidas y reflexivas y activida-des clínicas complementarias. Llama la atención que el área de medicina familiar tuviera el mayor incremen-to en la puntuación del ECOE; esto puede ser debido a que, en general, el desempeño docente es guiado por el perfil del egresado que expresa el plan de es-tudios. Este resultado sugiere que los profesores, en el proceso educativo, dan la importancia debida al

Tabla 1. Resultados obtenidos por los estudiantes en el ECOE (n = 278) según la institución de salud de procedencia. Se muestra el promedio y la DE en el pretest y el postest, y en todos los casos la diferencia fue significativa (p < 0.0001)

Institución de salud n Media y DE pretest Media y DE postest Diferencia de medias p

SSA 60 57.4 ± 11.5 64.5 ± 6 7.1 < 0.0001

ISSSTE 18 54.5 ± 5.8 62 ± 6.2 7.5 < 0.0001

IMSS 158 55.3 ± 6.6 63.1 ± 5.9 7.8 < 0.0001

SSGDF 31 55.6 ± 5.4 62.1 ± 5.7 6.5 < 0.0001

Promedio global 278* 55.6 ± 6.6 63.2 ± 5.7 7.6 < 0.0001

*Once estudiantes pertenecían a diversas instituciones particulares que no entraron en esta comparación porque el tamaño de la muestra fue pequeño.


15

perfil del egresado de la Facultad de Medicina y su-gieren la conveniencia de ampliar la rotación de los internos en esta área de especialidad, que podría ser un contexto apropiado para la formación del médico general. Los resultados de este estudio, en el pretest, son semejantes a lo reportado con anterioridad en nuestra institución en un examen formativo de medicina familiar, en el que se encontró una media de 53.9 en las estaciones de interrogatorio y de 62.3 en la explo-ración física, lo que constituye evidencia de validez agregada a los hallazgos del presente estudio28.

Aunque el menor cambio entre la puntuación pre y postest ocurrió en el área de medicina interna, se ob-serva que dicha disciplina fue la más alta en el pre y el postest, lo cual puede deberse a que los años clíni-cos de tercero y cuarto se desarrollan a nivel hospita-lario y las asignaturas corresponden, en su mayoría, a subespecialidades de medicina interna29,30. En gene-ral, la desviación estándar (DE) en todas las áreas de disciplinas disminuyó en el postest, excepto en medi-cina interna, lo que sugiere que al terminar el interna-do los estudiantes son una población más homogénea en lo académico y en habilidades clínicas. Estos resul-tados globales son semejantes a los obtenidos en el examen profesional de la Facultad de Medicina con el ECOE, en los años 2002 a 2004, lo que también contribuye a agregar evidencia de validez al estudio31.

En relación con los componentes de la competencia clínica, merece especial atención la interpretación ra-diológica, que obtuvo las puntuaciones más bajas en relación con los otros componentes. Esto sugiere que ha de realizarse una intervención con el fin de fortale-cer este componente clínico. El componente de inter-pretación de los estudios de laboratorio no mostró diferencia en el pre y el postest, quizá debido a que estas habilidades fueron aprendidas durante el tercer y el cuarto años, con un menor impacto en el proceso educativo del internado en el desarrollo de este com-ponente. Por otra parte, las puntuaciones fueron altas en comparación con los componentes que evaluaban otras habilidades.

En este estudio, el ECOE tuvo una adecuada con-fiabilidad global medida mediante el alfa de Cronbach, de 0.62 y 0.64 en el pre y el postest, respectivamente, que se acercan a lo establecido por Streiner y Norman de 0.7 para un examen de altas consecuencias32. Sin embargo, es posible valorar y complementar la confia-bilidad del instrumento con la teoría de la generaliza-bilidad; actualmente estamos desarrollando esta línea de investigación para perfeccionar el examen en sus partes y en conjunto33. En las diversas revisiones

narrativas y sistemáticas sobre el tema del ECOE tam-bién se ha explorado la confiabilidad o consistencia de los juicios realizados por los evaluadores/examina-dores. Todo ello tiene una importancia crítica, ya que, en un ECOE típico, debido a su número, las estaciones individuales descansan en el juicio de un solo exami-nador. Generalmente, esta variable ha sido explorada en trabajos de investigación con métodos para medir la confiabilidad interobservador como el coeficiente de correlación intraclase, la estadística kappa o la teoría de generalizabilidad, y el peso de la evidencia sugie-re que, en la mayoría de los estudios publicados, la confiabilidad interobservador es aceptable. En una revisión sistemática más extensa del tema se docu-mentó que, en el ECOE, la confiabilidad interevaluador va de 0.50 a 0.72, cifras consideradas como acepta-bles por la comunidad de investigadores del área, y que han llevado a la decisión de utilizar sólo un eva-luador por estación en la mayor parte de las institucio-nes que utilizan el ECOE como instrumento formativo y/o sumativo34. En el caso de la Facultad de Medicina de la UNAM, con base en la información citada, se ha decidido utilizar solamente un evaluador por estación. Por otra parte, la participación de dos evaluadores por estación en nuestro medio sería prohibitiva desde los puntos de vista logístico, financiero y de disponibilidad de recursos humanos. La capacitación de los evalua-dores y el uso de listas de cotejo contribuyen a dismi-nuir la variabilidad interobservador35.

Algunas de las limitaciones del estudio son las si-guientes: debido a que el ECOE es un instrumento que evalúa las habilidades clínicas con estaciones relati-vamente breves, de manera fragmentada y en esce-narios simulados pero a fin de cuenta artificiales, pue-de ser que no evalúe de manera realista la atención integral de los pacientes, con un posible alejamiento de la realidad clínica cotidiana36. La evaluación estan-darizada en ambientes artificiales puede ser proble-mática a la hora de inferir el desempeño clínico en situaciones reales. En varios estudios se ha documen-tado que existen diferencias, de magnitud variable, entre lo que los médicos realizan en situaciones con-troladas en ambientes simulados y lo que hacen real-mente en la práctica37. Algunos expertos proponen que se hable de evaluación de competencia cuando ésta se realice en representaciones controladas (am-bientes artificiales, simulaciones) de la práctica profe-sional y de evaluación del desempeño cuando las observaciones se realicen en ambientes clínicos reales de la práctica profesional (como la evaluación de 360° o la evaluación basada en el trabajo, entre otras)37.


16

Otro aspecto importante, en cuanto a la validez ex-terna del estudio, es que el trabajo fue realizado en una sola escuela de medicina, con un contexto y ca-racterísticas particulares, lo cual podría limitar la ge-neralización de los resultados a otras instituciones nacionales e internacionales. Sin embargo, la Facul-tad de Medicina de la UNAM es la escuela de medi-cina más grande del país, es de carácter público y sus estudiantes representan una muestra amplia de los estratos económicos y sociales de la población mexicana, así que nuestros resultados podrían ser aplicables a la mayoría de las escuelas de medicina nacionales.

El examen pretest se realizó a poco más de dos meses del inicio del internado, lo que podría incidir en la medición pretest, ya que los estudiantes tenían ya algo de experiencia en el internado; sin embargo, la medición inicial fue sustancialmente diferente de la final, lo cual documenta que este efecto probablemen-te no existió o fue menor.

Un aspecto importante del estudio fue que el pretest consistió en una evaluación formativa, mientras que el postest constituyó una parte del examen profesional de la carrera de médico cirujano, con carácter suma-tivo, lo que podría contribuir a que el desempeño en la medición final fuera en parte explicado por el carác-ter de «altas consecuencias» del citado examen. No es posible separar el potencial impacto del carácter sumativo de la evaluación postest de los resultados del estudio; sin embargo, ambas mediciones se reali-zaron en las mismas condiciones físicas, de tiempos y estructurales, con la misma disciplina por parte de los evaluadores y estudiantes, y con estaciones con una dificultad similar determinada por la integración de los instrumentos, por lo que consideramos que las diferencias encontradas sí reflejan un cambio de la competencia clínica al final del internado.

Otras potenciales amenazas a la validez interna del estudio son la maduración de los sujetos, la aplicación del pretest que puede mejorar por sí mismo el desem-peño en el postest y el efecto Hawthorne38. El efecto del pretest se minimizó al aplicar un postest con el mismo formato pero estaciones diferentes, equivalen-tes, y la participación de los mismos evaluadores. Ade-más, el tiempo transcurrido entre el pre y el postest (10 meses) fue suficiente para que esta amenaza a la validez fuera controlada.

Una estrategia de diseño de investigación experi-mental, como un ensayo controlado con asignación al azar, podría resolver algunas de las amenazas a la validez interna citadas (como la ausencia de grupo

control concurrente, entre otras), pero en la práctica este diseño es muy difícil de aplicar en educación médica, por las condiciones inherentes al proceso educativo, los recursos disponibles en nuestras insti-tuciones, la determinación ética de no proporcionar la intervención educativa al grupo control, así como la logística y los calendarios de los exámenes sumativos de la carrera, como el examen profesional.

En suma, el presente trabajo representa el único estudio de su tipo en investigación médica en nuestro país, presenta información original que debe interpre-tarse en su justa dimensión y consideramos que ha de aprovecharse para diseñar estudios posteriores y me-jorar la calidad de la educación médica en nuestros hospitales.

También es importante recordar que este tipo de examen representa un reto logístico para las institucio-nes, ya que requiere coordinar múltiples sedes que trabajan de forma simultánea, con la participación de un amplio número de profesores examinadores en cada una de ellas y un grupo de más de 100 pacien-tes estandarizados, que han de conocer sus libretos para desempeñarse de acuerdo con los mejores es-tándares. Esta metodología requiere una considerable inversión de recursos humanos, financieros y materiales, pero consideramos que la importancia del objetivo, formar y evaluar a los médicos que atienden a los pacientes en nuestro país, justifica los gastos.

En nuestras instituciones de salud los estudiantes de internado se encuentran sometidos a una gran carga de trabajo y, como sucede en otras partes del mundo, no se cuenta con la supervisión y realimentación cons-tantes y de calidad deseadas2,4. Además, aunque el programa académico de internado incluye una serie de prácticas, se necesitan experiencias más estructu-radas con simuladores y realimentación formal con seguimiento.

En nuestro país todavía existe desconocimiento so-bre el ECOE, sus virtudes y limitaciones, aunque se han impartido cursos-taller en varias entidades de la república, como Guanajuato, Chihuahua y Estado de México. Ha sido difícil su difusión e implementación a nivel nacional como parte de la evaluación de la edu-cación médica, ya que, hasta donde tenemos conoci-miento, únicamente en la UNAM y en la Universidad Autónoma de Guadalajara se utilizan como fase prác-tica del examen profesional.

Asumir el reto de mejorar la evaluación en educación médica permite avanzar en este campo, ya que contri-buye a la formación profesional de los médicos, propor-cionando información y realimentación fundamentada,


17

con la intención de ayudar a los estudiantes y profe-sores a incrementar la calidad del proceso y de los resultados. Asimismo, los resultados de la evaluación sirven de orientación para introducir cambios en los programas académicos y tomar decisiones sobre las competencias que se persigue obtener.

Por todo ello, se debe consolidar la formación con-tinua del interno de pregrado que colabora en el Sis-tema Nacional de Salud, fundamentada en el primer nivel de atención médica para atender la gran mayoría de los problemas de salud de la población, y valorar la ampliación del tiempo de rotación de los internos por unidades de medicina familiar, donde las activida-des se realizan de acuerdo con el perfil de egreso, lo que podría mejorar su desempeño clínico en el ECOE y en su futura práctica como médicos generales.

Este estudio contribuye a aumentar la cultura de la evaluación de la competencia clínica en nuestro medio, y proporciona resultados obtenidos con una metodo-logía rigurosa, mediante el uso del ECOE, que es uno de los instrumentos más objetivos que hay para valorar la competencia clínica9,39-41.

Bibliografía

1. Stufflebeam D, Shinkfield E. Evaluación sistemática. Barcelona: Paidós; 1993.

2. Holmboe ES. Faculty and the observation of trainees’ clinical skills: problems and opportunities. Acad Med. 2004;79:16-22.

3. Norcini J. The death of the long case? Br Med J. 2002;324:408-9. 4. Williams R, Klamen D, MacGaghie W. Congnitive, social and environ-

mental sources biases in clinical performance ratings. Teach Learn Med. 2003;15(4):270-92.

5. Elstein AS, Shulman LS, Sprafka SA. Medical Problem Solving. Cam-bridge: Harvard University Press; 1978. p. 292-4.

6. Larios MH, Trejo MJ, Cortés GT. Evaluación de la Competencia Clínica. Rev Med lMSS. 1998;36(1):79-84.

7. Norman G. Defining Competence: A Methodological Review. En: Neufeld VR, Norman GR, eds. Assessing Clinical Competence. Nueva York: Springer Publishing Company; 1985. p. 15-35.

8. Neufeld VR. Historical Perspectives on clinical competence. En: Neufeld VR, Norman GR, eds. Assessing Clinical Competence. Nueva York: Springer Publishing Company; 1985. p. 3-14.

9. Harden RM, Stevenson WM, Downie W, Wilson GM. Assessment of Clinical Competence Using an Objective Structured Examination (OSCE). Br Med J. 1975;1:447-51.

10. Newble DI, Swanson DB. Psychometric characteristics of the Objective Structured Clinical Examination. Med Educ. 1988;22:325-34.

11. Newble D. Techniques for measuring clinical competence: Objective Structured Clinical Examinations. Med Educ. 2004;38:199-203.

12. Larios H, Trejo J, Martínez N, Cortés T, Velasco T, Hernández A. Desarrollo de la Competencia Clínica durante el Internado Médico. Rev Ed Sup. 2000;XXIX(3):115-28.

13. Eva KW, Neville AJ, Norman GR. Exploring the etiology of content specificity: factors influencing analogic transfer and problem solving. Acad Med. 1988;73(10):S1-5.

14. Collins J, Harden RM. Real patients, simulated patients and simulators in clinical examinations. Med Teach. 1988;20(6):508-21.

15. Reznick R, Smee S, Rothman A, et al. An Objective Structured Clinical Examination for the licenciate: Report of the Pilot Project of the Medical Council of Canada. Acad Med. 1992;67(8):487-94.

16. Sloan DA, Donelly MB, Schwartz RW, Strodel WE. The objective struc-tured clinical examination. The new gold standard for evaluating post-graduate clinical performance. Ann Surg. 1995;222(6):735-42.

17. De la Fuente JR, Piña E, Gutiérrez H. La formación del médico del siglo XXI y el Plan Único de Estudios de la Facultad de Medicina de la Universidad Nacional Autónoma de México. Educ Med Salud. 1994;28(3):331-40.

18. Cummings SR. Diseño de un nuevo estudio: II Estudios de cohortes. En: Hulley SB, Cummings SR, eds. Diseño de la investigación científica. Un enfoque epidemiológico. Barcelona: Editorial Doyma; 1993. p. 69-81.

19. Campbell D, Stanley J. Diseños experimentales y cuasi experimentales en la investigación social. Argentina: Amorrortu Editores; 1996. p. 20-8.

20. Hodges B, Hanson M, Mcaughton N, Regehr G. Creating, monitoring and improving a Psychiatry OSCE. Acad Psych. 2002;26(3):134-61.

21. Cohen J. Chapter 1.4. The effect size. En: Cohen J. Statistical power analysis for the behavioral sciences. 2.a ed. Nueva Jersey: Lawrence Earlbaum Associates; 1988. p. 8-14.

22. Sistema Nacional de Información en Salud. Secretaría de Salud. [Internet] Disponible en: http//www.sinais.salud.gob.mx/estadisticasportema.html.

23. Sánchez M, Durante I, Morales S, Lozano R, Martínez A, Graue E. Plan de Estudios 2010 de la Facultad de Medicina de la Universidad Nacional Autónoma de México. Gac Med Mex. 2011;147(2):152-8.

24. Short M, Jorgensen J, Edwards J, Blakenship R, Roth B. Assessing Intern Core Competencies with an Objective Structured Clinical Examination. J Grad Med Educ. 2009;1(1):30-6.

25. Townsend AH, Mcllvenny S, Miller CJ, Dunn EV. The use of an objective structured clinical examination (OSCE) for formative and summative assessment in a general practice clinical attachment and its relationship to final medical school examination performance. Med Educ. 2001; 35:841-6.

26. Sullivan GM, Feinn R. Using effect size - or why the P value is not enough. J Grad Med Educ. 2012;4(3):279-82.

27. Norman G: The effectiveness and effects of effect sizes. Adv Health Sci Educ Theory Pract. 2003;8(3):183-7.

28. Trejo JA, Larios H, Cortés MT, Martínez N, Gracia O. Competencia Clínica en el área de Medicina Familiar. Arch Med Fam. 2000;2(3):65-74.

29. Manual Departamental Medicina General I. Programa Académico teórico-práctico. Departamento de tercer año, SECISS, Facultad de Medicina, Universidad Nacional Autónoma de México, Ciudad Universitaria, México, enero de 2012.

30. Manual Departamental Medicina General II. Programa Académico teórico-práctico. Departamento de cuarto año, SECISS, Facultad de Medicina, Universidad Nacional Autónoma de México, Ciudad Universitaria, México, enero de 2012.

31. Larios H, Trejo J, Méndez I. Examen Profesional con el Examen Clínico Objetivo Estructurado. Rev Educ Sup. 2005;34(4):7-17.

32. Streiner DL, Norman G. Reliability. En: Streiner DL, Norman G, eds. Health measurement scales: A practical guide to their development and use. Oxford: Oxford University Press; 2003. p. 126-52.

33. Iramaneerat Ch, Yudkowsky R, Myford C, Downing S. Quality control of an OSCE using generalizability theory and many-faceted Rasch mea-surement. Adv Health Sci Educ. 2008;13:479-93.

34. Patricio M. A Best Evidence Medical Education (BEME) Systematic Review on the feasibility, reliability and validity of the Objective Struc-tured Clinical Examination (OSCE) in undergraduate medical studies. Tesis Doctoral, Facultad de Medicina, Universidad de Lisboa. 2012. p. 85-6. [Internet] Disponible en: http://tinyurl.com/c5c7cbs.

35. Van der Vleuten C, Swanson DB. Assessment of clinical skills with standardized patients: State of the Art. Teach Learn Med. 1990;2(2): 58-76.

36. Harden RM, Gleeson FA. Assessment of Clinical Competence Using an Objective Structured Clinical Examination (OSCE). Med Educ. 1979;13:41-54.

37. Rethans JJ, Norcini JJ, Barón-Maldonado M, et al. The relationship between competence and performance: implications for assessing prac-tice performance. Med Educ. 2002;36:901-9.

38. Fraenkel JR, Wallen NE. Internal Validity. En: Fraenkel JR, Wallen NE. How to Design and Evaluate Research in Education. Nueva York: McGraw Hill; 2012. p. 166-83.

39. Van der Vleuten CPM. The assessment of professional competence: developments, research and practical implications. Adv Health Sci Educ. 1996;1:41-67.

40. Mavis BE, Henry RC. Between a rock and a hard place: finding a place for the OSCE in medical education. Med Educ. 2002;36:408-9.

41. Hill DA, Guinea Al, McCarthy WH. Formative assessment: a student perspective. Med Educ. 1994;28:394-9.

http://tinyurl.com/c5c7cbs


8

Evaluación de la competencia clínica con el examen clínico objetivo estructurado en el internado médico de la Universidad Nacional Autónoma de MéxicoJuan Andrés Trejo Mejía1,2*, Adrián Martínez González2,3, Ignacio Méndez Ramírez4, Sara Morales López5, Leobardo C. Ruiz Pérez6 y Melchor Sánchez Mendiola2

1Departamento de Medicina Familiar, México, D.F.; 2Secretaría de Educación Médica, México, D.F.; 3Departamento de Salud Pública, México, D.F.; 4Instituto de Matemáticas Aplicadas y Sistemas, México, D.F.; 5Departamento de Integración de Ciencias Médicas, México, D.F.; 6Secretaría de Enseñanza Clínica, Internado y Servicio Social, Facultad de Medicina, Universidad Nacional Autónoma de México (UNAM), México, D.F.


Correspondencia:*Juan Andrés Trejo Mejía



E-mail: [email protected] Fecha de recepción en versión modificada: 09-05-2013


Resumen

Introducción: El examen clínico objetivo estructurado (ECOE) es un método que se utiliza para evaluar la competencia clínica en medicina, pero existe poca evidencia de su uso en escuelas de medicina mexicanas. Objetivo: Evaluar la competencia clínica de estudiantes de medicina mediante el ECOE, antes y después del internado médico. Métodos: Estudio de cohorte prospectivo, pre y postest. Fueron evaluados estudiantes de la Facultad de Medicina de la Universidad Nacional Autónoma de México (UNAM), durante el año de internado médico. El instrumento fue un ECOE de 18 estaciones, tres de cada área de disciplina del internado. Resultados: Se realizó el ECOE pretest a 278 estudiantes al ingresar en el internado médico y un ECOE postest 10 meses después. La muestra constituye el 30.4% del total de internos de pregrado. El alfa de Cronbach fue de 0.62 en el pretest y de 0.64 en el postest. La media global de la puntuación del ECOE pretest fue de 55.6 ± 6.6 y la del postest, de 63.2 ± 5.7 (p < 0.001); la d de Cohen fue de 1.2. Conclusiones: La competencia clínica de los estudiantes de medicina, medida con el ECOE, es mayor al final del internado médico, lo cual sugiere que el internado puede influir en el desarrollo de la competencia clínica de los estudiantes de medicina.

PALABRAS CLAVE: Educación médica de pregrado. Evaluación del aprendizaje. Competencia clínica. Internado médico. Examen clínico objetivo estructurado.

Abstract

Introduction: The Objective Structured Clinical Examination (OSCE) is a widely used measurement tool to assess clinical competence in the health sciences. There is little published evidence of its use in Mexican medical schools. Objective: To assess clinical competence in medical students with an OSCE, before and after the Medical Internship. Methods: Prospective cohort study, pre- post-test research design. The assessed population was medical students at UNAM Faculty of Medicine in Mexico in their Internship year. The instrument was an 18-stations OSCE, three stations per academic area of the Internship curriculum. Results: We assessed the clinical competence of 278 students in a pretest OSCE when starting the Internship year, and tested them 10 months later with an equivalent post-test OSCE. The sample of students was 30.4% of the total Internship population. Test reliability with Cronbach’s alpha was 0.62 in the pre-test and 0.64 in the post-test. The global mean score in the pretest OSCE was 55.6 ± 6.6 and in the post-test 63.2 ± 5.7 (p < 0.001), with a Cohen’s d of 1.2. Conclusions: The clinical competence of medical students measured with an OSCE is higher after the medical internship year. This difference suggests that the internship can influence the development of clinical competence in medical students. (Gac Med Mex. 2014;150:8-17)

Corresponding autor: Juan Andrés Trejo Mejía, [email protected]

KEY WORDS: Undergraduate medical education. Assessment. Clinical competency, Medical internship. OSCE.


9

Introducción

El avance del conocimiento y el acelerado desarrollo tecnológico han traído como consecuencia modifica-ciones importantes en el ejercicio de la medicina, por lo que, para dar respuesta a las necesidades, expec-tativas y exigencias de la sociedad actual, se requiere formar médicos que hayan logrado un nivel de com-petencia clínica adecuado, de tal manera que sean capaces de proporcionar una atención integral y al mismo tiempo mantener el aspecto humanístico de la medicina. Por ello, tanto la enseñanza clínica como su evaluación son aspectos de gran trascendencia en la formación del médico general.

La evaluación es el enjuiciamiento sistemático de la valía o el mérito de un objeto1. Implica un proceso sistemático de construcción de conocimiento a partir de la realidad, que orienta la toma de decisiones con el objetivo de provocar cambios positivos en ella. Di-cho proceso parte de la recopilación y el análisis de información, y, en el contexto educativo, se orienta a la emisión de juicios de valor respecto de algún suje-to, objeto o intervención educativos. Juega un papel central para determinar si los estudiantes han alcan-zado las competencias que han sido especificadas y si el programa educacional ha sido eficaz. Constituye una parte esencial e integral de la educación médica y tiene, entre otros, los siguientes propósitos: la eva-luación formativa otorga a los estudiantes realimenta-ción con respecto a su progreso e identifica las áreas fuertes y aquellas que requieren mejora; la evaluación sumativa o acreditadora permite determinar si los es-tudiantes alcanzan los estándares aceptables y si pue-den continuar o no con la siguiente etapa del proceso de enseñanza-aprendizaje1.

La finalidad de la evaluación del aprendizaje no es solamente la acreditación; cada vez más se reconoce que una de sus funciones principales es la formativa, de tal manera que permita elaborar un diagnóstico que conduzca a la identificación de los avances y deficien-cias en la formación de los estudiantes y, con base en esto, se puedan definir acciones que permitan conso-lidar logros y trazar planes de superación, así como perfeccionar la enseñanza de la competencia clínica y reforzar la función tutorial y los programas académi-cos de los planes de estudios. En nuestro medio, la práctica clínica es evaluada por los profesores me-diante exámenes ante pacientes reales y evaluaciones intermitentes durante el proceso formativo; este tipo de evaluación tiene varias desventajas, la principal de las

cuales es la escasa observación directa del desempe-ño clínico de los estudiantes por parte de los docentes2. Otras desventajas son el desempeño variable de los educandos entre un caso y otro, fenómeno conocido como especificidad de caso, y que la valoración con frecuencia es esporádica, oportunista, poco uniforme y subjetiva. Incluso profesores experimentados pre-sentan diferencias cuando valoran un mismo evento, por lo que su validez y confiabilidad pueden ser limi-tadas3-5. Esta forma de evaluación tradicional hace difícil valorar explícitamente todos los componentes que integran la competencia clínica, para proporcionar información valiosa sobre el proceso formativo de los estudiantes6-8.

La competencia clínica comprende un conjunto de atributos multidimensionales, entre los que destacan los siguientes:

– Habilidades clínicas: capacidad para adquirir in-formación al interrogar y examinar a los pacientes e interpretar el significado de la información ob-tenida.

– Conocimientos y comprensión: capacidad para recordar el conocimiento relevante sobre las con-diciones clínicas que llevan a proporcionar una atención médica a los pacientes efectiva y efi-ciente.

– Atributos interpersonales: expresión de aquellos aspectos de carácter profesional y personal del médico que son observables en las interacciones con los pacientes, como por ejemplo la comuni-cación en la relación médico-paciente.

– Solución de problemas y juicio clínico: aplicación del conocimiento relevante, las habilidades clíni-cas y los atributos interpersonales para el diag-nóstico y manejo de los problemas de un pa-ciente dado.

– Habilidades técnicas: capacidad para usar pro-cedimientos y técnicas especiales en el estudio y manejo de los pacientes7.

Los atributos anteriores y el amplio rango de sus componentes hacen compleja su evaluación con un solo instrumento. El desafío consiste en encontrar los instrumentos que nos permitan evaluar el espectro de componentes que más interesan. Se han realizado combinaciones de métodos múltiples para evaluar la competencia clínica. Un buen ejemplo de un solo evento con varios componentes es el ECOE, el cual ha sido adaptado a una gran variedad de escenarios.

En 1975, Harden inició la observación directa con múltiples estaciones estructuradas y listas de cotejo en el desarrollo del ECOE, superando las desventajas


10

del examen con pocos evaluadores ante un solo pa-ciente. Es necesario observar a los estudiantes cuan-do interactúan con los pacientes para evaluar sus habilidades clínicas, ya que cuanta más semejanza exista con la práctica clínica habitual, mayor valor tendrá la evaluación9.

Por otra parte, el desempeño de un examinado en un caso o situación clínica no es un buen predictor de su desempeño en otro caso o situación. Esto se ob-serva en el manejo de problemas de pacientes en pruebas escritas, simulaciones basadas en computa-dora, pacientes estandarizados y pacientes reales. La calidad del desempeño parece estar más determinada por el conocimiento específico y la experiencia de los estudiantes en relación con cada caso o situación que por sus habilidades generales para resolver pro-blemas5. Estudios con médicos y estudiantes han en-contrado incrementos en el desempeño con más edu-cación y experiencia clínica, dando tiempo para la reflexión. Esto justifica un amplio muestreo de situacio-nes clínicas y el aumento de la amplitud de la prueba para alcanzar una adecuada confiabilidad10-12.

En EE.UU. y Canadá, numerosos estudios han de-mostrado que el ECOE es un examen práctico con evidencia de validez y confiabilidad. Se trata de uno de los métodos de evaluación de la competencia clí-nica con mayor grado de objetividad13-16. Algunos de los componentes de la competencia clínica que se evalúan con este método son el interrogatorio, la ex-ploración física, la interpretación de los estudios de laboratorio y gabinete, el diagnóstico y plan de mane-jo, la comunicación en la relación médico-paciente8; estos componentes se consideran en la evaluación que se realiza con esta metodología en la Facultad de Medicina de la UNAM.

El ECOE es una prueba flexible en la cual se pueden usar una variedad de métodos para obtener una infor-mación amplia que permita evaluar las habilidades clínicas. El concepto de explorar varios componentes de la competencia clínica para mejorar la confiabili-dad de la evaluación es similar a la formulación de preguntas de opción múltiple para evaluar el conoci-miento de los estudiantes10. Al usarse en combinación con los formatos escritos, puede incrementar la con-fiabilidad, si se incluye una cantidad de estaciones suficiente para lograr una amplia muestra de situacio-nes clínicas.

Los criterios de evaluación son determinados por las competencias que deben alcanzar los estudiantes de acuerdo con los objetivos del plan de estudios y los programas académicos correspondientes7. Pueden

utilizarse pacientes reales, estandarizados o mani-quíes de acuerdo con la competencia a evaluar14.

En el plan de estudios de la Facultad de Medicina de la UNAM, los estudiantes, desde los años clínicos (tercer y cuarto año), tienen contacto con pacientes, analizan las enfermedades con sus profesores y de-sarrollan su competencia clínica en mayor o menor grado de acuerdo con su interés y la exposición a experiencias repetidas y reflexivas17. El internado mé-dico correspondiente al quinto año del plan único de la Facultad de Medicina es importante para mejorar las competencias y evaluarlas, ya que durante ese año los estudiantes tienen una mayor responsabilidad con los pacientes y se les puede dar realimentación para fortalecer sus habilidades y mejorar su desem-peño clínico de acuerdo con el perfil de egreso. Deben considerarse también la congruencia educativa-eva-luativa y la posibilidad de que todos los estudiantes sean valorados con una estrategia de tipo formativa, que en nuestra institución se utiliza como una modali-dad en la fase práctica del examen profesional.

Los procedimientos para evaluar la competencia clí-nica han sido variables y heterogéneos, y no contamos con una evaluación formal, longitudinal, formativa y sistemática para todos los estudiantes de internado que valore la competencia clínica de manera objetiva. Esta información es indispensable para realimentar a los estudiantes de la Facultad de Medicina de la UNAM en su desempeño, así como a los profesores y a la propia institución. Es necesario indagar sobre el estado de la competencia clínica de los estudiantes en el internado médico, por lo que se decidió evaluar dicha competencia al inicio y al final del internado médico.

Material y métodos

El estudio se realizó en la Facultad de Medicina de la UNAM, en la ciudad de México, durante el periodo comprendido entre marzo de 2010 y enero de 2011. Esta Facultad de Medicina, la escuela de medicina más grande del país, es una institución pública con aproximadamente 6,500 estudiantes de la carrera de médico cirujano, procedentes de toda la república. El tipo de estudio fue de cohorte prospectivo18, pre y postest19; el pretest consistió en una evaluación formati-va al inicio del internado y el postest, en una sumativa como parte del examen profesional de fin de carre-ra. La población blanco estuvo compuesta por los 708 estudiantes del internado médico de la Facultad de Medicina de la UNAM, y la población disponible en


11

que se realizó el estudio fueron los internos localizados en el Distrito Federal. La población muestreada fue de 354 estudiantes, que representaron el 50% de la po-blación blanco. Se realizó un muestreo aleatorio estra-tificado, para que estuvieran representadas todas las se-des hospitalarias del internado y las instituciones del Distrito Federal. Se presentaron 315 internos al pretest y 10 meses después se aplicó el postest; de esos 315 es-tudiantes iniciales, 37 no se presentaron al postest, por no haber aprobado el internado o el examen profesio-nal teórico. Así pues, la muestra final analizada fue de 278 estudiantes, que realizaron ambas evaluaciones y representaron el 39.2% de la población blanco; hubo 202 (72.7%) internos mujeres y 76 (27.3%) hombres.

Las variables independientes del estudio fueron el internado médico y las sedes de las instituciones de salud. La variable dependiente analizada fue la com-petencia clínica de los estudiantes. El instrumento de evaluación fue un ECOE de 18 estaciones, conforma-das y validadas por un comité de expertos profesores de la Facultad de Medicina, con al menos 10 años de experiencia clínica, pertenecientes a una especialidad troncal (cirugía, ginecoobstetricia, medicina familiar, medicina interna, pediatría y urgencias), que habían acreditado un curso-taller sobre el ECOE y participado en al menos tres exámenes con esta metodología. Estos 18 profesores elaboraron las estaciones, que fueron validadas además por un grupo de seis médi-cos familiares en las siguientes etapas:

– Primera etapa: se seleccionaron las habilidades a evaluar tomando como base el programa aca-démico del internado de pregrado del plan único de estudios de la Facultad de Medicina, obtenién-dose el perfil de los problemas más frecuentes a los que se enfrenta el médico general.

– Segunda etapa: una vez definido dicho perfil, los miembros del comité procedieron a determinar el número de estaciones de acuerdo con la habili-dad clínica que se consideró más representativa de cada enfermedad y que además fuera posible evaluar en los 6 min de cada estación. Basándo-se en la tabla de especificaciones y los compo-nentes de la competencia clínica a evaluar, se elaboraron las siguientes estaciones: diez de in-terrogatorio, tres de exploración física, una de diagnóstico y manejo, dos de interpretación ra-diográfica, una de interpretación de estudios de laboratorio y una de análisis de un trabajo de in-vestigación.

– Tercera etapa: se elaboró el material de apoyo para cada estación, resúmenes clínicos de casos

reales, listas de cotejo y estudios de laboratorio. Para incrementar la confiabilidad interevaluador y registrar el desempeño clínico relevante en cada una de las estaciones, las listas de cotejo utiliza-das fueron elaboradas por médicos especialistas en cada una de las áreas, las mismas que fueron revisadas por el grupo de investigación y valida-das por otro grupo de médicos del área corres-pondiente.

– Cuarta etapa: se seleccionaron pacientes reales y personas no enfermas que se capacitaron para que representaran un problema médico de forma consistente como pacientes estandarizados. Se conformaron estaciones de dos tipos:

• Estaciones de procedimientos, en las que se evaluó la capacidad del estudiante para interro-gar o examinar a pacientes reales o estandari-zados y para formular diagnósticos presuntivos.

• Estaciones de interpretación de exámenes de laboratorio y/o gabinete, en donde se evaluó además la integración diagnóstica y la capaci-dad para instalar un plan de manejo integral.

– Quinta etapa: finalmente el ECOE estuvo integra-do por 18 estaciones, tres de cada área de co-nocimiento del programa de internado. El ECOE se planeó para una duración de 2 h y cada una de las estaciones fue de 6 min, incluyendo dos estaciones de descanso.

En relación con las características generales de los casos utilizados, contenían una presentación con el escenario clínico y un formato de instrucciones para que el estudiante se centrase en el problema y siguie-ra las indicaciones; las listas de cotejo contenían enun-ciados relacionados con la actividad a realizar, ya fuera un interrogatorio, una exploración física, aconse-jar, integrar uno o varios diagnósticos, proponer indi-caciones de manejo, interpretar las alteraciones de estudios de laboratorio y de gabinete o analizar artí-culos de investigación. En las estaciones con pacien-tes, el examinador, además de calificar en la lista de cotejo, emitía una calificación global sobre las habili-dades de comunicación interpersonal, mediante una escala global de 1 a 9, en la que 1 a 3 = insatisfacto-rio, 4 a 6 = satisfactorio y 7 a 9 = superior20.

El número de enunciados a valorar en las estaciones de procedimientos con pacientes variaba entre 20 y 40 y en las de interpretación de estudios de laborato-rio y gabinete, entre 6 y 22. Cada enunciado fue cali-ficado como 0 o 1: un enunciado realizado recibió un punto y uno no realizado o realizado de forma inco-rrecta, 0 puntos. La calificación de una estación se


12

obtuvo sumando el resultado de los dos o tres com-ponentes que la constituían. En el caso de las estacio-nes de procedimientos se valoraron tres componentes: interacción con pacientes (interrogatorio, exploración física o manejo), formulación de diagnósticos y habili-dades de comunicación interpersonal, y en las esta-ciones de interpretación de estudios de laboratorio o gabinete, los siguientes dos componentes: datos nor-males y anormales interpretados y formulación de un diagnóstico. La calificación final del examen fue el resultado del promedio de calificaciones de todas las estaciones; la escala iba del 0 al 100% de aciertos.

Se realizó un análisis estadístico con el paquete JMP (versión 8), estadísticas descriptivas, prueba t de Stu-dent para dos muestras correlacionadas, prueba ANOVA para tres o más muestras y prueba ANOVA anidada para las instituciones. Se calculó la d de Co-hen como medida del tamaño del efecto en la puntua-ción global del ECOE21.

Se realizaron reuniones informativas con los estu-diantes, que habían sido invitados a participar volun-tariamente, y se mantuvo la confidencialidad de sus resultados. El protocolo de esta investigación fue apro-bado por el Comité de Investigación y Ética de la Facultad de Medicina (número 124-2009) y recibió el apoyo del Programa de Apoyo a Proyectos para la Innovación y Mejoramiento de la Enseñanza (PAPIME) de la UNAM (número de proyecto PE207410).

Resultados

Se aplicó el ECOE para evaluar la competencia clí-nica con 18 estaciones a 278 estudiantes del interna-do médico en marzo de 2010, lo que constituyó el pretest; y se realizó un ECOE equivalente en enero de 2011, siendo éste el postest; este último se estructuró con el mismo formato que el pretest y fue elaborado por el mismo grupo de profesores, considerando la tabla de especificaciones y los componentes similares de la competencia clínica. La equivalencia se confirmó mediante el consenso de los expertos y por el com-portamiento de las estaciones. Se midió la confiabili-dad con el alfa de Cronbach, que en el pretest fue de 0.62 y en el postest, de 0.64. En la aplicación del examen participaron 108 profesores evaluadores.

La media global del ECOE pretest al principio del internado fue de 55.6 ± 6.6 y la media de la medición postest al final del internado, de 63.2 ± 5.7, con una diferencia absoluta del 7.6% (p < 0.001) (Fig. 1). El índice d de Cohen, como medición del tamaño del efecto en la puntuación global del ECOE, fue de 1.221.

En la figura 1 se observa que el área de medicina familiar tuvo la mayor diferencia de medias pre y pos-test, que fue de 12.1, seguida por el área de cirugía. En contraste, el área de menor diferencia fue la de medicina interna, aunque todas las diferencias fueron significativas.

El análisis de las puntuaciones de las habilidades clínicas entre el pretest y el postest muestra que, en general, fueron mayores en este último con una dife-rencia estadísticamente significativa (p < 0.001). Al analizar las puntuaciones de las habilidades clínicas entre el pretest y el postest según los componentes de la competencia clínica, se observó que el componen-te con mayor diferencia en puntuación fue el de la interpretación radiológica, seguido de la exploración física, y el componente con menor diferencia fue el de la interpretación de los estudios de laboratorio (Fig. 2).

Para las puntuaciones obtenidas por institución del sistema de salud, se observa que, en general, las di-ferencias entre el pretest y el postest fueron estadísti-camente significativas (Tabla 1). La institución que tuvo la mayor diferencia en la puntuación de la com-petencia clínica, que se refleja en la mayor diferencia de medias, fue el Instituto Mexicano del Seguro Social (IMSS), y la menor diferencia de medias la presentó la Secretaría de Salud del Gobierno del Distrito Federal (SSGDF). Debe señalarse que la Secretaría de Salud (SSA) obtuvo, tanto en el pretest como en el postest, las medias más altas (Instituto Nacional de Ciencias Médicas y de la Nutrición Salvador Zubirán, Hospital General de México y Hospital Gea González), en com-paración con las otras instituciones. No obstante, al comparar las instituciones de salud mediante ANOVA estas diferencias no fueron significativas.

Discusión y conclusiones

En nuestro país, el médico general es una figura indispensable en la prestación de los servicios de sa-lud, ya que atiende la gran mayoría de consultas que se ofrecen diariamente y se estima que resuelve entre el 80 y el 90% de los problemas de salud de la pobla-ción22. La evaluación de la competencia clínica de los médicos generales constituye una prioridad en el con-texto nacional e internacional, por lo que es necesario identificar sus áreas de fortaleza, con el fin de conso-lidarlas, y las de oportunidad, para aumentar la calidad del proceso educativo en la formación del médico general y lograr el perfil del egresado a cabalidad.

La adquisición y el desarrollo de la competencia clínica en los estudiantes de la Facultad de Medicina


13

*

Cirugía

Ginecoobste

tricia

Medicina fa

miliar

Medicina in

terna

Pediatría

Urgencias

Global

*

* *

**

*

0

40

50

Pro

med

io

60

Áreas disciplinales

PretestPostest

70

80

100

Figura 1. Resultados obtenidos por los estudiantes en el ECOE (n = 278). El eje de abscisas indica el área de disciplinal y el de ordenadas, el promedio de las puntuaciones. Las barras representan el promedio obtenido en las áreas disciplinales en el pretest y el postest. Las líneas verticales de las barras representan los intervalos de confianza del 95%; la diferencia entre los promedios fue estadísticamente significativa (*p < 0.0001).

0

40

50

Pro

med

io

60

70

*

Interroga

torio,

Dx y m

anejo

Exploració

n

física

Interpretació

n

de Rx

Interpretació

n

de laboratorio

Análisis

de

la literatura

*

*

Componentes de la competencia clínica

*

80

100

PretestPostest

Figura 2. Resultados obtenidos por los estudiantes en el ECOE (n = 278). El eje de abscisas indica los componentes de la competencia clínica y el de ordenadas, el promedio de las puntuaciones. Las barras representan el promedio obtenido en cada componente en el pretest y el postest. Las líneas verticales de las barras representan los intervalos de confianza del 95%; la diferencia entre los promedios fue estadísticamente significativa (*p < 0.0001), con excepción del componente de interpretación de laboratorio.


14

de la UNAM se llevan a cabo principalmente en las instituciones del Sistema Nacional de Salud, donde la asistencia médica y la relación médico-paciente jue-gan un papel esencial en la adquisición de los cono-cimientos, habilidades, destrezas, actitudes y valores que el médico debe poseer. El internado médico re-presenta un año crucial para la adquisición de la com-petencia clínica del médico general. El plan de estu-dios de la Facultad de Medicina de la UNAM, vigente desde el año 2010, tiene una estructura organizacional por asignaturas con un enfoque por competencias y debe ser evaluado en todos sus componentes, entre los cuales destaca el desarrollo de la competencia clínica de los estudiantes23.

En nuestro país son escasos los trabajos que explo-ran la evaluación de la competencia clínica de los estudiantes de medicina utilizando instrumentos que posean evidencia de validez y confiabilidad6,12. En este sentido, el presente estudio representa el primer trabajo en nuestro medio que, con un diseño de inves-tigación pre y postest y un tamaño de la muestra sa-tisfactorio, pretende evaluar la competencia clínica de estudiantes de internado al inicio y al final del mismo. En nuestro estudio se documenta que, después del internado médico, se produce un incremento estadís-ticamente significativo de la competencia clínica de-terminada por el ECOE, de acuerdo con los resultados obtenidos por los estudiantes en las dos mediciones realizadas.

En la literatura, algunos estudios realizados en inter-nado utilizando el ECOE también han identificado un incremento significativo de la competencia clínica en el postest24,25. En uno de ellos, con ocho estaciones de 12 min y 106 estudiantes, hubo una mejoría signi-ficativa en las seis competencias nucleares del Con-sejo de Acreditación de Educación Médica de Posgrado de EE.UU., y en siete de las ocho estaciones

la diferencia de medias de las estaciones en el pre y el postest fue de 11.524. Otro estudio, con ocho esta-ciones de 10 min, encontró una diferencia entre el pre y el postest de 30.7 (mínima-máxima de 53.4 a 84.1), en 28 estudiantes en la práctica de medicina general25. En estos artículos, la dirección y la magnitud del cam-bio en el nivel de las competencias evaluadas con el ECOE son similares a las de nuestro estudio, lo que sugiere que el internado es una experiencia educativa que incrementa la competencia clínica.

En nuestro estudio, el cambio absoluto de compe-tencia clínica medido con el ECOE fue del 7.6%, lo cual, expresado en forma de tamaño del efecto con el índice d de Cohen, fue de 1.2. Esta magnitud de dife-rencia observada en términos porcentuales no parece ser muy elevada; sin embargo, el tamaño del efecto se puede interpretar como grande, de acuerdo con la clasificación de Cohen (> 0.8)21. El uso de índices de tamaño del efecto como la d de Cohen en publicacio-nes de investigación en educación podría ayudar a visualizar de una manera más estandarizada la mag-nitud de las diferencias entre los grupos y entre diver-sos estudios, así como promover la reflexión sobre el potencial significado educativo de los resultados26,27.

El internado permite a los estudiantes desarrollar su competencia clínica en mayor medida, debido a varios factores, como colaborar con sus profesores en el manejo de los pacientes y seguir un programa acadé-mico homogéneo con discusión de casos clínicos, experiencias clínicas repetidas y reflexivas y activida-des clínicas complementarias. Llama la atención que el área de medicina familiar tuviera el mayor incremen-to en la puntuación del ECOE; esto puede ser debido a que, en general, el desempeño docente es guiado por el perfil del egresado que expresa el plan de es-tudios. Este resultado sugiere que los profesores, en el proceso educativo, dan la importancia debida al

Tabla 1. Resultados obtenidos por los estudiantes en el ECOE (n = 278) según la institución de salud de procedencia. Se muestra el promedio y la DE en el pretest y el postest, y en todos los casos la diferencia fue significativa (p < 0.0001)

Institución de salud n Media y DE pretest Media y DE postest Diferencia de medias p

SSA 60 57.4 ± 11.5 64.5 ± 6 7.1 < 0.0001

ISSSTE 18 54.5 ± 5.8 62 ± 6.2 7.5 < 0.0001

IMSS 158 55.3 ± 6.6 63.1 ± 5.9 7.8 < 0.0001

SSGDF 31 55.6 ± 5.4 62.1 ± 5.7 6.5 < 0.0001

Promedio global 278* 55.6 ± 6.6 63.2 ± 5.7 7.6 < 0.0001

*Once estudiantes pertenecían a diversas instituciones particulares que no entraron en esta comparación porque el tamaño de la muestra fue pequeño.


15

perfil del egresado de la Facultad de Medicina y su-gieren la conveniencia de ampliar la rotación de los internos en esta área de especialidad, que podría ser un contexto apropiado para la formación del médico general. Los resultados de este estudio, en el pretest, son semejantes a lo reportado con anterioridad en nuestra institución en un examen formativo de medicina familiar, en el que se encontró una media de 53.9 en las estaciones de interrogatorio y de 62.3 en la explo-ración física, lo que constituye evidencia de validez agregada a los hallazgos del presente estudio28.

Aunque el menor cambio entre la puntuación pre y postest ocurrió en el área de medicina interna, se ob-serva que dicha disciplina fue la más alta en el pre y el postest, lo cual puede deberse a que los años clíni-cos de tercero y cuarto se desarrollan a nivel hospita-lario y las asignaturas corresponden, en su mayoría, a subespecialidades de medicina interna29,30. En gene-ral, la desviación estándar (DE) en todas las áreas de disciplinas disminuyó en el postest, excepto en medi-cina interna, lo que sugiere que al terminar el interna-do los estudiantes son una población más homogénea en lo académico y en habilidades clínicas. Estos resul-tados globales son semejantes a los obtenidos en el examen profesional de la Facultad de Medicina con el ECOE, en los años 2002 a 2004, lo que también contribuye a agregar evidencia de validez al estudio31.

En relación con los componentes de la competencia clínica, merece especial atención la interpretación ra-diológica, que obtuvo las puntuaciones más bajas en relación con los otros componentes. Esto sugiere que ha de realizarse una intervención con el fin de fortale-cer este componente clínico. El componente de inter-pretación de los estudios de laboratorio no mostró diferencia en el pre y el postest, quizá debido a que estas habilidades fueron aprendidas durante el tercer y el cuarto años, con un menor impacto en el proceso educativo del internado en el desarrollo de este com-ponente. Por otra parte, las puntuaciones fueron altas en comparación con los componentes que evaluaban otras habilidades.

En este estudio, el ECOE tuvo una adecuada con-fiabilidad global medida mediante el alfa de Cronbach, de 0.62 y 0.64 en el pre y el postest, respectivamente, que se acercan a lo establecido por Streiner y Norman de 0.7 para un examen de altas consecuencias32. Sin embargo, es posible valorar y complementar la confia-bilidad del instrumento con la teoría de la generaliza-bilidad; actualmente estamos desarrollando esta línea de investigación para perfeccionar el examen en sus partes y en conjunto33. En las diversas revisiones

narrativas y sistemáticas sobre el tema del ECOE tam-bién se ha explorado la confiabilidad o consistencia de los juicios realizados por los evaluadores/examina-dores. Todo ello tiene una importancia crítica, ya que, en un ECOE típico, debido a su número, las estaciones individuales descansan en el juicio de un solo exami-nador. Generalmente, esta variable ha sido explorada en trabajos de investigación con métodos para medir la confiabilidad interobservador como el coeficiente de correlación intraclase, la estadística kappa o la teoría de generalizabilidad, y el peso de la evidencia sugie-re que, en la mayoría de los estudios publicados, la confiabilidad interobservador es aceptable. En una revisión sistemática más extensa del tema se docu-mentó que, en el ECOE, la confiabilidad interevaluador va de 0.50 a 0.72, cifras consideradas como acepta-bles por la comunidad de investigadores del área, y que han llevado a la decisión de utilizar sólo un eva-luador por estación en la mayor parte de las institucio-nes que utilizan el ECOE como instrumento formativo y/o sumativo34. En el caso de la Facultad de Medicina de la UNAM, con base en la información citada, se ha decidido utilizar solamente un evaluador por estación. Por otra parte, la participación de dos evaluadores por estación en nuestro medio sería prohibitiva desde los puntos de vista logístico, financiero y de disponibilidad de recursos humanos. La capacitación de los evalua-dores y el uso de listas de cotejo contribuyen a dismi-nuir la variabilidad interobservador35.

Algunas de las limitaciones del estudio son las si-guientes: debido a que el ECOE es un instrumento que evalúa las habilidades clínicas con estaciones relati-vamente breves, de manera fragmentada y en esce-narios simulados pero a fin de cuenta artificiales, pue-de ser que no evalúe de manera realista la atención integral de los pacientes, con un posible alejamiento de la realidad clínica cotidiana36. La evaluación estan-darizada en ambientes artificiales puede ser proble-mática a la hora de inferir el desempeño clínico en situaciones reales. En varios estudios se ha documen-tado que existen diferencias, de magnitud variable, entre lo que los médicos realizan en situaciones con-troladas en ambientes simulados y lo que hacen real-mente en la práctica37. Algunos expertos proponen que se hable de evaluación de competencia cuando ésta se realice en representaciones controladas (am-bientes artificiales, simulaciones) de la práctica profe-sional y de evaluación del desempeño cuando las observaciones se realicen en ambientes clínicos reales de la práctica profesional (como la evaluación de 360° o la evaluación basada en el trabajo, entre otras)37.


16

Otro aspecto importante, en cuanto a la validez ex-terna del estudio, es que el trabajo fue realizado en una sola escuela de medicina, con un contexto y ca-racterísticas particulares, lo cual podría limitar la ge-neralización de los resultados a otras instituciones nacionales e internacionales. Sin embargo, la Facul-tad de Medicina de la UNAM es la escuela de medi-cina más grande del país, es de carácter público y sus estudiantes representan una muestra amplia de los estratos económicos y sociales de la población mexicana, así que nuestros resultados podrían ser aplicables a la mayoría de las escuelas de medicina nacionales.

El examen pretest se realizó a poco más de dos meses del inicio del internado, lo que podría incidir en la medición pretest, ya que los estudiantes tenían ya algo de experiencia en el internado; sin embargo, la medición inicial fue sustancialmente diferente de la final, lo cual documenta que este efecto probablemen-te no existió o fue menor.

Un aspecto importante del estudio fue que el pretest consistió en una evaluación formativa, mientras que el postest constituyó una parte del examen profesional de la carrera de médico cirujano, con carácter suma-tivo, lo que podría contribuir a que el desempeño en la medición final fuera en parte explicado por el carác-ter de «altas consecuencias» del citado examen. No es posible separar el potencial impacto del carácter sumativo de la evaluación postest de los resultados del estudio; sin embargo, ambas mediciones se reali-zaron en las mismas condiciones físicas, de tiempos y estructurales, con la misma disciplina por parte de los evaluadores y estudiantes, y con estaciones con una dificultad similar determinada por la integración de los instrumentos, por lo que consideramos que las diferencias encontradas sí reflejan un cambio de la competencia clínica al final del internado.

Otras potenciales amenazas a la validez interna del estudio son la maduración de los sujetos, la aplicación del pretest que puede mejorar por sí mismo el desem-peño en el postest y el efecto Hawthorne38. El efecto del pretest se minimizó al aplicar un postest con el mismo formato pero estaciones diferentes, equivalen-tes, y la participación de los mismos evaluadores. Ade-más, el tiempo transcurrido entre el pre y el postest (10 meses) fue suficiente para que esta amenaza a la validez fuera controlada.

Una estrategia de diseño de investigación experi-mental, como un ensayo controlado con asignación al azar, podría resolver algunas de las amenazas a la validez interna citadas (como la ausencia de grupo

control concurrente, entre otras), pero en la práctica este diseño es muy difícil de aplicar en educación médica, por las condiciones inherentes al proceso educativo, los recursos disponibles en nuestras insti-tuciones, la determinación ética de no proporcionar la intervención educativa al grupo control, así como la logística y los calendarios de los exámenes sumativos de la carrera, como el examen profesional.

En suma, el presente trabajo representa el único estudio de su tipo en investigación médica en nuestro país, presenta información original que debe interpre-tarse en su justa dimensión y consideramos que ha de aprovecharse para diseñar estudios posteriores y me-jorar la calidad de la educación médica en nuestros hospitales.

También es importante recordar que este tipo de examen representa un reto logístico para las institucio-nes, ya que requiere coordinar múltiples sedes que trabajan de forma simultánea, con la participación de un amplio número de profesores examinadores en cada una de ellas y un grupo de más de 100 pacien-tes estandarizados, que han de conocer sus libretos para desempeñarse de acuerdo con los mejores es-tándares. Esta metodología requiere una considerable inversión de recursos humanos, financieros y materiales, pero consideramos que la importancia del objetivo, formar y evaluar a los médicos que atienden a los pacientes en nuestro país, justifica los gastos.

En nuestras instituciones de salud los estudiantes de internado se encuentran sometidos a una gran carga de trabajo y, como sucede en otras partes del mundo, no se cuenta con la supervisión y realimentación cons-tantes y de calidad deseadas2,4. Además, aunque el programa académico de internado incluye una serie de prácticas, se necesitan experiencias más estructu-radas con simuladores y realimentación formal con seguimiento.

En nuestro país todavía existe desconocimiento so-bre el ECOE, sus virtudes y limitaciones, aunque se han impartido cursos-taller en varias entidades de la república, como Guanajuato, Chihuahua y Estado de México. Ha sido difícil su difusión e implementación a nivel nacional como parte de la evaluación de la edu-cación médica, ya que, hasta donde tenemos conoci-miento, únicamente en la UNAM y en la Universidad Autónoma de Guadalajara se utilizan como fase prác-tica del examen profesional.

Asumir el reto de mejorar la evaluación en educación médica permite avanzar en este campo, ya que contri-buye a la formación profesional de los médicos, propor-cionando información y realimentación fundamentada,


17

con la intención de ayudar a los estudiantes y profe-sores a incrementar la calidad del proceso y de los resultados. Asimismo, los resultados de la evaluación sirven de orientación para introducir cambios en los programas académicos y tomar decisiones sobre las competencias que se persigue obtener.

Por todo ello, se debe consolidar la formación con-tinua del interno de pregrado que colabora en el Sis-tema Nacional de Salud, fundamentada en el primer nivel de atención médica para atender la gran mayoría de los problemas de salud de la población, y valorar la ampliación del tiempo de rotación de los internos por unidades de medicina familiar, donde las activida-des se realizan de acuerdo con el perfil de egreso, lo que podría mejorar su desempeño clínico en el ECOE y en su futura práctica como médicos generales.

Este estudio contribuye a aumentar la cultura de la evaluación de la competencia clínica en nuestro medio, y proporciona resultados obtenidos con una metodo-logía rigurosa, mediante el uso del ECOE, que es uno de los instrumentos más objetivos que hay para valorar la competencia clínica9,39-41.

Bibliografía

1. Stufflebeam D, Shinkfield E. Evaluación sistemática. Barcelona: Paidós; 1993.

2. Holmboe ES. Faculty and the observation of trainees’ clinical skills: problems and opportunities. Acad Med. 2004;79:16-22.

3. Norcini J. The death of the long case? Br Med J. 2002;324:408-9. 4. Williams R, Klamen D, MacGaghie W. Congnitive, social and environ-

mental sources biases in clinical performance ratings. Teach Learn Med. 2003;15(4):270-92.

5. Elstein AS, Shulman LS, Sprafka SA. Medical Problem Solving. Cam-bridge: Harvard University Press; 1978. p. 292-4.

6. Larios MH, Trejo MJ, Cortés GT. Evaluación de la Competencia Clínica. Rev Med lMSS. 1998;36(1):79-84.

7. Norman G. Defining Competence: A Methodological Review. En: Neufeld VR, Norman GR, eds. Assessing Clinical Competence. Nueva York: Springer Publishing Company; 1985. p. 15-35.

8. Neufeld VR. Historical Perspectives on clinical competence. En: Neufeld VR, Norman GR, eds. Assessing Clinical Competence. Nueva York: Springer Publishing Company; 1985. p. 3-14.

9. Harden RM, Stevenson WM, Downie W, Wilson GM. Assessment of Clinical Competence Using an Objective Structured Examination (OSCE). Br Med J. 1975;1:447-51.

10. Newble DI, Swanson DB. Psychometric characteristics of the Objective Structured Clinical Examination. Med Educ. 1988;22:325-34.

11. Newble D. Techniques for measuring clinical competence: Objective Structured Clinical Examinations. Med Educ. 2004;38:199-203.

12. Larios H, Trejo J, Martínez N, Cortés T, Velasco T, Hernández A. Desarrollo de la Competencia Clínica durante el Internado Médico. Rev Ed Sup. 2000;XXIX(3):115-28.

13. Eva KW, Neville AJ, Norman GR. Exploring the etiology of content specificity: factors influencing analogic transfer and problem solving. Acad Med. 1988;73(10):S1-5.

14. Collins J, Harden RM. Real patients, simulated patients and simulators in clinical examinations. Med Teach. 1988;20(6):508-21.

15. Reznick R, Smee S, Rothman A, et al. An Objective Structured Clinical Examination for the licenciate: Report of the Pilot Project of the Medical Council of Canada. Acad Med. 1992;67(8):487-94.

16. Sloan DA, Donelly MB, Schwartz RW, Strodel WE. The objective struc-tured clinical examination. The new gold standard for evaluating post-graduate clinical performance. Ann Surg. 1995;222(6):735-42.

17. De la Fuente JR, Piña E, Gutiérrez H. La formación del médico del siglo XXI y el Plan Único de Estudios de la Facultad de Medicina de la Universidad Nacional Autónoma de México. Educ Med Salud. 1994;28(3):331-40.

18. Cummings SR. Diseño de un nuevo estudio: II Estudios de cohortes. En: Hulley SB, Cummings SR, eds. Diseño de la investigación científica. Un enfoque epidemiológico. Barcelona: Editorial Doyma; 1993. p. 69-81.

19. Campbell D, Stanley J. Diseños experimentales y cuasi experimentales en la investigación social. Argentina: Amorrortu Editores; 1996. p. 20-8.

20. Hodges B, Hanson M, Mcaughton N, Regehr G. Creating, monitoring and improving a Psychiatry OSCE. Acad Psych. 2002;26(3):134-61.

21. Cohen J. Chapter 1.4. The effect size. En: Cohen J. Statistical power analysis for the behavioral sciences. 2.a ed. Nueva Jersey: Lawrence Earlbaum Associates; 1988. p. 8-14.

22. Sistema Nacional de Información en Salud. Secretaría de Salud. [Internet] Disponible en: http//www.sinais.salud.gob.mx/estadisticasportema.html.

23. Sánchez M, Durante I, Morales S, Lozano R, Martínez A, Graue E. Plan de Estudios 2010 de la Facultad de Medicina de la Universidad Nacional Autónoma de México. Gac Med Mex. 2011;147(2):152-8.


25. Townsend AH, Mcllvenny S, Miller CJ, Dunn EV. The use of an objective structured clinical examination (OSCE) for formative and summative assessment in a general practice clinical attachment and its relationship to final medical school examination performance. Med Educ. 2001; 35:841-6.

26. Sullivan GM, Feinn R. Using effect size - or why the P value is not enough. J Grad Med Educ. 2012;4(3):279-82.

27. Norman G: The effectiveness and effects of effect sizes. Adv Health Sci Educ Theory Pract. 2003;8(3):183-7.

28. Trejo JA, Larios H, Cortés MT, Martínez N, Gracia O. Competencia Clínica en el área de Medicina Familiar. Arch Med Fam. 2000;2(3):65-74.

29. Manual Departamental Medicina General I. Programa Académico teórico-práctico. Departamento de tercer año, SECISS, Facultad de Medicina, Universidad Nacional Autónoma de México, Ciudad Universitaria, México, enero de 2012.

30. Manual Departamental Medicina General II. Programa Académico teórico-práctico. Departamento de cuarto año, SECISS, Facultad de Medicina, Universidad Nacional Autónoma de México, Ciudad Universitaria, México, enero de 2012.

31. Larios H, Trejo J, Méndez I. Examen Profesional con el Examen Clínico Objetivo Estructurado. Rev Educ Sup. 2005;34(4):7-17.

32. Streiner DL, Norman G. Reliability. En: Streiner DL, Norman G, eds. Health measurement scales: A practical guide to their development and use. Oxford: Oxford University Press; 2003. p. 126-52.

33. Iramaneerat Ch, Yudkowsky R, Myford C, Downing S. Quality control of an OSCE using generalizability theory and many-faceted Rasch mea-surement. Adv Health Sci Educ. 2008;13:479-93.

34. Patricio M. A Best Evidence Medical Education (BEME) Systematic Review on the feasibility, reliability and validity of the Objective Struc-tured Clinical Examination (OSCE) in undergraduate medical studies. Tesis Doctoral, Facultad de Medicina, Universidad de Lisboa. 2012. p. 85-6. [Internet] Disponible en: http://tinyurl.com/c5c7cbs.

35. Van der Vleuten C, Swanson DB. Assessment of clinical skills with standardized patients: State of the Art. Teach Learn Med. 1990;2(2): 58-76.

36. Harden RM, Gleeson FA. Assessment of Clinical Competence Using an Objective Structured Clinical Examination (OSCE). Med Educ. 1979;13:41-54.

37. Rethans JJ, Norcini JJ, Barón-Maldonado M, et al. The relationship between competence and performance: implications for assessing prac-tice performance. Med Educ. 2002;36:901-9.

38. Fraenkel JR, Wallen NE. Internal Validity. En: Fraenkel JR, Wallen NE. How to Design and Evaluate Research in Education. Nueva York: McGraw Hill; 2012. p. 166-83.



41. Hill DA, Guinea Al, McCarthy WH. Formative assessment: a student perspective. Med Educ. 1994;28:394-9.

http://tinyurl.com/c5c7cbs

A. Martínez González, et al.: Evaluación de competencias en medicina

35

Evaluación diagnóstica de conocimientos y competencias en estudiantes de medicina al término del segundo año de la carrera: el reto de construir el avión mientras vuelaAdrián Martínez González1,2*, Juan Andrés Trejo Mejía1,3, Teresa Imelda Fortoul van der Goes4,5, Fernando Flores Hernández1, Sara Morales López1,6 y Melchor Sánchez Mendiola1

1Secretaría de Educación Médica, México, D.F.; 2Departamento de Salud Pública, México, D.F.; 3Departamento de Medicina Familiar, México, D.F.; 4Coordinación de Ciencias Básicas, México, D.F.; 5Departamento de Biología Celular y Tisular, México, D.F.; 6Departamento de Integración de Ciencias Médicas, Facultad de Medicina, Universidad Nacional Autónoma de México (UNAM), México, D.F.


Correspondencia:*Adrián Martínez González

Facultad de Medicina

Universidad Nacional Autónoma de México

Secretaría de Educación Médica. Edif. B, 3.er Piso



E-mail: [email protected] Fecha de recepción: 12-10-2013


Resumen

Introducción: En la literatura latinoamericana hay escasa información sobre la retención de conocimientos y la evaluación de competencias entre los estudiantes de medicina en el transcurso de la carrera, durante los cambios de planes de estudio. Objetivo: Evaluar el grado de conocimientos, así como de competencias, al término del segundo año de la licenciatura de medicina en un nuevo currículo. Métodos: Estudio observacional, transversal, entre estudiantes de la Facultad de Medicina de la Universidad Nacional Autónoma de México (UNAM). Se evaluó formativamente la primera generación de estudiantes del Plan de Estudios 2010, como parte de la evaluación integral del programa. La evaluación tuvo dos componentes: teórico y práctico. Resultados: Se evaluó a 456 estudiantes (87%) de los 524 que acreditaron el segundo año del plan 2010. El examen teórico constó de 211 ítems, con una media de 60 ± 14.5, un índice de dificultad de 0.60 y un alfa de Cronbach de 0.85. La media del examen clínico objetivo estructurado (ECOE) fue de 58 ± 9, la del alfa de Cronbach, de 0.36 y la del coeficiente G, de 0.48. Se obtuvieron resultados por área de conocimiento, asignatura y estación. Conclusiones: En general, los resultados fueron aceptables, en comparación con las evaluaciones escritas efectuadas anteriormente al final del segundo año, lo cual sugiere que el nuevo plan de estudios está logrando sus objetivos educativos. Por primera vez, se evaluaron formalmente las competencias en el nuevo currículo, estableciendo un punto de partida para el seguimiento de las mismas. El estudio proporciona información útil para la institución, los profesores y los estudiantes.

PALABRAS CLAVE: Educación médica de pregrado. Evaluación formativa. Competencias. Evaluación. Examen clínico objetivo estructurado.

Abstract

Introduction: In Latin America there is almost no published information about knowledge retention and formative assessment of competencies in medical students, during medical school training and curricular changes. Objective: To assess knowledge level and clinical competencies in medical students at the end of the second year in a new curriculum. Methods: Observational, cross-sectional study in UNAM Faculty of Medicine students. A diagnostic evaluation was performed in the first class of the “Plan of Studies 2010” curriculum, as part of an integral program evaluation strategy. The assessment had two components: theoretical and practical. Results: 456 (87%) of the 524 students that successfully completed the second year of Plan 2010 were assessed. The written test had 211 items, a mean score of 60 ± 14.5, mean difficulty index of 0.60, reliability with Cronbach’s alpha of 0.85. The OSCE mean global score was 58 ± 9, Cronbach’s alpha of 0.36, and G-coefficient of 0.48, and results were provided for each station. Results by area

mailto:[email protected]


36

Introducción

Desde hace más de 400 años la Facultad de Medi-cina de la UNAM es uno de los centros más importan-tes de la enseñanza de medicina en Latinoamérica, y ha marcado pautas nacionales para cambios curricu-lares que posteriormente se han adoptado en otras instituciones del país. Un ejemplo fue la integración del aprendizaje basado en problemas (ABP), que se inició en la facultad en 1991 como una estrategia experimen-tal probada entre los estudiantes inscritos en el Pro-grama de Alta Exigencia Académica (PAEA), que en la facultad se identificó como núcleos de calidad edu-cativa (NUCE)1. Esta estrategia ahora está incorporada en prácticamente todas las escuelas de medicina del país. La Facultad de Medicina cuenta con la población de estudiantes más grande del país (1,200 estudiantes en promedio en el primer año y 6,200 en los seis años y medio de la licenciatura), y es la que más solicitudes de ingreso recibe; de unas 14,000 solicitudes anuales, el 29% ingresa a través de un examen de selección2.

En el año 2010, en la Facultad de Medicina se realizó un cambio curricular que integró las competencias en un plan por asignaturas conceptuándolas como el conjunto de conocimientos, habilidades, actitudes y valores que, interrelacionados entre sí, permiten tener un desempeño profesional eficiente, de conformidad con el estado de la cuestión. Se estableció el perfil del egresado por com-petencias, que fue aprobado por el Consejo Técnico de la Facultad de Medicina el 17 de septiembre de 2008, y se definió el perfil de egreso en términos de estas ocho competencias: Pensamiento crítico, juicio clínico, toma de decisiones y manejo de información, Aprendizaje au-torregulado y permanente, Comunicación efectiva, Cono-cimiento y aplicación de las ciencias biomédicas, socio-médicas y clínicas en el ejercicio de la medicina, Habilidades clínicas de diagnóstico, pronóstico, trata-miento y rehabilitación, Profesionalismo, aspectos éti-cos y responsabilidades legales, Salud poblacional y sistema de salud: promoción de la salud y prevención de la enfermedad, y Desarrollo y crecimiento personal3.

El plan de estudios tiene tres ejes curriculares: inte-gración biomédica, sociomédica y clínica; vinculación de la medicina, la información y la tecnología; y arti-culación ética, humanística y profesional. Por otra par-te, se organiza en tres áreas de conocimiento: bases biomédicas de la medicina, bases sociomédicas y humanísticas de la medicina, y clínicas. Los ejes y las áreas de conocimiento promueven la integración bio-médica, sociomédica y clínica, propician la relación teórico-práctica y favorecen elementos centrales de la formación médica. Para el desarrollo de los ejes y las áreas de conocimiento, el estudiante debe avanzar a través de cuatro fases secuenciales de formación y lograr gradualmente los perfiles intermedios por com-petencias (las ocho competencias del perfil de egreso), de un nivel creciente de complejidad, con la participa-ción de los profesores de las diferentes asignaturas3.

La primera generación del plan de 2010 concluyó la primera fase (primer y segundo años), que se organi-za en dos años y está constituida por 16 asignaturas, de las cuales doce son anuales y cuatro, semestrales. En esta fase, se pretende que el alumno logre incor-porar el conocimiento con predominio de los aspectos teóricos biomédicos y sociomédicos, y se introducen progresivamente prácticas de salud pública y habili-dades clínicas de acuerdo con el perfil intermedio I. Conviene mencionar que en el cambio curricular del Plan de Estudios 2010, durante los dos primeros años de la carrera, los estudiantes cursan asignaturas clínicas como Integración básico-clínica I y II, Intro-ducción a la cirugía e Informática biomédica I y II, que favorecen el desarrollo de habilidades clínicas necesarias para cuando ingresan en la segunda fase del programa, con predominancia de asignaturas clínicas3.

A las autoridades educativas de la escuela conocer cómo se está comportando un plan de estudios les sirve para mejorar el funcionamiento del plan de estu-dios y los programas académicos, comparar los resul-tados obtenidos y las competencias alcanzadas con los objetivos curriculares establecidos, verificar el nivel de logro de los perfiles según corresponda, detectar

of knowledge, course, and station were reported. Conclusions: The results in general are acceptable, compared with previous written evaluations at the end of the second year, suggesting that the new program is achieving its educational goals. Competencies were formally assessed for the first time in our Institution, establishing a starting point for follow-up. The study provided useful information to the institution, teachers and students. (Gac Med Mex. 2014;150:35-48)

Corresponding autor: Adrián Martínez González, [email protected]

KEY WORDS: Undergraduate medical education. Formative assessment. Competencies. Assessment. OSCE.

mailto:[email protected]


37

los campos de conocimiento fuertes y los deficientes, y transmitir los resultados obtenidos en el examen diagnóstico a las instancias correspondientes y a los estudiantes para que se genere una adecuada reali-mentación. Además, estas evaluaciones formativas envían mensajes a los estudiantes, que podrían con-ducirlos a adoptar maneras de aprender más efectivas y congruentes con el currículo; los estudiantes men-cionan que requieren una presión «extra» para estu-diar, en especial cuando los cursos son largos4.

El propósito del presente estudio fue evaluar el gra-do de retención de los conocimientos biomédicos, sociomédicos y clínicos, así como de las habilidades clínicas, de los estudiantes al término del segundo año de la licenciatura, mediante la evaluación diagnóstica formativa, teórica y práctica, del perfil intermedio I.

Material y métodos

Escenario educativo y participantes

La Facultad de Medicina de la UNAM es una insti-tución pública de la Ciudad de México que actualmen-te cuenta con más de 15,000 estudiantes de pre y posgrado. Es la escuela de medicina más grande del país, y recientemente ha realizado un importante cam-bio curricular denominado Plan de Estudios 20103. El plan de estudios tiene ocho competencias genéricas de egreso, definidas en el perfil de egreso, con dife-rentes niveles de logro durante el programa, y también en los perfiles intermedios I y II, al final del segundo año y del noveno semestre de la carrera5. En el plan integral de evaluación del programa, aprobado por las diversas instancias colegiadas de la UNAM, se esta-bleció que al final de los perfiles intermedios I y II se realizará una evaluación diagnóstica formativa en la que se evaluarán, con diversos instrumentos, los co-nocimientos y competencias adquiridos al final de cada fase del currículo. Este reporte es la primera evaluación realizada del perfil intermedio I en la Facul-tad de Medicina, que se efectuó a la generación de estudiantes que ingresaron en el año 2010 y acredita-ron la totalidad de asignaturas para pasar al quinto semestre del programa.

Diseño del estudio

Se trata de un estudio observacional, transversal, con instrumentos de evaluación de conocimientos y competencias específicamente diseñados para el perfil intermedio I.

Estructura de la evaluación teórica

Se diseñó un examen general de conocimientos, con el formato escrito de preguntas de opción múltiple de una sola respuesta, siguiendo las recomendaciones internacionales para los instrumentos de esta natura-leza6. Se elaboró la tabla de especificaciones de acuerdo con el perfil intermedio I del plan de 2010, para conformar el examen teórico, que incluyó cono-cimientos de las áreas biomédica, clínica y sociomé-dica. Se tuvo en cuenta la carga crediticia de cada asignatura del primer y el segundo año, y que fueran asignaturas de nueva creación (Tabla 1). Se solicitaron 40 reactivos a los departamentos académicos para cada una de las 16 asignaturas de primero y segundo año, considerando los programas de las asignaturas y los conocimientos esenciales que debe poseer el estudiante para comprender los contenidos académi-cos del tercer año del plan de estudios. Posteriormente, un grupo de expertos en evaluación realizó la selec-ción y ajuste de reactivos, cuidando la validez del contenido, descartando aquellos que no seguían los criterios propuestos por Haladyna y Downing7. Final-mente, el examen estuvo conformado, de acuerdo con la tabla de especificaciones, por 211 reactivos de op-ción múltiple, independientes y con cuatro opciones de respuesta.

La evaluación se realizó en computadoras del Cen-tro de Evaluación Computarizada de la Facultad de Medicina, en Tlatelolco, y se dio un tiempo de res-puesta por reactivo de 0.85 min. Había 450 computa-doras, por lo que se realizaron dos turnos de 3 h, tomando medidas para disminuir las posibilidades de comunicación entre los dos turnos de estudiantes. En reuniones informativas previas al examen, se invitó a los estudiantes a participar voluntariamente. El examen se efectuó el martes 5 de junio de 2012, de 8:00 a 15:00 h.

Para el análisis psicométrico del examen teórico se empleó el software ITEMAN V.4 (Assessment Systems Corporation, www.assess.com) con el modelo de teo-ría clásica de los tests. Se eliminaron los reactivos del instrumento original que tuvieron características psico-métricas inadecuadas (reactivos con discriminación negativa y posible doble respuesta) .

Estructura de la evaluación práctica

El ECOE incluyó componentes de las ocho competen-cias del perfil intermedio I del Plan de Estudios 2010. Se elaboró una tabla de especificaciones de acuerdo con

http://www.assess.com


38

Tabla 1. Asignaturas evaluadas de acuerdo con la carga crediticia y el perfil intermedio I del Plan de Estudios 2010

Asignaturas evaluadas Créditos # Reactivos Porcentaje

Anatomía 17 17 8.1

Fisiología 23 23 10.9

Inmunología 7 9 4.3

Integración básico-clínica I 2 11 5.2

Integración básico-clínica II 2 11 5.2

Introducción a la salud mental 11 11 5.2

Microbiología y parasitología 17 17 8.1

Biología celular e histología médica 15 15 7.1

Bioquímica y biología molecular 21 20 9.5

Promoción de la salud en el ciclo de vida 7 7 3.3

Salud pública y comunidad 7 7 3.3

Informática biomédica I 3 10 4.7

Informática biomédica II 3 15 7.1

Introducción a la cirugía 11 8 3.8

Embriología humana 11 11 5.2

Farmacología 23 19 9.0

Totales 180 211 100

el perfil mencionado, y se solicitó la colaboración de los departamentos académicos para elaborar las estacio-nes estandarizadas, considerando especialmente las habilidades que debe poseer un estudiante al término del segundo año de la licenciatura. En todo el proceso participaron profesores con experiencia en la elabora-ción de estaciones de ECOE para evaluaciones forma-tivas y sumativas de la Facultad de Medicina. Posterior-mente, expertos en evaluación realizaron el diseño, selección y adecuación de las estaciones, y elaboraron el material de apoyo para cada estación (resúmenes de escenarios clínicos, listas de cotejo, cartillas de vacuna-ción, edición de vídeo, etc.). Ya con los instrumentos, se realizaron pruebas piloto de cada una de las estaciones, para realizar los ajustes pertinentes. Se emplearon siete formatos diferentes: preguntas y respuestas, represen-taciones de role play con el evaluador, pacientes estan-darizados, modelos mecánicos o estructurales, vídeo, búsqueda en Medline y un formato para ABP.

En algunas de las estaciones se utilizaron mani-quíes o personas no enfermas que se capacitaron para representar un problema de salud de forma con-sistente como pacientes estandarizados. El ECOE es-tuvo conformado por nueve estaciones estandarizadas de 6 min cada una. En la tabla 2 se especifican las características de cada estación y su relación con las competencias. Se realizaron reuniones informativas

con los estudiantes, que fueron invitados a participar voluntariamente, y se mantuvo la confidencialidad de sus resultados. Los estudiantes fueron evaluados en cada estación de manera objetiva y estructurada por medio de listas de cotejo predefinidas desarrolladas por expertos en el área, previamente piloteadas. El resultado por estación se reportó en porcentaje de aciertos en los instrumentos citados.

El examen se realizó de manera simultánea en seis sedes clínicas del primer nivel de atención médica de la Ciudad de México y en la Unidad Académica Cua-jimalpa de la Facultad de Medicina, con un promedio de participación de 80 estudiantes por sede. Intervi-nieron 133 evaluadores de los diferentes departamen-tos académicos, que habían sido capacitados previa-mente, y hubo 19 evaluadores por sede. El examen se realizó el sábado 9 de junio de 2012, de 8:00 a 15:00 h, en cuatro turnos de 1 h, con excepción de Cuajimalpa, en donde hubo sólo dos turnos.

Los resultados de cada estudiante fueron captura-dos en hojas de lector óptico diseñadas para tal fin, en cada una de las estaciones por las que rotaban. Los resultados de la lectura de estas hojas se analiza-ron con el paquete estadístico JMP versión 8 (SAS Institute, www.jmp.com), obteniéndose la prueba alfa de Cronbach, el análisis de generalizabilidad con la teoría G y el análisis univariado.

http://www.jmp.com


39

Para la fase teórica y práctica de la evaluación, se realizaron pruebas de estadística descriptiva (media y desviaciones estándar [DE]), y se hizo una represen-tación gráfica de los datos por áreas de conocimiento, asignaturas y estaciones; para establecer las diferen-cias entre las mismas se empleó la prueba t de Stu-dent para muestras correlacionadas.

Elaboración de reportes

Con los resultados de las evaluaciones teórica y práctica se elaboraron reportes con la información más relevante para diferentes poblaciones: funcionarios de la Facultad de Medicina, departamentos académicos y un reporte individual para cada estudiante. En el reporte de realimentación individual para los estudian-tes se describieron sus resultados en la evaluación del conocimiento para cada una de las asignaturas, en cada área del conocimiento (biomédica, sociomédica y clínica) y de forma global, cuantitativa y visualmente, anotando la puntuación del estudiante y el promedio global de la generación, en una escala transformada de 500 a 1,500. Además, se presentó la puntuación transformada para la evaluación práctica de cada una de las estaciones y competencias evaluadas, anotando también la puntuación del estudiante y el promedio glo-bal de la generación. El reporte individual fue entregado

de manera confidencial a todos los estudiantes que participaron en el proceso.

Aspectos éticos

El proyecto forma parte del plan de evaluación y actualización del Plan de Estudios 2010 de la licencia-tura de médico cirujano de la Facultad de Medicina de la UNAM, aprobado por las instancias colegiadas pertinentes. Las estrategias de evaluación de dicho plan incluyen la aplicación de evaluaciones diagnósti-cas y formativas de los perfiles intermedios, en las fa-cetas teóricas y prácticas, que forman parte de las actividades de evaluación y mejora de la calidad de la evaluación curricular. La participación de los estu-diantes en el estudio fue voluntaria. Para efectos del presente trabajo se eliminaron los identificadores indi-viduales; se presentan únicamente resultados agrega-dos, manteniéndose la confidencialidad de los estu-diantes en la elaboración del manuscrito.

Resultados

Resultados del examen teórico

De los 524 alumnos que acreditaron el segundo año del Plan de Estudios 2010 presentaron el examen teórico

Tabla 2. Estaciones del ECOE y su relación con las competencias del Plan de Estudios 2010

Estaciones Competencias

Toma de presión arterial (A)* Habilidades clínicas de diagnóstico, pronóstico, tratamiento y rehabilitación

Exploración vaginal (B)* Habilidades clínicas de diagnóstico, pronóstico, tratamiento y rehabilitación

Auscultación precordial Habilidades clínicas de diagnóstico, pronóstico, tratamiento y rehabilitación

Búsqueda de información en Medline

Pensamiento crítico, juicio clínico, toma de decisiones y manejo de informaciónAprendizaje autorregulado y permanente

Nota médica, transcripción de lenguaje coloquial a médico

Comunicación efectiva

Identificación de aspectos éticos y profesionalismo

Profesionalismo, aspectos éticos y responsabilidades legales

Antecedentes ginecoobstétricos con paciente estandarizado

Comunicación efectivaHabilidades clínicas de diagnóstico, pronóstico, tratamiento y rehabilitación

Esquema de vacunación con paciente estandarizado

Comunicación efectivaHabilidades clínicas de diagnóstico, pronóstico, tratamiento y rehabilitaciónSalud poblacional y sistema de salud: promoción de la salud y prevención de la enfermedad

Esferas de mercurio, problema de salud pública

Conocimiento y aplicación de las ciencias biomédicas, sociomédicas y clínicas en el ejercicio de la medicinaSalud poblacional y sistema de salud: promoción de la salud y prevención de la enfermedad

Priorización de problemas de salud en una población

Salud poblacional y sistema de salud: promoción de la salud y prevención de la enfermedad


40

un total de 493 (94.1%). Se realizó el análisis psico-métrico de los resultados con ayuda del programa Iteman, con el modelo de teoría clásica de los tests, como se ha descrito anteriormente. Se eliminaron 35 reactivos (16.6% del total) del instrumento original, por tener carac-terísticas psicométricas inadecuadas, usando como instrumento de evaluación final uno integrado por 176 reactivos seleccionados. Los resultados globales, por área y por asignatura se presentaron con la informa-ción obtenida de esta versión del instrumento. Al de-purar los reactivos mejoraron las características psico-métricas del instrumento, como la confiabilidad y la discriminación. El promedio de porcentaje de aciertos (índice de dificultad) en la fase teórica fue de 60 ± 14.5 (promedio ± DE); la discriminación (coeficiente de punto biserial), de 0.16; la confiabilidad con alfa de Cronbach, de 0.85; el error estándar de medición (EEM), de 5.7, y los valores mínimo y máximo de acier-tos, de 21 y 147, respectivamente.

En la figura 1 se observa que el área de conocimientos con mayor puntuación fue la biomédica; en cambio, la sociomédica obtuvo la menor puntuación.

Dentro del área biomédica, las asignaturas de Embrio-logía, Bioquímica y Biología celular obtuvieron las mayo-res puntuaciones en el examen de conocimientos; en cambio, Inmunología, Anatomía y Farmacología tuvieron la menor puntuación en la evaluación teórica (Fig. 2).

En la figura 3 se observa que, en el área sociomé-dica, la asignatura de Introducción a la salud mental obtuvo la mayor puntuación y la de Salud pública y comunidad, la menor.

En la figura 4 se muestran los resultados del área clínica, en los que se observa que la asignatura de Integración básico-clínica I obtuvo la mayor puntua-ción y la de Informática biomédica II, la menor.

Resultados de la fase práctica

El ECOE se aplicó a 456 estudiantes; 37 de los que asistieron al examen teórico no se presentaron a la parte práctica. El promedio porcentual de aciertos glo-bal en el ECOE fue de 58, con una DE de 9 y un rango de 28.3 a 81.2. Con respecto a la confiabilidad, el instrumento tuvo un alfa de Cronbach de 0.36 con-siderando ambas versiones, la A de 0.22 y la B de 0.43; usando el modelo de la teoría de la generaliza-bilidad, el coeficiente G fue de 0.48.

En relación con los resultados de las nueve estacio-nes mostrados en la tabla 3, se observa que aquellas en las que se valora la competencia de habilidades clínicas de diagnóstico, pronóstico, tratamiento y reha-bilitación (competencia 5 del Plan de Estudios 2010)5 están dentro de las que obtuvieron mejor puntuación, igual que la estación que valora la competencia 6 del

Biomédica0

10

20

30

40

50

60

70

80

70.8

61.8

52.862.6

49.2

35.8

67.157.948.7

90

100

Por

cent

aje

Sociomédicaárea de conocimiento

Clínica

Figura 1. Porcentaje de aciertos por área de conocimiento (Plan de Estudios 2010; n = 493). Se observa que existe una diferencia de medias de 12.8 entre los puntajes extremos del área biomédica, con una media de 61.8, y del área sociomédica, con 49.2; se estableció una diferencia de medias con un valor de t = 21.83, significativo al α ≤ .05.


41

Figura 3. Porcentaje de aciertos en las asignaturas del área sociomédica (Plan de Estudios 2010; n = 493). En esta figura se observa que existe una diferencia de medias de 8.5 entre las asignaturas de Introducción a la salud mental y Salud pública y comunidad, ubicadas en los extremos con el mayor y menor porcentaje de aciertos en el área; se estableció su diferencia de medias con un valor de t = 7.40 significativo al α ≤ .05.

0

Asignaturas pertenecientes al área biomédica

Anatomía

Fisiología

Inmunología

Microbiología

y parasit

ología

Biología celular

Bioquímica

Embriología

Farmaco

logía

10

20

30

40

53.950

60

70

80 82.6

68.3

54.5

79.5

67.0

54.8

83.1

69.0

55.8

82.5

69.1

54.5

89.2

71.8

34.7

66.6

50.6

35.8

64.1

50.0

12.0

56.7

34.4

90

100

Por

cent

aje

Figura 2. Porcentaje de aciertos en las asignaturas del área biomédica (Plan de Estudios 2010; n = 493). Se observa que existen amplias dife-rencias de medias entre Embriología (71.8) que es la asignatura con el porcentaje más alto de aciertos, y las tres asignaturas con menores puntajes, mostrando una diferencia de 37.58 con Inmunología, de 21.9 con Anatomía y de 21.2 con Farmacología, con diferencias estadística-mente significativas de t = 31.29 significativo al α ≤ .05, t = 25.18 significativo al α ≤ .05 y t = 23.69 significativo al α ≤ .05, respectivamente, con cada una de las tres asignaturas. Estas mismas asignaturas con puntajes bajos muestran diferencias significativas con α = .05 con Bioquímica (con una media de 69.1) y Biología celular (con una media de 69), ubicadas en segundo y tercer lugar, con los porcentajes de aciertos más altos.

0

10

20

30

40

50

60

70

80

71.8

53.5

35.2

67.0

47.0

26.9

66.7

45.0

23.3

90

100

Introduccióna la salud mental

Promociónde la salud

en el ciclo de vida

Asignaturas pertenecientes al área sociomédica

Salud públicay comunidad

Por

cent

aje


42

plan de estudios (Profesionalismo, aspectos éticos y res-ponsabilidades legales), que obtuvo un promedio de 70.6. La estación de Auscultación precordial realizada con paciente real fue la que obtuvo la mayor puntuación, con un 78.2 de promedio, y la estación de Toma de pre-sión arterial en simulador obtuvo un 67.6; dentro de esta competencia, la Exploración vaginal con simulador (mo-delo anatómico) y los Antecedentes ginecoobstétricos con paciente real, donde también se valora la competen-cia de comunicación, tuvieron un resultado de 54.4 y 54.8, respectivamente, como se observa en la tabla 3.

La estación Esquema de vacunación con paciente real también valora estas competencias, además de la competencia 7 referente a Salud poblacional y siste-mas de salud: promoción de la salud y prevención de la enfermedad, cuyo resultado fue de 53.3. Otra esta-ción que valora la competencia 7 es la Priorización de problemas de salud en una población, que obtuvo un resultado de 47.9. En relación con la estación de Bús-queda de información, en la que está implicada la competencia de Pensamiento crítico, juicio clínico, toma de decisiones y manejo de información y Apren-dizaje autorregulado y permanente, los estudiantes obtuvieron un 62.3 de promedio. La estación con el me-nor puntaje (41.3) es la que valora la competencia 3

(Comunicación efectiva), que se evaluó con la habilidad de transcribir de lenguaje coloquial a una nota médica.

En la tabla 4 se muestran los resultados de la com-paración entre las competencias evaluadas por las estaciones en el ECOE de acuerdo con la clasificación mencionada en la tabla 2.

Discusión

Hasta donde hemos podido indagar en los antece-dentes registrados de la Facultad de Medicina de la UNAM, así como en la literatura médica y educativa publicada en Latinoamérica, no se ha registrado nin-guna evaluación similar a la que es motivo de este reporte. El plan de estudios de nuestra institución se evalúa en diferentes momentos de su implementación, para realizar los cambios pertinentes de manera opor-tuna, sin esperar varios años, hasta que se revisa el plan de estudios en curso para preparar la siguiente reforma curricular. Además de la medición objetiva del conocimiento, realizamos una evaluación práctica de competencias que da la oportunidad de evaluar de una forma más integral y realista el currículo vigente, para identificar el nivel y alcance del perfil intermedio I y promover medidas de calidad educativa.

0Cirugía Integración

básicoclínica I

Asignaturas pertenecientes al área clínica

Integraciónbásico

clínica II

Informáticabiomédica I

Informáticabiomédica II

10

20

30

40

50

60

70

8084.5

68.2

51.9

90

100

Por

cent

aje

89.9

74.9

59.9

73.2

57.5

41.9

73.7

55.6

37.5

54.0

40.1

26.3

Figura 4. Porcentaje de aciertos en las asignaturas del área clínica (Plan de Estudios 2010; n = 493). En esta figura se observa que existe una diferencia de medias de 34.8 entre los porcentajes de aciertos de Integración básico-clínica I, con una media de 74.9, e Infor-mática biomédica II, con una media de 40.1, asignaturas ubicadas con el mayor y menor porcentaje de aciertos en el área clínica. Se estableció su diferencia de medias con un valor de t = 44.8 significativo al α ≤ .05.


43

En relación con la fase teórica

En la literatura latinoamericana hay escasa informa-ción sobre estudios enfocados al seguimiento del im-pacto que el currículo tiene en la retención de conoci-mientos, así como en las habilidades clínicas de los diversos ciclos o años que cursan los estudiantes, como una medida de los saberes que mantienen a lo largo del tiempo. En época reciente se ha publicado un estudio del seguimiento durante un lapso de cinco generaciones del plan único de estudios de la Facul-tad de Medicina de la UNAM, y los resultados con-cuerdan con lo que la literatura reporta y se traduce en una disminución en la retención de los conocimien-tos relacionados con las ciencias básicas que llevan en los dos primeros años de la licenciatura8. En este estudio se reportó que la retención del conocimiento disminuye al final de los años de ciencias básicas, y que dicha disminución se mantuvo más o menos es-table en las generaciones evaluadas, resultados com-parables a los obtenidos en el presente estudio. Algu-nas asignaturas tuvieron menores puntuaciones que otras en el estudio de Fortoul y en el presente trabajo. Por ejemplo, Psicología médica tuvo la menor puntua-ción, mientras que Salud pública I y II fueron las que tuvieron las puntuaciones más elevadas8. En cambio, en nuestro estudio las asignaturas con menor puntua-ción fueron Inmunología, Anatomía y Farmacología, dentro del área biomédica, Salud pública y comuni-dad, en el área sociomédica, e Informática biomédica II, dentro del área clínica, mientras que Embriología humana, Biología celular e Integración básico-clínica I obtuvieron las mayores puntuaciones.

En la Facultad de Medicina de la UNAM se han realizado estudios previos sobre el rendimiento aca-démico evaluado mediante los resultados de los exá-menes departamentales de los primeros dos años de la licenciatura9,10. Se realizó un examen diagnóstico de retención de los conocimientos de los primeros dos años a una población que iniciaba el tercer año de la licenciatura con el plan de 1985, y se encontró un promedio general de aciertos del 63.5%9. Estos resul-tados son similares a los reportados por el seguimiento de una cohorte de estudiantes desde su ingreso hasta el término de la licenciatura, específicamente en el diag-nóstico de retención de conocimientos durante los dos primeros años11. Otros estudios sobre la retención de conocimientos de las ciencias biomédicas en general describen una disminución de dicha retención12-14.

Para interpretar los resultados hay que tener en cuenta que alrededor de un tercio del conocimiento

Tabl

a 3.

Res

ulta

dos

de la

eva

luac

ión

por

esta

cion

es c

on e

l EC

OE

Nom

bre

de

la e

stac

ión

Tom

a de

te

nsió

n ar

teri

al

en m

odel

o an

atóm

ico

(A)

Exp

lora

ción

va

gina

l co

n m

odel

o an

atóm

ico

(B)

Aus

culta

ción

pr

ecor

dial

co

n pa

cien

te

real

par

a ce

rtifi

cado

de

sal

ud

Bús

qued

a de

in

form

ació

n en

Med

line

Not

a m

édic

a,

tran

scri

pció

n de

leng

uaje

co

loqu

ial

a m

édic

o

Víd

eo é

tica

y pr

ofes

iona

lism

oA

ntec

eden

tes

gine

coob

stét

rico

s co

n pa

cien

te

real

Esq

uem

a de

va

cuna

ción

, co

n pa

cien

te

real

Esf

eras

de

mer

curi

o,

prob

lem

a

de s

alud

pú

blic

a

Pri

oriz

ació

n de

pro

blem

a de

sal

ud

en u

na

pobl

ació

n

Pun

taje

gl

obal

Prom

edio

%

de a

cier

tos

67.6

54.4

78.2

62.3

41.3

70.6

54.8

53.3

61.3

47.9

58.0

DE

21.3

21.0

21.0

31.3

13.9

21.8

16.0

14.0

17.6

26.8

9.0


44

Tabla 4. Comparación entre las competencias evaluadas por las estaciones que conformaron el ECOE

Estadísticos de muestras relacionadas

Competencias comparadas Media DE Diferencia de medias

Intervalo de confianza del 95% para la diferencia

t Sig. (bilateral)

Inferior Superior

Par 1 Habilidades clínicas 64.5 12.0 2.1 –0.9 5.2 1.4 .17

Pensamiento crítico 62.4 31.3

Par 2 Habilidades clínicas 64.4 12.6 23.0 21.6 24.5 31.4 .00

Comunicación 41.3 13.8

Par 3 Habilidades clínicas 64.3 12.6 –6.2 –8.5 –4.0 –5.5 .00

Profesionalismo 70.6 21.8

Par 4 Habilidades clínicas 64.4 12.6 10.7 9.2 12.2 13.8 .00

Salud poblacional 53.7 12.3

Par 5 Pensamiento crítico 62.3 31.3 21.1 18.0 24.3 13.2 .00

Comunicación 41.1 13.6

Par 6 Pensamiento crítico 62.6 31.3 –8.0 –11.7 –4.3 –4.3 .00


Par 7 Pensamiento crítico 62.3 31.3 8.5 5.4 11.6 5.4 .00


Par 8 Comunicación 41.3 13.9 –29.3 –31.7 –26.9 –23.9 .00


Par 9 Comunicación 41.3 13.9 –12.4 –14.0 –10.8 –15.6 .00


Par 10 Profesionalismo 70.6 21.8 16.9 14.6 19.2 14.6 .00


aprendido se pierde después de un año y la mitad, una vez transcurridos unos pocos años15. Asimismo, los estudiantes en general se presentaron al examen sin prepararse específicamente, dado que se trata-ba de un examen diagnóstico y formativo. Los resul-tados de nuestro estudio, en donde algunas áreas de conocimiento y asignaturas obtuvieron mayores puntuaciones que otras, se pueden atribuir a factores que juegan un papel importante en la retención del conocimiento, como la frecuencia de uso del conoci-miento aprendido después de que la instrucción formal haya terminado, el contenido y las tareas a aprender, las condiciones de recuperación del co-nocimiento y las habilidades individuales de los es-tudiantes16, pero también la falta de refuerzo del conocimiento17, un aprendizaje fuera de contexto18, contenidos sin relevancia clínica y una base de cono-cimientos previos deficiente. La planta académica y las estrategias de enseñanza también influyen en la retención de conocimientos, así como la estructuración

de los programas académicos y el sistema de evalua-ción del aprendizaje. Identificar los factores que más influyen en la retención podría ser el propósito de fu-turas indagaciones.

Llama la atención un estudio realizado entre estudian-tes de la escuela de medicina de Texas, en Houston (EE.UU.), para favorecer la retención de los conocimien-tos de anatomía. La mayor retención de conocimientos se observó cuando éstos sólo se evaluaban, sin que necesariamente se repasaran19. Otra aplicación de esta estrategia fue identificar a los estudiantes que tenían problemas y reinformarlos para que tomaran las medidas pertinentes. Un estudio de seguimiento del programa de medicina de la Universidad de Saskat-chewan20 refiere que la pérdida de los conocimien-tos no es igual para todas las asignaturas, lo cual coincide con lo reportado en nuestra institución8.

Los resultados del examen de conocimientos reali-zado en nuestro estudio ofrecen datos que en general son aceptables, desde una visión global y por área del


45

conocimiento, al compararlos con las evaluaciones escritas del final de segundo año que se han efectua-do anteriormente en la Facultad de Medicina para el plan único de estudios. Esta evaluación previa nos permite confirmar la información que muestran otros estudios relacionados con la retención de conocimien-tos: los conocimientos adquiridos en los primeros años se olvidan. Son varias las propuestas que explicarían este fenómeno15. Una de las más importantes es que no existe una integración vertical de los contenidos y hay poca aplicación en los años subsecuentes. Esto se hace más evidente cuando los estudiantes son evaluados durante los años clínicos sobre los conoci-mientos básicos, y el argumento es también que no se les da la aplicación debida, pues son la base para entender qué está ocurriendo en el paciente.

Los resultados de la evaluación teórica por asigna-tura descritos en este trabajo deben considerarse como una aproximación inicial a la estimación del co-nocimiento y las habilidades para aplicarlo de los es-tudiantes, en virtud del número relativamente reducido de reactivos por asignatura y el hecho de que se eli-minaron de la puntuación el 16.6% de los ítems. Este porcentaje de reactivos con un desempeño psicomé-trico inadecuado es el usual y aceptable en una pri-mera aplicación de un instrumento de este tipo.

En nuestro país, este tipo de información dura sobre el desempeño de los estudiantes en las escuelas de medicina habitualmente no es publicada en la literatu-ra científica con arbitraje por diversos factores: resulta delicado y en potencia políticamente peligroso hacer de conocimiento público que los resultados en las evaluaciones objetivas de los estudiantes no son de excelencia, como se escucha con frecuencia en el discurso; los procedimientos de evaluación educativa y de programas de las instituciones de salud y de educación superior habitualmente tienen un papel se-cundario relativo a las actividades de enseñanza y de atención clínica, sobre todo la evaluación de tipo for-mativo; gran parte de las instituciones nacionales no cuentan con el personal idóneo profesionalizado en la ciencia de la evaluación y medición educativa; las estrategias de evaluación educativa de las diversas escuelas de medicina pueden ser heterogéneas, utili-zando métodos diferentes en planes de estudio y mo-delos educativos diferentes, lo cual complica su com-paración; este tipo de trabajos no son muy atractivos para las instituciones educativas y los investigadores que en ellas laboran, y resulta complicado publicarlos; la cultura de la evaluación diagnóstica y formativa es aún incipiente en nuestras instituciones de salud y de

formación de médicos, entre otras razones insertadas en el currículo oculto de las universidades.

En relación con la fase práctica

Por otra parte, el conocimiento no es suficiente por sí mismo para el aprendizaje efectivo de la medicina, por lo que se ha hecho necesario incorporar otros aspectos a la formación de los médicos, como las competencias. Y esto obliga a evaluar, además del conocimiento, las habilidades y destrezas, que re-quieren otro tipo de instrumentos, como el ECOE21,22. Simon, et al., en 2002, reportaron la validez predictiva del ECOE aplicado en el segundo año de la carrera, al correlacionarlo con el United States Medical Licen-sing Examination (USMLE 1), proponiendo la evalua-ción continua de la validez del ECOE como un predic-tor de la actividad clínica posterior de los estudiantes22. En 1997, en el Hospital Gea González, de la Secretaría de Salud (SSA) de México, se realizó un ECOE a los alumnos que cursaban el internado médico de pregra-do. Se aplicó el examen al inicio y al término del inter-nado. El estudio reportó un mejor desempeño en las habilidades clínicas al final del internado, y se comen-tó el beneficio que aplicar este tipo de evaluaciones tiene en la parte formativa de los estudiantes23. Existen algunos estudios con ECOE que evalúan el efecto de las intervenciones educativas sobre habilidades especí-ficas del segundo año de la carrera, tales como la his-toria clínica sobre tabaquismo (Boehlecke,1996)24, el examen de un paciente con lumbalgia25 o el examen de mama26,27. Otros han evaluado la participación de pro-fesores o pacientes como examinadores27-29 y han comparado la importancia de la realimentación a los estudiantes de acuerdo con su desempeño en el ECOE30, o la confiabilidad y generalizabilidad del ejercicio31. El ECOE es una estrategia que tiene como atributo el ser uno de los instrumentos más objetivos que existen para valorar y mejorar la competencia clínica32-34.

Como hemos mencionado en párrafos anteriores, ésta es la primera ocasión en la historia de la Facultad de Medicina de la UNAM que se realiza una evalua-ción diagnóstica formal de habilidades y destrezas, orientadas a las competencias definidas del perfil in-termedio I. El diseño, la elaboración y el análisis del ECOE siguieron también los principios internacionales para una evaluación de estas características, obtenien-do una evidencia de validez y confiabilidad aceptable. Esta primera evaluación indica ya algunas áreas que deben revisarse, y que son importantes para el desa-rrollo del futuro médico, como la estación de Transcripción


46

de lenguaje coloquial a médico, relacionada con la competencia de comunicación escrita, en la que los estudiantes obtuvieron la menor puntuación, lo que refle-ja una problemática en el uso correcto del lenguaje mé-dico. Es deseable que estos resultados hagan reflexionar a todos los profesores encargados de utilizar esta com-petencia en sus procesos educativos, para que realicen los ajustes pertinentes, explorando alternativas efectivas sustentadas en la mejor evidencia disponible para mejo-rar la comunicación escrita. Los estudiantes obtuvieron la mayor puntuación en la estación de Auscultación pre-cordial, que está relacionada con la competencia de habilidades clínicas, que en conjunto obtuvo el mayor porcentaje de aciertos. Esto puede indicar que las prác-ticas de integración básico-clínica están cumpliendo los objetivos propuestos en el programa académico.

Durante su formación y en su posterior práctica pro-fesional, el médico debe contar con las herramientas necesarias para mantenerse actualizado y realizar búsquedas de información; por ello se consideró per-tinente incluir una estación que valorara estas habili-dades. En la actualidad, son frecuentes las demandas legales contra los médicos, y en ocasiones están mo-tivadas principalmente por una inadecuada comunica-ción médico-paciente, que, junto con el profesionalis-mo, es otra de las competencias que deben ser evaluadas y que también se incluyó en una de las estaciones, con el fin de mejorar la mencionada rela-ción a través de mecanismos de evaluación formativa.

La media de nuestro ECOE (58 ± 9%) fue mayor que la de los resultados de varios ECOE con los que se com-paró, como los siguientes: habilidades del área cardio-vascular y respiratoria de estudiantes de segundo año (52 ± 6%)35; ECOE de 16 estaciones al terminar el segun-do año relacionado con la exploración física (57%)36; un estudio en áreas clínicas (57 ± 4%)37, y otro con es-tudiantes de medicina de tercer año (58%)38. En cambio, resulta menor al compararlo con un ECOE entre estudian-tes de segundo año, que tuvo un resultado del 70%28.

Por otra parte, un ECOE realizado entre estudiantes de tercer año mostró medias de 19.2/25 en el interrogatorio, de 17.9/25 en la exploración física y de 23.4/25 en habi-lidades de comunicación al final de los tres meses39. Cabe considerar que los estudios antes señalados36,38 priorizaron la exploración física, correspondió a dos es-taciones y otras dos para interrogatorio.

El estudio tiene limitaciones, pues se aplicaron nueve estaciones, por lo que la confiabilidad es baja. Se utilizó un solo evaluador por estación, debido a que con el uso de la lista de cotejo se observó una confiabilidad intere-valuador en el ECOE de 0.50-0.72, cifras consideradas

como aceptables por la comunidad de investigadores en el tema, como instrumento formativo y sumativo40.

En un estudio sobre habilidades en la exploración física de mama entre estudiantes de primero, segundo y tercer año de carrera, se encontró una disminución progresiva en las medias (61.5, 53.9 y 43.4), que se atribuyó al cambio de enfoque del curso, que les con-dujo a perder interés por la exploración física26.

Los resultados de un ECOE de 20 estaciones (cuatro del área de neurología) entre 198 estudiantes de se-gundo año reportaron medias en cada uno de los cuatro hospitales de 60.2, 59.4, 56 y 58.8, semejantes a nuestro estudio.

También se realizó un ECOE de 37 estaciones en-tre estudiantes de tercer año al terminar la rotación de 12 semanas en medicina interna. Se evaluaron dos grupos, uno por la mañana y otro por la tarde, y las medias fueron de 62.1 y 61.838.

Realimentación a estudiantes, autoridades y departamentos académicos

Otro punto de interés de este estudio es que a cada estudiante se le entregó un informe de su desempeño, y se les explicó que la única finalidad de la evaluación formativa era darles un punto de referencia para sus estudios futuros, y para que pudieran realizar activida-des de remediación antes de llegar a las unidades de atención médica y en el transcurso de los siguientes años de su formación21. Es muy importante desarrollar gradualmente la cultura de la evaluación formativa en nuestro medio, ya que tiene un impacto trascendente en el aprendizaje autodirigido y en la práctica reflexiva41.

En el caso de los departamentos académicos, se les entregó un resumen de los resultados para que lo hicieran extensivo a sus profesores y se realizaran los cambios necesarios, para evaluar la pertinencia de los contenidos, la extensión y profundidad de los mismos, y se tomasen las medidas necesarias para permitir al estudiantado tener una mejor capacidad de aplicación de la información adquirida durante los dos primeros años. A las autorida-des de la facultad, incluyendo el Consejo Técnico y el Comité Curricular, se les entregó un resumen ejecutivo de la evaluación del perfil intermedio I, con algunas recomendaciones para continuar con el proceso de implementación y evaluación del Plan de Estudios 2010.

Limitaciones y fortalezas del estudio

Si se considera que el propósito del presente estudio fue evaluar el grado de retención de los conocimientos


47

biomédicos, sociomédicos y clínicos, así como las ha-bilidades de los estudiantes, al término del segundo año, se cubrió de manera descriptiva mediante la iden-tificación de las asignaturas con mayor y menor pun-taje promedio en la fase teórica y la identificación de competencias vinculadas a las estaciones con los ma-yores y menores puntajes obtenidos, por lo que con-sideramos que se trata de una primera aproximación.

El examen teórico y el de competencias se diseña-ron, elaboraron, implementaron y analizaron siguiendo los principios generales de calidad de un examen objetivo, acumulándose abundante evidencia de vali-dez y confiabilidad sobre los instrumentos, para las inferencias que se pretendía hacer de los resultados6. Es importante considerar que este tipo de examen supone un reto logístico para cualquier institución edu-cativa, sobre todo el examen práctico de evaluación de competencias, ya que es necesario coordinar múlti-ples sedes, que trabajan de forma simultánea, con un amplio número de profesores examinadores en cada una y un grupo de pacientes estandarizados, que de-ben conocer sus libretos para desempeñarse de acuerdo con los mejores estándares. Esta metodolo-gía requiere una inversión considerable de recursos humanos, financieros y materiales, pero considera-mos que la importancia del objetivo, formar y evaluar a los estudiantes de medicina en proceso de forma-ción que atenderán a los pacientes en nuestro país, justifica el esfuerzo y uso de los recursos citados.

Esto sienta las bases para una planeación anticipa-da del proceso logístico y operativo del examen, en la cual se deberán considerar los tiempos para la entrega de resultados y la realimentación a los estu-diantes, pero también los tiempos y el personal de la facultad involucrados en el análisis, seguimiento y de-sarrollo de diferentes líneas de investigación vincula-das al proyecto.

Algunas posibles limitaciones del presente estudio fueron las siguientes: la evaluación del conocimiento de algunas de las asignaturas se realizó con un nú-mero relativamente limitado de reactivos (siete), por la necesidad de no hacer un examen demasiado grande, y esto podría limitar la validez de contenido de algunas de las asignaturas. También hay que considerar las limitaciones inherentes a la evaluación del conocimien-to con exámenes de opción múltiple, como pudiera ser la exploración de niveles cognoscitivos básicos como la memoria, en lugar de la comprensión, aplicación y solución de problemas, entre otros; esto se intentó mi-nimizar siguiendo los lineamientos de Haladyna y Dow-ning7 y con actividades de formación docente en

evaluación. Algunos autores21,34 refieren las limitacio-nes del ECOE, como la fragmentación de las activida-des en pequeñas viñetas con intervalos cortos de tiempo, además del hecho de tratarse de una evalua-ción en un escenario artificial controlado, que pudiera no relacionarse con el desempeño en actividades de la vida real; todo esto se trató de minimizar con acti-vidades de profesionalización y formación docente de los evaluadores y pacientes estandarizados. Otra po-tencial limitación se relaciona con la validez externa del estudio, ya que se realizó en la escuela de medi-cina más grande del país, que cuenta con relativamen-te abundantes recursos y profesores, lo que podría limitar su extrapolación a otras escuelas de medicina nacionales o de otros países. Como cualquier implemen-tación de un nuevo plan de estudios y de una estrategia de evaluación diagnóstica novedosa en nuestra institu-ción, hubo un intenso interés por parte de las autori-dades y los académicos participantes en el desarrollo e implementación de los exámenes, lo cual podría afectar a la generalizabilidad ecológica del trabajo.

Conclusiones

En esta primera aplicación de un examen totalmen-te nuevo para evaluar el perfil intermedio I, se lograron diversos aprendizajes organizacionales para la aplica-ción de este tipo de evaluaciones diagnosticoformati-vas. Se estableció un mecanismo de trabajo y se asig-naron responsabilidades a las diferentes instancias de la Facultad de Medicina, lo que coadyuvará a que en las siguientes aplicaciones de estos exámenes se lo-gren los objetivos de manera más eficiente y efectiva.

Este estudio contribuye a fomentar la cultura de la evaluación formativa y por competencias en nuestro medio, y ofrece resultados obtenidos con métodos ri-gurosos que nos permiten confiar en ellos. Es deseable generalizar el uso del ECOE formalmente, de tal mane-ra que todos los estudiantes sean evaluados con esta estrategia, ya que dentro de sus atributos se encuentra el ser uno de los instrumentos más objetivos que exis-ten para valorar y mejorar la competencia clínica.

Esta nueva experiencia abre la posibilidad de pro-poner esta estrategia como una actividad relevante en cualquier plan de estudios. Las ventajas que el cono-cimiento del desarrollo del currículo ofrece permiten redirigir, con sustento académico y científico, el plan de estudios en proceso. Esto facilita realizar cambios en el momento, sin tener que esperar tiempos prolongados, como el final de los ciclos educativos y de la carrera profesional, para realizar los ajustes necesarios, de


48

manera que el plan de estudios evoluciona de la mejor manera posible y cumple sus objetivos al adaptarse con dinamismo al proceso educativo en su conjunto.

Sería deseable que este tipo de evaluación fuese aplicada en otras escuelas de medicina, para ver sus comportamientos y realizar el seguimiento de estas generaciones que cuentan con reinformación sobre su crecimiento académico. Ejercicios como éste convierten los planes de estudios en estructuras dinámicas con mejores posibilidades de ajuste a la realidad del trabajo diario en las aulas, los laboratorios y la práctica médica.

Es indispensable realimentar el Plan de Estudios 2010 de manera cualitativa y cuantitativa, identificando aciertos y áreas de oportunidad en términos de forma-ción de los estudiantes, para favorecer una política de mejora continua del proceso de formación y evalua-ción de los estudiantes, y alimentar nuevas líneas de investigación educativa en la facultad.

Agradecimiento

A los profesores que colaboraron en la elaboración de preguntas y estaciones.

Bibliografía

1. Morales S, Petra MI, Cortés MT. El programa de alta exigencia aca-démica en la Facultad de Medicina de la UNAM. Rev Educ Sup. 1999;XXVIII:1-5. [Internet] Consultado el 14 de diciembre de 2012. Dis-ponible en: http://www.anuies.mx/servicios/p_anuies/publicaciones/rev-sup/res109/txt1_5.htm.

2. Graue-Wiechers E. Informe de Actividades 2008-2012. [Internet] Con-sultado el 1 de octubre de 2012. Disponible en: http://www.facmed.unam.mx/marco/index.php?dir_ver=113.

3. Sánchez Mendiola M, Durante Montiel I, Morales López S, Lozano Sán-chez R, Martínez González A, Graue Wiechers E. Plan de estudios 2010 de la Facultad de Medicina de la Universidad Nacional Autónoma de México. Gac Med Mex. 2011;147:152-8.

4. Weurlander M, Söderbergb M, Schejac M, Hultb H, Wernerson A. Explor-ing formative assessment as a tool for learning: students’experiences of different methods of formative assessment. Assessment & Evaluation in Higher Education. 2012;37:747-60.

5. Plan de Estudios 2010 y Programas Académicos de la Licenciatura de Médico Cirujano. Facultad de Medicina, Universidad Nacional Autónoma de México, 2010. [Internet] Disponible en: www.facmed.unam.mx.

6. Downing SM. Twelve steps for effective test development. En: Downing SM, Haladyna TM, eds. Handbook of Test Development. New Jersey: Lawrence Erlbaum Associates; 2006. p. 3-25.

7. Haladyna TM, Downing SM, Rodriguez MC. A Review of Multiple-Choice Item-Writing Guidelines for Classroom Assessment. Applied Measure-ment in Education. 2002;15:309-34.

8. Fortoul-van der Goes TI, Morales-López S, Muñoz-Comonfort A, Jacobo-Méndez A, Varela-Ruíz M, Rodríguez-Lara V. Retención de los cono-cimientos básicos en cinco generaciones de alumnos que terminaron los dos primeros años del plan único de la carrera de médico cirujano en la Facultad de Medicina, UNAM (2007-2011). Inv Ed Med. 2012;1:170-5.

9. Rodríguez R, Téllez VC, Martínez GA, Santana C. Retención de los conocimientos de ciencias básicas por los alumnos de medicina. Impli-caciones educativas. Rev Fac Med UNAM. 1992;35:23-8.

10. Guevara GR, Galván M, Muñoz CA. El desempeño académico de los estudiantes de la Facultad de Medicina en el primer año de la carrera. Gac Med Mex. 2007;143:27-32.

11. Martínez GA, Gil MA, Rey CJ, Rodríguez CR. Nivel académico de los alumnos del Programa de Medicina General Integral (Plan A-36) y su comparación con los alumnos del Plan de Estudios 85. I. Una nueva estrategia para evaluar la calidad del proceso educativo. Rev Fac Med UNAM. 1997;40(6):222-9.

12. Lazic E, Dujmovic J, Hren D. Retention of Basic Sciences Knowledge at Clinical Years of Medical Curriculum. Croat Med J. 2006;47:882-7.

13. Kennedy WB, Kelley PR, Saffran M. Use of NBME examinations to assess retention of basic science knowledge. J Med Educ. 1981;56:167-73.

14. Swanson DB, Case SM, Luecht RM, et al. Retention of basic science information by fourth-year medical students. Acad Med. 1996;71:80-2.

15. Custers EJ. Long-term retention of basic science knowledge: a review study. Adv Health Sci Educ Theory Pract. 2010;15(1):109-28

16. Farr MJ. The long-term retention of knowledge and skills. A cognitive and instructional perspective. Nueva York: Springer-Verlag; 1994.

17. Last KS, Appleton J, Ferguson JDB, et al. The value of a questionnaire in assessing the acquisition and retention of basic science knowledge by dental students. Eur J Dent Educ. 2000;4:3-9.

18. Woloschuk W, Mandin H, Harasym P, et al. Retention of basic science knowledge: a comparison between body system-based and clinical presentation curricula. Teach Learn Med. 2004;16(2):116-22.

19. Logan JM, Thompson AJ, Marshak DW. Testing to enhance retention in human anatomy. Anat Sci Educ. 2011;4:243-8.

20. D’Eon MF. Knowledge loss of medical students on first year basic science courses at the university of Saskatchewan. BMC Med Educ. 2006;6:5.


22. Simon S, Volkan K, Hamann C, Duffey C, Fletcher S. The relationship between second-year medical students´OSCE scores and USMLE Step 1 scores. Med Teach. 2002;24:535-9.

23. Larios MH, Trejo MJA, Martínez VN, Cortés MT, Velasco T, Hernández A. Desarrollo de la competencia clínica durante el internado médico. Rev Educ Sup. 2000;XXIX. [Internet] Consultado el 14 de diciembre de 2012. Disponible en: http://www.anuies.mx/servicios/p_anuies/publica-ciones/revsup/res115/info115.htm.

24. Boehlecke B, Sperber AD, Kowlowitz V, Becker M, Contreras A, Mc-Gaghie WC. Smoking history-taking skills: a simple guide to teach medical students. Med Educ. 1996;30:283-9.

25. Allen SS, Bland CJ, Harris IB, et al. Structured clinical teaching strategy. Med Teach. 1991;13:177-84.

26. Lee KC, Dunlop D, Dolan NC. Do clinical breast examination skills im-prove during medical school? Acad Med. 1998;73:1013-9.

27. Pilgrim C, Lannon C, Harris RP, Cogburn W, Fletcher SW. Improving clinical breast examination training in a medical school: a randomized controlled trial. J Gen Int Med. 1993;8:685-8.

28. Hasle JL, Anderson DS, Szerlip HM. Analysis of the costs and benefits of using standardized patients to help teach physical diagnosis. Acad Med. 1994;69:567-70.

29. Feickert JA, Harris IB, Anderson DC, et al. Senior medical students as simulated patients in an objective structured clinical examination: moti-vation and benefits. Med Teach. 1992;14:167-77.

30. Anderson DC, Harris IB, Allen S, et al. Comparing students’ feedback about clinical instruction with their performances. Acad Med. 1991;66:29-34.

31. Carpenter JL, McIntire D, Battles J, Wagner JM. Administration of a parallel, simultaneous objective structured clinical examination to ac-commodate a large class of students. Teach Learn Med. 1993;5:79-85.

32. Townsend AH, Mcllvenny S, Miller CJ, Dunn EV. The use of an objective structured clinical examination (OSCE) for formative and summative as-sessment in a general practice clinical attachment and its relationship to final medical school examination performance. Med Educ. 2001;35:841-6.



35. Ross JR, Hutcheon MA, Cohen R. Second-year students’ score improve-ment during an objective structured clinical examination. J Med Educ. 1987;62:857-9.

36. Hamann C, Volkan K, Fishman M, Silvestri R, Simon S, Fletcher S. How well do second-year students learn physical diagnosis? Observational study of an objective structured clinical examination (OSCE). BMC Med Educ. 2002;2:1-11.

37. Cohen R, Rothman AJ, Ross J, Poldre P. Validating an objective structured clinical examination (OSCE) as a method for selecting foreign medical graduates for a pre-internship program. Acad Med. 1991;9:S67-9.

38. Petrusa ER, Blackwell TA, Rogers LP, et al. An objective measure of clinical performance. Am J Med. 1987;83:34-42.

39. Prislin MD, Giglio M, Lewis EM, Ahearn S, Radecki S. Assessing the acquisition of core clinical skills through the use of serial standardized patient assessments. Acad Med. 2000;75(5):480-3.

40. Patricio M. A Best Evidence Medical Education (BEME) Systematic Review on the feasibility, reliability and validity of the Objective Struc-tured Clinical Examination (OSCE) in undergraduate medical studies. Tesis Doctoral, Facultad de Medicina, Universidad de Lisboa. 2012. [Internet] Disponible en: http://tinyurl.com/c5c7cbs.

41. Rolfe I, McPherson J. Formative assessment: how am I doing? Lancet. 1995;345(8953):837-9.

http://www.anuies.mx/servicios/p_anuies/publicaciones/revsup/res115/info115.htm

http://www.anuies.mx/servicios/p_anuies/publicaciones/revsup/res115/info115.htm

elaboración de estaciones para el examen clínico objetivo ...co, las indicaciones para el...

Documents