|
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
.2012 - Volumen 5, Número 1 (e)
|
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Diseño y Validación de un Instrumento para la Auto-Evaluación de Competencias Docentes |
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Benilde García-Cabrero, Alejandra Valencia y Vania J. Pineda |
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
La evaluación es un proceso esencial para la mejora de la eficacia de la enseñanza. Aunque puede adquirir diversas formas, e implementarse a través de múltiples modelos y estrategias, la evaluación de la enseñanza siempre involucra de manera directa a los profesores. Román y Murillo (2008), señalan con acierto que el desempeño profesional docente es uno de los principales aspectos que se constituye en objeto de revisión, análisis y reflexión en la búsqueda de respuestas que ayuden a incrementar la calidad de los sistemas educativos. El docente es el actor clave que puede desencadenar cambios sustanciales en los contextos educativos, de allí la importancia de centrar la atención en la evaluación de su desempeño, y asimismo en el desarrollo y promoción de las competencias que configuran su práctica profesional. Una de las aproximaciones que permiten dar cuenta de la eficacia del quehacer del profesor es la autoevaluación de la docencia. A través de esta aproximación es posible involucrar activamente al profesor en la tarea evaluativa y con ello promover también la reflexión critica y constructiva en torno a la práctica docente. Debido a la característica primordial de los procesos autoevaluativos (el agente evaluador y el sujeto evaluado son el mismo individuo), es posible promover la actividad introspectiva del docente, orientada al auto-análisis y la reflexión sobre su práctica docente. La premisa fundamental es que el docente es capaz, a través de sus habilidades metacognoscitivas de analizar sus fallos y aciertos, de realizar una toma de consciencia de los mismos y con ello mejorar su desempeño (Fuentes, y Herrero, 1999). La autoevaluación docente puede constituirse en un camino para promover cierto grado de control sobre el proceso de evaluación por parte del profesor. Esto implicará el involucramiento activo del profesor, aspecto esencial para promover cambios y mejoras sustanciales en la calidad de la educación (Fuentes y Herrero, 1999). Tal y como señala Peterson (1997), otorgar parte del control sobre la evaluación al profesor fomenta la noción de que el profesor es el mejor conocedor de su práctica docente y que la evaluación puede ser una herramienta útil para promover su desarrollo profesional. La autoevaluación es una estrategia que puede aplicarse para satisfacer diversos propósitos. Por ejemplo, puede utilizarse para determinar la efectividad de ciertas prácticas de enseñanza o bien para proporcionar evidencia concreta de la buena enseñanza y con ello establecer un compromiso para su constante mejora. La autoevaluación del profesorado constituye una herramienta útil que permite orientar la práctica evaluativa de la docencia hacia perspectivas centradas en los aspectos formativos del profesional de la enseñanza. Tal y como señalan Contreras y Arbesú (2008), el carácter complejo que define a la autoevaluación implica necesariamente implementarla de manera integral, continua y con sentido formativo y participativo. El proceso autoevaluativo puede adquirir una gran variedad de formas, es por ello que términos como auto-evaluación, auto-valoración, y auto-informe son utilizados frecuentemente de manera indistinta. La variedad de términos refleja las distintas perspectivas que pueden existir en relación con la auto-evaluación. Diversos estudios han encontrado coincidencias sustanciales entre las valoraciones de los estudiantes y del profesor. En particular, los aspectos que tenían similitudes en los puntos de vista de profesores y estudiantes eran los relacionados con la efectividad del maestro en su desempeño. Aunque también ha sido posible establecer una consistencia entre las valoraciones realizadas por estudiantes, colegas y las auto-valoraciones, difícilmente estas similitudes se correlacionan sigfnificativamente con el logro del estudiante. Al llevar a cabo un proceso de autoevaluación es necesario que los profesores tengan en mente aquellos aspectos que desean mejorar o cambiar. Para ello, los maestros deben estar abiertos a la crítica y ser conscientes de sus fortalezas y debilidades para efectuar un cambio real en su desempeño docente. Diversos autores coinciden en señalar que la evaluación realizada por los alumnos sólo produce una pequeña mejora en la eficacia de la enseñanza (e.g. Saroyan, 2001). Estas evaluaciones por sí mismas no pueden inducir el cambio, sin embargo, pueden ser utilizadas como fuente de información primaria. Por su parte, las autoevaluaciones de los profesores generalmente no coinciden con las valoraciones realizadas por los estudiantes, ya que los profesores, tienden a valorar su desempeño de una mejor manera que los alumnos. La autoevaluación es inherente a la enseñanza, ya sea que se realice de forma consciente o inconsciente. Para que el profesor pueda ser consciente de cómo está desarrollando su enseñanza, es necesario generar condiciones como talleres de formación y actualización dirigida a apoyar el proceso de reflexión de los profesores, de tal manera que aspectos implícitos de su enseñanza, se hagan explícitos y conscientes. En sus argumentaciones sobre la práctica reflexiva, Schön (1991) denomina a este proceso, comportamiento consciente o bien "conocimiento en la acción" y plantea que debemos reflexionar sobre dicho conocimiento para poder mejorar nuestras habilidades conscientes de enseñanza. Al reflexionar sobre su desempeño, los profesionales de la enseñanza pueden descubrir la relación que existe entre la "buena enseñanza" y el "aprendizaje efectivo". Elizalde y Reyes, (2008) señalan que se requiere una cultura de evaluación (madurez y responsabilidad) por parte de los docentes, lo cual implica una sensibilización, a fin de disminuir el sesgo en el uso de cuestionarios de auto-evaluación. Al implementar la autoevaluación, se corre el riesgo de que los docentes sean poco objetivos y puedan utilizar esta estrategia como forma de autojustificación, por lo que no se recomienda como el único modelo de evaluación docente. Estas limitaciones pueden superarse utilizando esquemas híbridos de evaluación de la docencia que permitan la participación activa del docente, y por ende el uso de la autorreflexión como herramienta para el perfeccionamiento de la práctica docente, y al mismo tiempo faciliten la inclusión de puntos de vista externos para superar las limitaciones mencionadas líneas arriba. Así mismo se requiere de indicadores objetivos contra los cuales el docente pueda autoevaluarse, con lo cual puede incrementarse la credibilidad acerca de los resultados producidos por la autoevaluación docente (Roe, 1982). El instrumento que se describe en este artículo, pretende superar algunas de las limitaciones que se le atribuyen a la autoevaluación docente, entre ellas el hecho de que si los profesores no participan en la construcción de los instrumentos, difícilmente pueden sentirse identificados con las dimensiones que se incluyen en los mismos, por lo cual en el presente trabajo se incluyó una fase de adaptación del instrumento a las características particulares del contexto donde iba a ser aplicado. En este proceso participaron profesores de diferentes disciplinas, lo cual agregó credibilidad al proceso y permitió que la estrategia de autoevaluación propuesta pudiese ser adoptada. Por otra parte, también se cuido que existiese una relación estrecha con un modelo teórico de evaluación de la enseñanza (García-Cabrero, Loredo, Luna y Rueda, 2008) y que se construyera a partir de una serie de indicadores previamente validados, claros y sistemáticos. 1. DESARROLLO 1.1. Antecedentes El Cuestionario de Autoevaluación de los Profesores (CAP) desarrollado por Rueda y García-Cabrero (2010), se tomó como base para desarrollar el cuestionario que se presenta en este reporte. El cuestionario original fue adaptado para responder a las características particulares del contexto institucional de una universidad pública del sureste mexicano; esta versión adaptada se denominó Cuestionario de Autoevaluación de las Competencias Docentes (CAE-CD). El CAE-CD (ver anexo 1), fue desarrollado para promover la reflexión de los profesores acerca de su práctica docente, para acercarlos a la comprensión y análisis de las fortalezas y debilidades de su quehacer docente, con la intención de servir como insumo para la mejora de sus estrategias de planeación, conducción y evaluación de la enseñanza. El cuestionario se desarrolló tomando en consideración las competencias propuestas en el Modelo de Evaluación de Competencias Docentes (MECD) de García-Cabrero, Loredo, Luna y Rueda (2008) que fue validado en la Facultad de Psicología de la UNAM, en colaboración con expertos del Instituto de Investigaciones sobre la Universidad y la Educación (IISUE), la Universidad Iberoamericana, la Universidad Autónoma de Baja California (UABC) y la Universidad Autónoma de Yucatán (UADY). A continuación se presentan las competencias e indicadores de dicho modelo: Tabla 1. Competencias e indicadores del MECD
Fuente: Tomada de García-Cabrero, Loredo, Luna y Rueda (2008) El CAE-CD está compuesto por 40 reactivos distribuidos en las siguientes dimensiones: a) Planeación del curso, b) Conducción de secuencias didácticas, y d) Evaluación de la progresión de los aprendizajes (ver tabla 2).Tabla 2. Distribución de reactivos en el CAE-CD
La escala de respuesta del instrumento es de tipo Likert de cinco categorías, con puntuaciones que van del 0 al 4: Deficiente (1), Aceptable (2), Satisfactorio (3), Muy satisfactorio (4); y No aplica porque… (0). Para determinar el nivel de desempeño de la práctica docente en cada dimensión, se realiza la suma de los puntajes obtenidos en el grupo de reactivos de cada dimensión y se ubica la puntuación total en una rúbrica (ver anexo 2) que consta de cuatro niveles de desempeño: Deficiente, Aceptable, Satisfactorio y Muy satisfactorio. 1.2. Método 1.2.1. Fase de diseño/Adaptación La fase de diseño/adaptación del Cuestionario de Autoevaluación de los Profesores se llevó a cabo a través de un taller de sensibilización que se realizó en dos días consecutivos. 1.2.1.1. Muestra Participaron en el taller un total de 81 profesores que pertenecían a diferentes “Consorcios” (áreas académicas de la Universidad). Los asistentes por consorcio fueron: 15 del consorcio Agropecuario, 6 de Ciencias de la Salud, 30 de Ciencias Sociales y Humanidades, 20 de Ciencias Contables y Administrativas, y 10 de Ingeniería-Arquitectura y Ciencias Básicas. Entre los asistentes se encontraban directores o secretarios académicos y profesores de los centros psicopedagógicos de la institución educativa. 1.2.1.2. Procedimiento Para llevar a cabo el proceso de adaptación del instrumento se desarrollaron las siguientes actividades:
1.2.2. Fase de validación del instrumento 1.2.2.1. Muestra Para el proceso de aplicación validación del Cuestionario de Autoevaluación de Competencias Docentes (CAE-CD), se invitó al 100% (2132) de los profesores de la universidad. El cuestionario fue contestado únicamente por 374 profesores de diferentes áreas académicas o consorcios: administración-contaduría (143), arquitectura-ingeniería (26), ciencias de la salud (6), ciencias agropecuarias (113) y ciencias sociales y humanidades (83). La mayoría de los participantes eran hombres (68%) y un gran porcentaje (69%) contaban con once años o más de experiencia docente. 1.2.2.2. Procedimiento
1.2.3. Resultados El análisis factorial reveló que los reactivos del instrumento se agrupan en cuatro escalas (ver tabla 3). Debido a esto, los reactivos en la dimensión “conducción de secuencias didácticas” se reagruparon dando lugar a la dimensión “comunicación y valores”. Tabla 3. Distribución de reactivos por dimensión considerando los resultados del análisis factorial.
Para el caso de las asignaturas consideradas como menos competentes, los resultados mostraron que las escalas de planeación del curso, evaluación de la progresión de los aprendizajes y comunicación y valores son unidimensionales. El factor de la escala de planeación, conformado por nueve reactivos, tuvo un valor propio de 3.93 y explicó 43.73% de la varianza total, y sus cargas factoriales fueron superiores a 0.50; su coeficiente de consistencia interna alfa de Cronbach fue 0.81. El factor de la escala de evaluación, integrado con seis reactivos cuyas cargas factoriales fueron superiores a 0.56, tuvo un valor propio de 2.80 y explicó 46.73% de la varianza total; su alfa de Cronbach fue 0.75. Para la escala de comunicación y valores su valor propio fue 2.94, porcentaje de varianza explicada de 49%, cargas factoriales de más de 0.63 y coeficiente alfa de 0.78. La escala de conducción de secuencias didácticas mostró una estructura bidimensional, cuyos factores explicaron en conjunto 53.09% de la varianza total. El factor 1, con un valor propio de 6.00 y un porcentaje de varianza total de 31.62%, quedó conformado por 13 reactivos referentes a las estrategias de enseñanza del profesor. Su alfa de Cronbach fue 0.91. Los reactivos que lo integran son: 24, 28, 15, 21, 13, 26, 20, 12, 17, 29, 27, 25, y 19. El segundo factor, con un valor propio de 4.08 y porcentaje de varianza total de 21.47%, quedó integrado por seis reactivos. El factor fue denominado: Promoción del Aprendizaje y Comprensión del Conocimiento, el cual presenta un alfa de Cronbach de 0.85. Los reactivos que corresponden a este factor son: 35, 32, 34, 31, 33, 30. Respecto de esta escala, cabe mencionar que en la matriz no rotada todos los reactivos presentaron cargas altas en el primer factor, lo que señala que miden un solo constructo. Como puede advertirse, todas las escalas poseen propiedades psicométricas aceptables. Para el caso del análisis de la autoevaluación en la materia menos competente, todas las escalas mostraron una estructura unidimensional con porcentajes de varianza explicada superiores a 0.58 y cargas factoriales superiores a 0.55. Asimismo, se obtuvieron valores alfa de Cronbach superiores a 0.87 lo cual comprueba que el hecho de responder al CAE-CD considerando dos niveles de desempeño (menos competente y más competente) no introduce un sesgo en la validez ya que se mantiene la unidimensionalidad de la escala. Para determinar diferencias en las competencias medidas según la materia evaluada, se realizó una prueba t para muestras relacionadas. Los resultados se presentan en la tabla 4. Tabla 4. Diferencias entre las medias de la autoevaluación de las competencias respecto a las materias percibidas como más competente y menos competente
Como puede observarse en la tabla 4, los profesores se calificaron más alto en la materia en la que se perciben más competentes respecto de la que se perciben como menos competentes, y por otro lado, también puede advertirse que a pesar de esto, los profesores se calificaron con puntajes altos en ambas materias. Las figuras 1, 2, 3 y 4 muestran las medias obtenidas por los profesores en las diferentes competencias por materia y consorcio. En ellas se observa la tendencia de los profesores a calificarse más alto en la materia que se perciben más competentes, particularmente en la competencia de comunicación y valores. Por otro lado, llama la atención que los profesores del consorcio Ciencias de la Salud obtienen puntajes muy similares a los del resto de los consorcios, a pesar de que se trata de una muestra muy pequeña (n = 6) respecto de las otras. Esto parece indicar que los profesores de este consorcio tienden a valoran su desempeño de manera alta. En consonancia con lo anterior, en la figura 1 puede apreciarse que los profesores del consorcio Ciencias de la Salud valoran su desempeño efectivamente con un mayor puntaje en relación con las actividades de planificación del proceso de enseñanza aprendizaje de la asignatura en la que se consideran más competentes. Por su parte, los profesores del Consorcio Ciencias Agropecuarias son los que valoran más bajo su desempeño en la asignatura en la que se consideran menos competentes. Figura 1. Puntaje promedio en cada materia por consorcio en la competencia La figura 2 muestra cómo valoran su desempeño los profesores en relación con las competencias de Conducción de Secuencias Didácticas. El Consorcio Ciencias Sociales y Humanidades se valora en un 99% del puntaje de Ciencias de la Salud, siendo los dos consorcios que evaluaron su desempeño con puntajes altos en la asignatura en la que se consideran más competentes. Por su parte, el Consorcio Arquitectura-Ingenierías valoró su desempeño con un puntaje promedio de 60.69, siendo este el más bajo para las asignaturas en las que los profesores se consideran menos competentes. Figura 2. Puntaje promedio en cada materia por consorcio en la competencia En la figura 3 puede observarse que en la asignatura en la que se consideran más competentes, los profesores del Consorcio Ciencias Sociales y Humanidades valoró su desempeño con puntajes más altos que el resto de los consorcios en la competencia “Conducción de Secuencias Didácticas”. Mientras que el consorcio Arquitectura-Ingenierías es el que valora su desempeño con puntajes relativamente más bajos en la asignatura en la que se consideran menos competentes. Figura 3. Puntaje promedio en cada materia por consorcio en la competencia La figura 4 muestra los resultados de la autoevaluación docente en relación con la competencia Evaluación de la Progresión de los Aprendizajes. Como puede observarse, esta escala fue la que mostró puntajes más similares entre las asignaturas en las que los profesores se consideran más y menos competentes. El Consorcio Ciencias Sociales y Humanidades fue el que obtuvo los puntajes más altos (22.52 y 19.91); en esta dimensión en ambas asignaturas (competente y menos competente). Como puede notarse, la diferencia entre un puntaje y otro es apenas del 11.5%. Figura 4. Puntaje promedio en cada materia por consorcio en la competencia 2. CONCLUSIONES El CAE-CD es un instrumento con altos grados de fiabilidad en sus escalas, lo que demuestra que efectivamente se comportan o responden a dimensiones de la evaluación de la docencia. El instrumento es válido y confiable, por lo que su uso puede promover efectivamente los procesos de reflexión docente con base en criterios e indicadores validos. Los resultados de la autoevaluación docente permiten inferir tal y como la literatura lo revela, que los profesores tienden a valorarse con puntuaciones elevadas. Esto se hace evidente sobre todo al observar las puntuaciones con las que se valoraron en la asignatura en la que se consideran menos competentes. Las calificaciones obtenidas en la asignatura valorada como más competente, no eran superiores más que en un 14.1% respecto de las que obtuvieron en la asignatura en la que se consideran menos competentes. Lo anterior puede deberse a que el ejercicio de autoanálisis que supuso participar en este proceso de autoevaluación docente no se realizó con base en una postura crítica y que muy probablemente hizo falta llevar a cabo una labor previa de sensibilización que facilitara y orientara el proceso de reflexión de los profesores en torno a su práctica docente. De allí la importancia de mantener en todo proceso evaluativo un alto nivel de transparencia y claridad en los objetivos que se persiguen. En el contexto particular en el que se llevó a cabo el presente estudio, existieron factores institucionales que impidieron tener el control respecto de la sensibilización con los docentes. No obstante, es importante que las instituciones tomen la iniciativa en la implementación de modalidades de autoevaluación docente, para con ello dar inicio a la construcción de una cultura del auto-análisis, la autovaloración y la reflexión individual y conjunta para promover la mejora de la enseñanza en particular y la educación en general.
REFERENCIAS BIBLIOGRÁFICAS Contreras, G. y Arbesú, M.I. (2008). Evaluación de la Docencia como Práctica Reflexiva. Revista Iberoamericana de Evaluación Educativa, 1(3e), pp. 137-153. Disponible en: http://www.rinace.net/riee/numeros/vol1-num3_e/art9.pdf. Consultado el (Fecha). Elizalde, L. y Reyes, R. (2008). Elementos clave para la evaluación del desempeño de los docentes. Revista Electrónica de Investigación Educativa, Especial. Disponible en: http://redie.uabc.mx/NumEsp1/ contenidoelizaldereyes.html. Fuentes, M. E. y Herrero, J. R. (1999). Evaluación docente: hacia una fundamentación de la autoevaluación. Revista electrónica interuniversitaria de formación del profesorado, 2(1), 353-368. Disponible en: http://www.aufop.com/aufop/uploaded_files/articulos/1224341555.pdf. García-Cabrero, B., Loredo, J., Luna, E. y Rueda, M. (2008). Modelo de evaluación de competencias docentes para la educación media y superior. Revista Iberoamericana de Evaluación Educativa, 1 (3e), 124-136. Disponible en: http://www.rinace.net/riee/numeros/vol1-num3_e/art8.pdf. Peterson, K. D. (1997). Asesoramiento y evaluación para el profesorado principiante, En: J. Millman y L. Darling-Hammond (Eds.), Manual para la formación del profesorado Madrid: La muralla, S.A. Roe, E. (1982). Reflections of an Evaluator. Higher Education Research and Development, 1, 129-142. Román, M. y Murillo, F. J. (2008). La Evaluación del Desempeño Docente: Objeto de Disputa y Fuente de Oportunidades en el Campo Educativo. Revista Iberoamericana de Evaluación Educativa, 1(2), 1-6. Rueda, M. y García-Cabrero. B. (2010). Cuestionario de Autoevaluación de los Profesores. Documento inédito de circulación interna. México: Facultad de Psicología/IISUE. Saroyan, A. (2001). Evaluation of teaching for improvement: A myth or a reality? En: M. Rueda, F. Díaz-Barriga, y M. Díaz (Eds.), Evaluar para comprender y mejorar la docencia en la educación superior. México: CESU-UAM. Schön, D. A. (1991). Educating the Reflective Practitioner. San Francisco: Jossey-Bass.
{1} En vista de que el número de asignaturas que los profesores imparten en un semestre es muy variable y que el desempeño docente varía dependiendo de la asignatura que se imparte, se decidió que los profesores respondieran el cuestionario dos veces, tomando dos asignaturas con diferentes niveles de desempeño (más competente y menos competente) para con ello obtener un desempeño “promedio” o general del profesor.
ANEXOS Anexo 1 El presente cuestionario tiene como propósito obtener información sobre su desempeño con el fin de que pueda realizar una reflexión sobre su práctica que contribuya a mejorar su docencia, por lo que le sugerimos que responda con honestidad y de la manera más objetiva posible. Instrucciones generales El cuestionario de autoevaluación de las competencias docentes que usted responderá a continuación se encuentra conformado por los siguientes apartados:
1) DATOS GENERALES
3) AUTOEVALUACIÓN DOCENTE Instrucciones A continuación se presentan una serie de afirmaciones en relación con algunas de las actividades que usted realiza al impartir la asignatura que previamente ha seleccionado. Lea cuidadosamente cada una de las afirmaciones y reflexione acerca de su desempeño como profesor. Marque con una X, la opción de respuesta que corresponda, de acuerdo con la siguiente escala:
|
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||