Testing-Quest es una tecnología y servicio académico especializado en el análisis y auditoria de calidad de test, exámenes y cuestionarios.
Los proyectos de desarrollan en el ámbito de la investigación por contrato a través de la Fundació Bosch i Gimpera de la Universidad de Barcelona.
Testing-Quest ayuda a responder cuestiones como estas:
Testing-Quest is an academic service and technology specialized in the analysis and audit of the quality of tests, exams, and questionnaires.
The projects have been developed within the research environment contracted thorough the Bosch i Gimpera Foundation from the University of Barcelona.
Testing-Quest helps answer questions such as the following:
Testing-Quest ofrece soporte metodológico especializado en proyectos de análisis de la calidad de test, exámenes y cuestionarios.
Líneas de actuación:
El resultado de esta labor valida el proceso de evaluación y optimiza tiempo y esfuerzos.
Problemas habituales:
El desgaste de los test, su divulgación y la necesidad de reajuste requieren cada vez más atención de quienes los gestionan. Mantener la calidad de estos instrumentos es la única vía que garantiza su utilidad y objetividad.
En educación, diagnóstico, selección, RRHH, ergonomía, etc. son frecuentes las sospechas sobre test poco eficaces o injustos. Todo ello pone en cuestión la validez de la evaluación.
La publicación de un test no siempre garantiza su fiabilidad y puede arrastrar una falta de precisión de sus resultados. Esto se agrava en pruebas online sin datos técnicos que informen de su validez. En estos casos es recomendable una auditoría preventiva que muestre las verdaderas cualidades del instrumento antes de utilizarlo.
En muchas convocatorias (oposiciones, exámenes,..) los examinados detectan preguntas dudosas que hacen sospechar de la validez del proceso de evaluación. Cuando esto ocurre es conveniente hacer una auditoria reactiva del examen que puede servir de base en un dictamen técnico en procesos de reclamación.
Un estudio adecuado del test permite optimizar el funcionamiento de las preguntas y cuantas son necesarias. Con ello se reduce el tiempo de examen, el esfuerzo de los examinados y las tareas de corrección e interpretación.
Los baremos y tablas normativas de muchos test están desfasadas y no siempre incluyen el perfil de los examinados a evaluar. El uso de unos baremos inadecuados sesga los resultados y lleva a una evaluación injusta.
Muchos profesionales deben manejar datos rigurosos sobre aspectos subjetivos (conocimientos, opiniones, percepciones…) de los miembros de su organización. La metodología para elaborar un test o un cuestionario no es simple y requiere de un proceso metodológico muy sistemático.
Testing-Quest offers methodological support specialized in analytical projects for test, exam, and questionnaire quality.
Intervention lines:
All of the above validate the assessment process and optimize time and effort.
Common problems:
The wear and tear of tests, their dissemination, and need for readjustment all require constant attention from those who are responsible for them. The maintenance of such tools is the only manner to ensure their usefulness and objectivity.
In the fields of education, diagnosis, selection, human resources, ergonomics and the like, tests are frequently suspected to be inefficient or unfair. All of which leads to doubts concerning their validity.
The publication of a test does not always guarantee its reliability and may aggravate the lack of precision in its results. This situation worsens in online tests without technical data concerning their validity. In such cases, a preventive audit is recommended in order to verify the real qualities of the instrument before use.
In many official or large scale exams the examinees detect doubtful questions which make them suspect the validity of the evaluation process. When this takes place, it is a good idea to carry out a reactive audit of the exam which may serve as the base of a technical ruling in complaint processes.
A correct study of the test allows optimization of the questions and establishes how many are necessary. In this way, the time needed for the exam is shortened, the examinees’ efforts lessened, and tasks of correction and interpretation reduced.
The scales and normative tables of many tests are outdated and do not always take into account of the profile of the examinees. The use of unsuitable scales leads to a result bias and an unfair evaluation.
Many professionals have to handle stringent information regarding subjective aspects (e.g. knowledge, opinions, perception) concerning the members of their organization. The methodology to draw up a test or questionnaire is not simple and needs to be extremely systematic.
Desde hace años el equipo de Testing-Quest ha venido proporcionando asesoramiento y formación especializada a profesionales de la educación, salud, responsables de recursos humanos, selección y formación en organizaciones.
El común denominador de los proyectos ha sido optimizar sus métodos e instrumentos de evaluación.
Testing-Quest proporciona soluciones a profesionales que precisen:
For some years, the Testing-Quest team has been providing assessment and specialized training to professionals in the fields of education, health, human resources, selection, and instruction in organizations.
Testing-Quest presents solutions to professionals who need to ...
Todos los proyectos de Testing-Quest se desarrollan mediante contratos-convenio a través de la Fundació Bosch y Gimpera de la Universidad de Barcelona.
El ámbito de actuación es la investigación por contrato en el marco de la transferencia de conocimiento entre universidad y empresa.
La FBG dispone de varios modelos de acuerdos ajustados a diferentes tipos de relación con las organizaciones interesadas. En función de cada caso se aplica el modelo más adecuado.
All the Testing-Quest projects are developed with contracts/agreements through the Bosch i Gimpera Foundation from the University of Barcelona.
The area of intervention is contracted research within the framework of knowledge transfer between the university and the business world.
The Bosch i Gimpera Foundation has a number of agreement models available according to the different kinds of relationships between the interested parties. The most appropriate model is selected following suitability criteria.
Consiste en una tarea logística previa a cualquier proyecto psicométrico. Se trata de valorar los recursos y tiempo que van a ser necesarios para su desarrollo.
Se define todo el proceso de desarrollo del instrumento. Esto incluye el contenido, formato, muestreo, cronograma, estudio del entorno y finalidad de la nueva prueba.
Muchas organizaciones que administran test disponen de suficientes datos como para elaborar estudios particulares que actualicen y optimicen dichos instrumentos para sus objetivos concretos de evaluación.
Antes de abordar evaluaciones a gran escala es conveniente efectuar ensayos y muestreos con el fin de anticipar posibles anomalías en los instrumentos empleados. En la mayoría de casos estos proyectos suponen también un ahorro de recursos.
Consiste en verificar las cualidades métricas de un test sospechoso de no cumplir su función como instrumento de evaluación. Básicamente se trata de hacer el test del test en procesos de reclamación.
Testing-Quest ofrece formación orientada a usuarios de test interesados en la gestión autónoma y responsable de estas herramientas: Planificar y diseñar nuevas pruebas, actualizar y adaptar las que ya funcionan en otros ámbitos, obtener el mayor rendimiento de un test o encuesta, analizar sus principales indicadores psicométricos, interpretar sus resultados y puntuaciones, valorar los diferentes productos del mercado.
They consist of a logistic task prior to any psychometric project. The task evaluates the resources and time required to carry out the project.
The development of the instrument is defined including content, format, sampling, schedule, environment study, and objective of the new test.
Many organizations administering tests have sufficient data to create their own studies which can update and optimize these tools for specific evaluation objectives.
Before tackling large scale evaluations it is useful to carry out rehearsals and sampling in order to anticipate possible anomalies in the instruments used. In most cases, such projects also imply a saving in resources.
This consists of verifying the metric qualities of a test when it is suspected that it does not fulfill its function as an evaluative tool. Basically, it consists of a ‘test of the test’ in complaint processes.
Testing-Quest offers training for test users interested in autonomous management and responsible for these tools. It includes planning and designing new tests, updating and adapting those already working in other environments, obtaining optimum performance from a test or questionnaire, analyzing its main psychometric indicators, interpreting its results and scores, and evaluating different products on the market.
Testing-Quest incluye una aplicación Web que efectúa el control de calidad de las cualidades métricas de un test, examen o cuestionario. El programa es una derivación de desarrollos anteriores y forma parte del catálogo de tecnologías a licenciar de la Fundació Bosch y Gimpera.
Para el análisis se precisa del archivo de datos con la matriz de respuestas de los examinados al test, y clave de puntuación, en una estructura simple (formato hoja de cálculo). Opcionalmente, en función del proyecto, también requiere el original de la prueba, datos descriptivos de las preguntas y de los examinados así como información contextual del proceso de evaluación en que se aplica el test.
A modo de ensayo la opción Análisis ofrece la posibilidad de practicar diferentes análisis de bancos de datos de prueba.
Testing-Quest includes an online application which carries out a quality control of the metric qualities of a test, exam, and questionnaire. The program has been created from previous developments and forms part of the catalog of licensed technologies from the Bosch i Gimpera Foundation.
In order to carry out the analysis, data from the examinees’ response matrix, the scoring key, and a simple structure (worksheet format) are required. Optionally, depending on the function of the project, the original exam, descriptive data of the questions and examinees, and contextual information regarding the evaluation process may be needed.
Testing-Quest admite ítems de puntuación dicotómica (binarios, alternativa múltiple,…) y también graduada (Rating Scales, tipo Likert,..).
Tras cargar el archivo de datos el programa efectúa tres tipos de análisis.
El primero proporciona indicadores gráficos y numéricos del funcionamiento general del test.
Testing-Quest allows dichotomous (e.g. binary format, multiple-choice) and graduated (e.g. rating scales, Likert) item scoring.
Once the data file has been uploaded the program carries out three kinds of analysis.
The first shows graphic and numerical indicators regarding the general functioning of the test.
El segundo informa de la adecuación de las preguntas, de cada una de sus alternativas de respuesta y de las respuestas en blanco (omisiones). Es un análisis principalmente gráfico que informa del funcionamiento de cada ítem como pieza del examen. Al igual que en desarrollos anteriores aquí se analiza tanto las respuestas como las no respuestas.
The second describes the suitability of the questions, each of the answer alternatives, and the blank responses (omissions). It is basically a graphic analysis which provides information about the functioning of each item representing part of the exam. As in the previous analysis it evaluates both answers and omissions.
El tercer bloque informa de las puntuaciones de los examinados y sus índices de coherencia de respuesta y de coincidencia de errores (hábitos de estudio, sospecha de copia, etc.).
The third block depicts the examinees’ scores, their indices of response coherency, and error matching (e.g. study habits, suspicions of copying).
Todos estos resultados pueden conducir a cambios en la clave de corrección, a la eliminación de preguntas, recodificación de respuestas, identificación de examinados con respuestas anómalas, etc. Se trata de un proceso cíclico de depuración del test original que se repite hasta converger en la versión óptima del mismo con los mejores indicadores de calidad.
Este análisis se ha diseñado para dar respuesta a procesos de auditoría de test a gran escala y su aplicación viene condicionada por los datos disponibles, el tipo de proyecto y el modelo de contrato. A modo de ensayo a continuación se ofrece la posibilidad de analizar con diversos bancos de datos de prueba.
All of these results can lead to changes in the answer key, elimination of questions, re-coding of answers, identification of examinees with anomalous responses and the like. It is cyclical refinement process of the original exam which can be repeated until the optimum version with the best quality indicators is obtained.
This analysis has been designed for audits of large scale tests and its application depends on the data available, the type of project, and the contract model. To practice with this tool there is the possibility of analyzing different test databases.
Desde 1990 el equipo de Testing-Quest ha colaborado en proyectos psicométricos con
From 1990 the Testing-Quest team have collaborated in psychometric projects with a number of
Diversas Instituciones
Different Entities:
Jordi Renom Pinsach es profesor de la Facultad de Psicología de la Universidad de Barcelona. Desde 1987 sus areas de intervención son la medición psicológica y educativa y el factor psicológico en deporte.
Ha sido formador y consultor metodológico en más de 80 proyectos de transferencia de conocimiento entre la universidad y empresas de diferentes sectores. Se ha especializado en el diseño y validación de procedimientos de evaluación en psicologia, educación, salud y deporte.
Ver Más+34-933-125-075
jrenompinsach@ub.edu
Dept. de Psicología Social y Psicología Cuantitativa
Facultad de Psicología, Campus Mundet, Universitat de Barcelona
Avda. Vall d'Hebron 171. Barcelona - 08034
Coord. 41.437844, 2.141807