¿Eres un analfabeto numérico?

Si quieres comparar tu nivel de alfabetización numérica con una muestra de personas con estudios universitarios de muchas partes del mundo, puedes realizar este test.

Se lo llama Berlin Numeracy Test y está descrito en este artículo. Y de él extraigo una tabla, la cinco,

en la que aparecen los resultados del test en función de la combinación de país e idioma y ordenados por el porcentaje de respuestas en los cuartiles superiores. Y no me llena ni de orgullo ni de satisfacción, la verdad sea dicha.

9 comentarios sobre “¿Eres un analfabeto numérico?

  1. Juanjo 3 enero, 2013 10:42

    En efecto, los resultados no son para estar orgulloso ni satisfecho.

    Para empezar, podemos sospechar que quienes acceden a realizar el test consideran que lo van a hacer bien -sesgo de autoselección-. Si, en esas circunstancias, casi la mitad de los españoles que hacen el test responden mal a las dos preguntas formuladas, es como para estar muy preocupado.

    Saludos.

  2. Carles 3 enero, 2013 11:27

    Quizás es un poco aventurado, pero creo que también tiene que ver el idioma que se escoge. En el siguiente artículo (http://pss.sagepub.com/content/early/2012/04/18/0956797611432178) se comenta el efecto que tiene saber más lenguas en los sesgos de selección.

    En la tabla de España se muestra cómo idioma el español. Yo hice el test en inglés y en ningún momento me preguntaron por mi país.

  3. sergiojsj 3 enero, 2013 11:47

    Lo que no tengo muy claro es como son capaces de clasificar en cuatro cuartiles con solo dos preguntas. ¿Es la variable tiempo de respuesta también relevante?

  4. sergiojsj 3 enero, 2013 11:55

    Leyendo el articulo explican como lo hacen. Esta bien pensado para no hacer perder el tiempo a la gente respondiendo demasiadas preguntas

  5. Carles 3 enero, 2013 13:56

    Yo tuve que responder tres preguntas.

  6. Malaprensa 3 enero, 2013 15:40

    Muy interesante.
    Algunos matices: más que numeracy en general, desde luego, se mide «risk literacy» o si se quiere «probability literacy».
    Por otra parte, antes de sacar conclusiones excesivas sobre la comparación entre países hay que tener en cuenta que las muestras en las que se basa la tabla están compuestas, básicamente, por estudiantes de primeros cursos de psicología de una sola universidad en cada país (pag. 32-33 del estudio).
    Por tanto, es posible que esto introduzca sesgos en el estudio relacionados con preguntas como estas: ¿cuánto de selectivo es ir a la universidad en cada país? ¿cuál es, en particular, el prestigio, la demanda, y en definitiva, la exigencia para entrar a estudiar psicología en la universidad particular en la que se ha hecho el estudio?
    Sospecho que esas diferencias pueden explicar algunos de los outliers. Y no pienso solo en el caso español, sino también en el de China o Polonia.

  7. datanalytics 3 enero, 2013 17:10

    @Malaprensa Convengo al 100% en lo del título del artículo («numeracy» vs «risk literacy»). Y me llama la atención también la falta de términos en español para denominar y traducir correctamente esas expresiones. Se ve uno obligado a recurrir a perífrasis largas y aburridoras. Es preocupante que ciertas cosas «patentes» no tengan nombre. Supongo que les restan visibilidad.

    Luego, también es cierto que la muestra es solo representativa de ella misma y poco más. Por supuesto, no de España entera. Eso queda claro en el artículo. Lo había leído, pero soy demasiado vago como para explayarme en matices. Me contento con poner una tabla «provocadora» y un enlace al artículo original completo para que los interesados saquen sus propias conclusiones en lugar de tener que conformarse con, tal vez, dar por buenas las mías. Sobre todo porque en estos temas no paso de diletante con curiosidad.

  8. Ademar de Alemcastre 3 enero, 2013 17:59

    A mí me salieron sólo dos preguntas, y saqué la máxima puntuación. No me pareció especialmente complicado, pero tampoco es algo trivial. Como tampoco lo es la comprensión de la estadística, por cierto. Un saludo!

  9. Pedro 4 enero, 2013 14:14

    A ver, una vez leída la parte psicométrica del artículo: ESTO ES UNA CHAPUZA, SEÑORES.

    1º No es un test, es un screening. Vamos, que no es un test psicométrico que pueda proporcionar una escala. ¿Qué es eso de una escala 0-3 con mediana 3? Eso no es una escala psicométrica.

    2º Los 3 tests de «statistical literacy» (que no es tal, perdónenme) tienen un alpha de Cronbach (es una especie de correlación que mide la consistencia interna del test) ronda el 0.5. Esto es, a todas luces, «inaceptable» (http://en.wikipedia.org/wiki/Cronbach%27s_alpha).

    3ª Una de las razones de esa bajísima fiabilidad es la mínima longitud del test. A mayor longitud mayor fiabilidad, es una regla básica. A lo que voy, intenta hacer un test rápido, pero es que *LOS TESTS RÁPIDOS NO SE HACEN ASÍ*. Voy al 4º punto:

    4º ¿Por qué no publican los resultados para los veintitantos items que dicen haber estudiado al principio? (Ojo, con una muestra exclusivamente germana; más concretamente:
    «300 participants (57%
    women) from Berlin, Germany at the Max Planck Institute
    for Human Development. Participants were primarily
    current or former undergraduate or graduate students
    from the Humboldt, Free, and Technical Universities of
    Berlin. The mean participant age was approximately 26
    years old (i.e., 25.86, SD=3.98; range=18–44). Each participant
    completed about six hours of testing over the
    course of two to three weeks in exchange for 40 euro (ca.
    $55). »

    Lo típico de los estudios de Psicología, vamos.

    5º Con esos 28 items sí se puede hacer un análisis de TRI (http://en.wikipedia.org/wiki/Item_response_theory) que proporcione los imprescindibles parámetros de dificultad y discriminación, y no ese invento de árboles que, francamente, y quizás aventurándome donde no me llaman, es una especie de engendro. Ahí radica todo.

    6º ¿Desde cuándo en Psicometría es bueno comenzar con un ítem que discrimina -según los 400 estudiantes germanos de psicología, ojo- el 50%? Fijaos que en función de esa respuesta (0 ó 1, acierto o error) te asignan los restantes items -Figura 1 del artículo-. Así que, en función de esta decisión, tenemos dos escalas, la de listos y la de tontos. Esto no se hace así, los parámetros de los modelos TRI son los que proporcionan esa dificultad y discriminación para ser de verdad adaptativos.

    7º Carlos, pon el título de la tabla que publicas en el blog. Es éste:
    «Table 5: Proportion of participants in each quartile from 14 countries. Quartile scores are estimated based on the
    computer adaptive test algorithm. Countries are ordered by their percentage of top quartile scores. See footnote 8 for
    data from Portugal.»

    «Proporción de participantes en cada cuartil… »

    ¿Pero cada cuartil no tiene el 25%? Ahora resulta que lo que está dentro de la tabla *no* es el valor de la escala (como se hace con todos los tests desde primeros del s.XX), sino el porcentaje de cada muestra que cae en los cuartiles de *su escala*. ¿Qué escala? ¿La que va de 0 a 3? ¿Con mediana 3? Esto no hay por dónde cogerlo. En esa tabla hay cosas raras a patadas, lo cual indica que tienen:
    – muestras de estudiantes aquí y allá
    – el mechanical turk que puede ser … vaya Vd. a saber cómo lo organiza amazon…

    Por favor, ¿por qué no dicen los datos demográficos básicos de cada muestra?

    8ª La validez predictiva *NO SE CALCULA ASÍ* (Tabla 4). En mi vida (profesional) había visto esto: resulta que los más bajos (1er. cuartil) responden correct. a 68% y los mejores al 84%. ¿Y eso es buena validez predictiva?

    Esto no quita para que se pueda «sospechar» que en España los datos hayan sido peores que los de cualquier otro lado. Pero vamos, que como trabajo que ellos mismos se atribuyen como «psychometrically sound», y *aunque la idea sea francamente buena*, sería de suspenso en una asignatura de Psicometría. Francamente.

Los comentarios están desabilitados.