Modelos y sesgos (discriminatorios): unas preguntas

A raíz de mi entrada del otro día he tenido una serie de intercambios de ideas. Que han sido infructuosos porque no han dejado medianamente asentadas las respuestas a una serie de preguntas relevantes.

Primero, contexto: tenemos un algoritmo que decide sobre personas (p.e., si se les concede hipotecas) usando las fuentes de información habitual. El algoritmo ha sido construido con un único objetivo: ser lo más eficiente (y cometer el mínimo número de errores) posible. Usa además datos históricos reales. Lo habitual.

En la población existe un subgrupo B que, con razón o sin ella, se siente discriminado por el algoritmo.

Una primera pregunta que cabe plantearse es si el sesgo es bug o feature. En el primer caso, es culpa de los desarrolladores y cabe suponer que la entidad que lo utiliza está perdiendo dinero y cuota de mercado en favor de otras menos gañanas. Pero si es feature, la respuesta más interesante, ya no cabe hablar de prejuicio (sino de un juicio sinténtico a posteriori en toda regla).

En tal caso (el segundo), cuando el algoritmo está bien calibrado, ¿debería cambiarse por otro? Un ingrediente fundamental en la creación de un algoritmo es la definición de la función de error, que resume el objetivo que se quiere alcanzar. En nuestro caso, la rentabilidad económica (posiblemente operativizada en accuracy). Las funciones de error, salvo raras excepciones que confirman la regla, subsumen objetivos simples (que habitualmente son variantes de acertar) y resultaría complicado incluir en ellas correcciones para incluir objetivos subsidiarios (como los que precisaría el constructivismo social).

Pero ha quedado escrito por aquí como la ciencia de datos no es otra cosa que materia prima para un proceso de toma de decisiones (informadas) subsiguiente. Si hay un sesgo en el resultado del proceso de toma de decisiones, ¿es de recibo culpar a un único paso intermedio (el algoritmo)?

Finalmente, si el proceso de toma de decisiones (a partir de la información provista por el algoritmo) conduce a tomar decisiones que algunos consideran más justas pero que son menos rentables económicamente para la entidad que opera el algoritmo, ¿debería considerarse esa pérdida de eficiencia una especie de impuesto sobre la entidad? ¿Debería ser la entidad la responsable de cargar con el impacto económico de las ensoñaciones utopistas de algunos? Tal vez, si la mitad más uno estuviese de acuerdo, podría articularse algún tipo de subvención, línea de crédito especial o similar a cargo del erario público para compensar a las entidades esa pérdida económica.

7 comentarios sobre “Modelos y sesgos (discriminatorios): unas preguntas

  1. Diego 14 noviembre, 2018 14:20

    También sería una propuesta muy interesante para recuperar de forma indirecta el dinero que se ha aportado desde el estado para rescatar a los bancos. Eso sí, manteniendo la eficiencia del algoritmo al 100% y luego calcular las pérdidas estimadas por aceptar según que hipotecas y contabilizarlas como impuesto social y no tanto como una línea de crédito especial al banco sino como recuperación gradual del dinero que se ha invertido ya. Según desde donde lo mires…

  2. Jesús 14 noviembre, 2018 15:27

    Hola,
    Pues me atrevo a pedirle que pusiera a disposición del público las notas punks.
    Creo que serían un material excelente.
    Yo la verdad es que se lo agradecería .
    Un saludo

  3. Carlos J. Gil Bellosta 15 noviembre, 2018 13:30

    No sé qué tiene que ver lo que comentas con nada de lo que he publicado.

  4. Daniel 16 noviembre, 2018 10:55

    Hola, soy un hombre y alguna vez he hecho un scoring de crédito donde ser hombre penalizaba.
    Fin.
    Espero que no exista una asociación de hombres discriminados por la banca que me ponga una demanda.

  5. Jesús 17 noviembre, 2018 0:14

    ‘Estoy escribiendo unas notas muy punk sobre estadística.’…
    del post del 22/05/2018

Comenta

Your email address will not be published.

Puedes usar estas etiquetas y atributos de HTML: <a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code class="" title="" data-url=""> <del datetime=""> <em> <i> <q cite=""> <s> <strike> <strong> <pre class="" title="" data-url=""> <span class="" title="" data-url="">

Este sitio usa Akismet para reducir el spam. Aprende cómo se procesan los datos de tus comentarios.