La acepción más difundida del término “inclinación” significa simplemente “desviación”. Debido al uso indiscriminado de este término, algunas veces el mismo es utilizado con un sentido relativamente neutral, por ejemplo, un comprador en una tienda puede “inclinarse” a no comprar fruta en mal estado. En otras ocasiones el término inclinación se emplea con un notable sentido moral, por ejemplo, un empresario puede tender a no contratar personas de grupos étnicos minoritarios. En el presente artículo, nos enfocamos en casos como los de este último ejemplo, a fin de poder desarrollar criterios para juzgar la calidad de los sistemas informáticos en uso, el cual constituye nuestro objetivo, dichos criterios deben estar delineados de manera que respondan con firmeza y precisión a los asuntos de relevancia social. Para ello sólo nos enfocaremos en sesgo con implicaciones morales.
Por consiguiente, usamos el término “sesgado” para referirnos a sistemas informáticos que sistemática e injustamente discriminan a ciertos individuos o grupos de individuos en favor de otros. Un sistema discrimina injustamente cuando niega una oportunidad, un beneficio o asigna un resultado no deseado a un individuo o a un grupo de individuos por motivos no razonables o inapropiados. Consideremos, por ejemplo, un asesor automatizado de créditos que ayuda en la decisión de extender o no un crédito a un solicitante en particular, si el asesor niega el crédito a un individuo con un historial de pagos retardados, no significa que sea un sistema sesgado, puesto que es razonable y pertinente para una compañía de créditos evitar extender privilegios crediticios a personas que no pagan regularmente sus deudas. Por otro lado, si un asesor de crédito asigna sistemáticamente malas valoraciones crediticias a individuos con apellidos étnicos, está discriminando en ámbitos que no son relevantes para una evaluación de créditos, por lo tanto, discrimina de manera injusta.
Dos consideraciones a tomar en cuenta, en primer lugar, una discriminación injusta por sí misma no da lugar al “sesgo” al menos que ocurra sistemáticamente. Tomando de nuevo en consideración el caso del asesor automatizado de créditos, imaginemos una falla aleatoria en el sistema que en un caso aislado cambie información en una copia del historial de crédito de un solicitante con un apellido de origen étnico; el cambio de información provocaría una degradación en la calificación del solicitante. En tanto que la discriminación injusta sea el resultado de una falla aleatoria del sistema, el solicitante perjudicado pudo haber sido cualquier persona. En un incidente repetido, el mismo solicitante u otros con similares aspectos étnicos no estarían en situación especial de ser señalados. De este modo, si el sistema es propenso a errores aleatorios, no quiere decir que esté sesgado.
En segundo lugar, una discriminación sistemática no establece sesgos a menos que esté relacionado con un resultado improcedente. En este sentido podemos citar la guerra del Golfo Pérsico, donde los misiles Patriot de los Estados Unidos fueron usados para detectar e interceptar los misiles Scud iraquíes. Durante la guerra al menos se logró identificar un error de software que contribuyo al mal funcionamiento de los misiles Patriot [Gao 1992].
Los cálculos utilizados para predecir la ubicación de un misil Scud dependían del reloj interno de los Patriots, a mayor tiempo de funcionamiento continuo de los mismos, mayor fue la imprecisión de los cálculos. La muerte de al menos 28 norteamericanos en Dhahran resultó por este error de software, el cual degradó sistemáticamente la precisión de los misiles Patriot. Si bien no minimizamos la seriedad de este error en el sistema, no lo consideramos para nuestro análisis puesto que no está implicada la noción de injusticia.
Esta traducción solo responde a un fragmento del texto original que lleva por título: Bias in Computer Systems por Friedman Batya y Nissenbaum Helen, el mismo puede verse en la siguiente dirección:
http://www.nyu.edu/projects/nissenbaum/papers/biasincomputers.pdf
No hay comentarios:
Publicar un comentario