El fin de la "Caja Negra" como excusa legal
En una sentencia que marca un antes y un después para el derecho de daños en la era digital, la Cámara Nacional en lo Civil confirmó la condena contra una entidad financiera por un perjuicio derivado de un sesgo algorítmico en su sistema de calificación crediticia automatizado.
El fallo es disruptivo porque aborda directamente el problema de la opacidad algorítmica. La defensa de la empresa argumentaba que el sistema era "autónomo" y que los criterios de decisión resultaban inescrutables incluso para sus propios desarrolladores. Sin embargo, el tribunal fue tajante:
"La complejidad técnica de un software no puede constituir una zona de exclusión del deber de responder. Quien introduce un riesgo tecnológico en la sociedad para obtener un beneficio económico, debe cargar con las consecuencias de su mal funcionamiento."
Puntos clave del fallo:
-
Responsabilidad Objetiva: Se aplicó el artículo 1757 del Código Civil y Comercial de la Nación, asimilando al algoritmo de IA con una "cosa riesgosa".
-
Deber de Transparencia: La justicia determinó que el consumidor tiene derecho a una explicación humana comprensible sobre por qué el sistema tomó una decisión específica.
-
Carga de la Prueba: Se invirtió la carga probatoria, obligando a las empresas a demostrar que sus algoritmos cumplen con estándares éticos y de seguridad desde su diseño (Privacy by Design).
¿Qué significa esto para los estudios jurídicos?
Este precedente obliga a las empresas a auditar sus sistemas de toma de decisiones automatizadas y abre la puerta a una nueva ola de litigios preventivos. Ya no basta con decir "el sistema falló"; ahora, el responsable deberá explicar por qué falló o pagar por el daño.