Si me piden cuarenta, pues les doy cuarenta


 “¿Qué es medir? ¿No es acaso sustituír el objeto que medimos por el símbolo de un acto humano cuya simple repetición agota el objeto?” Paul Valéry [1]

La quimera de la estadísticas judiciales

En la entrevista con el dinámico, competente y sagaz Juez de Petén, el mismo que por iniciativa propia había encontrado los atajos procedimentales para introducir la oralidad en los juicios civiles, y cuya motivación manifiesta es hacer su trabajo correctamente para lograr algo de justicia en la comunidad, al llegar al tema de las estadísticas judiciales y, en particular, a su uso por parte del Organismo Judicial guatemalteco para evaluar su desempeño desde la capital, me manifestó que él, tanto en la rama civil como en la laboral, estaba actualmente en el promedio de veinte sentencias por mes, algo que “los deja satisfechos”. Y luego, con total desparpajo, agregó: “eso sí, si me piden cuarenta, pues les doy cuarenta”.

Difícil encontrar un comentario que ilustre con mayor agudeza la quimera de las estadísticas judiciales. Una de las acepciones de este término -aquello que se propone a la imaginación como posible o verdadero, no siéndolo- es casi sinónimo de quijotada,  y describe bien la obsesión moderna con la producción de estadísticas judiciales. Pero se queda corta. La segunda acepción de la quimera – el monstruo mitológico que  vomitaba llamas y tenía cabeza de león, vientre de cabra y cola de dragón y vagaba por las regiones aterrorizando a las poblaciones- capta de manera alegórica la verdadera función de las estadísticas judiciales: la de evaluar la justicia, atemorizando a los jueces tramitadores morosos para que aumenten su producción de sentencias y, de esta manera, contribuyan al objetivo de una justicia pronta y eficaz. Las estadísticas judiciales son, por decirlo de manera gráfica, el látigo virtual de los reformadores interesados, ante todo, en la celeridad de la justicia.

Lamentablemente, como herramienta para el diagnóstico y la evaluación de la administración de justicia, las estadísticas judiciales presentan muchas, demasiadas limitaciones. Se trata, en primer lugar, de uno de esos extraños, casi imaginarios, artificios para los cuales la demanda es casi nula y la oferta es deficiente. Con la excepción de unos cuantos burócratas o expertos especializados, son pocas, poquísimas, las personas interesadas en esas cifras. Una de las quejas más recurrentes de Esperanza Ortiz, la diligente funcionaria del DANE responsable, en los años noventa, de las estadísticas judiciales era la falta de demanda por esas cifras. Los supuestos principales usuarios, los jueces, no muestran mayor interés en consumir esa información, y mucho menos en producirla. Las estadísticas judiciales siguen siendo virtuales, pero no porque fluyan por la red, sino porque, por lo general, “tienen existencia aparente y no real”.

Se trata, por otro lado, de un esfuerzo casi siempre promovido desde fuera del sistema judicial, no tanto para describirlo o entenderlo sino para evaluarlo y, sobre todo, para tratar de apurarlo. El resumido relato sobre los esfuerzos que, por varios siglos, desde los despachos del rey o las oficinas del ejecutivo, se han hecho para agilizar la justicia, pidiendo afanosamente listas e inventarios  de procesos estancados, deja un desagradable sabor. Sobresale la figura del foráneo a la justicia que, esporádicamente y sin una idea clara de las dificultades que enfrenta quien está realizando la tarea, se acerca para solicitarle que la haga más rápido. La intensidad de la solicitud de rapidez, por lo general, ha sido directamente proporcional a la ignorancia sobre las causas de la lentitud.

La desenfocada presión que, casi desde el medioevo, se ejerce sobre los jueces para que fallen con agilidad y prontitud, ha llevado recientemente al despropósito de tratar de evaluarlos con el más burdo de los indicadores de desempeño: el número de casos resueltos por unidad de tiempo. Se consolida así, desde la tecnocracia, el papel de simple tramitador al que los juristas y legisladores han condenado al juez. Sin ninguna alusión a la siempre variable complejidad de los casos que entran, a las también cambiantes estrategias, astucias, o maniobras de las partes, sin mencionar siquiera la calidad o aún menos al impacto de las sentencias judiciales, los indicadores propuestos, basados todos en alguna variación de la cantidad de fallos de los jueces, no podrían ser más inocuos.

Vale la pena transcribir las desesperadas observaciones de un juez laboral bogotano al responder una acción de tutela con la cual se buscaba que adelantara la fecha prevista para la sentencia, más de un año despues del final de la etapa probatoria. Luego de señalar que la “situación de congestión se ha incrementado con el gran número de nuevas competencias introducidas por el ordenamiento jurídico en materias como la seguridad social y el fuero sindical de empleados públicos, así como por el uso desmedido que de las mismas hacen los abogados, específicamente en el tema de la conciliación”, el atareado funcionario, cuya calificación integral de servicios había sido satisfactoria y valorada como buena por parte del CSJ el año anterior, anotaba que la función judicial se había convertido “en un medio en donde se tiene al funcionario como una simple máquina para sacar fallos, sin distinguir niveles de dificultad ni de tamaño en los procesos, ni el número de demandantes ni el número de pretensiones incluidas, y desconociendo por completo las demás cargas que tiene que afrontar … trabajo que no cuenta en ninguna estadística como parte del tiempo que sustrae la decisión de los juicios ordinarios” [2].

No deja de sorprender que, dentro de este mismo proceso, la Corte Constitucional, sin ninguna referencia a la complejidad de los casos, o a la calidad de las sentencias, haya respaldado sin mayores objeciones el criterio de “entre más fallos mejor” al señalar que “en lo que concierne al número de sentencias dictadas entre el 1º de febrero al 1º de diciembre de 2003 si bien el juzgado accionado profirió 558 superando de esa manera al Juzgado 20 que en el mismo periodo dictó sólo 385, no alcanzó la productividad del Juzgado 18 que expidió 669”. Lo anterior a pesar de que en ese mismo fallo, la Corte recuerda que “la labor de quienes administran justicia es compleja dado que no sólo deben adoptar sus providencias dentro de los precisos y estrictos términos fijados por el legislador, sino que deben hacerlo con tal dedicación y esfuerzo que su contenido y resolución sean paradigma de claridad, precisión, concreción de los hechos materia de los debates y de las pruebas que los respalden, así como de pulcritud del lenguaje en ellas utilizado” [3].

Con relación a la complejidad de los casos que llegan a la justicia, incluso al interior de una misma jurisdicción, vale la pena hacer referencia a una ingeniosa innovación, acordada entre los jueces de ciertas ciudades ecuatorianas y los programadores de la judicatura, para el software de reparto de expedientes entre los juzgados. El mecanismo utilizado inicialmente, que venía incorporado en los programas de los expertos internacionales, consideraba homogéneos  todos los expedientes y, a medida que llegaban, los repartía de manera aleatoria entre los jueces. Presionados para no dejar acumular inventarios, y enfrentados al hecho que esporádicamente, y por mala suerte, tenían que hacerse cargo de algún proceso demasiado complejo sin que eso tuviera ninguna repercusión sobre el flujo de expedientes que les continuaban llegando, empezaron a buscar algún indicador, a priori, de la complejidad de los casos. La opción de un evaluador o calificador de complejidad fue descartada, pues implicaba una clara duplicación de trabajo. Además, podía interferir en la aleatoriedad y la transparencia del proceso de reparto. Bajo el supuesto elemental que un expediente más largo permite prever un caso más complejo, se optó entonces por una medida simple: contar el número de páginas de cada expediente, introducir este parámetro en el programa de reparto para que este se hiciera basado en un flujo más o menos constante de páginas, no de expedientes, para cada juez. Hasta el momento el mecanismo de ponderación del reparto por la extensión del expediente ha funcionado satisfactoriamente, y hay acuerdo entre los jueces en que, por lo menos, genera menos distorsiones que el antiguo sistema basado en el supuesto de total homogeneidad de los casos. A pesar de lo anterior, no se ha dado en el Ecuador el paso de publicar estadísticas judiciales, o indicadores de congestión, basados en el número de páginas recibidas por cada juez. Parecería poco serio señalar, al final de cada año, que el juzgado tal recibió tantas páginas de litigio y resolvió tantas otras. Lo que sorprende es que un indicador todavía más burdo, el número de casos, aún conserve visos de seriedad y objetividad. 

La anécdota anterior permite pensar que, por el lado de las entradas a los juzgados, podría existir cierto margen para sofisticar las mediciones. El problema realmente complejo tiene que ver con la evaluación –sería inadecuado hablar de medición- de las decisiones los falllos o las sentencias. Lo que parece claro es que tratar de aproximarse a lo que sale de la justicia por algo como el número de veces que los jueces deciden, sin siquiera detenerse a analizar qué fue lo que decidieron es un despropósito mayor. En ningún establecimiento educativo del mundo los estudiantes aceptarían que se les evaluara con base en algo como “la proporción de preguntas que respondieron” sin importar cómo lo hicieron. El problema fundamental de las estadísticas judiciales es que se basan en el principio, totalmente inadecuado, que la cantidad de decisiones es la dimensión más relevante del desempeño de la justicia. Tal simplificación sólo tiene sentido para los productos o servicios producidos en serie. “En cualquier sistema, la medida se centra en una sola de las características de los artículos medidos (longitud, peso, volumen) lo que permite comparar esos artículos desdeñando sus demás características”  [4].

Por esta vía, progresivamente, se ha ido asimilando la justicia a un servicio público más, ante el cual los ciudadanos presentan sus litigios, la justicia les da trámite, y entre más ágil ese trámite, más satisfactorio se puede considerar ese servicio público. Pero, como se señaló, hay notables diferencias entre entregar un certificado judicial, o un pasaporte, o un pase de conductor, o conectar una línea telefónica y dictar sentencia en un litigio. En esa versión simplificada de la justicia como servicio público que debe ser pronto y eficaz reposa la idea, contra evidente, que la agilidad es conveniente para todos.

De la misma manera que, como se verá, la silvicultura científica acabó con los bosques nativos al pretender simplificarlos, ignorando su complejidad y reduciéndolos a una única medida de rendimiento, la insistencia en una medida de desempeño tan burda como el número de casos que se resuelven puede tener, como se puede intuir que ya está sucediendo, el efecto nocivo de hacer irrelevantes todas las demás características de la justicia.

No sorprende que los jueces sean tan repelentes a dejarse medir y evaluar de esa manera.  Y que muestren y manifiesten, una y otra vez, que no les interesa contribuir a la empresa de la agilidad, o de las estadísticas judiciales. Se puede imaginar, como sugiere la experiencia del software de reparto en el Ecuador, que, de pronto, estarían más dispuestos a colaborar en la construcción indicadores, menos aceptados, pero menos absurdos, como “número anual de páginas de expediente despachadas”.

Hay que aclarar que con las observaciones anteriores no se pretende desvirtuar cualquier sistema de estadísticas por el simple hecho que lo que se mide sea variable. Lo que se quiere señalar es que el énfasis en una única característica, la cantidad, debe ser pertinente sólo para actividades en las que se produce masivamente un producto sobre el cual ya existe relativo consenso en cuanto a la homogeneidad de la calidad, y de las condiciones en las que se produce. Algo que está lejos de haberse alcanzado en la justicia.

Witold Kula plantea que una de las condiciones para que una sociedad pueda adoptar medidas puramente convencionales para un producto, es que se haya dado una ampliación de los mercados, más allá de la esfera artesanal, en la que tanto el productor con su estilo personal como el comprador, con sus exigencias peculiares, intercambian algo individual e irremplazable, hecho, textualmente, “a la medida”. En este tipo de producto queda una doble marca humana, la de quien lo ejecuta y la del destinatario. La medida, que es buena, inmejorable, para este último puede no convenir a otras personas. La mercancía producida en fábrica de manera mecanizada ya no tiene esta marca. La producción mercantil en masa y destinada a mercados lejanos y diversificados no puede elaborarse a partir de las medidas locales. 

Esta observación sugiere la analogía de un juicio con la elaboración de un traje a la medida, en lugar de un prêt-à-porter. Habría que sumarle, para hacerla más realista, un escenario de alta inestabilidad tanto en la clientela como en el suministro, de tela, paño, hilo, botones y demás insumos. Y pensar que una o dos etapas de la elaboración del traje se contratan con talleres externos. En un escenario como ese, es apenas evidente que cuestiones como cuanto se demora la hechura de un traje, o cuanto se debe demorar, resultan bizantinas. Lo que importa, en últimas, es la calidad de la confección.

Aún más gráfica que la metáfora del traje a la medida es la de la congestión vial, un término ya totalmente asimilado en la literatura judicial. El supuesto implícito en buena parte de los diagnósticos preocupados por la eficacia de la justicia es que los procesos son como extraños vehículos conducidos por un grupo de personas que están siempre de acuerdo en la dirección que se debe tomar. Así, la reforma debe preocuparse por una especie de infraestructura vial que garantice la fluidez y la celeridad de ese conjunto de insólitos vehículos. Una caricatura más adecuada sería la de un grupo de carruajes, arrastrados por caballos, mulas o bueyes que, tercamente, insisten en llevarlo cada uno para lados distintos, incluso en direcciones opuestas. Bajo este escenario, en el cual ni siquiera es fácil determinar cual es o debe ser el sentido de la vía, parecería un despropósito tratar de resolver los trancones con agentes de tráfico gesticulando en las esquinas.

Resulta claro que la adopción de un indicador único de desempeño basado simplemente en la cantidad sólo tiene algún sentido cuando se trata de un bien homogéneo, producido de manera industrial, no artesanal, o sea, por lo general, cuando se trata del resultado de una actividad privada a gran escala.

Se ha sugerido que no siempre la privatización de los servicios públicos se hace de manera explícita, mediante la delegación de la producción y venta al sector privado. Una alternativa consiste en dejarlos como propiedad pública pero administrarlos con los mismo criterios de eficiencia que utilizaría el sector privado [5] .

La utilización de indicadores para medir el desempeño de los empleados en las empresas privadas ya tiene una larga tradición. El mecanismo es simple y sus ventajas son numerosas. Cuando el esfuerzo es observable y directamente verificable, el indicador es sencillo consiste simplemente en medir el esfuerzo.  La necesidad de construir indicadores surge del llamado problema de agencia : el esfuerzo del empleado, o funcionario, aunque observable, no es verificable. Se hace necesario entonces construir indicadores, esos sí medibles, que se puedan considerar cercanos al verdadero objetivo de la tarea. La dificultad proviene de la brecha potencial entre el indicador y el objetivo. En ese caso el indicador puede ser fuente de distintos efectos perversos.   La pertinencia del indicador también es precaria cuando este refleja no sólo el esfuerzo del agente sino, colectivamente, la de un equipo de trabajo. En el caso de la justicia, la cuestión es aún más delicada pues el grupo de personas que puede alterar el indicador incluye personas, como por ejemplo un abogado, contrarias al logro del objetivo.

En el sector privado, los indicadores de desempeño tienen dos funciones básicas. Por una parte evaluar el esfuerzo del agente con el fin de fijar una remuneración proporcional a sus logros. Por otro lado, detectar los cuellos de botella y las disfuncionalidades de la organización.

En el sector público, la utilización de indicadores de desempeño es más reciente y controvertida. Parece particularmente problemática la generalización de su uso más allá de las empresas públicas que producen bienes y servicios para un mercado, como el transporte, los correos, o los servicios domiciliarios. En algunos sectores claves y difíciles de evaluar cuantitativamente, como la justicia, a los inconvenientes ya conocidos de los indicadores en el sector privado se agregan otros específicos. Las dificultades son enormes en aquellos sectores –como la educación, la investigación o la justicia- en los cuales la misma definición de desempeño es compleja y la importancia simbólica del funcionamiento es pertinente.

Estadísticas, entorno y manipulación

Como se vio con ejemplos de Colombia y Ecuador, los indicadores de desempeño de la justicia basados en las estadísticas judiciales son en extremo sensibles a las condiciones y a los choques externos que los afectan. Una crisis financiera, un aumento del desempleo, o un cambio en los códigos, pueden alterar de manera importante el número y las características de los litigios que llegan a los juzgados.

Más difíciles de detectar, pero no menos impactantes, pueden ser algunos choques internos, como por ejemplo una depuración de procesos inactivos en una jurisdicción. Eso, fue lo que al parecer se hizo en la ciudad de Cuenca entre el 2000 y el 2002, con el apoyo de una fuerza de choque externa –un grupo de estudiantes de derecho- y que afectó de manera significativa los indicadores de desempeño de la rama civil.

La práctica de la depuración de expedientes que acaba afectando la contabilidad de las causas resueltas parecería haber persistido en Cuenca. En efecto, al analizar para esa ciudad las cifras anuales por juzgado se observa, en los ingresos, una relativa estabilidad mientras que las salidas presentan drásticas diferencias, tanto entre juzgados como en un mismo juzgado en años consecutivos. En el año 2007, por ejemplo, cuando ya para el agregado de la ciudad el indicador de causas resueltas sobre ingresos, con un 99%, parece haberse estabilizado cerca del valor óptimo se observa, entre juzgados, una enorme variabilidad, desde el 16% en el Juzgado 13 hasta un impresionante 310% en el Juzgado segundo.


Gráfica
Cuenca Ecuador  - Salidas/Entradas (%) en los Juzgados Civiles – 2007
Fuente: http://www.funcionjudicial-azuay.gov.ec/principal.htm

Además, el 2007 no fue un año excepcional. Entre el 2002 y el 2008, mientras la participación máxima de algún juzgado en el total de casos ingresados permaneció relativamente constante entre el 8% y el 9%, la contribución a las causas resueltas, por el contrario, varió entre el 11% y el 35%. O sea que, en un solo año, como por ejemplo el 2002, más de la tercera parte de los casos resueltos en los más de veinte juzgados de la zona provienen de sólo uno de ellos.

Se puede plantear, como simple conjetura, que la depuración de expedientes en los juzgados se habría adoptado en Cuenca como un artificio para lograr que, en el agregado para la ciudad, el indicador de causas resueltas sobre ingresos esté siempre cerca de su valor óptimo del 100%. Lo anterior en ningún momento pretende ser una crítica a la Función Judicial de la ciudad de Cuenca, sino todo lo contrario. Se trata de un argumento adicional en contra del absurdo ritual de los indicadores cuantitativos de desempeño agregados en un ámbito tan complejo de medir como la administración de justicia. Lo que estos datos de Cuenca sugieren es que, si a una administración acuciosa se le pide que las causas resueltas de una jurisdicción, en forma independiente de su número, de su monto o de su complejidad, deben ser iguales en número a las demandas que entran a los juzgados cada año, pues que así sea. Se trataría, en el agregado, de una declaración similar a la del Juez del Petén. “si nos piden 100%, pues les damos 100%”.

De cualquier manera, esa  eventual calibración de los indicadores agregados refleja una enorme capacidad de coordinación. Además es consistente con lo que se señalaba en un informe del año 2001: “en la ciudad de Cuenca, la depuración está establecida como una actividad diaria de cada juzgado” [6]. El hecho, único en el Ecuador, y excepcional en América Latina, que se hagan verdaderamente públicos los datos por juzgado, para que cualquiera pueda analizarlos y aventurar conjeturas, es el mejor síntoma de que en Cuenca las cosas se están haciendo adecuadamente. Y que los indicadores agregados de desempeño basados en las estadísticas judiciales, supuesta herramienta infalible para la política judicial, pueden ser tan redundantes con quienes hacen las cosas bien como con quienes manipulan y falsean las cifras como con quienes ni se molestan en suministrar los insumos para calcularlos.

Para este primer round de críticas a las estadísticas judiciales no se ha abandonado el supuesto que estas se hacen de manera desagregada para los diferentes tipos de procesos. Los problemas aumentan exponencialmente cuando esta cifras tan precarias se empiezan a agregar.

Una de las limitaciones más críticas de las estadísticas judiciales como herramienta para diagnosticar el sistema judicial, o para evaluarlo, es que suponen implícitamente no sólo que lo que llega a la justicia es una buena muestra de los litigios o conflictos o incidentes que ocurren en una sociedad sino, además, que tales incidentes se pueden sumar y agregar entre sí. Para recurrir a las metáforas del mercado, tan apreciadas por los tecnócratas, es como suponer que las frutas dan una buena idea de lo que consume una familia y que, encima, lo que cuenta es el número de frutas, y que las peras se pueden sumar tranquilamente con las manzanas. 

Las estadísticas judiciales, si existieran, así como los indicadores agregados de desempeño del sistema judicial basados en ellas (congestión, impunidad, o rezago), la posibilidad de hacer con ellos comparaciones internacionales, o a lo largo del tiempo, podrían ser  útiles como una primera etapa, muy preliminar, del diagnóstico. Sin embargo, su utilización como indicadores de desempeño y evaluación del sistema judicial, y sobre todo de las reformas, puede ser problemática, por varias razones.

La primera es que la fracción de los incidentes que llega al sistema judicial puede ser una muestra tanto no representativa (en términos numéricos) como sesgada del universo de incidentes que ocurren en realidad. Además, la gravedad del sesgo es proporcional al acceso diferencial de ciertos grupos a la justicia. Si, por ejemplo, en una sociedad estratificada o fraccionada, algunos incidentes ocurren ante todo en ciertos estratos o grupos que tienen alto (o bajo) acceso al sistema judicial, el análisis de los expedientes judiciales puede sobre (sub) representar la importancia de ese incidente en la sociedad.

La segunda razón es que las estadísticas pueden ser manipuladas por las entidades que suministran la información pertinente para el cálculo de esos indicadores. Sobre todo cuando tales indicadores se utilizan para evaluar esas mismas entidades que enfrentan un claro conflicto de intereses. No parecería razonable, si se trata de evaluar el desempeño del Banco Central en controlar la inflación, que las estadísticas necesarias para el cálculo del incremento de precios fueran responsabilidad del mismo Banco.

La tercera objeción es que, incluso sin una manipulación directa de las estadísticas, los indicadores de desempeño pueden introducir incentivos inadecuados o aún perversos. Las agencias supervisadas pueden dedicarse a cumplir los criterios sugeridos por los indicadores en detrimento de la calidad de la justicia. Esta observación es más que una especulación teórica. Para los asuntos penales, por ejemplo, es muy alta la variabilidad en términos de los esfuerzos que se requieren para aclarar los distintos tipos de incidente, con el agravante que el esfuerzo necesario es normalmente proporcional a la gravedad del incidente, y por lo tanto, a la prioridad que se le debe asignar. Es mucho más difícil para un juez de instrucción criminal, o un fiscal, esclarecer un homicidio que un caso de derechos de autor, o una demanda por calumnia. Si el criterio que se ha establecido para evaluar su desempeño es la proporción de casos que se resuelven, es apenas predecible que el sistema judicial sometido a ese parámetro de evaluación se  dedicará a resolver el mayor número posible de casos triviales en detrimento de los más complejos y graves.

Más que una herramienta para diagnosticar y evaluar el desempeño, las estadísticas judiciales, cuando su confiabilidad es aceptable,  parecen  un síntoma adicional de una administración de justicia que se desempeña adecuadamente.

Las observaciones anteriores no deben interpretarse como una sugerencia para no hacerle seguimiento a las estadísticas producidas por el sistema judicial, sino simplemente que la evaluación del mismo debe contar por lo menos con una referencia susceptible de ser medida por fuera del sistema.

Con respecto a la información agregada es útil una referencia a la experiencia colombiana. Una tradición de 60 años de estadísticas judiciales de calidad razonable (y pocos usuarios), bajo la responsabilidad, como debe ser, de la oficina estatal de estadísticas, el DANE, se rompió a principios de los años noventa cuando, a raíz de una reforma judicial, se transfirió esa labor a la Fiscalía y al CSJ. Los resultados han sido sin lugar a dudas lamentables. En la actualidad, y a diferencia de lo que ocurría hace un par de décadas, la información judicial es opaca, no es pública y se depende, para tener acceso a ella, de los contactos o de la buena voluntad de estas dos agencias que la generan y cuidan con celo.

Además, estas estadísticas judiciales endogámicas son de pésima calidad. Ni siquiera son consistentes. En los documentos preliminares del proyecto del Banco Mundial, por ejemplo, con cifras del CSJ, se menciona, para la segunda mitad de los noventas, una continua y significativa caída en el backlog de la jurisdicción civil [7].  También con estadísticas del CSJ, Cuéllar (2006) señala, para esos mismos años, un impresionante aumento del inventario de procesos en los juzgados civiles, que habría pasado de cerca de medio millón en 1996 a casi 1.3 millones en 1999 [8]. Por último, la Corporación Excelencia en la Justicia [9] reporta, para los últimos años del siglo, y también con datos del CSJ una relativa estabilidad del “índice de congestión acumulado” para la jurisdicción civil. O sea que una fuente única de información, el CSJ, lleva, para el mismo período, a un diagnóstico de significativa caída, drástico aumento o relativa estabilidad de la congestión.

Incluso los datos más oficiales del CSJ, en los informes al Congreso, presentan problemas : “las cifras sobre entradas y salidas del informe al congreso del 2001-2002, no coinciden con los datos que se incluyen en el informe 2003- 2004” [10].   Es  arriesgado centrar el diagnóstico o la evaluación de un sistema judicial en indicadores calculados con un insumo tan precario. Es oportuno aquí un aforismo de la epidemiología : garbage in, garbage out.

Hay una contradicción inherente en el uso de estadísticas judiciales como base para el cálculo de indicadores de gestión. En los tres proyectos de reforma a la justicia, este insumo crítico de la evaluación dependía por completo del sistema judicial, el mismo que se pretendía reformar, precisamente porque su desempeño no era satisfactorio. De los mismos jueces y funcionarios que requerían apoyo externo para su tarea básica de administrar justicia se pretendía, además, que llevaran un riguroso registro de sus propias actividades.

En realidad, la sofisticación estadística que se espera en países dónde se supone que la justicia es tan débil que requiere reformas importantes es algo con lo que no se cuenta ni siquiera en sociedades dónde funciona adecuadamente. “La evaluación regular y rutinaria del funcionamiento de la Justicia es una realidad consolidada únicamente en un número muy reducido de países –EEUU y Australia- se encuentra en una fase experimental y tentativa en algunos pocos casos más –Holanda, Canadá y España- y constituye tan sólo una mera posibilidad o anhelo de futuro en la inmensa mayoría” [11].

Aún en los EEUU, todavía son necesarias las campañas de sensibilización orientadas a los jueces para convencerlos de la conveniencia de llevar estadísticas y construir indicadores de desempeño [12].  En Europa se empiezan a dar los primeros pasos para la medición del desempeño de los tribunales, pero se establece como prioridad esencial la cuestión de la calidad. La Comisión Europea para la Eficiencia de la Justicia (CEPEJ), define la calidad como “un triángulo cuyos vértices serían la eficacia, la legitimidad y la ética. El desempeño debe medirse bajo este rasero” [13].  Además, se reconoce la práctica imposibilidad de abordar una evaluación de conjunto del sistema judicial, señalando que los esfuerzos más logrados e imparciales, aún escasos, se han hecho para ciertas jurisdicciones.

Fuera de su virtual inexistencia las estadísticas judiciales presentan características, para su generación y para su utilización como herramienta de evaluación, que vale la pena analizar. Como se mencionó, la Función Judicial de Cuenca en el Ecuador, es uno de los pocos lugares en dónde las estadísticas judiciales no sólo parecen confiables sino que son públicas y están disponibles en la red.

El caso de Cuenca es ilustrativo de lo restrictivas que son las condiciones para que las estadísticas sirvan como herramienta de evaluación. Primero, el supuesto de homogeneidad de los incidentes que se judicializan, y su agregación por ramas de la justicia no es tan arriesgado pues todas provienen del mismo entorno social y económico. Segundo, pese a la buena calidad de los programas informáticos en esa ciudad, la recolección de información la hace manualmente su principal usuario, el delegado local del Consejo de la Judicatura. Tercero, el supuesto de que quien utiliza las cifras como herramienta de gestión conoce adecuadamente el entorno que las determina es adecuado. 

De las entrevistadas realizadas surgen algunos comentarios adicionales sobre las estadísticas judiciales. La primera, como se anotó, es que la demanda por esos datos es reducida, casi inexistente. La segunda es que los incentivos para generarlas son escasos. Para los jueces, y se puede pensar que para el personal de soporte de los juzgados, no pasan de ser una nuisance. Entre los jueces de las cinco ciudades colombianas dónde se ejecutó el proyecto hubo consenso en señalar que la parte menos utilizada del software de gestión era la de plantillas estadísticas [14].  Además, varios jueces manifestaron que las consideraban poco confiables, casi irrelevantes, pues son fácilmente manipulables. Entre los jueces guatemaltecos se señala que los mejores índices de evacuación en la capital provienen de un juzgado reconocido por las frecuentes ausencias de su responsable.

Los pocos usuarios potenciales que se pudieron identificar son funcionarios con responsabilidades administrativas que utilizan unos cuadros simples y personales -un embrión de estadísticas judiciales- como herramienta de gestión y supervisión interna. En estos pocos casos se dan dos peculiaridades. La primera es que los mismos usuarios han asumido el costo de generar los datos, y lo hacen de manera personal. La segunda es que  existe entre el supervisor y el supervisado la cercanía suficiente para aclarar de manera satisfactoria para ambas partes las enormes variaciones, y los monumentales problemas de medición, de las actuaciones judiciales. El caso del funcionario cuencano confirma que tanto la confiabilidad en la generación de los datos como la razonabilidad en su uso como herramienta de gestión dependen de manera crucial de la cercanía entre el observado y el evaluador. Confía en los datos porque él mismo los recoge. Se trata, además, de alguien que mantiene un contacto permanente con los jueces y el personal administrativo y que, consecuentemente, está al tanto de todas las eventualidades que afectan la marcha de los juzgados, y las grandes variaciones en sus cuadros de datos. En cuanto a su uso, para la evaluación anual de resultados de su jurisdicción, estas cifras son un simple elemento adicional de una detallada discusión que mantiene personalmente con cada uno de los jueces. La utilización que hace de ellas como soporte para las decisiones laborales o administrativas no es algo automático. Es un elemento más de de un proceso participativo sobre asignación de recursos. Parece difícil tratar de replicar estas condiciones a nivel nacional.

El apresurado análisis que, en las evaluaciones de los proyectos de Ecuador y Colombia, se hizo sobre la evolución de la justicia civil a partir de indicadores agregados, ignorando el entorno que determinaba esa dinámica, da una idea de lo arriesgada que puede ser la toma de decisiones centrada en ese tipo de información. La reacción de una de las partes afectadas por la crisis colombiana, el ICAV, entidad que procedió a realizar el inventario de los juicios ejecutivos hipotecarios de sus afiliados para diagnosticar los obstáculos y proponer soluciones es una prueba adicional de las deficiencias de las estadísticas judiciales.

La opinión de los usuarios

La evaluación del desempeño de la justicia basada en encuestas de opinión también presenta varias limitaciones. La primera, similar a la de las estadísticas, es el conflicto de intereses que surge si las encuestas las realiza una institución cuyo desempeño será evaluado con ellas. Un ejemplo digno de mención es una encuesta realizada por el Consejo Superior de la Judicatura en el 2006, como supuesta evaluación del programa de reforma financiado por el Banco Mundial. Sin ninguna línea de base con la cual se pudieran comparar los resultados, y ni siquiera un grupo de control, este tipo de ejercicio se acerca más a la auto alabanza que a la evaluación [15].

La segunda limitación de las encuestas de opinión tiene que ver con la representatividad de la muestra para la encuesta. El conocimiento sobre los usuarios de la justicia es precario, y el de los beneficiarios potenciales lo es aún más. En esas condiciones, el diseño de un marco muestral que represente adecuadamente la población afectada por las reformas está lejos de ser un problema resuelto.

Aunque se hicieran de manera independiente y rigurosa, con procedimientos muestrales idóneos, las encuestas de opinión pueden ser herramientas demasiado inflexibles. La experiencia de algunos países, como España, sugiere que la opinión pública sobre el sistema judicial presenta una enorme inercia y puede llegar a ser insensible a los cambios, incluso importantes, en el desempeño y la calidad de la justicia [16].

Por otro lado, cada vez hay más claridad sobre lo maleable que puede ser la opinión pública ante la publicidad, la propaganda y el manejo hábil –o la manipulación- de los medios de comunicación [17].

Por último, el sistema judicial es demasiado complejo y heterogéneo, y el desempeño de sus distintas ramas depende de la actuación de diferentes agencias estatales aledañas, que afectan la percepción ciudadana sobre la justicia. Es común la observación que la imagen de la justicia penal depende mucho de las actuaciones de la policía o de otros organismos de seguridad estatales. Así, como ocurre en Guatemala, la opinión sobre la justicia puede estar contaminada por instituciones ajenas al sistema judicial.

Lecciones de la criminología

En criminología, con dificultades de información similares a las que se enfrenta el diagnóstico de la justicia, la insuficiencia de las cifras policiales fue reconocida hace más de medio siglo y el problema ha sido parcialmente resuelto por tres vías. Uno, para algunos incidentes, por comparación con otras fuentes de información provenientes de instituciones aledañas al sistema judicial, como medicina legal o el sector salud;  dos, con encuestas de victimización hechas a los usuarios del sistema penal y tres, por medio de las encuestas de auto reporte a los infractores [18]. Para la justicia civil, de familia o laboral este problema, siendo más complejo, no ha recibido la atención que merece y, todavía, lo común es que el ente evaluado sea simultáneamente el responsable de la información

En cuanto a la política criminal, cuya ejecución depende de la coordinación con otras agencias estatales, lo normal es que los objetivos se establezcan a nivel local, y con respecto a incidentes específicos, como homicidios, pandillas, droga, secuestros o delincuencia menor. El desempeño de la justicia se toma, como debe ser, simplemente como un paso intermedio hacia una meta relevante para un conjunto de ciudadanos relativamente bien identificados, las víctimas. En las otras jurisdicciones, a pesar de que con un esfuerzo previo de diagnóstico se podrían identificar los beneficiarios potenciales, se sigue considerando el desempeño de la justicia como un objetivo final.

Sólo recientemente, con las encuestas de “necesidades  jurídicas insatisfechas” [19] se han hecho avances hacia algo similar a la medición de la victimización. Inicialmente diseñadas para abordar el problema del acceso a la justicia, estas encuestas constituyen una herramienta útil para el diagnóstico, el diseño y la evaluación de los programas de reforma. Son la única opción para aproximarse a la demanda por justicia. En particular, permiten conocer los conflictos que llegan o no a los juzgados, las partes envueltas en los incidentes y las justicias paralelas a la que se pretende reformar. Así, permiten identificar los usuarios y estimar su número, sin lo cual es imposible calcular los beneficios, y los costos unitarios, de los programas. Por otro lado, son necesarias para establecer las líneas de base de desempeño de la justicia. Además, ayudan a establecer metas reales, que tengan en cuenta a los ciudadanos como usuarios de la justicia y no como una dimensión de la opinión pública. Por último, no dependen de la buena voluntad, o la capacidad estadística, de la rama judicial que se pretende reformar y evaluar.

Conclusiones

Una clara lección de los proyectos de reforma judicial es que las estadísticas judiciales no surgen de manera automática como un coproducto del software de manejo de expedientes. La utilidad, el alcance y las limitaciones de estas cifras, una verdadera obsesión de los reformadores modernos, aún no han sido evaluadas a profundidad.

El problema de la opacidad, mala calidad, conflicto de intereses, o franca inexistencia de las estadísticas judiciales, o los sesgos y limitaciones de las encuestas de opinión no han recibido la atención que merecen. Así, se han creado círculos viciosos no sólo en el diseño sino, sobre todo, en la evaluación de los proyectos de reforma judicial. Al centrar la atención en unos indicadores idealizados que nunca están disponibles, o que se construyen sin rigor con insumos de mala calidad, se descuidan labores más básicas de seguimiento. Además, si los únicos indicadores de desempeño que se consideran válidos son agregados, se hace necesario pensar en grande a la hora de proponer reformas. Y se desprecian las iniciativas modestas susceptibles de mejorar la administración de justicia para algunos, a veces muchos, usuarios reales.

La desconfianza en las estadísticas y la consecuente imposibilidad de calcular indicadores ha sido evidente al interior mismo de la rama judicial. En el CSJ de Bogotá, por ejemplo, se encontraron documentos “con la advertencia que los datos estadísticos adolecen de problemas de cobertura y actualización, y la sugerencia de solicitar apoyo a los ingenieros de sistemas encargados del mantenimiento aplicativo para obtener, en primera prioridad, la información pertinente para el cálculo de los indicadores sobre los tiempos procesales; en segunda prioridad, la información que permita estimar las variables para el cálculo de los índices de desempeño relativos a los volúmenes de procesos, a nivel de los despachos judiciales” [20].

En lugar de afrontar esta terca realidad, la reacción usual de los reformadores ha sido ignorar las dificultades, o pretender que se solucionarán automáticamente solicitando apoyo técnico “a los de sistemas”, o recordando todo lo que se podría hacer con unos datos inexistentes. Una de las recomendaciones de la Misión de Supervisión Técnica del Banco Mundial casi al final del proyecto en Guatemala es ilustrativa. “Recomendamos retomar la metodología diseñada … para definir los instrumentos estadísticos … desarrollar un sistema de seguimiento de la información (software); generar estadísticas que viertan información oportuna y confiable; y determinar indicadores de presión sobre el sistema judicial como base para tomar decisiones más exactas sobre el tipo de demanda del servicio judicial en las diversas áreas geográficas, el tipo de infraestructura judicial necesaria, el número de personal requerido en juzgados y tribunales, los requerimientos de mediación y otros, los tipos de capacitación, los ajustes lógicos producto de la evolución del modelo actual, y la proyección del gasto requerido para cerrar la brecha en el servicio de justicia en el corto, mediano y largo plazo” [21].

En forma adicional al de la inadecuada asignación de recursos, un efecto pernicioso de la falta de crítica y evaluación, de limitarse a unos indicadores de mala calidad y con fallas conceptuales monumentales como son las estadísticas judiciales, es que, progresivamente, va debilitando la calidad del diagnóstico. Si el afán oficial por mostrar resultados positivos a corto plazo hace que prime la ratificación de buenas intenciones sobre la evaluación seria de resultados, es alto el riesgo de introducir explicaciones pobres y vínculos causales mal sustentados.

Así, la falta de una verdadera cultura de la evaluación de los programas de reforma judicial ha conducido a un círculo vicioso de opacidad en las cifras, mala comprensión de lo que ocurre y pobre diseño de programas.
 
Las ventajas de saber cuales son los programas, o los componentes de programas, que funcionan y cuales no va mucho más allá de la correcta administración del proyecto o la agencia responsable. Las evaluaciones serias, sistemáticas y creíbles constituyen un verdadero bien público que puede servir para orientar los esfuerzos no sólo del ente a cargo del programa sino de otras entidades municipales, regionales o nacionales, agencias multilaterales, ONGs, fundaciones y universidades involucradas en temas de administración de justicia. Además, los ejercicios sistemáticos de evaluación, con su respectivo grupo de control, son la mejor herramienta para profundizar el diagnóstico lo que, a su vez, es un requisito para sofisticar el diseño de los programas.


[1] Variétés III. Citado por Kual (1998) p. 249
[2] Corte Constitucional, Sentencia T-030-05
[3] Corte Constitucional, Sentencia T-030-05
[4] Kula (1998) p. 73
[5] Bacache (2002)
[6] CGE (2001) p. 20
[7]  PAD C p. 6
[8] Cuéllar (2006) p 389
[9]  ver http://www.cej.org.co/index.php?option=com_content&view=category&layout=blog&id=99&Itemid=177
[10] Vizcaya (2008) p. 128
[11] Toharia (2000) p. 29
[12] Ver “Giving Courts the Tools to Measure Success”, National Center for State Courts. http://www.ncsc.org/default.aspx
[13]  Ver “Contribution à la session d’étude sur la mesure de la performance dans les systèmes judiciaires et les tribunaux” http://medel.bugiweb.com/usr/CEPEJ%201.pdf.
[14] Vizcaya (2008) p. 103
[15] CSJ (2006)
[16] Toharia (2003)
[17] Lorraine Data (2009), Schwartzenberg (2009).
[18] Rubio (2008)
[19] Ver, por ejemplo, Böhmer et al (2005) para Argentina o Castro y Olivera (2008) para Colombia
[20] Vizcaya (2008) p. 136
[21] “Misión de Supervisión Técnica- Proyecto de Modernización del Organismo Judicial Octubre 7-12, 2002”