Los problemas de las herramientas automáticas de revisión de la accesibilidad

En la entrada de ayer, ¿Son útiles las herramientas automáticas de revisión de la accesibilidad web?, cité algunas referencias en las que se critican las herramientas automáticas de revisión (análisis, evaluación, chequeo o testeo) de la accesibilidad web. Algunos ejemplos de estas herramientas son Cynthia Says, TAW, Total Validator o WAVE.

En el artículo The problem with automated accessibility tools nos explican muy bien los diferentes problemas que pueden mostrar estas herramientas:

• Interpretan de forma literal las pautas: una herramienta automática no tiene "sentido común", comprueba las pautas independientemente de otros factores. Por ejemplo, en WCAG 1.0, la pauta 5.5 Proporcione resúmenes de las tablas indica que se tiene que emplear el atributo summary en las tablas para proporcionar un resumen. Pero puede ser que ya exista un resumen de la tabla en el propio texto de la página, por lo que proporcionar otro resumen en la propia tabla resulta repetitivo y claramente inútil.
• No pueden revisar los problemas relacionados con el contenido: una herramienta automática no puede verificar la estructura del contenido de una página individual ni como se distribuye todo el contenido de un sitio web a través de múltiples páginas. Por ejemplo, una herramienta automática no puede comprobar que el contenido más importante se indica al principio de la página, o que se emplean las listas de forma correcta.
• No pueden revisar muchos problemas relacionados con la codificación: una herramienta automática no puede comprobar que un sitio web funciona correctamente sin Flash o JavaScript, o que la estructura HTML refleja la estructura visual de la página.
• Suelen emplear pautas anticuadas: las herramientas automáticas no suelen estar actualizadas y se ajustan estrictamente a las pautas (WCAG 1.0, WCAG 2.0, Section 508), que al poco tiempo quedan desfasadas por los avances tecnológicos.
• Muchas pautas no se comprueban correctamente: por ejemplo, una herramienta automática puede comprobar si todas las imágenes tienen texto alternativo, pero no puede comprobar si el texto alternativo es relevante y significativo.
• Las advertencias que emiten pueden ser malinterpretadas: mucha gente considera que tiene que corregir las advertencias que emiten estas herramientas, pero en algunas ocasiones al corregir estas advertencias disminuye la accesibilidad de la página.