DIferentes tipos de auditoría de accesibilidad

 En What to look for in an accessibility audit explican los diferentes tipos de auditoría que existen:

• Level-of-effort (LOE) Audit: A report which estimates the magnitude and cost of an accessibility remediation project. The report includes the number of pages to fix and the number of defects on each page.
• Risk Audit: Identifies severe and critical blockers that users with disabilities would encounter. This report does not include remediation recommendations.
• Detailed Audit: Identifies improvement based on the client’s preferred standards (WCAG 2.0 A/AA, WCAG 2.1 A/AA, or Section 508) using automated and manual testing that covers the scope of the client’s choosing. This report provides remediation recommendations.
  • Detailed audits are also available for specific regulations or technologies – such as CVAA, Kiosks, and native mobile apps.
• Screen Reader Acceptance Testing: Experts will test a task/use case/user flow for assistive technology/browser/OS version combinations of the client’s choosing and provide a rating on a scale of difficulty or failure.
• Validation Audit: Performed on a web page, set of web pages, or applications that have previously undergone an audit by Deque. Validation audits may also be done on mobile apps or PDFs too.
• Usability Testing: Accessibility (conformation to WCAG or Section 508) does not always lead to usability. Usability testing reveals what’s usable to people with disabilities.
• Accessibility Conformance Statements: A Conformance Statement is a document from a trusted third party that details the level of accessibility for your organization’s website or application.
• Voluntary Product Accessibility Template (VPATs): A procurement report required for selling web-based software to the US Federal Government under Section 508.
• Design Audits: A Design Comp Accessibility Annotation (DCAA), is a markup of UX and UI wireframes and comprehensive designs (comps) with accessibility requirements for developers.

Auditoria de la accesibilidad web de las Naciones Unidas

Según las Naciones Unidas, Global Audit of Web Accessibility fue la primera auditoria de este tipo y fue realizada en el año 2006. El resumen dice:

The United Nations contracted Nomensa to conduct this audit on Internet accessibility for persons with disabilities. The audit, the first of its kind, investigated the accessibility of 100 leading websites from 20 countries from around the world.

The aim of the survey, which was not intended to be exhaustive, was to obtain an indication concerning the existing status of accessibility of websites that people with disabilities might access as part of their daily lives.

This snapshot produced stark results: most of the leading websites around the world do not meet international standards for accessibility. Some of the sites investigated could be easily upgraded to remove the obstacles that prevent many people with disabilities from using the sites. However, the majority of sites need considerable work.

Los sitios web analizados en España fueron:

Transporte: http://www.iberia.com/OneToOne/v3/Home.do
Finanzas: http://www.bbva.es/TLBS/tlbs/jsp/esp/home/index.jsp?rf=
Medios de comunicación: http://www.elpais.es/
Política: http://www.la-moncloa.es/default.htm
Comercio: http://www.elcorteingles.es/

¿Los resultados? El sitio web de La Moncloa se salvó y alcanzó el nivel A de WCAG 1.0. El resto, al hoyo.

¿Cuánto cuesta auditar la accesibilidad de un sitio web?

Pues no he encontrado precios de compañías españolas, pero sí que he encontrado una compañia del Reino Unido llamada Shaw Trust, que en su página Services and Pricing ofrece los siguientes servicios y precios:

• Full Audit - Website, Intranet or Extranet: From £4,650
• Annual re-accreditation: From £2,800
• Template testing: From £2,000 (for 1 – 10 templates)
• User testing: From £1,680 per day
• Consultancy: From £500 per day
• Training for web developers or authors: From £100 per delegate, maximum 15 delegates, minimum 10 delegates, plus trainers' travel expenses
• Podcast/Video: Podcast/Video of the testing day from £350

Hay que aprovechar la noticia

Un alumno del curso sobre accesibilidad en la Web que estoy impartiendo esta semana me ha pasado una noticia publicada en la web de PC Actual: La página de La Moncloa es una de las tres webs más accesibles del mundo. En la noticia se dice que la web de La Moncloa, junto con la de la Cancillería Alemana y la del Ejecutivo Británico son las únicas, entre las cien analizadas, en cumplir el «el nivel A de accesibilidad, de acuerdo con las directrices de accesibilidad para el contenido web del consorcio World Wide Web (W3C)».

Esta noticia recordaba haberla escuchado, pero no recordaba donde. Repasando este blog, la he encontrado, Panorama desolador, pero haciendo referencia a una noticia en inglés (UN reports on dismal state of web accessibility).

Resulta que esta noticia es de principios de diciembre, incluso la misma PC Actual la publicó el 28/12/2006 con el título España cumple con la accesibilidad Web. ¿Por qué la vuelven a publicar? Mucho cuidado con los medios de comunicación y con los periodistas, que muchas veces (la mayoría de las veces), no saben de qué hablan y "alteran" la información. Por ejemplo, en esta última noticia podemos leer:

El Gobierno recuerda que la Fundación ONCE realizó una auditoría de la página de La Moncloa (www.la-moncloa.es) y comprobó que "satisface todos los requisitos" de las directrices internacionales de accesibilidad para contenidos en Internet.

Esta afirmación contiene varios errores, porque si leemos el resto de noticias relacionadas con esta descubrimos que:

1. "España cumple con la accesibilidad Web" se refiere únicamente a una página, la página de La Moncloa. No creo que se pueda afirmar que, porque una página cumpla con la accesibilidad en la Web, por muy importante que sea la página, ya todo el país lo cumple.
   
2. No está claro si se refiere únicamente a la página principal de La Moncloa o a todo el sitio web. Yo me inclino a que el estudio únicamente analizó la página principal.
   
3. Dice que "satisface todos los requisitos", cuando en realidad podemos leer en otra parte que sólo cumple el nivel A, ya que ninguna de las páginas analizadas llegó al nivel AA y mucho menos al nivel AAA.
4. No especifica si la revisión de la accesibilidad se ha realizado con medios automáticos o manuales, ya que existe una importante diferencia en los resultados que se obtienen (una revisión automática no puede sustituir la revisión manual de un experto).
   

Auditoria de accesibilidad, test de accesibilidad y test de accesibilidad automático

¿Qué entendemos como "auditoria de accesibilidad", "test de accesibilidad" y "test de accesibilidad automático"? En la página Accessibility audit vs. accessibility testing lo explican muy bien:

Auditoria de accesibilidad
Un experto en accesibilidad revisa un sitio web, informa de posibles problemas de accesibilidad y proporciona recomendaciones para solucionar los problemas.

Ventajas: más rápido y barato que un test de accesibilidad, más exhaustivo que un test de accesibilidad.

Desventajas: no se produce una transmisión de conocimiento del auditor al cliente (para ello se tienen que realizar cursos de formación).


Test de accesibilidad
Usuarios con algún tipo de discapacidad realizan una serie de tareas en un sitio web mientras que un controlador anota todos los problemas que experimentan. Es la única forma para asegurar un nivel de accesibilidad óptimo.

Ventajas: también se detectan problemas de usabilidad, es una gran oportunidad para aprender de primera mano los problemas de accesibilidad.

Desventajas: es extremadamente caro de realizar, sorprendentemente detecta menos problemas que una auditoría de accesibilidad.


Test de accesibilidad automático
Mediante un programa que verifica un conjunto de guías, se evalúa de forma automática la accesibilidad de un sitio web.

Ventajas: rápido, sencillo y económico de realizar.

Desventajas: la calidad de los resultados es limitada, devuelven errores que no lo son y no detecta errores básicos.

El W3C critica la falta de rigor al emplear las herramientas automáticas de validación

Acabo de encontrar la noticia W3C España afirma que falta rigor en los informes de accesibilidad web en la Revista Eroski Consumer:

La Oficina Española del W3C (World Wide Web Consortium) ha mostrado su preocupación por el uso inapropiado que se está haciendo de las herramientas automáticas de validación de estándares web, programas informáticos o servicios "online" que ayudan a determinar si un sitio web es accesible y cumple los estándares.
Estas herramientas están siendo utilizadas para realizar análisis de páginas de Internet que "en muchas ocasiones carecen de validez", como en el caso de informes sobre niveles de accesibilidad que son publicados cada vez con mayor frecuencia y cuya falta de rigor "está generando cierta confusión entre usuarios y organizaciones".
Existen diferentes mecanismos que permiten evaluar si un sitio web es accesible o cumple con los estándares del W3C. Estos mecanismos, que pueden ser automáticos o manuales, usados de forma conjunta hacen posible obtener evaluaciones fiables. El problema surge cuando se hace un uso exclusivo de herramientas automáticas de validación sin tener en cuenta las técnicas manuales.
Estas herramientas constituyen una ayuda eficaz en los procesos de validación, no obstante, "ninguna de ellas por sí sola puede determinar si un sitio cumple o no las pautas de accesibilidad o los estándares", así como tampoco es posible hacerlo validando una sola página de un sitio completo, explica W3C España.
Para determinar si un sitio es accesible o cumple los estándares "es necesaria la revisión humana, sólo así podemos hablar realmente de la evaluación correcta".
Aquellas validaciones realizadas exclusivamente con herramientas automáticas "pueden llevar a conclusiones inexactas y erróneas" si no están siempre bajo el control de personas con experiencia en el área.