¿Son útiles las herramientas automáticas de revisión de la accesibilidad web?

Sin duda alguna. Son una gran ayuda, te pueden ayudar a tener una rápida idea del nivel de accesibilidad de una página web, te ayudan a localizar posibles problemas, pero no son "la solución a todos los problemas". Y una pequeña prueba lo demuestra:

• Si analizamos una misma página con diferentes herramientas automáticas de revisión (evaluación) de la accesibilidad web, lo más seguro es que obtendremos diferentes resultados.
• No es difícil hacer una página web que no contenga ningún problema de accesibilidad, pero que una herramienta automática de revisión indique que sí, y al contrario.

 Hay numerosas referencias que nos avisan de esta situación. Por ejemplo, el propio W3C dice:

• Selecting Web Accessibility Evaluation Tools:
  

  What evaluation tools can not do
  
  Many accessibility checks require human judgement and must be evaluated manually using different techniques. Also, in some cases evaluation tools are prone to producing false or misleading results such as not identifying or signal incorrect code. The results from evaluation tools should not be used to determine conformance levels unless they are operated by experienced evaluators who understand the capabilities and limitations of the tools in order to achieve accurate results. Web accessibility evaluation tools can not determine the accessibility of Web sites, they can only assist in doing so.

• Evaluating Web Sites for Accessibility:
  

  No single evaluation tool yet provides comprehensive information or captures all problems with regard to the accessibility of a site; therefore evaluation involves a combination of approaches.

En  la investigación The Web: Access and Inclusion for Disabled People que publicó la Disability Rights Commission (ahora llamada Equality and Human Rights Commission) del Reino Unido en el año 2004 se dice:

It is very significant that the majority of those Checkpoints that this investigation found to be the most important are qualitative, in the sense that they require the exercise of human judgement. Automatic testing tools alone cannot, therefore, verify effective compliance.

Por último, en el artículo Automated testing - How useful is it? se dice:

Many who purchase automated tools believe that they make entirely accurate assessments of web pages. In actual fact, automated testing tools are prone to making mistakes, some of which are discussed in this article.

[Actualización 06/05/2013]
Un par de artículos que explican los problemas de las herramientas automáticas de evaluación de la accesibilidad web:

• Pitfalls of Web Accessibility Evaluation Tools
• The problem with automated accessibility testing tools