Los sitios ricos en JavaScript como los construidos con herramientas como React, AngularJS, Ember, Vue y otros pueden ser difíciles de rastrear, ya que los enlaces internos no suelen encontrarse en el código fuente HTML. En este tipo de sitio, un rastreador HTML regular no es suficiente. Si tomas por ejemplo el sitio EmberConf y ves el código fuente HTML, no encontrarás ninguna etiqueta <a> allí. Pero cuando se ve en el navegador, efectivamente hay algunos enlaces internos.
Para rastrear este tipo de sitio, necesitaríamos renderizar la página HTML en un navegador web para obtener el DOM HTML completamente formado, y solo entonces podemos obtener los enlaces para descubrir las páginas internas. Eso es exactamente lo que hace el nuevo Dynamic Crawler: renderiza cada página web usando un navegador Chrome headless internamente.
Como usuario pro, ahora puedes ejecutar informes de validación para sitios ricos en JavaScript y conseguir que se rastreen correctamente. Todo lo que necesitas es habilitar la nueva opción avanzada Dynamic Crawler y nosotros haremos el resto por ti.
Recomendamos usar este nuevo rastreador solo en sitios que no puedan ser rastreados con el Static Crawler estándar, ya que es más lento y consume 1 crédito por página web rastreada. Por ejemplo, si tu sitio rico en JavaScript implementa renderizado del lado del servidor, o puedes usar un mapa del sitio XML o proporcionar manualmente una lista de URLs iniciales, es posible que no necesites usar el Dynamic Crawler.