¿Cuántas veces has intentado crear un proceso que obtenga las urls del sitemap.xml de una página web? A continuación vamos a desarrollar una función en Python que nos permitirá extraer todas las urls almacenadas en un sitemap.xml.
Para comenzar, veamos ¿qué es un
sitemap.xml? Según la página
sitemap.org (página de referencia básica en este asunto):
Los Sitemaps son una forma fácil que tienen los webmasters para informar a los motores de búsqueda de las páginas que se pueden rastrear en sus sitios web. Un Sitemap, en su forma más sencilla, es un archivo XML que enumera las URL de un sitio junto con metadatos adicionales acerca de cada una de ellas.
O dicho de otra forma, es un listado con todas las urls accesibles de una página web, imagina las facilidades que proporciona el tener un sitemap para los motores de búsqueda, de ahí que luego ellos favorezcan las webs con este tipo de elementos.