El archivo robots txt adecuado para su proyecto

develop