tags: parsero robots enumerazione tool_robots
Parsero è uno strumento che ritrova file robots.txt di un determinato sito web anche quando sono abilitate le cosiddette Disallow entries: questo ultime indicano a un motore di ricerca quali directory o file non devono essere indicizzate dai motori di ricerca.
Comandi da usare:
-
-u: URL da scansionare. -
.o: Mostra solo lo status di successo 200. -
-sb: Cerca fra le disallow di Bing. -
-f FILE: File con lista di domini da scansionare.
Esempio
parsero -u <sito web>
parsero -u <sito web> -sb