Se gestisci un sito web, conosci sicuramente il file robots.txt. È quello standard storico che usiamo per dire ai crawler dei motori di ricerca dove non andare. Oggi però lo scenario è cambiato: i nuovi “visitatori” più frequenti non sono solo i classici bot di Google, ma gli agenti delle Intelligenze Artificiali (LLM come ChatGPT, […]
