robots.txt ???

Pavel Kraus kraus na caa.cz
Středa Únor 28 07:50:58 CET 2001


On 28 Feb 01, at 7:27, thus spake Jirka Mares:

> Mel bych dotaz, ktery se sice netyka uplne primo linuxu, ale kdo jiny by mi byl schopen odpovedet lepe nez prave spravci serveru.
> Na mem Apachi se v errorlogu kazdou chvili objevuje pokus o pristup k souboru robots.txt a to z ruznych IP. Vi nekdo, co to presne znamena? Predpokladam, ze se jedna o nejake vyhledavaci automaty, ktere by mely v tomto souboru asi hledat nejake informace. Pokud to tak je, najdu nekde 
detailnejsi popis? (co a v jakem formatu se ma v tomto souboru nachazet).
> 
Je to popsano na http://info.webcrawler.com/mak/projects/robots/robots.html


                                                
          Pavel Kraus                 
            CAA CR
         kraus na caa.cz
====================================
      Sinister dexter est!


Další informace o konferenci Linux