Pengertian dari robot.txt di WWW ?

Robot dalam hal ini robot.txt adalah sebuah program yang secara otomatis melintasi struktur hypertext Web yang dengan mengambil dokumen, dan secara rekursif mengambil semua dokumen yang direfer.

Perhatikan bahwa "rekursif" di sini tidak membatasi definisi untuk setiap algoritma traversal tertentu, bahkan jika robot berlaku beberapa heuristik dengan pemilihan dan algoritma dokumen untuk dingunjungi dan di telusuri oleh robot

Web browser normal bukan robot, karena mereka dioperasikan oleh manusia, dan tidak secara otomatis mengambil dokumen acuan (selain gambar sebaris).

Robot web kadang-kadang disebut sebagai Web Wanderers, Web Crawler, atauSpider Nama-nama ini agak menyesatkan karena mereka memberikan kesanperangkat lunak itu sendiri bergerak antara situs-situs seperti virus;.  ini bukanlan kasus buruk, robot hanya mengunjungi situs dengan meminta dokumen dari mereka.


Baca Juga :

• Bagaimana robot mengindex dan memutuskan apa yang harus indeks?
• Bagaimana robot memutuskan situs mana yang harus dikunjungi ?
• Pengertian dari robot.txt di WWW ?