Bagaimana robot memutuskan situs mana yang harus dikunjungi?

Hal ini tergantung pada robot, masing-masing menggunakan strategi yang berbeda, Secara umum mereka mulai dari daftar sejarah URL, terutama dokumen dengan banyak link di tempat lain, seperti daftar server, "What's New" halaman,. dan situs paling populer di Web .

Kebanyakan layanan pengindeksan juga memungkinkan Anda untuk mengirimkan URL secara manual, yang kemudian akan antri dan dikunjungi oleh robot.

Kadang-kadang sumber lain untuk URL yang digunakan, seperti pemindai melalui posting USENET, diterbitkan lewat email dll.

Mengingat mereka ini adalah titik awal robot dapat memilih URL untuk mengunjungi dan indeks, dan untuk mengurai dan digunakan sebagai sumber untuk URL baru. banyak rahasia robot ini yang belum kita ketahui.


Baca Juga :

• Bagaimana robot mengindex dan memutuskan apa yang harus indeks?
• Bagaimana robot memutuskan situs mana yang harus dikunjungi ?
• Pengertian dari robot.txt di WWW ?