Bagaimana robot mengindex dan memutuskan apa yang harus indeks?

Jika robot pengindeksan tahu tentang dokumen, hal itu mungkin memutuskan untukmengurai, dan masukkan ke database-nya Cara ini dilakukan tergantung pada robot:. Beberapa indeks robot tersebut Judul HTML, atau beberapa paragrafpertama, atau parse seluruh HTML dan indeks semua kata, dengan bobot tergantung pada konstruksi HTML, dll. Beberapa parse tag META, tag atau tersembunyi khusus.

kita  berharap bahwa sebagai Web berkembang lebih banyak fasilitas menjadi tersedia untuk meta data secara efisien asosiasi seperti informasi mengindeks dengan dokumen. ini sedang bekerja pada ...

Baca Juga :

• Bagaimana robot mengindex dan memutuskan apa yang harus indeks?
• Bagaimana robot memutuskan situs mana yang harus dikunjungi ?
• Pengertian dari robot.txt di WWW ?