Mesin yang menelusuri website-website untuk mencari dokumen dinamakan spider atau crawler.
Crawler menjelajahi world wide web dengan menelusuri semua link dalam satu website ke page lain atau ke website lain.
Datanya dimasukkan ke dalam index.
Indexing (pengindeksan)
Bot yang menemukan data kemudian memasukkannya ke dalam daftar raksasa (index).
Index berisi semua halaman web dan konten yang ditemukan oleh bot.
Dokumen dan halaman yang telah ditelusuri pada proses crawling akan dimasukkan ke dalam list database milik search engine.
Mesin pencari menggunakan indeks ini sebagai sumber informasi yang ditampilkan pada laman hasil penelusuran.
Tapi, tidak semua data yang bot temukan lalu masuk ke indeks mesin pencari.
Dokumen yang relevan akan dipilih dari database tersebut.
Setiap ada orang mencari sesuatu di search engine, hanya data dari website yang ada di index search engine tersebutlah, yang akan ditampilkan sebagai search result nanti.
Ternyata ada ratusan ribu, bahkan jutaan dokumen dan data, yang dapat dibilang relevan dalam index ini.
Caranya adalah dengan melakukan ranking.
Ranking (peringkat)