Bagaimana search engine bekerja - Web Crawlers
adalah search engine yang akhirnya membawa Anda ke situs web dari calon pelanggan. Oleh itu ia adalah baik untuk mengetahui bagaimana mesin pencari ini benar-benar bekerja dan bagaimana mereka menyajikan informasi pelanggan untuk melakukan pencarian.
Intinya ada dua jenis mesin pencari. Yang pertama adalah dengan robot atau crawlers disebut spiders.
Search Engine menggunakan spiders ke indeks website. Bila Anda mengirimkan halaman web untuk mesin pencari yang diperlukan oleh halaman pengiriman, mesin pencari spider akan mengindeks seluruh situs Anda. 'spider' merupakan program otomatis yang dijalankan oleh mesin pencari sistem. Spider mengunjungi situs web, membaca konten yang terdapat pada situs, situs Meta tag, dan juga mengikuti link yang menghubungkan situs. "Spider" kemudian balik dengan mengirimkan semua informasi dan kembali ke gudang pusat, di mana data diindeks. Ia akan mengunjungi setiap Link yang Anda miliki di website Anda dan indeks situs yang ter "link" dengan anda. Spiders hanya akan mengindeks beberapa halaman di situs Anda, sehingga tidak mengindeks seluruh situs dengan 500 halaman!
"Spider" secara berkala akan kembali ke situs untuk memeriksa apa-apa informasi yang telah berubah. Frekuensi ini terjadi dengan yang ditentukan oleh moderator dari mesin pencari (search engine)
"spider" hampir sama seperti buku yang berisi daftar isi, yang berisi konten dan link dan referensi untuk semua website tersebut yang ditemukan selama pencarian, dan mungkin bisa mengindeks sampai satu juta halaman sehari.
Contoh: Excite, Lycos, AltaVista dan Google.
Bila Anda meminta sebuah search engine untuk mencari informasi, itu benar-benar mencari melalui indeks yang telah dibuat dan tidak benar-benar mencari Web. Berbeda dengan mesin pencari menghasilkan peringkat yang berbeda karena tidak setiap mesin pencari menggunakan algoritma yang sama untuk mencari melalui indeks.
Salah satu hal yang membedakan algoritma Search engine adalah untuk memindai frekuensi lokasi dan kata kunci pada halaman web,"Spider" juga dapat mendeteksi postingan asli atau hanya sekedar "spamdexing" isian kata kunci. Kemudian algoritma menganalisis Link yang terhubung ke halaman lain dalam halaman Web.
Dengan memeriksa bagaimana setiap link ke halaman lain, sebuah mesin dapat menentukan apa yang kedua adalah tentang halaman, jika kata kunci dari halaman yang mirip dengan kata kunci pada halaman asli.
Sumber : http://bajajracing.blogspot.com/2008/11/bagaimana-search-engine-bekerja.html
adalah search engine yang akhirnya membawa Anda ke situs web dari calon pelanggan. Oleh itu ia adalah baik untuk mengetahui bagaimana mesin pencari ini benar-benar bekerja dan bagaimana mereka menyajikan informasi pelanggan untuk melakukan pencarian.
Intinya ada dua jenis mesin pencari. Yang pertama adalah dengan robot atau crawlers disebut spiders.
Search Engine menggunakan spiders ke indeks website. Bila Anda mengirimkan halaman web untuk mesin pencari yang diperlukan oleh halaman pengiriman, mesin pencari spider akan mengindeks seluruh situs Anda. 'spider' merupakan program otomatis yang dijalankan oleh mesin pencari sistem. Spider mengunjungi situs web, membaca konten yang terdapat pada situs, situs Meta tag, dan juga mengikuti link yang menghubungkan situs. "Spider" kemudian balik dengan mengirimkan semua informasi dan kembali ke gudang pusat, di mana data diindeks. Ia akan mengunjungi setiap Link yang Anda miliki di website Anda dan indeks situs yang ter "link" dengan anda. Spiders hanya akan mengindeks beberapa halaman di situs Anda, sehingga tidak mengindeks seluruh situs dengan 500 halaman!
"Spider" secara berkala akan kembali ke situs untuk memeriksa apa-apa informasi yang telah berubah. Frekuensi ini terjadi dengan yang ditentukan oleh moderator dari mesin pencari (search engine)
"spider" hampir sama seperti buku yang berisi daftar isi, yang berisi konten dan link dan referensi untuk semua website tersebut yang ditemukan selama pencarian, dan mungkin bisa mengindeks sampai satu juta halaman sehari.
Contoh: Excite, Lycos, AltaVista dan Google.
Bila Anda meminta sebuah search engine untuk mencari informasi, itu benar-benar mencari melalui indeks yang telah dibuat dan tidak benar-benar mencari Web. Berbeda dengan mesin pencari menghasilkan peringkat yang berbeda karena tidak setiap mesin pencari menggunakan algoritma yang sama untuk mencari melalui indeks.
Salah satu hal yang membedakan algoritma Search engine adalah untuk memindai frekuensi lokasi dan kata kunci pada halaman web,"Spider" juga dapat mendeteksi postingan asli atau hanya sekedar "spamdexing" isian kata kunci. Kemudian algoritma menganalisis Link yang terhubung ke halaman lain dalam halaman Web.
Dengan memeriksa bagaimana setiap link ke halaman lain, sebuah mesin dapat menentukan apa yang kedua adalah tentang halaman, jika kata kunci dari halaman yang mirip dengan kata kunci pada halaman asli.
Sumber : http://bajajracing.blogspot.com/2008/11/bagaimana-search-engine-bekerja.html