Pikirkanlah. Mengapa Anda membuat sebuah situs web? Agar pelanggan atau audiens potensial Anda dapat dengan mudah menemukan Anda dan agar Anda dapat menonjol di antara persaingan, bukan? Bagaimana konten Anda sebenarnya bisa dilihat? Apakah semua konten di situs Anda selalu terlihat?
Mengapa Anda perlu menemukan semua halaman di situs web Anda
Kemungkinan ada halaman yang berisi informasi berharga yang sebenarnya perlu dilihat, sama sekali tidak mendapatkan kesempatan untuk dilihat. Jika ini terjadi pada situs web Anda, maka Anda mungkin kehilangan banyak lalu lintas, atau bahkan pelanggan potensial.
Halaman yang jarang dilihat juga bisa ada, dan ketika dilihat, pengguna/pengunjung/pelanggan potensial mencapai jalan buntu, karena mereka tidak dapat mengakses halaman lain. Mereka hanya bisa pergi. Ini sama buruknya dengan halaman yang tidak pernah dilihat. Google akan mulai mencatat tingkat pentalan yang tinggi dan mempertanyakan kredibilitas situs Anda. Ini akan membuat peringkat halaman web Anda semakin turun.
Bagaimana konten Anda sebenarnya bisa dilihat
Agar pengguna, pengunjung atau calon pelanggan dapat melihat konten Anda, proses crawling dan indexing perlu dilakukan dan dilakukan secara berkala. Apa itu crawling dan indexing?
Apa itu crawling dan indexing?
Agar Google dapat menampilkan konten Anda kepada pengguna/pengunjung/pelanggan potensial, ia perlu terlebih dahulu mengetahui bahwa konten tersebut ada. Cara ini terjadi adalah melalui proses crawling. Ini adalah ketika mesin pencari mencari konten baru dan menambahkannya ke database konten yang sudah ada.
Apa yang membuat "crawling" mungkin?
- Tautan
- Peta Situs
- Sistem Manajemen Konten (CMS - Wix, Blogger)
Tautan:
Ketika Anda menambahkan tautan dari halaman yang ada ke halaman baru lainnya, misalnya melalui teks jangkar, bot mesin pencari atau laba-laba dapat mengikuti halaman baru tersebut dan menambahkannya ke 'database' Google untuk referensi di masa depan.
Peta Situs:
Ini juga dikenal sebagai Peta Situs XML. Di sini, pemilik situs mengirimkan daftar semua halaman mereka ke mesin pencari. Webmaster juga dapat menyertakan detail seperti tanggal modifikasi terakhir. Halaman-halaman tersebut kemudian di-crawl dan ditambahkan ke ‘database’. Namun, ini bukan waktu nyata. Halaman atau konten baru Anda tidak akan di-crawl segera setelah Anda mengirimkan peta situs Anda. Crawling mungkin terjadi setelah beberapa hari atau minggu.
Kebanyakan situs yang menggunakan Sistem Manajemen Konten (CMS) menghasilkan ini secara otomatis, jadi ini sedikit seperti pintasan. Satu-satunya waktu situs mungkin tidak memiliki peta situs yang dihasilkan adalah jika Anda membuat situs web dari awal.
CMS:
Jika situs web Anda didukung oleh CMS seperti Blogger atau Wix, penyedia hosting (dalam hal ini CMS) dapat 'memberitahu mesin pencari untuk merayapi halaman atau konten baru apa pun di situs web Anda.'
Berikut adalah beberapa informasi untuk membantu Anda dalam prosesnya:
Menambahkan peta situs ke WordPress
Apa itu pengindeksan?
Indeksasi dalam istilah sederhana adalah penambahan halaman dan konten yang telah di-crawl ke 'database' Google, yang sebenarnya disebut sebagai indeks Google.
Sebelum konten dan halaman ditambahkan ke indeks, bot mesin pencari berusaha untuk memahami halaman dan konten di dalamnya. Mereka bahkan melangkah lebih jauh untuk mengkatalog file seperti gambar dan video.
Inilah mengapa sebagai webmaster, SEO on-page menjadi berguna (judul halaman, judul, dan penggunaan teks alt, di antara lainnya). Ketika halaman atau halaman-halaman Anda memiliki aspek-aspek tersebut, menjadi lebih mudah bagi Google untuk 'memahami' konten Anda, mengkatalogkannya dengan tepat dan mengindeksnya dengan benar.
Menggunakan robots.txt
Terkadang, Anda mungkin tidak ingin beberapa halaman diindeks, atau bagian-bagian dari sebuah situs web. Anda perlu memberikan arahan kepada bot mesin pencari. Menggunakan arahan tersebut juga membuat proses crawling dan pengindeksan menjadi lebih mudah, karena ada lebih sedikit halaman yang di-crawl. Pelajari lebih lanjut tentang robots.txt di sini.
Menggunakan ‘noindex’
Anda juga dapat menggunakan direktif lain ini jika ada halaman yang tidak Anda inginkan muncul dalam hasil pencarian. Pelajari lebih lanjut tentang noindex.
Sebelum Anda mulai menambahkan noindex, Anda akan ingin mengidentifikasi semua halaman Anda sehingga Anda dapat membersihkan situs Anda dan membuatnya lebih mudah bagi crawler untuk merayapi dan mengindeks situs Anda dengan benar.
Apa beberapa alasan mengapa Anda perlu menemukan semua halaman Anda?
Apa itu halaman yatim?
Sebuah halaman yatim dapat didefinisikan sebagai halaman yang tidak memiliki tautan dari halaman lain di situs Anda. Ini membuatnya hampir mustahil bagi halaman-halaman tersebut untuk ditemukan oleh bot mesin pencari, dan juga oleh pengguna. Jika bot tidak dapat menemukan halaman tersebut, maka mereka tidak akan menampilkannya dalam hasil pencarian, yang semakin mengurangi kemungkinan pengguna menemukannya.
Bagaimana halaman yatim terjadi?
Halaman yatim mungkin terjadi akibat upaya untuk menjaga konten tetap pribadi, kesalahan sintaks, kesalahan ketik, konten duplikat atau konten yang telah kedaluwarsa dan tidak terhubung. Berikut adalah beberapa cara lainnya:
- Halaman tes yang digunakan untuk pengujian A/B dan yang tidak pernah dinonaktifkan
- Halaman arahan yang didasarkan pada musim, misalnya, Natal, Thanksgiving atau Paskah
- Halaman 'terlupakan' sebagai hasil dari migrasi situs
Bagaimana dengan halaman buntu?
Tidak seperti halaman yatim, halaman buntu memiliki tautan dari halaman lain di situs web tetapi tidak menautkan ke situs eksternal lainnya. Contoh halaman buntu termasuk halaman ucapan terima kasih, halaman layanan tanpa ajakan bertindak, dan halaman "tidak ditemukan" ketika pengguna mencari sesuatu melalui opsi pencarian.
Ketika Anda memiliki halaman buntu, orang yang mengunjunginya hanya memiliki dua pilihan: meninggalkan situs atau kembali ke halaman sebelumnya. Itu berarti Anda kehilangan lalu lintas yang signifikan, terutama jika halaman-halaman tersebut kebetulan merupakan 'halaman utama' di situs web Anda. Lebih buruk lagi, pengguna ditinggalkan baik merasa frustrasi, bingung atau bertanya-tanya, 'apa selanjutnya'?
Jika pengguna meninggalkan situs Anda dengan perasaan frustrasi, bingung, atau emosi negatif lainnya, mereka kemungkinan besar tidak akan kembali, sama seperti pelanggan yang tidak puas tidak akan pernah membeli dari merek tersebut lagi.
Dari mana halaman buntu berasal?
Halaman buntu adalah hasil dari halaman tanpa ajakan bertindak. Sebagai contoh, halaman tentang kami yang mengisyaratkan layanan yang ditawarkan oleh perusahaan Anda tetapi tidak memiliki tautan ke layanan tersebut. Setelah pembaca memahami apa yang mendorong perusahaan Anda, nilai-nilai yang Anda pegang, bagaimana perusahaan didirikan dan layanan yang Anda tawarkan dan sudah tersemangat, Anda perlu memberi tahu mereka apa yang harus dilakukan selanjutnya.
Sebuah tombol seruan sederhana 'lihat layanan kami' akan melakukan tugasnya. Pastikan bahwa tombol tersebut ketika diklik benar-benar membuka halaman layanan. Anda tidak ingin pengguna dihadapkan dengan 404, yang juga akan membuatnya frustrasi.
Apa itu halaman tersembunyi?
Halaman tersembunyi adalah halaman yang tidak dapat diakses melalui menu atau navigasi. Meskipun pengunjung mungkin dapat melihatnya, terutama melalui teks jangkar atau tautan masuk, mereka bisa sulit untuk ditemukan.
Halaman yang masuk ke dalam bagian kategori kemungkinan juga merupakan halaman tersembunyi, karena mereka berada di panel admin. Mesin pencari mungkin tidak akan pernah bisa mengaksesnya, karena mereka tidak mengakses informasi yang tersimpan di dalam basis data.
Halaman tersembunyi juga bisa berasal dari halaman yang tidak pernah ditambahkan ke peta situs tetapi ada di server.
Apakah semua halaman tersembunyi harus dihilangkan?
Tidak juga. Ada halaman tersembunyi yang sangat penting, dan seharusnya tidak pernah dapat diakses dari navigasi Anda. Mari kita lihat contohnya:
Pendaftaran buletin
Anda dapat memiliki halaman yang memaparkan manfaat dari mendaftar ke buletin, seberapa sering pengguna harus mengharapkan untuk menerimanya, atau grafik yang menunjukkan buletin (atau buletin sebelumnya). Ingat untuk menyertakan tautan pendaftaran juga.
Halaman yang berisi informasi pengguna
Halaman yang mengharuskan pengguna untuk berbagi informasi mereka pasti harus disembunyikan. Pengguna perlu membuat akun sebelum mereka dapat mengaksesnya. Pendaftaran buletin juga dapat dikategorikan di sini.
Cara menemukan halaman tersembunyi
Seperti yang telah kami sebutkan, Anda dapat menemukan halaman tersembunyi menggunakan semua metode yang digunakan untuk menemukan halaman yatim atau buntu. Mari kita jelajahi beberapa lagi.
Menggunakan robots.txt
Halaman tersembunyi sangat mungkin disembunyikan dari mesin pencari melalui robots.txt. Untuk mengakses robots.txt sebuah situs, ketik [nama domain]/robots.txt ke dalam browser dan tekan enter. Ganti 'nama domain' dengan nama domain situs Anda. Perhatikan entri yang diawali dengan 'disallow' atau 'nofollow'.
Menemukan mereka secara manual
Jika Anda menjual produk melalui situs web Anda misalnya, dan mencurigai bahwa salah satu kategori produk Anda mungkin tersembunyi, Anda dapat mencarinya secara manual. Untuk melakukan ini, salin dan tempel URL produk lain dan edit sesuai kebutuhan. Jika Anda tidak menemukannya, maka Anda benar!.
Apa yang terjadi jika Anda tidak memiliki ide tentang apa halaman tersembunyi itu? Jika Anda mengatur situs web Anda dalam direktori, Anda dapat menambahkan nama domain Anda/nama-folder ke browser situs dan menelusuri halaman serta sub-direktori.
Setelah Anda menemukan halaman tersembunyi Anda (dan mereka tidak perlu tetap tersembunyi seperti yang dibahas di atas), Anda perlu menambahkannya ke peta situs Anda dan mengirimkan permintaan pemindaian.
Cara menemukan semua halaman di situs Anda
Anda perlu menemukan semua halaman web Anda untuk mengetahui mana yang buntu atau terlantar. Mari kita jelajahi berbagai cara untuk mencapai ini:
Menggunakan file sitemap Anda
Kami sudah melihat peta situs. Peta situs Anda akan berguna ketika menganalisis semua halaman web Anda. Jika Anda tidak memiliki peta situs, Anda dapat menggunakan generator peta situs untuk membuatnya untuk Anda. Yang perlu Anda lakukan adalah memasukkan nama domain Anda dan peta situs akan dihasilkan untuk Anda.
Menggunakan CMS Anda
Jika situs Anda ditenagai oleh sistem manajemen konten (CMS) seperti WordPress, dan peta situs Anda tidak mengandung semua tautan, Anda dapat menghasilkan daftar semua halaman web Anda dari CMS. Untuk melakukan ini, gunakan plugin seperti Export All URLs.
Menggunakan log
Log dari semua halaman yang disajikan kepada pengunjung juga berguna. Untuk mengakses log tersebut, masuk ke cPanel Anda, kemudian temukan 'raw log files'. Atau, minta penyedia hosting Anda untuk membagikannya. Dengan cara ini Anda dapat melihat halaman yang paling sering dikunjungi, halaman yang tidak pernah dikunjungi dan halaman dengan tingkat penurunan pengunjung tertinggi. Halaman dengan tingkat pentalan tinggi atau tanpa pengunjung bisa jadi halaman buntu atau halaman yatim.
Menggunakan Google Analytics
Berikut adalah langkah-langkah yang harus diikuti:
Langkah 1: Masuk ke halaman Analytics Anda.
Langkah 2: Pergi ke 'perilaku' kemudian 'konten situs'
Langkah 3: Pergi ke 'semua halaman'
Langkah 4: Gulir ke bawah dan di sebelah kanan pilih 'tampilkan baris'
Langkah 5: Pilih 500 atau 1000 tergantung pada berapa banyak halaman yang Anda perkirakan situs Anda miliki
Langkah 6: Gulir ke atas dan di pojok kanan atas pilih 'export'
Langkah 7: Pilih ‘export as .xlsx’ (excel)
Langkah 8: Setelah excel diekspor pilih 'dataset 1'
Langkah 9: Urutkan berdasarkan ‘tampilan halaman unik’.
Langkah 10: Hapus semua baris dan kolom lain selain yang berisi URL Anda
Langkah 11: Gunakan rumus ini pada kolom kedua:
=CONCATENATE("http://domain.com,A1)
Langkah 12: Ganti domain dengan domain situs Anda. Seret rumus tersebut agar diterapkan ke sel-sel lainnya juga.
Anda sekarang memiliki semua URL Anda.
Jika Anda ingin mengubahnya menjadi hyperlink agar mudah diklik dan diakses saat mencari sesuatu, lanjutkan ke langkah 13.
Langkah 13: Gunakan rumus ini pada baris ketiga:
=HYPERLINK(B1)
Seret rumus tersebut sehingga diterapkan ke sel-sel lain juga.
Mengetik secara manual ke dalam kueri pencarian Google
Anda juga dapat mengetik situs ini: www.abc.com ke dalam kotak pencarian Google. Ganti 'abc' dengan nama domain Anda. Anda akan mendapatkan hasil pencarian dengan semua URL yang telah Google jelajahi dan indeks, termasuk gambar, tautan ke sebutan di situs lain, dan bahkan tagar yang dapat dikaitkan dengan merek Anda.
Anda kemudian dapat menyalin masing-masing secara manual dan menempelkannya ke dalam lembar kerja excel.
Apa yang kemudian Anda lakukan dengan daftar URL Anda?
Pada titik ini, Anda mungkin bertanya-tanya apa yang perlu Anda lakukan dengan daftar URL Anda. Mari kita lihat opsi yang tersedia:
Perbandingan manual dengan data log
Salah satu pilihan adalah dengan membandingkan secara manual daftar URL Anda dengan log CMS dan mengidentifikasi halaman yang tampaknya tidak memiliki lalu lintas sama sekali, atau yang tampaknya memiliki tingkat pentalan tertinggi. Anda kemudian dapat menggunakan alat seperti milik kami untuk memeriksa tautan masuk dan keluar untuk setiap halaman yang Anda curigai sebagai halaman yatim atau buntu.
Pendekatan lain adalah dengan mengunduh semua URL Anda sebagai file .xlsx (excel) dan log Anda juga. Bandingkan keduanya berdampingan (dalam dua kolom misalnya) dan kemudian gunakan opsi 'hapus duplikat' di excel. Ikuti instruksi langkah demi langkah. Di akhir proses, Anda hanya akan memiliki halaman yatim dan buntu yang tersisa.
Pendekatan perbandingan ketiga adalah menyalin dua set data - log Anda dan daftar URL ke Google Sheets. Ini memungkinkan Anda untuk menggunakan rumus ini: =VLOOKUP(A1, A:B,2,) untuk mencari URL yang ada dalam daftar URL Anda, tetapi tidak ada di log Anda. Halaman yang hilang (ditampilkan sebagai N/A) harus diinterpretasikan sebagai halaman yatim. Pastikan bahwa data log berada di kolom pertama atau kiri.
Menggunakan alat crawling situs
Opsi lainnya adalah memuat daftar URL Anda ke dalam alat yang dapat melakukan penjelajahan situs, menunggu mereka menjelajahi situs tersebut dan kemudian Anda menyalin dan menempel URL Anda ke dalam spreadsheet sebelum menganalisisnya satu per satu, dan mencoba untuk mengetahui mana yang merupakan halaman yatim atau buntu.
Kedua opsi ini bisa memakan waktu, terutama jika Anda memiliki banyak halaman di situs Anda, bukan?
Nah, bagaimana dengan sebuah alat yang tidak hanya menemukan semua URL Anda tetapi juga memungkinkan Anda untuk menyaringnya dan menunjukkan statusnya (sehingga Anda tahu mana yang buntu atau terlantar?). Dengan kata lain, jika Anda ingin pintasan untuk menemukan semua halaman situs Anda, gunakan SEOptimer's SEO Crawl Tool.
Alat SEO Crawl dari SEOptimer
Alat ini memungkinkan Anda untuk mengakses semua halaman situs Anda. Anda dapat mulai dengan pergi ke “Penjelajahan Situs” dan masukkan url situs web Anda. Klik “Crawl”
Setelah proses crawling selesai, Anda dapat mengklik "Lihat Laporan":
Alat crawl kami akan mendeteksi semua halaman dari situs web Anda dan mencantumkannya dalam bagian “Halaman Ditemukan” dari crawl tersebut.
Anda dapat mengidentifikasi masalah “404 Error” pada bagian “Issues Found” tepat di bawah bagian “Pages Found”:
Crawler kami dapat mengidentifikasi masalah lain seperti menemukan halaman dengan Title yang hilang, Meta Descriptions, dll. Setelah Anda menemukan semua halaman Anda, Anda dapat mulai menyaring dan bekerja pada masalah yang ada.
Kesimpulan
Dalam artikel ini kami telah melihat bagaimana cara menemukan semua halaman di situs Anda dan mengapa hal itu penting. Kami juga telah mengeksplorasi konsep seperti halaman yatim dan halaman buntu, serta halaman tersembunyi. Kami telah membedakan masing-masing, bagaimana cara mengidentifikasi setiap satu di antara URL Anda. Tidak ada waktu yang lebih baik untuk mengetahui apakah Anda kehilangan karena halaman tersembunyi, yatim, atau buntu.
