Cara Mengatasi Status Excluded (Dikecualikan) Index Coverage Report

Cara Mengatasi Status Excluded (Dikecualikan) Index Coverage Report. Artikel ini merupakan lanjutan pada postingan artikel sebelumnya yang membahas mengenai "Cara Mengatasi Status Indeks Valid With Warnings (Valid Dengan Peringatan)👀". Pada postingan tersebut kita bahas tentang laporan pengindeksan yang terdapat pada  Index Coverage Report (Laporan Cakupan Indeks) di Google Search Console dengan status Valid dan Valid With Warnings (Valid Dengan Peringatan).

Kali ini kita akan membahas Index Coverage Report (Laporan Cakupan Indeks) di Google Search Console dengan status Excluded atau Dikecualikan serta cara mengatasi masalah tersebut yag Admin rangkum dari pengalaman pribadi dan berbagai sember yang dapat dipercaya.

{tocify} $title={Table of Contents}

Sebelum kita mempelajari lebih jauh tentang Status Excluded (Dikecualikan) Index Coverage Report (Laporan Coverage Indeks) di Google Search Console, mari kita kenal terlebih dahulu beberapa istilah yang sering digunakan yaitu:

1. Canonical URL (URL Unik) adalah sebuah URL halaman yang membantu webmaster untuk mencegah masalah duplikasi pada pembuatan konten/artikel. Setiap halaman hanya mempunyai satu URL kanonik yang membedakannya dengan URL halaman yang lain.
   
2. Robots.txt adalah file berbasis teks yang memberi tahu mesin pencari apa yang harus dan tidak boleh dirayapi. Saat kalian memposting halaman atau posting baru ke situs web Anda, Robot mesin pencari akan merayapi konten ini untuk mengindeksnya dan menampilkannya di hasil penelusuran Google. Namun, jika Anda memiliki beberapa bagian situs web yang tidak ingin diindeks, Anda dapat memberi tahu Robot pencarian untuk melewatinya sehingga tidak muncul di halaman hasil.

Langsung saja kita membahas jenis kategori pengindeksan yang biasa ditemukan dalam status excluded (dikecualikan) dalam pengindeksan di Google Search Console dimulai dari yang paling sering ditemukan dan bagaimana cara mengatasinya dan memperbaiki status dikecualikan tersebut, penjelasannya sebagai berikut:

1. Blocked By Robots.txt

Blocked by robots.txt (Diblokir oleh robots.txt ). Bila index coverage report atau laporan cakupan indeks menunjukkan status exclude (dikecualikan) berada pada status ini, itu berarti URL halaman tidak terindeks oleh Google dikarenakan URL tersebut diblokir oleh file robots.txt.

Hal ini juga berarti bahwa Google belum menemukan sinyal yang cukup kuat untuk menjamin pengindeksan URL tersebut, karena jika sudah terindeks, URL halaman akan berada pada status Valid with warnings - Indexed, though blocked by robots.txt (Valid dengan peringatan - Terindeks namun diblokir robot.txt).

Solusi Masalah : 

Ada beberapa solusi yang patut dicoba dan perlu dilakukan untuk mengatasi hal ini seperti berikut:

1. Coba kalian periksa pengaturan robot.txt kalian pada setelan dashboard blog apakah sengaja memblokir (Dissallow) URL halaman tersebut agar tidak dirayapi oleh mesin penelusur Google.
2. Bila tidak ada perintah yang disengaja untuk memblokir, langkah selanjutnya coba periksa pada pengujian Robot.txt untuk mencari dan memeriksa kesalahan yang diblokir oleh robot.txt.
3. Coba secara manual memberitahukan kepada Google untuk merayapi situs kalian, dengan cara menavigasi ke properti Search Console 👉 Crawl 👉 Fetch as Google. Tambahkan URL halaman yang ditandai pada status ini lalu klik Fetch. Setelah dimuat ulang (reload), klik Request Indexing (pengindeksan ulang) 👉 Pilih Crawl only this URL (Perayapan hanya URL ini).

2. Crawled - Currently Not Indexed

Crawled - currently not indexed (Dirayapi - saat ini tidak diindeks) adalah salah satu laporan di Search Console yang berpotensi paling memungkinkan untuk dapat ditindaklanjuti, namun Google tidak memberi tahu kalian mengapa URL tersebut tidak dapat diindeks.

Beberapa hal yang mungkin dapat menyebabkan Crawled - currently not indexed (Dirayapi - saat ini tidak diindeks) yaitu:

1. Struktur tautan internal yang buruk : halaman ini bisa berarti memiliki tautan internal yang rusak atau sudah terhapus dan bahkan karena tidak memiliki sama sekali tautan.
   
2. Kualitas konten yang buruk : halaman ini mungkin menurut Google, memiliki kualitas konten yang kurang memadai, seperti kurang dalam jumlah kata yang disyaratkan ataupun memiliki konten yang kurang unik (unique)/memiliki perbedaan yang jelas dengan konten yang memiliki tema (niche) yang sama.
   
3. Duplikasi : konten dianggap sebagai duplikasi atau memiliki kemiripan yang hampir sama dari sebuah konten yang telah dirayapi Google dari website/situs lain.
   

Solusi Masalah :

Jika kalian menemukan halaman tersebut benar-benar penting dan harus diindeks, maka kalian harus segera mengambil tindakan untuk mengatasinya seperti:

1. Perbaiki dan tambahkan tautan internal maupun eksternal (backlink) pada halaman tersebut.
2. Perbaiki konten kalian dengan memperbanyak kata unik (unique) dari pemikiran kalian sendiri, bukan copy paste dan membuat konten dengan mempunyai minimal 600 susunan kata.
3. Bagikan postingan dan halaman Anda ke berbagai Media sosial untuk mendapatkan backlink.
4. Indeks situs Anda dengan media pencarian lainnya seperti Bing dan Yahoo.
5. Lakukan pengindeksan ulang ataupun kalian lakukan ping ke URL halaman konten tersebut.

3. Discovered - Currently Not Indexed

Discovered - currently not indexed (Ditemukan - saat ini tidak diindeks). Status ini berarti URL halaman tersebut telah ditemukan oleh mesin perayap Google, namun Google lebih memilih untuk tidak melakukan perayapan dan pengindeksan pada halaman tersebut.

Beberapa hal yang mungkin dapat menyebabkan Discovered - currently not indexed (Ditemukan - saat ini tidak diindeks) yaitu:

1. Server kelebihan beban : Google mengalami masalah saat merayapi situs Anda karena tampaknya kelebihan beban. Periksa dengan penyedia hosting Anda jika ini masalahnya.
2. Konten yang berlebihan : Situs web/blog kalian berisi banyak konten daripada yang dapat dirayapi Google saat itu dan mesin perayap Google memutuskan untuk tidak tertarik merayapi halaman tersebut.
3. Struktur tautan internal yang buruk : halaman ini bisa berarti memiliki tautan internal yang rusak atau sudah terhapus dan bahkan karena tidak memiliki sama sekali tautan.
4. Kualitas konten yang buruk : halaman ini mungkin menurut Google, memiliki kualitas konten yang kurang memadai, seperti kurang dalam jumlah kata yang disyaratkan ataupun kurang memiliki konten yang kurang unik (unique)/memiliki perbedaan yang jelas dengan konten yang memiliki tema (niche) yang sama.

Solusi Masalah :

Jika kalian menemukan halaman tersebut benar-benar penting dan harus diindeks, maka kalian harus segera mengambil tindakan untuk mengatasinya seperti:

1. Kalian dapat memperbaikinya dengan memangkas konten, membuat konten lebih unik jika Anda ingin Google merayapi dan mengindeksnya, atau dengan menghapus tautan yang mengarah kesana dan memperbarui file robots.txt untuk mencegah Google mengakses kembali URL tersebut.
2. Perbaiki konten kalian dengan memperbanyak kata unik (unique) dari pemikiran kalian sendiri, bukan copy paste dan membuat konten dengan mempunyai minimal 600 susunan kata.
3. Bagikan postingan dan halaman Anda ke berbagai Media sosial untuk mendapatkan backlink sehingga membuat Google tertarik untuk merayapi dan mengindeksnya.
   
4. Solusi terakhir dan terbaik setelah kalian memperbaiki konten tersebut, dengan membuat Permalink baru dan menghapus permalink yang lama dan meminta pengindeksan ulang ke Permalink yang baru.
   

4. Duplicate Without User - Selected Canonical

Duplicate without user-selected canonical (Duplikat tanpa kanonik yang dipilih pengguna). Google menemukan dan menganggap URL tersebut sebagai duplikat. Meskipun Anda mengkanonikakannya ke URL pilihan kalian sendiri, Google lebih memilih untuk mengabaikannya  dan memutuskan untuk mengecualikan URL ini dari pengindeksan.

Hal ini dapat terjadi ketika situs web memiliki konten yang hampir dan bahkan serupa dengan beberapa web yang bersaing pada niche yang sama dengan kalian. Konten yang serupa ini bukan hanya dinilai Google melalui konten yang memiliki persamaan bahasa dan tulisan, tetapi juga bisa di bandingkan dengan konten yang dengan bahasa yang berbeda dan Google menganggap konten tersebut adalah sebuah duplikasi.

Bisa saja konten yang kalian miliki adalah murni originalitas pemikiran kalian sendiri, dan yang lain malah copy paste dari blog/website kalian namun konten kalian justru dianggap menduplikasi konten mereka karena kalian kalah dalam hal jumlah tautan backlink maupun pengunjung yang menelusuri konten kalian sehingga Google malah memilih untuk mengabaikan konten kalian.

Solusi Masalah : Tambahkan URL kanonik ke versi URL pilihan seperti misalnya halaman detail produk. Jika URL ini tidak boleh diindeks sama sekali, pastikan untuk menerapkan arahan noindex melalui tag meta robots  sehingga saat kalian menggunakan alat Inspeksi URL , Google bahkan dapat menampilkan versi kanonik dari URL tersebut.

5. Alternate Page With Proper Canonical Tag

Alternate Page With Proper Canonical Tag (Halaman alternatif dengan tag kanonik yang tepat) adalah Google menganggap bahwa URl halaman tersebut duplikasi/serupa dengan URL Halaman yang lain sehingga Google memilih URL halaman tersebut untuk tidak dirayapi dan diindeks.

Setiap halaman memiliki satu URL Kanonik yang mencegah terjadinya duplikasi URL halaman. Nah disini Google menganggap URL yang kita buat memiliki kemiripan dengan URL halaman yang lain sehingga Google lebih memilih URL Kanonik pada halaman lain untuk diindeks dan halaman yang satunya tidak sehingga muncul laporan pengecualian diatas.

Solusi Masalah : Ubah URL halaman tersebut agar menjadi URL kanonik tersendiri dan berbeda dengan yang lainnya. Selain itu, perhatikan jumlah halaman yang yang kalian miliki, jika kalian melihat terdapat peningkatan yang cuku besar sementara situs/blog kalian tidak memiliki peningkatan sebanyak itu untuk dapat diindeks, kemungkinan kalian berpotensi menghadapi masalah yang buruk pada tautan internal untuk dirayapi.

6. Blocked Due To Unauthorized Request (401)

Blocked due to unauthorized request (401) (Diblokir karena permintaan yang tidak sah (401) ). URL ini tidak dapat diakses oleh Google karena setelah kalian meminta pengindeksan Google malah menerima respons HTTP 401, yang berarti mereka tidak diizinkan untuk mengakses URL tersebut.

Solusi Masalah : Pastikan apakah kalian tidak memblokir akses Googlebot untuk merayapi halaman tersebut dan anda menggunakan hanya menggunakan Googlebot untuk meminta pengindeksan. Beri akses otorisasi, atau izinkan Googlebot mengakses Web/blog kalian.

7. Blocked Due To Access Forbidden (403)

Blocked due to access forbidden (403) (Diblokir karena akses dilarang (403). ini berarti saat Googlebot melakukan perayapan, Google tidak diizinkan mengakses URL ini dan menerima respons kode HTTP 403.

Solusi Masalah : Pastikan Google (dan mesin telusur lainnya) memiliki akses tak terbatas ke URL yang ingin kalian indeks. Jika URL yang tidak ingin kalian di indeks ada dalam masalah ini, maka sebaiknya kalian terapkan direktif noindex (baik di sumber HTML atau header HTTP).

8. Page With Redirect

Page with redirect (Halaman dengan pengalihan). URL dibaca oleh Googlebot sebagai URL yang dialihkan, dan karenanya tidak diindeks oleh Google.

Solusi Masalah : Hapus URL lama dan ganti dengan dengan URL yang baru dan lakukan pengindeksan ulang untuk URL halaman yang baru. URL yang lama masukkan kedalam URL yang dihapus agar tidak dirayapi lagi oleh Googlebot. Selanjutnya masukkan URL tersebut kedalam Pengalihan khusus agar URL lama teralihkan ke URL yang baru.

9. Submitted URL Not Selected As Canonical

Submitted URL not selected as canonical (URL yang dikirimkan tidak dipilih sebagai kanonik ). Kalian telah mengirimkan URL ini melalui peta situs XML, tetapi Google menganggap URL ini sebagai duplikat dari URL lain, dan karena itu memilih untuk mengkanonikalisasi URL ini dengan URL kanonik yang dipilih sendiri oleh Google.

Solusi Masalah : Cara yang digunakan untuk mengatasi masalah pada status ini hampir sama dengan solusi pada status Alternate Page With Proper Canonical Tag (Halaman alternatif dengan tag kanonik yang tepat).

10. Excluded By ‘Noindex’ Tag

Excluded by ‘noindex’ tag (Dikecualikan oleh tag 'noindex'). URL ini belum diindeks oleh Google karena arahan noindex (baik di sumber HTML atau header HTTP).

Solusi Masalah : Coba periksa tag kustom robot halaman penelusuran kalian, apakah kalian memberikan tag no indeks untuk penelusuran atau tidak, jika kalian menambahkan tag no indeks dan ingin agar halaman tersebut terindeks, maka ubah tag penelusuran tersebut.

11. Crawl Anomaly

Crawl anomaly (Anomali perayapan). Google mengalami masalah saat melakukan pengindeksan URL ini yang mungkin karena Google menerima kode respons dalam rentang 4xx dan 5xx di luar jenis yang mereka cantumkan dalam laporan Cakupan Indeks.

Solusi Masalah : Lakukan ulang inpeksi URL dan lihat bagaimana hasil terbaru yang dimiliki, lalu lakukan pengindeksan secara langsung. Jika pada saat melakukan pengindeksan ulang tidak terdapat masalah, cukup minta request indexing dan seharusnya ini akan secara otomatis menghilang.

12. Blocked by Page Removal Tool

Blocked by page removal tool (Diblokir oleh alat penghapus halaman). URL ini saat ini tidak ditampilkan di hasil penelusuran Google karena permintaan penghapusan URL. Ketika URL tersebut kalian hapus, Google hanya menyembunyikannya dari hasil pencarian Google selama 90 hari. Setelah periode itu, Google dapat memunculkan kembali URL ini ke permukaan.

Fitur permintaan penghapusan URL (terbuka di tab baru) hanya boleh digunakan sebagai tindakan cepat dan sementara untuk menyembunyikan URL. Sebaiknya kalian mengambil tindakan tambahan untuk benar-benar mencegah agar URL ini tidak muncul kembali.

Solusi Masalah : Kirimkan sinyal yang jelas kepada Google agar tidak boleh mengindeks URL ini melalui perintah robot. txt "noindex" dan pastikan URL ini di-crawl ulang sebelum 90 hari kedaluwarsa atau kalian dapat menambahkan URL  yang telah dihapus tersebut kedalam Error dan Pengalihan khusus pada setelan dashboard blog.

13. Blocked Due To Other 4xx Issue

Blocked due to other 4xx issue (Diblokir karena masalah 4xx lainnya). Google tidak dapat mengakses URL ini karena mereka menerima kode respons 4xx selain 401, 403, dan 404. Hal ini dapat terjadi dengan URL yang salah format, misalnya, terkadang menampilkan kode respons 400.

Solusi Masalah : Saat ini belum menemukan solusi yang tepat. Lakukan tindakan dengan Test Live URL dan Requst Indexing

14. Not Found (404)

Not found (404) (Tidak ditemukan (404)). URL ini tidak disertakan dalam peta situs XML, tetapi Google entah bagaimana menemukannya dan tidak dapat mengindeksnya karena merupakan status HTTP 404 . Mungkin saja Google menemukan URL ini melalui situs lain, dan URL ini pernah ada sebelumnya dan kalian telah menghapusnya.

Solusi Masalah : Jika URL ini sudah tidak memiliki konten halaman, sebaiknya alihkan URL tersebut kepada URL Halaman lain atau langsung ke Page Halaman pada pengaturan Error dan Pengalihan Khusus.

15. Page Removed Because Of Legal Complaint

Page removed because of legal complaint (Halaman dihapus karena keluhan hukum). URL ini telah dihapus dari indeks Google karena keluhan hukum.

Solusi Masalah : Pastikan bahwa konten kalian memang origianl pemikiran kalian karena seseorang telah melaporkan meminta URL Anda untuk dihapus dari indeks Google.

16. Soft 404

Soft 404. URL ini dianggap sebagai respons lunak 404, artinya URL tidak mengembalikan kode status HTTP 404 tetapi kontennya memberi kesan bahwa itu sebenarnya adalah halaman 404, misalnya dengan menampilkan pesan “Halaman tidak dapat ditemukan”. Atau, kesalahan ini dapat disebabkan oleh pengalihan yang mengarah ke halaman yang dianggap tidak cukup relevan oleh Google. 

Solusi Masalah : Jika URL ini adalah 404 yang benar, pastikan mengembalikan kode status HTTP 404 yang tepat dan lakukan tindakan seperti solusi pada Not Found (404) diatas.

Itulah beberapa masalah yang sering ditemui dalam pengindeksan Google Search Console yang ditampilkan dalam Index Coverage Report (Laporan Cakupan Indeks) pada kategori status Excluded (Dikecualikan) serta bagaimana kalian dapat mengatasi bila menemukan kesalahan tersebut. Semoga bermanfaat, Wassalam.

Share :