קונסולת החיפוש של גוגל עברה כמה שדרוגים במהלך חייה. אחד מהם הגדיר מספר לא מועט של סוגי שגיאות, ששתיים מהן הפכו להיות הכי פחות ברורות עד היום.
שתי השגיאות הכי פחות מובנות בקונסולת גוגל אומרות שהדף נתגלה או כבר נסרק, אך עדיין לא נוסף לאינדקס. מכיוון שלא מעט דפים נופלים תחת שתי הקטגוריות הללו, בעיקר באתרי חנות, מומלץ מאוד לדעת מה עושים ואיך מתקנים את הבעיה.
מכיוון שגוגל מוציא משאבים רבים על זחילה ואינדוקס של עמודים, לא כל עמוד ראוי להיכנס לאינדקס. בתוך כך נוצר מצב שעמודים דלי תוכן, בעלי תכנים דומים או מסיבות אחרות – מוצאים את עצמם מחוץ לאינדקס.
כאשר מביטים בדוח ה"דפים" בקונסולה, מגלים שליד כל אחת משתי השגיאות הללו כתוב שהמקור לבעיה הוא "מערכות גוגל". כלומר בניגוד לשגיאות אחרות שניתן לתקן בשל הפניה, תג no index או קוד שרת 400/500 – כאן גוגל לא מציין את הסיבה "אתר"; כלומר התיקון כביכול לא בשליטתנו ותלוי בגוגל עצמו.
מבט מהיר באתר העזרה של גוגל מגלה כמה שורות טקסט שאמורות לעזור לנו, אך בפועל לא נותנות יותר מדי מידע:
נתגלה אך לא נוסף לאינדקס (Discovered – currently not indexed) – הדף נתגלה אך עדיין לא נסרק ולא נוסף לאינדקס. גוגל רצה לסרוק את ה-URL, אך זה היה עלול להעמיס על האתר. גוגל החליט לבצע את הסריקה במועד אחר, וזו הסיבה לכך שתאריך הזחילה ריק.
נסרק אך לא נוסף לאינדקס (Crawled – currently not indexed) – הדף נתגלה ונסרק אך לא נוסף לאינדקס. ייתכן שהדף יתווסף לאינדקס בעתיד וייתכן שלא. בגוגל מציינים שאין צורך לשלוח את הכתובת שוב לסריקה.
אז מה בכל זאת ניתן לעשות?
טיפ 1 – לשלוח לסריקה
אם העמוד כבר נסרק אך עדיין לא נוסף לאינדקס, הנחיות גוגל טוענות שאין צורך לשלוח שוב לסריקה. כמו כל מקדם אתרים מקצועי אנחנו נפקפק בזה מעט, ובכל זאת נשלח את העמוד לסריקה (ובמיוחד אם העמוד עדיין לא נסרק).
בסיום השליחה תתקבל הודעה שהדף נשלח. אם גם זה לא עוזר והדף לא נכנס לאינדקס תוך מספר ימים, ככל הנראה יש בעיה מסוימת שמונעת ממנו להתאנדקס. במצב כזה נעבור לשלב/ים הבא/ים.
טיפ 2 – לאתר בעיות בתקציב הזחילה
תקציב זחילה מגדיר כמה עמודים ייסרקו ובאיזו מהירות ותדירות. לכל אתר יש תקציב זחילה שונה, שמוגדר אוטומטית על ידי גוגל בהתאם למגוון רחב של פרמטרים. אתרים איכותיים שמתעדכנים מדי יום, מקבלים תקציב זחילה גבוה משמעותית בהשוואה לאתרים שכמעט לא מתעדכנים.
לדוגמה, כל כתבה שעולה לאוויר באתר חדשות כגון ynet – מתאנדקסת כמעט מייד בגוגל. זו דוגמה לתקציב זחילה גדול מאוד, שמאפשר לכמה שיותר דפים להופיע בגוגל. אם יש לכם תקציב זחילה קטן יותר, ולא כל כתובות ה-URL באתר יזכו להיסרק – ייתכן שהן ייכנסו תחת השגיאה "נתגלה – לא נוסף לאינדקס".
גארי אילייס מגוגל כתב בינואר 2017 שתקציב הזחילה לא אמור להטריד את רוב בעלי האתרים, ושאתר עם פחות מכמה אלפי כתובות נסרק בדרך כלל ביעילות. למרות זאת, גם באתרים קטנים ובינוניים יש כמה בעיות שכדאי לבדוק, כי הן עלולות לעכב סריקה של עמודים חשובים. הנה מספר מקרים שניתן לתקן.
1. אם יש לכם סאב-דומיינים, גוגל מתייחס לכל אחד מהם כאתר נפרד עם תקציב זחילה משלו. אפשר לנצל את זה: בדצמבר 2024 גוגל הציעה לשקול העברה של קבצים גדולים שלא נחוצים להצגת העמוד, כמו סרטונים וקובצי הורדה, לסאב דומיין נפרד כמו cdn.website.com. כך הסריקה שלהם לא באה על חשבון תקציב הזחילה של האתר הראשי.
2. אם יש יותר מדי הפניות בין עמודים זה עלול לצמצם את תקציב הזחילה. כאשר עמוד מסוים נמחק או מוסר ידנית מהאתר, בדרך כלל נבחר לעשות לו הפניית 301 לעמוד דומה אחר. מסתבר שלא תמיד זה מחויב המציאות – אם לעמוד אין קישורים חיצוניים או טראפיק, הכי טוב יהיה להסיר לגמרי את הקישורים הפנימיים המפנים אליו או להחליפם בעמוד הנכון.
3. תוכן משוכפל מגיע בכמה צורות, כגון העתקה מלאה של תוכן בין עמודים, או עמודים שונים בעלי תוכן מאוד דומה (למשל חולצה מסוג מסוים ב-3 צבעים שונים). כדאי מאוד לטפל בכל בעיית תוכן משוכפל, כדי לצמצם כמה שניתן את כמות העמודים שבסוף לא יופיעו באינדקס.
4. דפים יתומים הם דפים שלא ניתן להגיע אליהם משום מקום באתר, מלבד מפת אתר (וגם זה לא תמיד מתקיים). במקרה כזה גוגל עלול להחליט עבורכם שמדובר בדפים לא חשובים, ולכן לא ראויים להיכלל באינדקס.
5. שימוש בקישורים פנימיים בתיוג no follow לא ימנע מהם להיסרק, אבל כן עלול לאותת לגוגל שמדובר בדפים לא חשובים.
טיפ 3 – לבדוק בעיות באיכות התוכן
גוגל לא מאנדקס כל דבר שהוא מגלה. הוא נותן העדפה לתוכן מקורי, חדשני, רלוונטי ואיכותי. בין שמדובר בסיטואציה בה העמוד כבר נסרק ובין שלא, גוגל עשוי לזהות תוכן לא איכותי באמצעים שונים מלבד זחילה בעמוד עצמו.
זו גם עלולה להיות הסיבה לכך שהעמוד לא ייכלל באינדקס, גם אם לא בוצעה זחילה. הנה כמה דוגמאות אפשריות לסוגי תוכן שגוגל פחות יאהב:
- תוכן מתורגם בצורה אוטומטית – תרגום אוטומטי יהיה פחות איכותי בהשוואה לתרגום אנושי.
- תוכן מסובב – פיסת תוכן אחת שעברה שדרוגים אוטומטיים בהתבסס על פרמטרים קבועים, כדי ליצור לה עוד גרסאות (באמצעות "ספינר").
- תוכן AI אוטומטי – בפברואר 2023 גוגל הכריזה רשמית שאין לה שום דבר נגד תוכן AI, כל עוד הוא מביא תועלת למשתמשים ולא נוצר כדי לתמרן את הדירוג. רצוי לוודא שהתוכן האוטומטי עומד בקריטריונים.
- תוכן דל – עמודים שאין בהם הרבה תועלת. עדיף למזג עמודי תוכן דל זה עם זה או עם עמודים עמוסי תוכן באותו נושא, כדי ליצור משהו מועיל. אם לא, עדיף למחוק אותם. אופציה נוספת היא לשדרג ולעבות את התוכן הדל.
טיפ 4 – לוודא שיש קישורים פנימיים
קישורים פנימיים בין דפים שונים בתוך האתר, מסייעים למנועי חיפוש להגיע לעוד עמודים וכן לקבוע מי העמודים החשובים ביותר באתר. היעדר או ריבוי קישורים פנימיים עלול לתייג את האתר בגוגל כחסר חשיבות, לכן כדאי להקפיד על הנושא.
כדי לאתר קישורים פנימיים ניתן להיעזר במספר כלים, כגון זחלנים (הצפרדע הצורחת) או כלי בדיקת אתר (Website Audit). כלי מנהל האתרים של Ahrefs – שניתן בחינם – מאפשר לבדוק קישורים פנימיים, וכן אילו עמודים הם יתומים ומצריכים חיבור לאתר.
מפת אתר בפורמט HTML המיועדת למשתמשים (ופחות למנועי חיפוש) – יכולה לסייע בקביעת היררכיה נכונה לאתר. כמו כן רצוי מאוד שכל קישור באתר יהיה בפורמט a href ולא בפורמט ג'אווה סקריפט, שמקשה על הזחילה.
טיפ 5 – לוודא שיש קישורים נכנסים
גוגל משתמש בקישורים נכנסים כדי לקבוע האם הדף המקושר שווה אינדוקס והאם יש בו תועלת. אם אין לכם מספיק קישורים נכנסים או שאין לכם בכלל, כדאי להשקיע בתוכן שאתרים אחרים ירצו לקשר אליו.
אין מספר קישורים שמבטיח כניסה לאינדקס. קישור מאתר רלוונטי וסמכותי עוזר לגוגל לגלות את העמוד ולהבין שהוא חשוב.
אם לעמוד מסוים שכרגע לא נמצא באינדקס אין קישורים בכלל, כדאי להתחיל בקישורים פנימיים אליו מעמודים חזקים באתר (טיפ 4). קישורים שנקנו או נבנו רק כדי להשפיע על הדירוג מוגדרים אצל גוגל כספאם, ואתר שמשתמש בהם עלול לרדת בדירוג או להיעלם מהתוצאות.
