קונסולת החיפוש של גוגל עברה כמה שדרוגים במהלך חייה. האחרונה ביותר הגדירה מספר לא מועט של סוגי שגיאות, ששתיים מהן הפכו להיות הכי פחות ברורות עד היום.
שתי השגיאות הכי פחות מובנות בקונסולת גוגל אומרות שהדף נתגלה או כבר נסרק, אך עדיין לא נוסף לאינדקס. מכיוון שלא מעט דפים נופלים תחת שתי הקטגוריות הללו, בעיקר באתרי חנות, מומלץ מאוד לדעת מה עושים ואיך מתקנים את הבעיה.
מכיוון שגוגל מבזבז משאבים רבים על זחילה ואינדוקס של עמודים, לא כל עמוד ראוי להיכנס לאינדקס. בתוך כך נוצר מצב שעמודים דלי תוכן, בעלי תכנים דומים או מסיבות אחרות – מוצאים את עצמם מחוץ לאינדקס.
כאשר מביטים בדוח ה"דפים" בקונסולה, מגלים שליד כל אחת משתי השגיאות הללו כתוב שהמקור לבעיה הוא "מערכות גוגל". כלומר בניגוד לשגיאות אחרות שניתן לתקן בשל הפניה, תג no index או קוד שרת 400/500 – כאן גוגל לא מציין את הסיבה "אתר"; כלומר התיקון כביכול לא בשליטתנו ותלוי בגוגל עצמו.
מבט מהיר באתר העזרה של גוגל מגלה כמה שורות טקסט שאמורות לעזור לנו, אך בפועל לא נותנות יותר מדי מידע:
נתגלה אך לא נוסף לאינדקס (Discovered – currently not indexed) – הדף נתגלה אך עדיין לא נסרק ולא נוסף לאינדקס. גוגל רצה לסרוק את ה-URL, אך זה היה עלול להעמיס על האתר. גוגל החליט לבצע את הסריקה במועד אחר, וזו הסיבה לכך שתאריך הזחילה ריק.
נסרק אך לא נוסף לאינדקס (Crawled – currently not indexed) – הדף נתגלה ונסרק אך לא נוסף לאינדקס. ייתכן שהדף יתווסף לאינדקס בעתיד וייתכן שלא. בגוגל ממליצים לא לנקוט בפעולה נוספת.
אז מה בכל זאת ניתן לעשות?
טיפ 1 – לשלוח לסריקה
אם העמוד כבר נסרק אך עדיין לא נוסף לאינדקס, הנחיות גוגל טוענות שאין צורך לשלוח שוב לסריקה. כמו כל מקדם אתרים מקצועי אנחנו נפקפק בזה מעט, ובכל זאת נשלח את העמוד לסריקה (ובמיוחד אם העמוד עדיין לא נסרק).
בסיום השליחה תתקבל הודעה שהדף נשלח. אם גם זה לא עוזר והדף לא נכנס לאינדקס תוך מספר ימים, ככל הנראה יש בעיה מסוימת שמונעת ממנו להתאנדקס. במצב כזה נעבור לשלב/ים הבא/ים.
טיפ 2 – לאתר בעיות בתקציב הזחילה
תקציב זחילה מגדיר כמה עמודים ייסרקו ובאיזו מהירות ותדירות. לכל אתר יש תקציב זחילה שונה, שמוגדר אוטומטית על ידי גוגל בהתאם למגוון רחב של פרמטרים. אתרים איכותיים שמתעדכנים מדי יום, מקבלים תקציב זחילה גבוה משמעותית בהשוואה לאתרים שכמעט לא מתעדכנים.
לדוגמה, כל כתבה שעולה לאוויר באתר חדשות כגון ynet – מתאנדקסת כמעט מייד בגוגל. זו דוגמה לתקציב זחילה גדול מאוד, שמאפשר לכמה שיותר דפים להופיע בגוגל. אם יש לכם תקציב זחילה קטן יותר, ולא כל כתובות ה-URL באתר יזכו להיסרק – ייתכן שהן ייכנסו תחת השגיאה "נתגלה – לא נוסף לאינדקס".
גארי אילייס, אנליסט בכיר בגוגל, אומר ש-90% מבעלי האתרים לא צריכים לדאוג. למרות זאת, באתרים בינוניים וקטנים זה עלול להוביל לבעיות גדולות יותר בסופו של דבר; בעיות שאתרי ענק / אתרי מותג פחות מושפעים מהן. הנה מספר מקרים שניתן לתקן.
1. אם יש לכם סאב-דומיינים הם עלולים להתנהג כמו אתרים נפרדים. כדי להבטיח שגם הם יכנסו תחת תקציב הזחילה של כל האתר, רצוי שהם יישבו תחת סאב דומיין cdn.website.com או דומה לו.
2. אם יש יותר מדי הפניות בין עמודים זה עלול לצמצם את תקציב הזחילה. כאשר עמוד מסוים נמחק או מוסר ידנית מהאתר, בדרך כלל נבחר לעשות לו הפניית 301 לעמוד דומה אחר. מסתבר שלא תמיד זה מחויב המציאות – אם לעמוד אין קישורים חיצוניים או טראפיק, הכי טוב יהיה להסיר לגמרי את הקישורים הפנימיים המפנים אליו או להחליפם בעמוד הנכון.
3. תוכן משוכפל מגיע בכמה צורות, כגון העתקה מלאה של תוכן בין עמודים, או עמודים שונים בעלי תוכן מאוד דומה (למשל חולצה מסוג מסוים ב-3 צבעים שונים). כדאי מאוד לטפל בכל בעיית תוכן משוכפל, כדי לצמצם כמה שניתן את כמות העמודים שבסוף לא יופיעו באינדקס.
4. דפים יתומים הם דפים שלא ניתן להגיע אליהם משום מקום באתר, מלבד מפת אתר (וגם זה לא תמיד מתקיים). במקרה כזו גוגל עלול להחליט עבורכם שמדובר בדפים לא חשובים, ולכן לא ראויים להיכלל באינדקס.
5. שימוש בקישורים פנימיים בתיוג no follow לא ימנע מהם להיסרק, אבל כן עלול לאותת לגוגל שמדובר בדפים לא חשובים.
טיפ 3 – לבדוק בעיות באיכות התוכן
גוגל לא מאנדקס כל דבר שהוא מגלה. הוא נותן העדפה לתוכן מקורי, חדשני, רלוונטי ואיכותי. בין שמדובר בסיטואציה בה העמוד כבר נסרק ובין שלא, גוגל עשוי לזהות תוכן לא איכותי באמצעים שונים מלבד זחילה בעמוד עצמו.
זו גם עלולה להיות הסיבה לכך שהעמוד לא ייכלל באינדקס, גם אם לא בוצעה זחילה. הנה כמה דוגמאות אפשריות לסוגי תוכן שגוגל פחות יאהב:
- תוכן מתורגם בצורה אוטומטית – תרגום אוטומטי יהיה פחות איכותי בהשוואה לתרגום אנושי.
- תוכן מסובב – פיסת תוכן אחת שעברה שדרוגים אוטומטיים בהתבסס על פרמטרים קבועים, כדי ליצור לה עוד גרסאות (באמצעות "ספינר").
- תוכן AI אוטומטי – גוגל הכריזה רשמית שאין לה שום דבר נגד תוכן AI, כל עוד הוא מביא תועלת למשתמשים. רצוי לוודא שהתוכן האוטומטי עומד בקריטריונים.
- תוכן דל – עמודים שאין בהם הרבה תועלת. עדיף למזג עמודי תוכן דל ביחד עם השני או עם עמודים עמוסי תוכן באותו נושא, כדי ליצור משהו מועיל. אם לא, עדיף למחוק אותם. אופציה נוספת היא לשדרג ולעבות את התוכן הדל.
טיפ 4 – לוודא שיש קישורים פנימיים
קישורים פנימיים בין דפים שונים בתוך האתר, מסייעים למנועי חיפוש להגיע לעוד עמודים וכן לקבוע מי העמודים החשובים ביותר באתר. היעדר או ריבוי קישורים פנימיים עלול לתייג את האתר בגוגל כחסר חשיבות, לכן כדאי להקפיד על הנושא.
כדי לאתר קישורים פנימיים ניתן להיעזר במספר כלים, כגון זחלנים (הצפרדע הצורחת) או כלי בדיקת אתר (Website Audit). כלי מנהל האתרים של Ahrefs – שניתן בחינם – מאפשר לבדוק קישורים פנימיים, וכן אילו עמודים הם יתומים ומצריכים חיבור לאתר.
מפת אתר בפורמט HTML המיועדת למשתמשים (ופחות למנועי חיפוש) – יכולה לסייע בקביעת היררכיה נכונה לאתר. כמו כן רצוי מאוד שכל קישור באתר יהיה בפורמט a href ולא בפורמט ג'אווה סקריפט, שמקשה על הזחילה.
טיפ 5 – לוודא שיש קישורים נכנסים
גוגל משתמש בקישורים נכנסים כדי לקבוע האם הדף המקושר שווה אינדוקס והאם יש בו תועלת. אם אין לכם מספיק קישורים נכנסים או שאין לכם בכלל, כדאי להשקיע בנושא.
אמנם אין מספר קישורים אפקטיבי שבו "מפסיקים לקשר", אך רצוי להגיע לכמה שיותר. ככל שהקישור מגיע מאתר סמכותי יותר, כך גדלים הסיכויים של האתר שלכם להיכנס לאינדקס מהר יותר.
אם אין קישורים או יש מיעוט קישורים לעמוד מסוים שכרגע לא נמצא באינדקס – כדאי לבנות לו כמה קישורים ממקורות חזקים וסמכותיים. לא להגזים ולהתחיל ממספר קישורים בודדים בחודש, ולהתקדם בהתאם לתוצאות.
