תקציב זחילה (Crawl Budget / Rate) מציין את מספר העמודים באתר, שנסרקים על ידי מנועי חיפוש בפרק זמן מוגדר. קצב זחילה הוא אלמנט מוגבל מעיקרו, ולכן אם נבזבז אותו האתר לא ייסרק ביעילות. דבר זה עלול להזיק לביצועי ה-SEO.
מדוע קוראים לזה זחילה?
המילה זחילה בעברית נובעת מהמילה המקבילה crawl באנגלית, שמתארת את הפעולה עצמה. מנועי החיפוש "זוחלים" מעמוד לעמוד לפי הסידור ההיררכי באתר, עד שבסופו של דבר כל האתר נסרק ונכנס לאינדקס או מתעדכן לאחר שינויים. מילה חלופית לזחילה יכולה להיות "סריקה".
למה בכלל יש תקציב זחילה?
מצד אחד למנועי חיפוש יש משאבים סופיים ומוגבלים, ומצד שני עליהם להקדיש זמן לסריקה של טריליוני עמודי אינטרנט (כולל קבצים מסוגים שונים). הם לא יכולים לסרוק הכול במכה אחת, וכדי שיוכלו לעשות זאת ביעילות יש ליצור סדרי עדיפויות בכל הנוגע לשאלה מה ייסרק, באיזו תדירות ועוד.
לצורך כך, כל אתר מקבל תקציב זחילה משלו. יש אתרים עם תקציב זחילה גדול, שנסרקים כמעט מיידית לאחר כל שינוי; ויש אתרים עם תקציבי זחילה בינוניים או קטנים שנסרקים בפרקי זמן ארוכים יותר.
מה ההבדל בין זחילה לאינדוקס?
בעוד שזחילה הוא תהליך של סריקה שנועד לגלות עמודים חדשים או עמודים שעודכנו, אינדוקס הוא התהליך הבא בתור שבו העמודים שנסרקו נכנסים לארכיון / לאינדקס, כדי להיות מוצגים בתוצאות החיפוש.
כדאי לדעת – זחילה של עמוד לא מחייבת שהוא ייכנס לאינדקס. ייתכן שמנוע החיפוש יזחול / יסרוק את העמוד, ולאחר מכן יחליט שהעמוד לא מספיק טוב או איכותי כדי להיות מוצג בתוצאות החיפוש. ניתן לראות מקרים כאלה בין היתר בדוח "לא נכלל באינדקס" בגוגל קונסול.
איך מחשבים קצב זחילה?
מנועי החיפוש מחשבים את תקציב הזחילה על בסיס 3 פרמטרים עיקריים:
גבול הזחילה (Crawl Limit)
באיזו תדירות ניתן לבצע סריקה בלי ליצור בעיות ועומסים באתר.
כל זחילה שולחת בקשות רבות לשרת המאחסן את האתר. אם השרת לא מסוגל לעמוד בעומס או שיותר מדי עמודים לא מגיבים לבקשות, זה סימן לא טוב. בנוסף, אם האתר מאוחסן בשרת שיתופי הכולל אתרים רבים נוספים, גם זה עלול לפגוע בתקציב הזחילה; זאת מכיוון שהוא נקבע גם על ידי המצב השיתופי בשרת כולו.
כדאי לדעת: גרסת המובייל וגרסת הדסקטופ של האתר נכללות באותו גבול זחילה.
רמת ביקוש (Crawl Demand)
אילו עמודים וקבצים באתר שווים סריקה חוזרת לפי מספר פרמטרים:
- פופולריות – כמה קישורים נכנסים וקישורים פנימיים מובילים לעמוד, וכן בכמה שאילתות החיפוש העמוד מדורג במנוע החיפוש.
- תדירות עדכון / רענון – כל כמה זמן מתעדכן העמוד ומה הסבירות שהעמוד יתעדכן. לדוגמה: עמוד קטגוריה מול עמוד תנאי שימוש – מי מהם סביר שיעודכן בתדירות גבוהה יותר, ולכן ראוי לתדירות זחילה גבוהה יותר.
יכולת הזחילה (Crawl Capacity)
כמה משאבים יש למנוע החיפוש לביצוע משימת הזחילה? אם חלק ממרכזי הנתונים של גוגל הופכים לא זמינים – יכולת הזחילה של גוגל יורדת, כמו גם תקציבי הזחילה של האתרים.
מדוע תקציב הזחילה חשוב?
אנו רוצים שמנועי החיפוש ימצאו ויבינו את כל העמודים הרלוונטיים באתר, ויעשו זאת מהר ככל שניתן. כשאנו מוסיפים עמודים חדשים או מעדכנים עמודים קיימים, נרצה שמנועי החיפוש יתעדכנו בשינויים הללו בשיא המהירות.
אם נבזבז את תקציב הזחילה שלנו, חלק מהעמודים החשובים לא יופיעו באינדקס – וכמובן לא יקבלו תנועה אורגנית. חלק ממומחי ה-SEO טוענים שלא צריך לדאוג בנושא הזה אם האתר שלכם קטן מ-10 אלף עמודים; אבל אנחנו רוצים בכל זאת לוודא שכל מה שצריך להיות זמין – יהיה זמין.
כדאי לדעת: מהירות טעינה של אתר משפיעה גם היא על גודל תקציב הזחילה. ככל שהאתר נטען מהר יותר, כך ניתן יהיה לסרוק ולאנדקס יותר עמודים בזמן קצר יותר.
איך בודקים מהו תקציב הזחילה באתר?
קונסולת החיפוש של גוגל
בתפריט האנכי בגוגל קונסול ניכנס ל"הגדרות". במרכז המסך נוכל לראות קטגוריה שנקראת "סריקה", ובתוכה נתונים ראשוניים אודות כמות הדפים שנסרקו. בדוגמה המצורפת מדובר ב-3,180 בקשות סריקה ב-90 הימים האחרונים. אם נחלק ב-3 נקבל את תקציב הזחילה החודשי הממוצע (1,060 בקשות סריקה בחודש).
אם נפתח את הדוח נקבל את כל הנתונים הרלוונטיים – בקשות סריקה, גודל הורדה בבייטים וכן זמן התגובה הממוצע באלפיות השנייה (נתון שמעיד בעקיפין גם על מהירות טעינה באתר).
מתחת לדוח העיקרי יש ריכוז של נתונים נוספים בכמה פילוחים:
- לפי תגובה (קוד שרת, חסימה ועוד).
- לפי סוג קובץ (דף אינטרנט, תמונה, CSS ועוד).
- לפי מטרה (האם הסריקה בוצעה לצורך רענון עמודים קיימים או גילוי של עמודים חדשים).
- לפי סוג הבוט הסורק (גוגלבוט, סמאטרפון, בוט המודעות ועוד).
הקלקה על כל אחד מסוגי המידע תוביל לעוד נתונים ולפירוט הדפים הרלוונטיים באתר.
לוגים בשרת
גם השרת המאחסן שומר מידע אודות כניסה של בוטים, כגון זחלנים של מנועי חיפוש. מומלץ להשוות בין הלוגים בשרת ובין נתוני גוגל קונסול.
איך עושים אופטימיזציה ומשפרים תקציב זחילה?
אופטימיזציה של תקציב הזחילה משמעה לוודא שלא יהיה בזבוז של התקציב, כלומר תיקון בעיות שרובן טכניות במהותן. שיפור קצב הזחילה הוא למעשה חלק מהותי מקידום אתרים טכני. ראוי לציין שבנושא זה רוב האתרים סובלים מאותן בעיות פחות או יותר.
תוכן משוכפל
לא נרצה לבזבז את זמנם של מנועי החיפוש על תכנים זהים או דומים. לכן חשוב לטפל בעמודים עם תוכן משוכפל באתר כדי לא לאבד תקציב זחילה. אפשר לעשות בכמה דרכים:
- אחידות בווריאציות הדומיין (הפניות בין https, http, www ועוד).
- סגירה לסריקה של תיבת חיפוש פנימית באתר.
- מניעת יצירה של עמודי HTML לתמונות (הפורמט הנכון חייב להסתיים בסוג התמונה – jpg, png וכו').
- שימוש זהיר ונכון בטקסונומיות באתר כגון קטגוריות, תגיות ועוד.
תוכן דל / לא איכותי
עמודים קצרים מדי או כאלה שלא מספקים ערך למשתמש, עשויים שלא להיסרק כלל במנועי חיפוש. צמצמו את העמודים הדלים למינימום ההכרחי (עמוד צור קשר למשל), ושלבו בין עמודים קצרים לכדי עמוד אחד ארוך ומעמיק.
קישורים שבורים או עם הפניות
קישורים מסוג זה מקשים על עבודת הזחלן להגיע לעמוד הרלוונטי, בנוסף לכך שהם מעמיסים על השרת. המשמעות היא זמן עבודה מיותר שנוסף לזחלנים, מה שבהכרח עלול להוביל לפגיעה בביצועי ה-SEO.
ודאו שאין קישורים שבורים באתר, וכן שקישורים עם הפניות יובילו לעמוד המטרה האמיתי בלי התיווך של הפניות בין לבין. סריקה בצפרדע הצועקת או בכלי דומה אחר, תגלה לכם היכן נמצאים כל הקישורים מסוג 400 או 300 כדי שתוכלו לתקן אותם.
כתובות עמודים עם פרמטרים
פרמטרים של URL – כגון סימן שאלה, סימן שווה ועוד – בדרך כלל מופיעים באתרי חנות בהם יש ואריאציות של מוצרים. ברוב המקרים פרמטרים של URL לא אמורים להיות נגישים למנועי חיפוש, מכיוון שריבוי שלהם עלול ליצור גם ריבוי של עמודים. אין בעיה להשתמש בפרמטרים, כל עוד מוודאים שהם לא ניתנים לסריקה. אפשר לעשות זאת באמצעות קובץ רובוטס.
עמודים שגויים במפת XML
בדיוק כמו הסעיף אודות קישורים שבורים או עם הפניות – אך הפעם במפת ה-XML. לפעמים נוצרים מצבים בהם עמודים שלא ניתנים לסריקה (קוד שרת 300, 400, 500) מופיעים במפת ה-XML.
זה קורה לרוב במפות שלא מתעדכנות באופן אוטומטי, וצריך לשים לכך לב ולבצע את התיקונים הדרושים. ניתן לבדוק זאת בגוגל קונסול, בחלק שעוסק במפות XML. עמודים שלא נסרקו דורשים תשומת לב.
עמודים איטיים / לא נטענים
עמודים שלוקח להם זמן רב להיטען או שאינם נטענים כלל, פוגעים קודם כל בחוויית השימוש וכמובן שגם בביצועי הזחילה וה-SEO. ניתן לבדוק את מהירות הטעינה במגוון כלים – החל מכלי גוגל (אנליטיקס, קונסול) וכלה בכלים נוספים כגון GT Matrix, פינגדום ועוד.
עמודים לא נגישים
יכולות להיות סיבות רבות לכך שעמוד אינו נגיש למנועי חיפוש: קוד שרת לא תקין (כל דבר אחר חוץ מקוד 200), תגית noindex, הוראת חסימה בקובץ רובוטס, תגית קנוניקל שגויה, עימוד שגוי ועוד. מומלץ לבצע בדיקת אתר באמצעות הצפרדע הצועקת או כלים אחרים, לאיתור כל עמוד שעלול להיות חסום בפני מנועי חיפוש.
כאן המקום לציין שיש עמודים שכן מיועדים להיות חסומים למנועי חיפוש. לדוגמה, עמוד העגלה באתרי חנות; תוצאות חיפוש פנימיות באתר וכן הלאה. בעמודים כאלה אין צורך לטפל.
קישורים פנימיים גרועים
ככל שיש פחות קישורים פנימיים לעמוד מסוים באתר, כך קטנה חשיבותו עבור מנועי חיפוש. אם צריך יותר מ-3 קליקים כדי להגיע לעמוד מסוים, רוב הסיכויים שחשיבותו נמוכה – והוא לא ייכלל בתקציב הזחילה. כמו כן גם כמות הטראפיק לעמוד מסוים יכולה להשפיע על תקציב הזחילה.
לדוגמה, בלוג המכיל מאות מאמרים אך ללא עימוד נכון (page 1, page 2) – עלול למנוע ממאמרים רבים לקבל נראות מינימלית. ניתן לשפר את מבנה הקישורים הפנימיים באמצעות תפריטי ניווט וכן באמצעות קישורים מגוף התוכן בעמודים עצמם.
בניית קישורים נכונה
גם לקישורים נכנסים יש השפעה על תקציב הזחילה. עמודים שמקבלים קישורים חיצוניים, ייסרקו מהר יותר בפעמים הבאות בהשוואה לעמודים חסרי קישורים חיצוניים. זה לא אומר שצריך לקשר חיצונית לכל עמוד באתר, אלא להתנהל בצורה נבונה ומושכלת.
כדי לוודא שזה אכן קורה בצורה הנכונה בלי לפגוע בביצועי ה-SEO, רצוי להתייעץ עם מקדם אתרים.
