מה זה זחלן רשת?
זחלן רשת (או Web Crawler באנגלית) הוא מעין בוט אשר "זוחל" לאתר שלנו דרך המחשב וסורק את המידע והנתונים בו. הסריקה של המידע עוברת למאגר נתונים כלשהו המשמש את בעל הזחלן ואתם אפילו עשויים שלא לשים לב שזחלן כלשהו סרק את האתר שלכם.
למעשה לכל מנוע חיפוש יש את הזחלן שלו כולל גוגל כמובן. כל כלי אינטרנטי עושה שימוש בזחלנים כאלה ואחרים לאיסוף מידע. כאשר מדובר בזחלן של גוגל למשל, אנו רוצים שהוא יגיע לסרוק את האתר שלנו, ולעיתים קרובות גם נבצע פעולות שונות כדי לעודד אותו להגיע מהר יותר.
איך הזחלן של גוגל עובד?
הזחלן של גוגל (נקרא לעיתים גם העכביש של גוגל) הוא בוט מיוחד הסורק את האתר שלנו בשניות ספורות ולעתים אף פחות מכך. המידע מועבר למאגרי המידע של גוגל בשרתים שלהם ויוצרים יחד את מאגר הנתונים של מנוע החיפוש של גוגל. כאשר גולש מבצע חיפוש כלשהו בגוגל – גוגל מציג לו נתונים מהמאגר הקיים של גוגל ולא נתונים חיים ברשת.
לכן, אם למשל שיניתם את תגית המטא טייטל שלכם, ואתם רוצים לראות את הכותרת החדשה בדף תוצאות החיפוש של גוגל מיד לאחר מכן, תגלו שבתוצאות עדיין מופיעה הכותרת הישנה של אותו עמוד. הסיבה לכך היא שהזחלן של גוגל טרם ביקר מחדש בדף ולכן לא אינדקס את השינוי שביצעתם.
כל כמה זמן הזחלן סורק את האתר שלנו?
הזחלן סורק את האתר שלנו בהתאם לכמה פרמטרים, כמו למשל: תדירות עדכון האתר בתכנים חדשים, מידת הסמכות של האתר בגוגל ועוד. אתר עם סמכות גבוהה בגוגל או אתרים עם כמות גדולה מאוד של גולשים ייסרקו על בסיס יומי ואף מספר פעמים ביום.
לעומת זאת ישנם אתרים שגוגל יסרוק פעם בשבוע או אחת לכמה ימים במקרה הטוב. ישנם גם אתרים חדשים או כאלו שמתעדכנים לעיתים רחוקות, אותם גוגל עשוי לא לסרוק כלל או לדגום אותם אחת לתקופה.
כיצד ניתן לזרז את סריקת הזחלן של גוגל באתר שלנו?
לעתים אנחנו רוצים לזרז את סריקת הזחלן של גוגל באתר שלנו ולעדכן את מאגרי גוגל עם התוכן החדש שלנו. למשל: כאשר אנו משנים כותרת של מאמר, מוסיפים תוכן חדש לאתר או משנים פרט חשוב שכבר לא רלוונטי באחד העמודים שלנו באתר – חשוב לנו שגוגל יסרוק את העמוד/האתר מחדש במהירות האפשרית.
מה נוכל לעשות כדי לזרז את סריקת השינויים במהירות?
- נוכל לעדכן את גוגל בהוספת האתר אליו או בבקשה לסרוק אתר מסוים. בדרך כלל הבוט יסרוק את האתר תוך כמה שעות ולעתים עד 24 שעות.
- ניתן פשוט לעדכן את העמוד החדש במפת האתר שלנו.
- ניתן לקשר אל העמוד מעמודים אחרים באתר שלנו.
- ניתן לקשר אל העמוד החדש מרחבי הרשת.
