זחלן (Crawler)

זחלן (או CRAWLER באנגלית) הוא מעין בוט אשר "מזדחל" לאתר שלנו דרך המחשב וסורק את המידע והנתונים בו. הסריקה של המידע עוברת למאגר נתונים כלשהו המשמש את בעל הזחלן ואתם אפילו עשויים שלא לשים לב שזחלן כלשהו סרק את האתר שלכם. למעשה לכל מנוע חיפוש יש את הזחלן שלו כולל גוגל כמובן. כל כלי אינטרנטי עושה שימוש בזחלנים כאלה ואחרים לאיסוף מידע וכאשר מדובר בזחלן של גוגל למשל אנו רוצים שהוא יגיע ויסרוק את האתר שלנו ולעתים רבות גם נבצע פעולות שונות כדי לעודד אותו להגיע מהר יותר.

הזחלן של גוגל ומדוע אתם רוצים להשאיר לו פירורים?

הזחלן של גוגל (נקרא לעתים גם העכביש של גוגל) הוא בוט מיוחד הסורק את האתר שלנו בשניות ספורות ולעתים אף פחות מכך. המידע מועבר למאגרי המידע של גוגל בשרתים שלהם ויוצרים יחד את מאגר הנתונים של מנוע החיפוש של גוגל. כאשר גולש מבצע חיפוש כלשהו בגוגל – גוגל מציג לו נתונים מהמאגר הקיים של גוגל ולא נתונים חיים ברשת. לכן אתם עשויים לשנות את כותרת העמוד שלכם למשל, לחפש את העבודה הזה מיד לאחר מכן בגוגל ולגלות שבתוצאות של גוגל עדיין מעודכנת הכותרת הישנה של אותו עמוד. זוהי הסיבה מדוע גוגל יכולה להציג לכם תוצאות רלוונטיות בתוך מאית השנייה – כיוון שהיא לא צריכה בכל חיפוש לסרוק מחדש את כל האינטרנט בחיפוש אחר מה שאתם צריכים. 

כל כמה זמן הזחלן סורק את האתר שלנו?

הזחלן סורק את האתר שלנו בהתאם לכמה פרמטרים, כמו למשל: תדירות עדכון האתר בתכנים חדשים, מידת הסמכות של האתר בגוגל ועוד. אתר עם סמכות גבוהה בגוגל או אתרים עם כמות גדולה מאוד של גולשים ייסרקו כמעט על בסיס יומי וישנם אתרים שייסרקו אפילו כמה פעמים ביום. לעומת זאת ישנם אתרים שגוגל יסרוק אותם פעם בשבוע או אחת לכמה ימים במקרה הטוב וישנם אתרים חדשים ו/או לא פעילים שגוגל לא יסרוק אותם כלל או אחת להרבה זמן. 

היכן ניתן למהר את סריקת הזחלן של גוגל באתר שלנו?

לעתים זה טוב למהר את סריקת הזחלן של גוגל באתר שלנו ולעדכן את מאגרי גוגל עם התוכן החדש שלנו. למשל: כאשר אנו משנים כותרת של מאמר, מוסיפים תוכן חדש לאתר או משנים פרט חשוב שכבר לא רלוונטי באחד העמודים שלנו באתר – חשוב לנו שגוגל יסרוק את העמוד/האתר מחדש במהירות האפשרית. מה נוכל לעשות כדי למהר את סריקת העמוד החדש/הקיים במהירות?

  • נוכל לעדכן את גוגל בהוספת האתר אליו או בבקשה לסרוק אתר מסוים. בדרך כלל הבוט יסרוק את האתר תוך כמה שעות ולעתים עד 24 שעות.
  • ניתן פשוט לעדכן את העמוד החדש במפת האתר שלנו. 
  • ניתן לקשר אל העמוד מעמודים אחרים באתר שלנו.
  • ניתן לקשר אל העמוד החדש מרחבי הרשת.
  • ועוד…
/* */