הוספת אתר לאינדקס (מה שמכונה אינדוקס) ותקציב זחילה הם שניים מהסעיפים החשובים בכל הנוגע לאופטימיזציה און סייט. למרות זאת, חלק ממקדמי האתרים נוטים לשכוח זאת או לדלג על הנושאים הללו כדי להתרכז בחלקים יותר חשובים כביכול, כגון תכנים וקישורים.
התעלמות משני הסעיפים הללו עלולה לעלות ביוקר. דפי שגיאה לסוגיהם, הפניות כפולות, בעיות טכניות ושאר ירקות – כל אלו מעמיסים על הזחלן של גוגל ולא מעודדים אותו לאנדקס את האתר שלכם.
בעיות אינדוקס עלולות לחבל בצורה משמעותית בנראות האורגנית של האתר, ואף לגרום לירידות במיקומים ובטראפיק. בפוסט הזה, ריכזנו 8 טיפים וטריקים שיעזרו לשפר את מדד האינדוקס של האתר שלכם.
1. לבצע מעקב בגוגל קונסול
קונסולת החיפוש של גוגל מציגה אינספור בעיות, וצריך לדעת לברור את הבר מן התבן. מומלץ לבדוק את מצב האינדקס כל חודש או חודשיים, כדי לזהות שגיאות שעלולות לחבל לכם ב-SEO.
דוח האינדקס בגוגל קונסול מציג שני סוגי עמודים: אלו שנכנסו לאינדקס (ירוק) ואלו שלא (אפור). נקליק על אלו שלא נכנסו (בהנחה שיש כאלה) ונתחיל לבדוק אחד-אחד כדי להבין את המצב.
שימו לב שאם כמות הדפים שנוספו לאינדקס (ירוק) נמצאת בירידה, זה בדרך כלל סימן לא טוב. בגדול זה אותו דבר גם אם כמות הדפים שלא נוספו לאינדקס (אפור) נמצאת בעלייה. יחד עם זאת, כמעט תמיד יש סייגים שמיד ניגש אליהם.
ראשית לא כל "שגיאה" פוגעת לכם באתר, לכן צריך להתייחס לכל סוג בצורה נפרדת: הפניות, נסרק אך לא נכלל כרגע, לא נמצא (404), לא נוסף בגלל noindex, דף חלופי עם תג קנוני תקין וכן הלאה.
לדוגמה, אם בראש הרשימה מופיעים הרבה דפים עם הפניה, אין ממש מה לעשות במקרה הזה, כי ביצעתם הפניות מדפים מסוימים לדפים אחרים. הכתובות הישנות לא נכנסות לאינדקס, אבל גוגל עשוי להמשיך להציג אותן בדוח לאורך זמן, וזה תקין.
דוגמה נוספת היא דפי שגיאה מסוג 404. בדרך כלל מדובר בדפים שנמחקו מהאתר. הם כבר לא באינדקס, אבל גוגל זוכר את הכתובות וממשיך לבדוק אותן מדי פעם, ולכן הן מופיעות בדוח. אם הדף נמחק בכוונה ואין לו תחליף, זו לא בעיה. אפשר להגדיר שהדפים האלה יחזירו קוד 410 במקום 404, אבל לפי התיעוד של גוגל, הוא מטפל בשני הקודים באותה דרך ומסיר את הכתובת מהאינדקס בשני המקרים.
מה שחשוב הוא לשים לב לדפים שכן אמורים להיות באינדקס – אבל אינם שם. זה קורה בדרך כלל בשתי קטגוריות: "הדף התגלה אבל לא נוסף לאינדקס בשלב זה", כלומר גוגל מצא את הכתובת אבל עוד לא סרק אותה, ו"נסרק – לא נכלל באינדקס כרגע", כלומר גוגל סרק את הדף והחליט בינתיים לא להוסיף אותו לאינדקס.
לדוגמה, עמודי מוצרים עם טקסטים די דומים עלולים ליפול לאחת משתי הקטגוריות האלה – ולא להיכנס לאינדקס. חובה לעבור על הכול ולבדוק מה צריך להיות באינדקס ומה לא.
2. לוודא שהאתר ידידותי למובייל
לכאורה זה דבר מובן מאליו בעידן שבו כמעט הכול נעשה מהסמארטפון; אבל למעשה זה לא תמיד כך. גוגל משתמש בגרסת המובייל של האתר לאינדוקס ולדירוג (אינדוקס מובייל פירסט), כך שתוכן שחסר בגרסת המובייל לא ייכנס לאינדקס, ואתר שלא מותאם לניידים עלול לאבד מיקומים וטראפיק.
ודאו שיש לכם אתר רספונסיבי המתאים לכל סוגי המסכים (מומלץ לבדוק ידנית בכל סוג עיקרי – סמארטפון, מחשב נייח, לפטופ וטאבלט). כמו כן ודאו שיש מטא תג viewport בעמודי האתר, שקובצי CSS/JS מכווצים, שהתמונות מכווצות ושאלמנטים עיצוביים בעמוד נדחסו. ראו המשך בסעיף 6.
3. לעדכן תכנים בקביעות
יצירת תכנים חדשים ועדכון מתמשך של תכנים קיימים, יגרמו למנועי החיפוש לסרוק את האתר בתדירות גבוהה יותר. אין פה כלל אצבע ברור ומובחן, והשאלה איזה סוג מהשניים לבצע תלויה בכם. מומלץ לעשות את שניהם.
באתרים קטנים ובינוניים שכבר יש בהם בסיס רחב של עמודים, לרוב משתלם יותר להתרכז בעדכון תכנים קיימים מאשר ביצירת חדשים. כמובן שזה לשיקולכם – בדקו מה עובד הכי טוב עבור האתר שלכם ופעלו בהתאם.
4. להגיש מפת אתר לכל מנוע חיפוש
אחד הטיפים הטובים ביותר עד היום, לשיפור יכולת האינדוקס וההופעה במנועי חיפוש – הוא להגיש מפת אתר. זה נכון שבעתיים במיוחד אם מדובר באתרים גדולים, של אלפי עמודים ומעלה; זאת כדי להעלות את הסיכויים שכל העמודים יהיו גלויים לעיני הזחלנים.
מומלץ להגיש מפת אתר לכל מנועי החיפוש, אבל אפשר להסתפק רק בגוגל ובבינג. כמו כן יש לוודא כי מפת ה-XML שאתם מגישים תהיה דינמית – כלומר מתעדכנת בזמן אמת בכל פעם שנוסף או מוסר עמוד כלשהו.
ודאו זאת מראש, שלא ייווצר מצב שאתם מגישים מפה סטטית עם 100 עמודים בלבד, כשבינתיים האתר גדל ל-500 עמודים וזה לא מתבטא במפה עצמה. תוספים כגון Yoast מייצרים מפת XML דינמית בצורה אוטומטית.
5. ליישם היררכיה וקישורים פנימיים
סידור האתר בפורמט עץ (או גם Silo באנגלית) מסייע הן למשתמש והן למנועי החיפוש להתמצא בקלות. זה בדרך כלל אומר קטגוריות ראשיות, ותחתן כל העמודים הרלוונטיים. זה ניכר בעיקר באתרי מכירות בהם כל המוצרים מסוג מסוים מסודרים תחת קטגוריה ספציפית.
גם באתרי תוכן רצוי להפעיל את אותו עיקרון, כאשר במקום מוצרים – מדובר בעמודי תוכן. מעבר לכך יש לחזק את ההיררכיה הקיימת באמצעות קישורים פנימיים. בצורה כזו אנו מציינים אילו עמודים הם החשובים ביותר באתר, כמו גם לקידום האורגני.
צורת החשיבה הזו מסייעת גם לתמוך בעמודים שיש להם בעיה להיסרק ולהתאנדקס. אם נוסיף אותם לתפריט הניווט או נקשר אליהם ישירות מתוך עמוד עיקרי כלשהו, הם יקבלו את הדחיפה הדרושה.
6. לדחוס מקורות ולשפר UX וזמני טעינה
מהירות הטעינה באתר היא קריטית לשיפור תקציב הזחילה. בצורה כזו אנו מוודאים שהתקציב לא יבוזבז על עמודים שלא מצליחים להיטען, עמודים שקשה יותר לאנדקס (כמו JS למשל) וכן הלאה. כל אלו "שותים" לנו את תקציב הזחילה.
כדי לשפר את מהירות הטעינה ואת חוויית השימוש יש לכווץ קבצים כגון CSS, JS ותמונות; כמו כן יש להפעיל שמירת מטמון בדפדפן וכל מה שדרוש כדי לקבל מדדים חיוביים בגוגל (Core Web Vitals). מומלץ מאוד לפנות לגורם מקצועי בתחום אופטימיזציית מהירות, כדי לקבל אתר נקי שנטען מהר ככל האפשר.
7. לתקן עמודי No Index
עמודים מסוימים לא צריכים להיכלל באינדקס של מנועי החיפוש, כגון עמודי Login, עגלת קניות וכן הלאה. עמודים כאלה צריכים לכלול תגית מטא מסוג noindex כדי למנוע את הוספתם לאינדקס. אפשרות נוספת היא לחסום עמודים באמצעות הוספת פקודה בקובץ רובוטס, אבל היא מונעת רק את הסריקה: עמוד חסום עדיין יכול להופיע בתוצאות אם יש אליו קישורים, וגוגל גם לא יראה בו את תגית ה-noindex. לכן לא כדאי לשלב את שתי השיטות באותו עמוד.
לעומת זאת, יש לבדוק האם קיימים עמודים נוספים שכוללים בטעות את התגית הזו, שמונעת מהם להיכלל באינדקס. אפשר לעשות זאת בגוגל קונסול וכן בכלים לסריקת אתרים כגון הצפרדע הצורחת או Site Bulb.
8. לחסל תוכן כפול
כמויות גדולות של תכנים כפולים בתוך האתר, עלולות לחבל בתקציב הזחילה. זה יכול לקרות במצבים רבים כגון: עמודי מוצרים מאותו סוג, בהם התכנים כמעט דומים אחד לשני (למשל טבעות אירוסין מזהב – צהוב, לבן ואדום).
כפילויות קיימות גם בתגיות מטא בעמודים רבים, משהו שאפשר לפתור על ידי כתיבת תגיות ייחודיות לכל עמוד. פתרון נוסף הוא לוודא שיש תגית קנוניקל עצמית לכל עמוד באתר, כולל עמודי דפדוף (pagination) וכן הלאה.
