מה זה קובץ LLMs.txt והאם צריך כזה באתר לקידום ב-AI?

לאחרונה יש הרבה באז סביב קובץ llms.txt למרות שאף פלטפורמת AI עדיין לא אישרה רשמית שהיא משתמשת בו. כמו כן אין שום ראיות לכך שמודלים מסוג LLM באמת משתמש בקובץ הזה בעת סריקה.

אז למה חלק ממומחי ה-SEO ומנהלי האתרים כבר מוסיפים אותו לאתרים שלהם?

מכיוון שתנועת המשתמשים מפלטפורמות LLM צפויה להתפוצץ בשנים הקרובות. מודלים של בינה מלאכותית עשויים להפוך בקרוב למקור התנועה הגדול ביותר לאתרי אינטרנט.

כדאי לזכור: גם קובץ robots.txt היה פעם אופציונלי, אך כיום הוא חיוני לניהול זחלני חיפוש. אומנם אפשר להסתדר גם בלעדיו, אך לרוב מומלץ מאוד להשתמש בו (בעיקר באתרים גדולים).

לקובץ LLMs.txt עשוי להיות עתיד דומה, והוא יכול להפוך לדרך הסטנדרטית להכוונת AI לתוכן החשוב ביותר שלכם.

מה זה קובץ LLMs.txt?

LLMs.txt הוא קובץ טקסט רגיל עם הנחיות למודלים של בינה מלאכותית, אילו דפים לתעדף בעת סריקת האתר. תקן זה יכול להקל על מערכות AI למצוא, לעבד ולצטט את התוכן שלכם בתשובותיהן.

איך הוא עובד:

• יוצרים קובץ טקסט בשם llms.txt.
• בקובץ מפרטים מהם הדפים החשובים ביותר עם תיאורים קצרים של הנושא בכל דף.
• מציבים את הקובץ בשורש הדומיין (כמו קובץ רובוטס).
• בתיאוריה, סורקי LLM ישתמשו בקובץ כדי לגלות, לתעדף ולהבין טוב יותר את הדפים המרכזיים באתר.

לדוגמה, כך נראה קובץ llms.txt:

האם קובץ llms.txt מחליף את robots.txt?

לא – כל קובץ משרת מטרות שונות.

• קובץ רובוטס מציין לאילו עמודים באתר הזחלנים יכולים לגשת. הוא משתמש בהנחיות כגון allow או disallow כדי לשלוט בהתנהגות הסריקה.
• קובץ llms מציע לזחלני ה-AI אילו עמודים באתר צריכים לקבל עדיפות. הוא לא שולט בגישה – הוא רק מספק רשימה מאורגנת ומקל על הסורקים להבין את התוכן.

לדוגמה, אפשר להשתמש בקובץ רובוטס כדי לחסום כניסה של זחלנים ללוח הבקרה באתר או לדפי תשלום. במקביל אפשר להשתמש ב-llms.txt כדי לכוון מערכות AI למאמרי עזרה, דפי מוצר ועוד.

ההשפעה הפוטנציאלית על SEO ובינה מלאכותית עשויה להיות גורם מכריע בשאלה האם האתר יופיע בסיכומים, בציטוטים ובתכנים שנוצרו על ידי AI.

שימוש ואלמנטים ב-llms.txt

מה אמור להיות כלול בקובץ ואיך בונים אותו?

יש ליצור את LLMs.txt כקובץ טקסט רגיל עם תגי markdown (כגון HTML, XML ועוד). לדוגמה:

• סימון # לכותרת ראשית.
• סימון ## לכותרות סעיפים.
• סימון ### לכותרות משנה.
• סימון > לציון הערה קצרה או טיפ.
• סימון – או * לרשימות מסודרות (בולטים).
• סימון [text](https://example.com/page) לקישור מתויג.
• סימוני ("`) לגידור דוגמאות קוד, כשמציגים קטעי קוד במסמך או בעמוד.

תיוג זה מקל על קריאת הקובץ, הן לבני אדם והן לכלים של בינה מלאכותית.

הנה הפירוט:

• כותרת ותיאור אופציונלי בחלק העליון – הוסיפו את שם האתר או החברה לצד תיאור קצר של מה שאתם עושים, כדי לתת הקשר עבור ה-AI.
• מדורים עם כותרות – ארגנו תוכן לפי נושא, כמו "שירותים", "מקרי בוחן" או "משאבים", כך שסורקים יוכלו לזהות במהירות מה נמצא בקובץ.
• כתובות URL עם תיאורים קצרים – ציינו דפים מרכזיים שתרצו לתת להם עדיפות. השתמשו בכתובות URL ברורות, תיאוריות וידידותיות לקידום אתרים. הוסיפו תיאור תמציתי לאחר כל קישור, לצורך הקשר.
• מדורים אופציונליים – שקלו להוסיף גם עמודים בעדיפות נמוכה יותר, כגון "צוות", "דרושים" ועוד.

הנה כמה דוגמאות.

בדוגמה הראשונה, קובץ llms כולל את שם החברה, תיאור קצר, רשימת דפי שירות מרכזיים עם כתובות URL וסיכומים של משפט אחד, פרויקטים מובילים ומקרי בוחן וכן הנחיות לציטוט וקישור.

מעבר לכך הקובץ כולל גם מונחים רלוונטיים וקריאה לפעולה ספציפיים לכל כתובת URL. גישה זו עשויה לעצב את האופן שבו מנועי LLM מתייחסים למותג, ולהנחות אותם אל המסרים והניסוח המועדפים של החברה.

כמו כן קובצי LLMs.txt יכולים להיות מורכבים יותר, בהתאם לאתר. ניתן לארגן מאות עמודים עם כותרות לפי היררכיה, כדי ליצור סדרי עדיפויות ברורים. מעבר לכך אפשר להוסיף גם פקודות התקנה שלב אחר שלב, דוגמאות קוד למשימות נפוצות הערות הסבר והפניות.

בדרך זו, מערכות AI יקבלו גישה ישירה לתיעוד יקר ערך בלי הצורך לסרוק כל עמוד. זה יכול להפחית את הסיכון שפרטים מרכזיים יוחמצו או ייקברו תחת ערימות מידע פחות חשובות. המבנה האידיאלי של קובץ llms תלוי בהיקף האתר שלכם, ובעומק המידע שאתם רוצים להגיש לבינה המלאכותית.

האם שווה להשקיע בקובץ LLMs.txt?

ייתכן שקובץ llms.txt יוכל לשפר את הקידום במנועי AI לאורך זמן, אבל זה ידרוש אימוץ נרחב. נכון לעכשיו אף פלטפורמת AI גדולה עדיין לא תמכה רשמית בשימוש בקובץ זה.

בגוגל היו ברורים במיוחד – הם לא תומכים בו ולא מתכננים לעשות זאת. עם זאת, מותגים ידועים בחו"ל כבר יישמו את הקובץ באתרים, חלקם מתחום הבינה המלאכותית כמו אנתרופיק (בעלת קלוד). עובדה זו עשויה להעיד שהם רואים פוטנציאל עתידי בנושא llms.txt, למרות שאנתרופיק לא הצהירה בפומבי שהסורקים שלה משתמשים בקבצים אלה או קוראים אותם.

בשורה התחתונה? התייחסו לקובץ llms.txt כניסוי בעל סיכון נמוך, ולא כדרך מובטחת לשיפור הנראות בכלי בינה מלאכותית.

יתרונות פוטנציאליים של LLMs.txt

כרגע היתרונות תיאורטיים, אבל אם זה יתפוס תאוצה תוכלו להפיק תועלת במספר דרכים:

• שליטה במקורות המצוטטים – הדגישו פוסטים בבלוג, מסמכי עזרה, דפי מוצר ומדיניות כך שכלי ה-AI יפנו תחילה לדפים הטובים ביותר שלכם, במקום לתוכן פחות חשוב או מיושן.
• הקלה על ניתוח מידע – קובץ llms.txt נותן סימוני תוכן נקיים, במקום דפים עמוסים עם אלמנטים לא רלוונטיים.
• שיפור ביצועי ה-AI – הפנו מודלי LLM אל הדפים החשובים ביותר, וכך תשפרו את פוטנציאל החשיפה שלכם בתשובות המודלים.
• אנליזה מהירה יותר של האתר – מבנה שטוח של האתר (קובץ יחיד ופשוט המפרט את הדפים המרכזיים) מקל על ניתוח מילות מפתח והבנת האתר בלי לסרוק כל URL.

מגבלות ואתגרים עיקריים

נכון לעכשיו יש לא מעט ספקנות סביב llms.txt וזה בהחלט לגיטימי. כמה דוגמאות:

• עדיין אין הכרה רשמית – אף פלטפורמה גדולה לא הכריזה על תמיכה בקבצים אלה; לא גוגל, לא OpenAI, פרפלקסיטי או אנתרופיק.
• הקובץ מציע, לא מאלץ – מודלים של LLM לא מחויבים לציית לקובץ, ולא ניתן לחסום גישה לימודים ספציפיים (בשביל זה יש קובץ רובוטס).
• קל לניצול – קובץ markdown נפרד יוצר הזדמנות לספאם. לדוגמה, בעלי אתרים עלולים להעמיס עליו מילות מפתח, תוכן וקישורים שאינם תואמים את העמודים האמיתיים שלהם. סוג של דחיסת מילות מפתח ל-AI.
• חשיפת מידע למתחרים – קובץ llms.txt מפורט מוסר למתחרים הרבה מידע, שאחרת היו נאלצים לקבל בכלים ייעודיים (מבנה האתר, פערי תוכן, מסרים שיווקיים, מילות מפתח ועוד).

איך יוצרים קובץ LLMs.txt?

יצירת הקובץ די פשוטה, גם אם אין לכם ניסיון טכני רב. עם זאת ייתכן שתזדקקו לעזרה כדי להעלות אותו לאתר.

בחירת הדפים החשובים ביותר

התחילו בבחירת הדפים הכי חשובים שתרצו שיקבלו עדיפות. אל תזרקו פנימה את כל מפת האתר שלכם.

לדוגמה, חשבו על התוכן שמייצג בצורה הטובה ביותר את מה שאתם עושים – דפי המוצר העיקריים שלכם, מדריכים בעלי ערך גבוה, מדורי שאלות נפוצות, מדיניות מרכזית ופרטי תמחור.

הנה דוגמה לקובץ שמאותת על עמודים חשובים:

יצירת הקובץ

פתחו עורך טקסט רגיל וצרו קובץ חדש בשם llms.txt (מומלץ לעשות זאת בעורכים כגון Notepad או TextEdit במחשבי מק, וכן Visual Studio Code).

אל תפרטו רק כתובות URL. הוסיפו תיאור קצר לכל אחת מהן שמסביר במה הדף עוסק ולמי הוא מיועד. הקשר זה יכול לעזור לבינה המלאכותית להבין מתי וכיצד לצטט את המותג שלכם.

אם אינכם מיומנים בתיוג markdown בקשו מאיש פיתוח או מצ'ט ג'יפיטי או קלוד. יש גם מחוללי llms.txt בהם ניתן להשתמש. לדוגמה, Yoast SEO מאפשר ליצור קובץ llms.txt בלחיצה אחת, כולל התיוג.

העלאת הקובץ

מומלץ להציב קובץ llms.txt בספריית השורש של האתר https://yoursite.com בדומה לקובץ רובוטס.

בדיקת תקינות

הקלידו בדפדפן https://yoursite.com/llms.txt

אתם אמורים לראות משהו כזה:

רענון הקובץ

קובץ llms.txt אינו בחזקת שגר ושכח. בדקו אותו כל כמה חודשים, הסירו דפים מיושנים שכבר לא מייצגים את עבודתכם הטובה ביותר והוסיפו תוכן חדש ששווה להדגיש. זה מבטיח שמערכות AI תמיד יראו את התוכן הרלוונטי ביותר שלכם.

רגע לפני סיום

אמנם לא חובה להשתמש בקובץ LLMs.txt באתר, אבל זה בהחלט יכול להוסיף. אין בכך שום סיכון, ומקסימום תראו מכך תועלת בעתיד.