גלאי תוכן בינה מלאכותית: כלים לזיהוי תוכן שנכתב עם AI וכיצד הם פועלים?

איך מזהים תוכן שנכתב על ידי בינה מלאכותית (AI)? כיום כבר יש לא מעט כלים שטוענים ליכולת זיהוי בין תוכן AI לתוכן אנושי.

בניגוד לנהוג לחשוב, תוכן שנוצר על ידי בינה מלאכותית אינו קל לזיהוי כמו תוכן שעבר "סיבוב" באמצעות ספינר או תוכן מועתק. רוב הטקסטים שנוצרים על ידי AI יכולים להיחשב מקוריים, במובן מסוים. אז כדי להבין איך פועל גלאי לזיהוי תוכן AI, נצלול קצת יותר לעומק.

איך פועלים כלים לזיהוי תוכן AI?

כל הגלאים לזיהוי תוכן AI פועלים באותה דרך בסיסית: הם מחפשים דפוסים או חריגות בטקסט שנראים מעט שונים לעומת אלו הקיימים בטקסט שנכתב על ידי אדם.

כדי לעשות זאת צריך שני דברים: (1) המון דוגמאות של טקסט אנושי וטקסט LLM להשוואה, (2) מודל מתמטי לניתוח הטקסט.

קיימות שלוש גישות נפוצות:

1. זיהוי סטטיסטי

מאז שנות האלפיים יש ניסיונות לזהות כתיבה אוטומטית שנוצרה על ידי מכונה. אומנם מדובר בשיטות ישנות, אבל חלק מהן עדיין עובדות היטב גם כיום.

שיטות זיהוי סטטיסטיות פועלות על ידי ספירת דפוסי כתיבה מסוימים, כדי להבחין בין טקסט שנכתב על ידי אדם לטקסט שנוצר על ידי מכונה. לדוגמה:

• תדירות מילים – באיזו תדירות מופיעות מילים מסוימות.
• תדירות N-gram – התדירות בה מופיעים רצפים מסוימים של מילים או תווים.
• מבנים תחביריים – התדירות בה מופיעים מבני כתיבה מסוימים, כגון רצפים של נושא-פועל-אובייקט (לדוגמה: "היא אוכלת תפוחים").
• ניואנסים סגנוניים – כתיבה בגוף ראשון, שימוש בסגנון לא רשמי וכו').

אם הדפוסים האלה שונים מאוד מאלה שנמצאו בטקסטים אנושיים, יש סיכוי טוב שמדובר בטקסט שנוצר על ידי מכונה.

שיטות אלו הן קלות ויעילות מבחינה חישובית, אך הן נוטות להיות לא יעילות כאשר הטקסט עובר מניפולציות (לדוגמה: באמצעות ביצוע מתקפות על למידת מכונה ובחינת התוצאות, קצת בדומה להאקרים שבוחנים פרצות במערכות שונות).

ניתן להפוך שיטות סטטיסטיות למתוחכמות יותר על ידי אימון של אלגוריתם לומד או שימוש בשיטות לספירת הסתברויות מילים (הידועות בשם לוגיטים).

2. רשתות עצביות

רשתות עצביות הן מערכות מחשב המחקות באופן חלקי את פעולת המוח האנושי. הן כוללות נוירונים מלאכותיים, ובאמצעות תרגול (או אימון) הקשרים בין הנוירונים מסתגלים כדי להשתפר להשגת המטרה המיועדת. בדרך זו, ניתן לאמן רשתות עצביות לזהות טקסט שנוצר על ידי רשתות עצביות אחרות.

רשתות עצביות הפכו לשיטה דה-פקטו לזיהוי תוכן AI. שיטות זיהוי סטטיסטיות דורשות מומחיות מיוחדת בנושא היעד ובשפה כדי לעבוד. לעומת זאת – רשתות עצביות דורשות רק טקסט ותוויות, והן יכולות ללמוד בעצמן מה חשוב ומה לא חשוב.

אפילו דגימות קטנות יכולים להיות אפקטיביות באיתור, כל עוד הן מאומנות עם מספיק נתונים (לפחות כמה אלפי דוגמאות, לפי הספרות המקצועית). דבר זה הופך אותן לזולות וחסינות מטעויות, ביחס לשיטות אחרות.

מודלים גדולים של שפה (LLMs כמו ChatGPT) הם רשתות עצביות, אך אם לא יבוצע בהם כוונון נוסף – הם בדרך כלל לא יהיו טובים בזיהוי טקסט שנוצר על ידי AI – גם אם ה-LLM עצמו יצר אותו.

3. סימן מים

בדומה לסימני מים על גבי תמונות – הרעיון הוא לגרום ל-LLM ליצור טקסט הכולל אות נסתר, שמזהה אותו כמופק על ידי בינה מלאכותית.

סימני מים אלה נוטים להיות עדינים ולא ניתנים לזיהוי או לשכפול בקלות – אלא אם יודעים מה לחפש. בהתבסס על הספרות המקצועית בתחום, יש שלוש דרכים ליצור סימן מים לטקסט AI:

• הוספת סימני מים למערכי הנתונים שאתם מייצרים (לדוגמה: הוספת מלל כגון "מסה מדיה שולטת").
• הוספת סימני מים לפלט ה-LLM במהלך תהליך היצירה.
• הוספת סימני מים לפלט ה- LLM לאחר תהליך היצירה.

שיטת זיהוי זו מסתמכת על כך שחוקרים ויצרני מודלים יבחרו ליצור סימני מים לנתונים ולתפוקות המודל שלהם. אם, למשל, הפלט של GPT-4o היה כולל סימן מים, יהיה קל ל-OpenAI לגלות האם הטקסט שנוצר הגיע מהמודל שלהם.

לשיטה זו יכולות להיות גם השלכות רחבות יותר. מאמר חדש מאוד מציע שסימון מים יכול להקל על שיטות זיהוי המבוססות על רשתות עצביות. אם מודל מאומן אפילו על כמות קטנה של טקסט עם סימן מים, הוא הופך ל"רדיואקטיבי" והפלט שלו קל יותר לזיהוי כאחד שנוצר על ידי מכונה.

דרכים בהן גלאי תוכן AI יכול להיכשל

בסקירת הספרות המקצועית הרלוונטית, שיטות רבות הצליחו לדייק ב-80% או יותר במקרים מסוימים. זה נשמע די אמין, אבל שלוש בעיות גדולות מעידות שרמת הדיוק הזו אינה מציאותית במצבים רבים בחיים האמיתיים.

אימון מודלים עם נתונים צרים

רוב גלאי הבינה המלאכותית מאומנים ונבדקים על סוג מסוים של כתיבה, כמו כתבות חדשותיות או תוכן במדיה חברתית.

זה אומר שאם רוצים לבדוק פוסט בבלוג שיווקי, ומשתמשים בגלאי AI המאומן על תוכן שיווקי – סביר להניח שהוא יהיה מדויק למדי. אבל אם הגלאי היה מאומן על תוכן חדשותי או על בדיוני יצירתי, התוצאות היו הרבה פחות אמינות.

קושי בזיהוי חלקי

כמעט כל מדדי הזיהוי ומערכי הנתונים מתמקדים בסיווג רצף: כלומר, זיהוי אם נוצר גוף טקסט שלם או לא.

אבל שימושים רבים של טקסט AI כוללים תערובת של טקסט שנוצר על ידי בינה מלאכותית וטקסט שנכתב על ידי אדם (למשל, שימוש במחולל בינה מלאכותית כדי לעזור בכתיבה או עריכה של פוסט בבלוג שנכתב חלקית על ידי אדם).

סוג זה של זיהוי חלקי הוא בעיה קשה יותר לפתרון, ויש פחות התייחסות אליה בספרות המקצועית. מודלים נוכחיים לזיהוי AI אינם מטפלים היטב במצב זה.

פגיעות לכלי האנשה

"כלי האנשה" (AI text humanizers) מיועדים לתת לטקסט AI גוון אנושי יותר, וזאת על ידי שיבוש דפוסים שגלאי בינה מלאכותית מחפשים. באופן כללי, LLMs כותבים בצורה שוטפת ובנימוס – אבל אם מוסיפים בכוונה שגיאות הקלדה, שגיאות דקדוק או תוכן רווי שנאה לטקסט שנוצר, בדרך כלל ניתן יהיה להפחית את הדיוק של גלאי AI.

הדוגמאות הללו הן מניפולציות פשוטות שנועדו לשבור גלאי AI, והן בדרך כלל ברורות אפילו לעין האנושית. עם זאת, ניתן אף ליצור שיבוש מתוחכם יותר באמצעות LLM אחר שלומד איך לשבש גלאי AI ידוע.

המטרה היא לשמור על פלט טקסט באיכות גבוהה, תוך שיבוש תחזיות הגלאי. עם זאת, כלי האנשה עלולים אף הם להיכשל במשימה – אם גלאי ה-AI חדשים ואינם מוכרים להם.

איך משתמשים בכלים לזיהוי תוכן AI?

גלאי AI יכולים להיות מדויקים מאוד בנסיבות הנכונות. כדי לקבל מהם תוצאות שימושיות, חשוב להקפיד על כמה עקרונות:

• נסו ללמוד כמה שיותר על נתוני האימון של הגלאי, והשתמשו במודלים שהוכשרו על חומר דומה למה שאתם רוצים לבדוק.
• בדקו מספר מסמכים מאותו מחבר. האם מאמר של תלמיד סומן כתוצר של בינה מלאכותית? בדקו את כל עבודות העבר שלו באמצעות אותו כלי, כדי לקבל השוואה טובה יותר.
• לעולם אל תשתמשו בגלאי AI כדי לקבל החלטות שישפיעו על הקריירה או המעמד האקדמי של מישהו. השתמשו תמיד בתוצאות שלהם בשילוב עם צורות אחרות של ראיות.
  השתמשו בגלאי בספקנות. שום כלי אינו מדויק ב-100% ותמיד יהיו תשובות חיוביות כוזבות.

רגע לפני סיום

שיטות הזיהוי הנוכחיות של תוכן AI מסתמכות במידה רבה על גישה למקור טוב של תוכן מודרני, שנכתב על ידי בן אדם – אבל המקור הזה קטן והולך מיום ליום.

מכיוון שבינה מלאכותית מוטמעת במדיה חברתית, במעבדי תמלילים ובתיבות דוא"ל, ומודלים חדשים מאומנים על נתונים הכוללים טקסט שנוצר עם AI – קל לדמיין עולם שבו רוב התוכן "נגוע" בתוכן שנוצר על ידי בינה מלאכותית.

בעולם הזה, אולי לא יהיה הגיוני לחשוב על זיהוי בינה מלאכותית – מכיוון שהכל יהיה בינה מלאכותית, במידה כזו או אחרת. לעת עתה לפחות, אפשר להשתמש בגלאי AI כל עוד הם אפקטיביים.