סנטימנט ב-Brand24: מתי לסמוך ומתי לבדוק

נניח שאת מנהלת בית קפה קטן בשכונת הדר בחיפה. פתחת פרויקט ב-Brand24 כדי לדעת דבר אחד פשוט: מדברים עלייך טוב או רע? ליד כל אזכור מופיע סימון, חיובי, שלילי או נייטרלי. מיד עולות שלוש שאלות. אפשר לסמוך על הסימון? מה עושים כשהוא טועה? ומה הגרף הזה באמת אומר? העמוד עונה עליהן לפי הסדר, ורק מתוך מה שכתוב במרכז העזרה של הספק.

לפני הכול: מה הסימון בודק בכלל סנטימנט

סנטימנט הוא הטון של טקסט. לפי מאמר הסנטימנט במרכז העזרה של Brand24, הבדיקה קובעת אם טקסט חיובי, שלילי או נייטרלי. המטרה היא להבין איך אנשים מרגישים כלפי מותג, מוצר או נושא, לפי המילים והטון שלהם בפוסטים, בביקורות ובתגובות.

הסימון לא נמצא במסך אחד בלבד. לפי המסמך, הסנטימנט מופיע כמעט בכל הלשוניות של הכלי. כדי למצוא במהירות אזכורים עם טון מסוים משתמשים במסנן Sentiment filter (מסנן סנטימנט). הוא מציג, למשל, רק את האזכורים השליליים.

איך הסימון מחושב? הספק כותב שהאלגוריתם נשען על למידה עמוקה (Deep Learning) ועל מודלי שפה מאומנים מראש (Pretrained Language Models). אלה מודלים שלמדו שפה מכמויות עצומות של טקסט לפני שהותאמו למשימה. הספק מציין גם ניתוח אימוג'י (Emoji analysis) והקשר הדיון (Context of a discussion) כתכונות משלימות.

ומה לגבי רגשות? במסמכים שהעמוד נשען עליהם, הסנטימנט מתואר בשלושת הערכים שלמעלה. ניתוח רגשות נפרד לא מתואר בהם, ולכן העמוד לא נכנס לנושא הזה.

השאלה הראשונה: אפשר לסמוך על הסימון?

הספק מפרסם מספר אחד: לפי מדד F1 בשיטת macro, שנמדד על 50 אלף אזכורים, אלגוריתם הסנטימנט השתפר מ-61% ל-95%.

זה נשמע גבוה, ובאמת זה מספר שהספק גאה בו. אבל אותו מסמך מסייג אותו בעצמו. בשאלות הנפוצות כתוב שכל האזכורים מקבלים סימון סנטימנט, אבל חלק מהניתוחים אמינים יותר מאחרים. האמינות תלויה בכמה השפה נפוצה ובכמה הטקסט מורכב. עוד כתוב שהניתוח מעבד את כל השפות, והדיוק והביצועים עשויים להשתנות לפי השפה ולפי מורכבות הטקסט.

המשמעות המעשית: 95% הוא נתון מהמדידה של הספק. הוא לא התחייבות לגבי האזכור שמולך עכשיו. הגישה הבריאה היא לסמוך על הסימון כמיון ראשוני, ולבדוק בעין את האזכורים שיש להם משקל: ביקורת, תלונה, או פוסט שמגיע להרבה אנשים.

למה זה קורה: אירוניה, סלנג ועברית

הספק כותב במפורש שזיהוי סנטימנט בחלק מהפוסטים עדיין מסובך, במיוחד כשיש ציניות או הקשר מורכב. זה לא מפתיע. גם בני אדם לא תמיד מזהים ציניות בקבוצת הוואטסאפ המשפחתית. שלוש הדוגמאות בטבלה הומצאו להמחשה בלבד. הן מראות איזה סוג טקסט עלול לבלבל כל מודל.

ועכשיו לעברית. מה שכתוב במסמכי הספק מוצג כאן כפי שהוא: ניתוח הסנטימנט מעבד את כל השפות, והאמינות תלויה, בין השאר, בכמה השפה נפוצה. בהגדרת פרויקט, עברית אינה ברשימת הבחירה לשפה אחת, ולכן בוחרים בכל השפות. אין להסיק מזה שעברית אינה נתמכת. במסמך הסנטימנט לא מופיע שיעור דיוק נפרד לעברית, ולכן גם העמוד הזה לא נוקב בכזה. הדרך הנכונה היא לבדוק את האזכורים שלך בעצמך. איך מגדירים פרויקט שעובד בעברית מוסבר בעמוד עברית ב-Brand24.

השאלה השנייה: מה עושים כשהסימון טועה?

לפי מרכז העזרה, אם מזהים טעות בסימון אפשר לתקן אותה ידנית: לוחצים על הסנטימנט שמופיע בתוך האזכור. שגרה קצרה נראית כך:

• מסננים לפי טון במסך האזכורים (הסבר מלא בעמוד לשונית האזכורים) מפעילים את Sentiment filter ובוחרים negative. מתחילים מהשליליים, כי שם הטעות הכי יקרה.
• קוראים את הטקסט עצמו לא מסתפקים בסימון. מחפשים אירוניה, סלנג, או תגובה לשיחה שלא רואים באזכור.
• מתקנים בלחיצה לוחצים על הסימון בתוך האזכור ובוחרים את הערך הנכון, positive, negative או neutral.
• עוברים לנייטרליים מסננים neutral ומחפשים אזכורים טעונים שהמודל ״הרגיע״.
• מדווחים על דפוס חוזר הספק מבקש לעדכן אותו כשמוצאים שגיאות, כדי שיוכל להשתפר. אם אותו סוג טעות חוזר, זה המקום לספר לו.

אי אפשר לקרוא הכול, אז כדאי לתעדף. זה סדר עבודה הגיוני לעסק קטן:

1. אזכורים שליליים בביקורות ובתגובות, שם לקוח מחכה לתשובה.
2. אזכורים עם חשיפה גבוהה, כלומר כאלה שהגיעו להרבה אנשים, בכל טון.
3. אזכורים נייטרליים שנראים טעונים.
4. אזכורים חיוביים שיש בהם מילים כמו ״ממש תודה״. שם מסתתרת הציניות.

השאלה השלישית: מה הגרף הזה באמת אומר?

לפי מאמר הספק על הערך של כל מדד, מדדי הסנטימנט מראים איך מדברים על המותג ברוב המקרים, שלילי או חיובי, בתקופה נתונה. המילה החשובה היא ״תקופה״. הגרף עונה על השאלה ״לאן זה הולך״, לא על השאלה ״כמה אני שווה״.

למה זה חשוב? בבית קפה שמקבל, לדוגמה, עשרה אזכורים בשבוע, אזכור שלילי אחד שסומן לא נכון יכול להזיז את התמונה כולה. בגלל זה קודם מנקים את הסימונים, ורק אחר כך מסתכלים על הגרף. מה כדאי לחפש בו:

• כיוון: האם חלק האזכורים השליליים גדל או קטן לאורך השבועות. הספק מציג את צמצום החלק הזה כמטרה שאפשר לפעול לקראתה.
• זינוק: עלייה חדה ביום מסוים היא הזמנה לפתוח את האזכורים של אותו יום ולקרוא. הגרף לא מסביר אותה לבד.
• נושא: לפי הספק אפשר להבחין איזה נושא התקבל בחיוב ואיזה בשלילה. כך מזהים נקודות כאב (pain points) ונקודות אהבה (love points).
• השוואה: הספק מציע להשוות למתחרים את כמות האזכורים הטעונים רגשית. במאמרים הקשורים מופיעה גם השוואת תקופות, Period Comparison. ההסבר בעמוד השוואה: מתחרים ותקופות.

ובשורה התחתונה: מה זה אומר עליך

הסימון עונה על השאלה ״טוב או רע?״ בצורה מהירה, ולפעמים שגויה. שלושה דברים שכדאי לקחת מזה:

• אזכור שלילי הוא לא פסק דין. לעיתים קרובות הוא שיחה שאפשר עוד להיכנס אליה. הרחבה בעמוד ניהול מוניטין.
• מעט אזכורים הם הרבה רעש. כשהנפח קטן, כל סימון שגוי מזיז את הגרף. לכן הבדיקה הידנית שווה יותר מכל ממוצע.
• המגמה חשובה יותר מהמספר. שבוע רע אחד הוא נקודה. כמה שבועות באותו כיוון הם סיפור.

זה עמוד אחד מתוך סדרה. לתמונה המלאה חזרו אל מדריך Brand24 בעברית. להבנת שאר המספרים במסך הניתוח עברו אל לשונית הניתוח.