עלות סוכן AI לעסק - מה משלמים לספק המודל ומה למי שבונה

כשעסק שואל אותנו כמה עולה סוכן AI, אנחנו מבקשים לפצל את השאלה. יש עלות תפעולית - כמה עולה כל אינטראקציה - ויש עלות פרויקט. הן לא באותו סדר גודל ולא באותו סוג של תקציב, ובלבול ביניהן הוא מקור למרבית ההפתעות.

נתחיל מהחלק שקל למדוד: מה משלמים לספק המודל.

שכבה 1: עלות המודל

ספקי מודלי שפה מתמחרים לפי מיליון טוקנים, בהפרדה בין קלט לפלט. פלט יקר משמעותית מקלט, בדרך כלל פי חמישה. הטבלה מציגה את המחירון של מודלי Claude, שהוא נקודת ייחוס נוחה כי המבנה דומה אצל רוב הספקים.

המחירים משתנים מעת לעת וכדאי לאמת מול המחירון הרשמי לפני תכנון תקציב. בכל החישובים כאן הנחנו שער של כ-3.7 שקל לדולר, לפני מע"מ.

הפער בין הדגמים הוא פי חמישה, וזה המקום הראשון שבו אפשר לחסוך בלי לפגוע באיכות - בתנאי שמנתבים כל משימה למודל המתאים לה במקום להריץ את הכל על החזק ביותר.

עברית עולה יותר

זו נקודה שכמעט לא מוזכרת בחומרים באנגלית, והיא מהותית לעסק ישראלי. מפרקי הטקסט של המודלים אומנו בעיקר על אנגלית, ולכן טקסט עברי מתפרק ליותר טוקנים ביחס לאותה כמות מידע. בפועל, מסמך עברי יעלה בערך פי 1.5 עד 2.5 מהמקבילה האנגלית שלו.

שתי מסקנות מעשיות. ראשית, אל תעתיקו הערכות עלות ממאמרים באנגלית - הן יטעו כלפי מטה. שנית, אם הוראות המערכת שלכם ארוכות מאוד, שווה לבדוק אם כתיבתן באנגלית מוזילה משמעותית, גם כשהמענה ללקוח נשאר בעברית. זה טריק שעובד, אבל שווה למדוד לפני שסומכים עליו.

אתם משלמים על כל מילה שנכנסת למודל, לא רק על מה שהמשתמש כתב. ורוב מה שנכנס זה מה שאתם הכנסתם.

מה באמת נכנס לכל בקשה

זו התובנה שמסבירה את רוב ההפתעות בחשבון. בכל פנייה של משתמש נשלחים למודל:

• הוראות המערכת - מי הסוכן, מה מותר לו, איך לענות. בדרך כלל 800 עד 3,000 טוקנים בעברית.
• מידע רלוונטי שנשלף ממאגר - קטעי מדיניות, מחירון, מסמכים. לרוב 1,000 עד 6,000 טוקנים.
• היסטוריית השיחה - כל מה שנאמר עד עכשיו, שוב, בכל תור.
• השאלה עצמה - בדרך כלל החלק הקטן ביותר, כמה עשרות טוקנים.

ההיסטוריה היא המלכודת. בשיחה של עשרה תורים, התור העשירי שולח מחדש את כל תשעת הקודמים. עלות השיחה גדלה בקצב ריבועי ולא ליניארי, ולכן שיחה של עשרים תורים עולה הרבה יותר מפי שניים משיחה של עשרה.

חישוב עלות לשיחה

נדגים על שיחת שירות טיפוסית בעברית: שמונה תורים, הוראות מערכת של 1,500 טוקנים, מידע נשלף של 2,500 טוקנים, ותשובות של כ-300 טוקנים כל אחת. סך הקלט המצטבר על פני השיחה יוצא כ-30,000 טוקנים והפלט כ-2,400.

במילים אחרות: 1,000 שיחות שירות בחודש על מודל הביניים עולות בערך 470 שקל. זה מספר שרוב העסקים לא מצפים לו - הם מצפים ליותר. וזו בדיוק הסיבה שהעלות התפעולית כמעט אף פעם אינה השיקול המכריע בפרויקט AI.

לשם השוואה, משימה של סיווג פנייה - 800 טוקני קלט ו-100 טוקני פלט על המודל הקל - עולה בערך חצי אגורה. אפשר להריץ אותה על עשרות אלפי פריטים בחודש בעלות של עשרות שקלים.

שלושה מנגנונים שמורידים את החשבון

מטמון הוראות

רוב הספקים מאפשרים לסמן חלק קבוע מהבקשה - הוראות המערכת, מסמכי ייחוס - כניתן למטמון. הכתיבה למטמון עולה קצת יותר מקלט רגיל, אבל כל קריאה חוזרת עולה בערך עשירית מהמחיר. במערכת שבה אלפי בקשות חולקות את אותן הוראות, זו הפחתה של עשרות אחוזים בעלות הקלט.

התנאי הוא שהחלק הקבוע יישאר זהה בייט אחר בייט. מספיק שמישהו הכניס תאריך של היום לתוך הוראות המערכת כדי שהמטמון יפסיק לעבוד לגמרי - וזה קורה הרבה.

עיבוד באצווה

למשימות שלא דורשות תשובה מיידית - סיווג של תיקיית פניות, סיכום דוחות, ניקוי נתונים - רוב הספקים מציעים מסלול אצווה בהנחה של כ-50 אחוז. התשובות מגיעות תוך שעות ולא תוך שניות. אם המשימה יכולה לחכות, אין סיבה לשלם כפול.

ניתוב בין מודלים

הטעות הנפוצה ביותר בתכנון: לבחור מודל אחד חזק ולהריץ עליו כל פעולה. בפועל, רוב הפעולות במערכת אמיתית הן פשוטות. סיווג פנייה, זיהוי שפה, חילוץ שם ומספר - כל אלה מתאימים למודל הקל. רק ההחלטה המורכבת דורשת את החזק.

שכבה 2: התשתית

מסביב למודל יש מערכת, וגם היא עולה. הסעיפים האלה קטנים יחסית אבל קבועים.

שימו לב לשורה האחרונה. בסוכן שעובד בוואטסאפ, עלות ההודעות היזומות יכולה בקלות לעלות על עלות המודל. עסק ששולח 5,000 הודעות תפעוליות בחודש משלם עליהן בערך 275 שקל - יותר ממה שעולה המודל בחלק מהתרחישים.

שכבה 3: בנייה ותחזוקה

כאן נמצא רוב הכסף, וכאן גם הכי קשה לתת מספר. הטווחים הבאים משקפים את מה שאנחנו רואים בשוק הישראלי לעסקים קטנים ובינוניים. הם לא הצעת מחיר.

מה שמזיז את המחיר בתוך הטווחים הוא כמעט תמיד אותם ארבעה גורמים: מצב הנתונים, מספר המערכות שצריך לחבר, רמת הדיוק הנדרשת, ומידת החשיפה של הסוכן ללקוח חיצוני. סוכן פנימי שטועה - עובד מתקן. סוכן שמדבר עם לקוחות משלמים דורש רמת בקרה אחרת לגמרי, וזה מה שמייקר.

איפה החשבון קופץ

ההמלצה הפשוטה: הגדירו תקרת הוצאה בממשק הספק והתראה על חמישים אחוז ממנה. זה לוקח עשר דקות ומונע את התרחיש שבו מגלים את הבעיה בחשבון בסוף החודש.

שורה תחתונה

העלות התפעולית של סוכן AI נמוכה מכפי שרוב האנשים מניחים - אגורות לשיחה, מאות שקלים בחודש בנפח סביר. העלות האמיתית היא בבנייה, ובעיקר בתחזוקה של משהו שצריך להישאר מדויק כשהעסק משתנה.

לכן השאלה שאנחנו שואלים לפני שאלת המחיר היא אחרת: מה התהליך, כמה פעמים הוא קורה, ומה קורה כשהוא נכשל. אם התשובות לא ברורות, שום מחיר לא יהיה נכון. קודם מבינים את העסק, רק אחר כך בונים את המערכת.