אל תבחרו כלי AI לעסק קטן לפי טבלאות דירוג של בנצ'מרקים - 90% משעות העבודה בארה"ב מושקעות במשימות שהבנצ'מרקים הנוכחיים כמעט לא נוגעים בהן. את המודל שלכם בדקו על קבלות, לידים ובקשות לקוחות אמיתיים, לא על ליגת מודלים בטוויטר.
החברה Mercor מיפתה 29 בנצ'מרקים אג'נטיים מול הטקסונומיה של O*NET הכוללת 923 מקצועות ו-18,797 משימות. רק 208 מקצועות זכו למשימה עם 5 פרומפטים או יותר מאחוריה. למשימות של עורכי דין יש כיסוי טוב; למזכירות משפטיות, לפקידי בית משפט ולרוב מקצועות הידע של מעמד הביניים - אין. הכיסוי הולך אחרי שכבות השכר הגבוהות, לא אחרי המרקם האמיתי של העבודה היומיומית.
מה זה אומר לעסק קטן בישראל
אם מודל חדש מוביל בבנצ'מרק של קוד או של ניתוח משפטי, זה לא אומר כמעט כלום על היכולת שלו למיין לידים שנכנסים לקליניקה בלילה, לחלץ שורות מחשבוניות ספקים לחנות, או לרדוף אחרי מסמך חסר מלקוח של משרד עורכי דין. בחרו מטרות אוטומציה לפי התהליך שלכם, לא לפי צילומי מסך מטוויטר. הריצו פיילוט של 20 משימות על הדאטה האמיתית שלכם - קבלות, פניות ווטסאפ, חוזים - ומדדו שם דיוק ושעות חסכון. בערך 750 ש"ח (200$) בעלויות API ושבוע עבודה שווים הרבה יותר מכל ליגת מודלים. זה סוג הפייפליינים שאני בונה בשבוע, וזו גם הדרך לא לשלם על יכולת שלא תשתמשו בה.
למה זה חשוב: הבנצ'מרקים ממפים את ה-10% הנוצצים של העבודה. האוטומציה שבאמת עובדת חיה ב-90% האחרים, והדרך היחידה למצוא אותה היא לבדוק על המסמכים שלכם.
מקור: Hacker News