סוכן AI מתאים כשהקלט מבולגן והחוקים משתנים כל הזמן; סקריפט רגיל מתאים כשהפורמט קבוע והלוגיקה יציבה. השחרור של DeepInfer, מנוע האינפרנס החדש של DeepSeek, רלוונטי לבחירה הזאת כי self-hosting של LLM נעשה זול מספיק כדי שסוכן יפסיק להיות אוטומטית בעיה תקציבית.
החברה DeepSeek פרסמה בקוד פתוח את DeepInfer, המנוע שמריץ את שירותי הייצור שלה. הוא כולל קרנלים מאופטמים, דגימה דטרמיניסטית ובלתי-תלויה בגודל הבאץ', פלט מובנה דרך JSON schema או דקדוק EBNF, ורץ על GPU מסוג NVIDIA SM100 או NPU מסוג Huawei Ascend 950. ה-checkpoint ברירת המחדל הוא DeepSeek-V4.1-Flash.
מה זה משנה לעסק קטן בישראל
עד עכשיו השאלה "סוכן או סקריפט" נטתה לכיוון סקריפט, כי כל קריאת API עולה כסף. עם DeepInfer ו-GPU מושכר, משרד עורכי דין, קליניקה או סדנה שמעבדים אלפי חשבוניות, פניות שירות או עמודי חוזים ביום יכולים להריץ מודל משלהם ולשלם לפי שעה במקום לפי טוקן. בנפח נמוך - עשרות מסמכים ביום - API מנוהל כמו Claude או GPT עדיין פשוט וזול יותר. בעבודה חוזרת על מסמכים בנפח גבוה, למשל פייפליין לניתוח מכרזים שבניתי, self-hosting מתחיל להתחרות. הפלט המובנה הוא הקרס המעשי: אפשר לכפות על המודל להחזיר JSON נקי, וזה בדרך כלל מה שהופך צעד AI לאמין מספיק כדי לשבת בתוך תהליך מבוסס סקריפט.
למה זה חשוב: רצפת העלות של הרצת סוכן AI יורדת, ולכן הבחירה בין סוכן לסקריפט תהיה יותר ויותר שאלה של איזו לוגיקה מתאימה לבעיה, ולא איזו מהן התקציב מרשה.
מקור: Hacker News