דיוק של 100% בקריאות כלי: מה מביא השחרור של vLLM 0.31

סקריפט רגיל מתאים כשהקלט מובנה והענפים סופיים; סוכן LLM נחוץ רק כשהטקסט מבולגן או שעץ ההחלטות רחב מכדי לכתוב אותו בקוד. השחרור של vLLM 0.31 משנה את החישוב הזה לסוכנים בהוסטינג עצמי: הוא מוסיף דגל של constrained decoding ישר בצד השרת.

מהנדסי Ubicloud מדדו את Kimi K2.6 על vLLM 0.28 וגילו שהמודל החזיר את סכימת ה-tool call הנכונה רק ב-92% מהקריאות - 2 מתוך כל 25 היו JSON פגום שהרעיל את ההקשר של הסוכן. עם הדגל של constrained decoding מופעל, Ubicloud מדווחת ש-Kimi ו-DeepSeek מגיעים ל-100% עמידה בסכימה.

מה זה אומר לעסק קטן בישראל

אם קליניקה, משרד עורכי דין או חנות מריצים מודל open-weight מאחורי ה-CRM, מערכת החשבוניות או ניהול המלאי - עדכנו ל-vLLM 0.31 והפעילו את הדגל לפני שמוסיפים עוד שלבי סוכן. משימות דטרמיניסטיות - חיפוש SKU לפי ברקוד, פענוח XML - צריכות להישאר בפונקציה רגילה, והמודל יטפל רק במה שסקריפט לא יודע לתאר, כמו בבוט מחסן שמאתר פריט לפי תמונה ו-SKU. בלי הבטחת סכימה, כל קריאת כלי היא הגרלה קטנה, וסוכנים רב-שלביים מכפילים את הסיכון במהירות.

למה זה חשוב: כשל שקט של 8% בקריאות כלי הורס אמינות של סוכן מהר יותר מכל כיוונון פרומפט, אז קבעו את גרסת מנוע ההרצה ובדקו דיוק סכימה לפני שאתם משחררים משהו רב-שלבי.