מהן הערכות ביצועים לסוכני AI?
הערכות לסוכני AI בודקות אם מערכת מבוססת מודל משלימה משימות מייצגות בתוך גבולות התנהגות מקובלים. אפשר לבחון את התוצאה, בחירת הכלים, ההרשאות וראיות הביניים. אוסף הערכה שימושי כולל הצלחות מציאותיות, כשלים ומצבים שבהם הפעולה הנכונה היא לעצור או לשאול.
מה אומר המקור?
מדריך ההערכה של Anthropic עוסק בבדיקת סוכנים במשימות מרובות שלבים ובאינטראקציות עם כלים. בדיקת המשפט האחרון בלבד עלולה להחמיץ טעויות בפעולות שהובילו אליו.
איך מיישמים את זה?
בנו אוסף קטן של משימות מתהליך עבודה אמיתי, לאחר הסרת פרטים מזהים. לכל משימה הגדירו תוצאה קבילה, פעולה אסורה אחת והראיות הנחוצות לשיפוט הריצה. כללו בקשה לא ברורה ומקרה של הרשאה חסרה. הריצו שוב לאחר שינוי בפרומפט, בכלי, במודל או במקור הקשר, והשוו כל כשל בנפרד. שמרו את הדוגמאות לבודקים עתידיים, כדי ששדרוג מודל לא ישנה בשקט את ההגדרה להתנהגות קבילה.
למה כדאי לשים לב?
ציון ממוצע עלול להסתיר הפרה חמורה של גבול. הפרידו בדיקות שחוסמות שחרור משיפורי איכות שבהם אפשר להתקדם בהדרגה.