מהו LLMOps ומתי צריך אותו?
LLMOps הוא תחום העוסק בפיתוח, בהערכה, בפריסה ובתחזוקה של יישומים המבוססים על מודלי שפה גדולים. הוא נעשה שימושי כששינויים בפרומפטים, בגרסאות מודל, בידע שנשלף, בעלות או באיכות התשובות יכולים להשפיע על תהליך עבודה שאנשים מסתמכים עליו.
מה אומר המקור?
Google Cloud מבחינה בין LLMOps לבין תפעול למידת מכונה באופן רחב יותר, על סמך הצרכים של מודלי שפה גדולים. עבור צוות מוצר, האתגר המעשי הוא תחזוקת היישום כולו, ולא רק בחירת מודל.
איך מיישמים את זה?
בחרו תהליך אחד בסביבת הייצור ותעדו את גרסת הפרומפט, המודל, מקורות הידע, דוגמאות ההערכה, זמן התגובה והעלות למשימה שהושלמה. הגדירו מי בודק נסיגות באיכות ואיך משחזרים תצורה קודמת. השתמשו בכשל אמיתי כדי לבחור אילו נתונים נחוצים בתיעוד הריצה, במקום לתעד הכול כברירת מחדל. לצד כל כשל תעדו את גרסת המודל והפרומפט, כדי שיהיה אפשר לחקור שינוי בתצורה ולא לנחש מה קרה.
למה כדאי לשים לב?
כמות בקשות והוצאות על טוקנים אינן מלמדות אם המשתמשים השלימו את המשימה. שלבו ניטור טכני עם תוצאה מוצרית והגנו על מידע רגיש בתיעוד הריצות.