ממשל AI הוא בעיה של תכנון מוצר.

ממדיניות להתנהגות

מסגרת ניהול סיכוני ה־AI של NIST מספקת בסיס וולונטרי לניהול סיכונים. היא מועילה לארגון הדיון. ההמלצה כאן היא לתרגם את הדיון למסעות משתמש מוגדרים ולהתנהגות מערכת שאפשר לצפות בה.

מדיניות שלפיה סוכן חייב להגן על נתוני לקוחות אינה דרישת מוצר מלאה. צריך להגדיר מי רשאי לבקש אילו פעולות, לאיזה מידע הסוכן יכול לגשת ואיך מסבירים סירוב או אי־ודאות.

מתכננים סביב פעולות משמעותיות

הבחינו בין קריאת מידע, הכנת שינוי וביצוע השינוי בפועל. הפעולות עשויות לדרוש הרשאות שונות, גם כשהן מתרחשות באותה שיחה.

דמיינו עוזר שמכין החזר כספי. עליו להציג את הסכום, החשבון והנימוק לפני שלב הביצוע. האישור הנדרש צריך להתאים למדיניות האמיתית של הארגון. זו דוגמה לדפוס אינטראקציה, לא כלל הרשאות אוניברסלי.

מאפשרים לבדוק את האמון

הציגו מקורות רלוונטיים, היקף גישה ומצב פעולה. הימנעו מהודעה כללית שהכול בוצע כשהסוכן רק הכין טיוטה. המשתמש צריך להבין מה קרה ומה עדיין נותר.

גם מסלולי הכשל צריכים להיות שימושיים. הסבירו דחיות הרשאה בלי לחשוף מידע רגיש. ספקו דרך לפנות לגורם הנכון ושמרו ראיות שמסייעות בחקירה כשפעולה נכשלת.

מודדים את החוויה המבוקרת

עקבו אחר השלמת משימות לצד ניסיונות לא מורשים, יכולת התאוששות ובלבול משתמשים. בדקו היכן אישורים מוסיפים בטיחות והיכן הם מפריעים שוב ושוב בלי להפחית סיכון.

ממשל צריך לעזור לאנשים לפעול בביטחון. משתמש חסום אינו בהכרח משתמש מוגן, ופעולה מוצלחת אינה בהכרח פעולה מורשית. בדקו גם את הבקרה וגם את החוויה שסביבה.

אוקטובר 2026: בודקים גם את מערכת הפיקוח

הצעת הערכת הבקרה של METR מ־14 באוקטובר 2026 שואלת אם סוכנים פנימיים יכולים לגרום נזק חמור בלי להיעצר. היא מבחינה בין כיסוי הניטור, חולשות במערכת הניטור, התחמקות, תגובה אנושית והשפעה אפשרית. זו גישת הערכה מוצעת למפתחי מערכות AI בחזית התחום, לא הסמכה ולא הוכחה לבטיחות של מוצר מסוים.

ב־15 באוקטובר תיארה Anthropic מתן גישה דמוית גישת עובד לצוות קטן של METR לצורך הערכה. בהבהרה מ־16 באוקטובר תוארו זכויות פרסום לצד קטגוריות השחרה מוגדרות מראש, כאשר Anthropic מחליטה מה נכלל בהן. ההודעה מתארת את ההסדר של החברה; היא אינה מוכיחה באופן עצמאי שההגנות שלה פועלות.

המשמעות המוצרית היא שאלה לבדיקה: אילו ראיות יאפשרו לבודק לערער על התנהגות הסוכן? לוח התראות אינו מספיק אם חלק מהפעולות כלל לא מגיעות אליו, או אם איש אינו יכול לעצור פעולה אחרי התראה. הגדירו גישה לראיות, אחריות לתגובה ויכולת התערבות כתנאי קבלה מפורשים.

תרגיל מנטורינג של 15 דקות: עוקבים אחר פעולה מסוכנת אחת

בחרו תהליך אמיתי, למשל סוכן שמציע שינוי בתצורת הייצור. עבדו עם עמית מפיתוח, אבטחה או תפעול. התרגיל הוא התאמה עריכתית לצוותי מוצר, ולא מתודולוגיית ההערכה של METR.

דקות 0–5: שרטטו את המסלול מהבקשה לקריאה לכלי ועד לשינוי בפועל. ציינו את האדם האחראי, הפעולות המותרות והנקודה שמעבר לה ההתאוששות נעשית יקרה. סמנו אילו צעדים נמנעים באמצעות הרשאות, אילו דורשים אישור ואילו נצפים רק בדיעבד.

דקות 5–10: הגדירו את הראיות הדרושות בכל שלב: זהות המבקש, החלטת ההרשאה, השינוי המוצע, התוצאה שבוצעה ורישום ההסלמה. שאלו אם סוכן משנה או כלי חלופי יכולים לעקוף את מסלול הראיות. השתמשו בסביבת בדיקה סינתטית; אל תכבו בקרות בייצור כדי להדגים פער.

דקות 10–15: תרגלו פעולה שנדחית, תקלה בניטור והסלמה ללא מענה. החליטו מה המערכת עושה בכל מצב, מי יכול לעצור אותה ואילו ראיות מוכיחות את ההתנהגות. הסכימו על בדיקת קבלה אחת ועל אחראי לפני הרחבת האוטונומיה.

הביאו את המפה לשיחת מנטורינג. התוצר המועיל הוא פשרה אחת שטרם הוכרעה וצעד הבא שניתן לבדוק. למשל: כתיבה מדומה ללא אישור חייבת להיחסם ולהירשם; אם אי אפשר ליצור את הרישום, הכתיבה נשארת חסומה. בחרו יעדי זמן תגובה לפי הסיכון והמגבלות התפעוליות בפועל.

שאלות שכדאי לשאול

מקורות וקריאה נוספת

• NIST — AI Risk Management Framework
• METR — Control and monitoring assessment proposal (14 October 2026)
• Anthropic — Independent evaluators (15 October; clarified 16 October 2026)

המקורות מספקים הקשר. ההמלצות ומסגרות החשיבה הן ניתוח עריכתי, ולא טענות לתוצאות מוכחות. הטיוטה הוכנה בסיוע AI לבדיקה של ירון; טענות לניסיון אישי דורשות את אישורו.