איזה מודל AI מתאים לאיזו משימה
איך Cortex66 בוחר מודל למשימה: הדרגה הזולה ביותר שעוברת את הבדיקה, מהמפתחות שלכם, עם הסיבה והתקרה על קבלה לפני שמשהו רץ.
מאת צוות Cortex66 · · 2 דקות קריאה
לכל משימת AI יש צורה משלה. תרגום, תקציר, תוכנית בעשרה חלקים וקטע קוד שחייב להתקמפל הם לא אותה עבודה, ולא מגיע להם אותו מודל ואותה הוצאה. במאמר הזה נסביר איך Cortex66 בוחר, ולמה הבחירה תמיד כתובה לפני שמשהו רץ.
הקבלה באה לפני התשובה
תארו משימה. לפני שמשהו רץ אתם רואים את המודל שנבחר, כמה זה יכול לעלות לכל היותר, מי בודק את התוצאה ומה הסיבה. זו הקבלה, והיא הדבר הראשון שרואים, לא האחרון. בבוחר הציבורי הקבלה היא דוגמה שמחושבת בדפדפן שלכם מקבוצת כללים קטנה ומגורסת: שום מודל לא נקרא ושום דבר לא נשלח. בסביבת העבודה אותה קבלה אמיתית, והסיבה שעליה היא הסיבה שהמערכת באמת השתמשה בה.
הדרגה הזולה ביותר שעוברת את הבדיקה
Cortex66 לא מתחיל מהמודל החזק ביותר. הוא מתחיל מהדרגה הזולה ביותר שיש לה סיכוי הוגן במשימה, ובדיקה מחליטה אם התשובה טובה מספיק כדי להישמר. כשהבדיקה נכשלת, המשימה עולה דרגה אחת ורצה שוב, בתוך התקרה שכבר אישרתם. התוצאה: עבודה שגרתית נשארת זולה, ועבודה קשה מקבלת את המודל שהיא צריכה, בלי שתצטרכו להכיר את כל הקטלוג בעל פה.
שלושה דברים מעצבים את הבחירה בסביבת העבודה:
- המפתחות שלכם. המודלים שעל המפתחות שחיברתם באים קודם. משימה שדורשת מודל שלא הוספתם מוצגת כחסומה, עם הסיבה, במקום לזלוג בשקט למקום אחר.
- התקציב שלכם. התקרה שעל הקבלה נשמרת מראש לפני כל קריאה בתשלום. אם המחיר לא ידוע, המשימה לא רצה.
- מה כל מודל עשה טוב בשבילכם. הבחירה משתמשת במה שעבד קודם בסביבה שלכם, והקבלה אומרת את זה.
אפשר לעקוף
הבוחר הוא נקודת התחלה, לא פסק דין. בסביבת העבודה אפשר לבחור מודל אחר למשימה, והקבלה מראה את התקרה החדשה. המערכת זוכרת מה בחרתם ולמה, כך שהקבלה הבאה מתחילה קרוב יותר למה שרציתם.
כשספק נופל
לספקים יש שעות רעות. לכל נתיב (מודל על אחד מהמפתחות שלכם) יש ציון בריאות שנבנה מהשגיאות שלו, מתשובות איטיות ומאותות הגבלת הקצב של הספק עצמו. נתיב שממשיך להיכשל מכובה עד שהוא מתאושש. אם הבחירה הראשונה שלכם נפלה לפני שמשהו נשלח, המשימה עוברת למפתח הבא שלכם; הקבלה מראה את המעבר והתקרה לא משתנה. קריאה שכבר יצאה לא נשלחת פעמיים: אם התוצאה שלה לא ידועה, בודקים אותה קודם, כך שלעולם לא תשלמו פעמיים על תשובה אחת. הגרסה הארוכה נמצאת במדריך על נפילות ספקים.
מה זה אומר בפועל
- משימות קצרות ומוגדרות (תרגום, ניסוח מחדש, חילוץ נתונים) הולכות למודל זול ובדרך כלל נשארות שם.
- משימות עם בדיקה שאפשר לכתוב (קוד שחייב להתקמפל, פורמט שחייב להתאים) עולות דרגה רק כשהבדיקה נכשלת.
- עבודה פתוחה (תוכנית, טיעון ארוך) מתחילה גבוה יותר, כי ניסיון ראשון זול היה עולה יותר בחזרות.
- עבודה פרטית יכולה להישאר על מודל מקומי בזמן שהשאר רץ על מודל בענן; כל קבלה אומרת מי רץ.
נסו את הבוחר עם משפט משלכם, ואז קראו איך המפתחות שלכם ותקרת העלות משתלבים.