מחקר
6 דקות
מ־arXiv cs.AI
CircuChain לבדיקת ציות להוראות בניתוח מעגלים ב‑LLM: למה דיוק מספרי לא מספיק
**CircuChain הוא בנצ’מרק אבחוני שמפריד בין יכולת פיזיקלית של LLM בפתרון מעגלים לבין ציות לקונבנציות שהמשתמש מגדיר (כיוון זרם, סימן ופולריות).** לפי המאמר (arXiv:2602.15037v1), בכל מודל נבחנו 100 משימות עם זוגות Control/Trap שמחליפים בכוונה קונבנציות. הממצא המרכזי: מודלים חזקים עשויים להיות “כמעט מושלמים” בפיזיקה אבל עדיין להפר הנחיות תחת תנאי Trap, בעוד מודלים חלשים יותר מצייתים טוב יותר להוראות. לעסקים בישראל שמטמיעים LLM בתהליכי הנדסה, תמיכה טכנית או QA, המשמעות היא שחייבים להוסיף שכבת אימות (solver/SPICE או בדיקות אוטומטיות ב‑N8N) ותבנית תשובה קשיחה—לפני שהמידע נכנס ל‑CRM או לתיעוד רשמי.
קרא עוד