گوگل ریسرچ چارچوب متن‌باز Harness2 را معرفی کرده است؛
پروژه‌ای که به ایجنت های هوش مصنوعی اجازه می‌دهد شیوه کار خود را به‌تدریج بهبود دهند، بدون اینکه وزن‌های مدل زبانی تغییر کند. این چارچوب به‌جای آموزش دوباره مدل، بخش‌هایی مانند دستورهای سیستمی، ابزارها، حافظه، مهارت‌ها و نحوه تقسیم وظایف را اصلاح می‌کند و تغییرات را با اجرای دوباره کارها می‌سنجد.
پژوهش این پروژه در ۹ اکتبر ۲۰۲۶ در arXiv منتشر شد و کد آن نیز در مخزن GitHub پروژه در دسترس قرار گرفته است.
Harness2 دقیقا چه مشکلی را حل می‌کند؟
وقتی درباره پیشرفت هوش مصنوعی صحبت می‌کنیم، معمولا به مدل اصلی توجه داریم؛ اینکه چقدر بهتر استدلال می‌کند، کد می‌نویسد یا اطلاعات را تحلیل می‌کند. اما عملکرد یک ایجنت هوش مصنوعی فقط به مدل وابسته نیست. مجموعه اجزایی که مدل را به یک ایجنت اجرایی تبدیل می‌کنند نیز نقش مهمی دارند.
به این مجموعه معمولا Harness گفته می‌شود؛ یعنی لایه‌ای که مشخص می‌کند مدل چگونه دستورها را دریافت کند، از ابزارها استفاده کند، حافظه داشته باشد، وظایف را به ایجنت های دیگر بسپارد و مراحل اجرای کار را مدیریت کند.
برای مثال، ممکن است یک مدل در برنامه‌نویسی توانایی خوبی داشته باشد، اما به‌دلیل دستورهای نامناسب، انتخاب اشتباه ابزار یا بررسی‌نکردن نتیجه اجرای کد، در انجام یک پروژه واقعی شکست بخورد. در چنین شرایطی، لزوما نیازی به تعویض مدل نیست؛ گاهی اصلاح شیوه استفاده از همان مدل می‌تواند نتیجه را بهتر کند.
Harness2 این ایده را یک قدم جلوتر می‌برد: به‌جای اینکه انسان تمام این اصلاحات را دستی انجام دهد، چارچوب تلاش می‌کند فرایند بهبود را تا حد زیادی خودکار کند.
ایجنت هوش مصنوعی چگونه خودش را بهبود می‌دهد؟
Harness2 از دو سطح به‌هم‌پیوسته برای بهبود استفاده می‌کند.
۱. اصلاح شیوه اجرای هر وظیفه
در سطح اول، چارچوب برای همان کاری که ایجنت باید انجام دهد، چند تغییر احتمالی در Harness پیشنهاد می‌کند. سپس این تغییرات را آزمایش می‌کند و نتیجه اجراها را با یکدیگر مقایسه می‌کند.
این فرایند سه مرحله دارد:
- Propose: پیشنهاد تغییر در دستورها، ابزارها یا بخش‌های دیگر Harness.
- Probe: آزمایش تغییرات و بررسی رفتار ایجنت در اجراهای مختلف.
- Compose: ترکیب شواهد به‌دست‌آمده برای ساخت نسخه اصلاح‌شده.
نکته مهم این است که این روش برای تصمیم‌گیری به پاسخ نهایی از پیش مشخص‌شده یا یک ارزیاب دارای جواب قطعی وابسته نیست. چارچوب تلاش می‌کند از تفاوت رفتار ایجنت در اجراهای مختلف بفهمد کدام تغییر احتمالاً مفید بوده است.
۲. استفاده از تجربه برای کارهای بعدی
بهبود فقط به همان وظیفه محدود نمی‌شود. در سطح دوم، Harness2 تجربه‌ها و تغییرات موفق را در یک Harness بهبوددهنده نگه می‌دارد تا در وظایف آینده نیز از آن‌ها استفاده کند.
به زبان ساده، اگر ایجنت در یک پروژه به‌دلیل استفاده نادرست از ابزار شکست بخورد و یک اصلاح مشخص نتیجه را بهتر کند، چارچوب می‌تواند آن تجربه را به راهنمایی قابل‌استفاده در کارهای بعدی تبدیل کند.
هدف این است که ایجنت به‌جای تکرار اشتباه‌های مشابه، از تجربه اجرای قبلی خود برای بهبود عملکرد در موقعیت‌های تازه استفاده کند.
چه بخش‌هایی از ایجنت قابل تغییرند؟
طبق مستندات پروژه، Harness2 هشت بخش قابل‌ویرایش دارد:
- دستور سیستمی یا System Prompt
- محدودیت‌ها و قواعد رفتاری
- حافظه
- راهنمای استفاده از ابزارها
- ایجنت های فرعی یا Subagents
- مهارت‌ها یا Skills
- اسکریپت‌ها
- پلاگین‌ها
این فهرست نشان می‌دهد که خودبهسازی در Harness2 صرفا به بازنویسی یک دستور متنی محدود نیست. چارچوب می‌تواند بخش‌های مختلف سیستم اجرایی ایجنت را بررسی کند و متناسب با مشکل مشاهده‌شده، تغییر پیشنهاد دهد.
بااین‌حال، این فرایند به معنی تغییر خودکار و بدون محدودیت تمام اجزای سیستم نیست؛ تغییرات باید در چارچوب اجرای پروژه و فرایند آزمایش آن انجام شوند.
نتایج آزمایش‌ها چه می‌گویند؟
پژوهشگران Harness2 را روی سه بنچمارک حرفه‌ای و چهار ترکیب از مدل و Harness آزمایش کرده‌اند. در این آزمایش‌ها، یک مرحله بهبود توانسته عملکرد مدل‌های GLM-۵ و Gemini ۳.۵ Flash را نسبت به Harness اولیه افزایش دهد.
بر اساس نتایج گزارش‌شده در مقاله و مخزن پروژه:
| بنچمارک | حوزه ارزیابی | بیشترین بهبود گزارش‌شده |
|---|---|---|
| WorkBuddy-Bench | کارهای اداری، وب و کدنویسی | ۱۱٫۵ امتیاز |
| JobBench | وظایف حرفه‌ای و کاری | ۴٫۵ امتیاز |
| LAB | وظایف حقوقی | ۱۱٫۸ واحد درصد در نرخ قبولی جزئی |
این اعداد، بیشترین بهبود گزارش‌شده در آزمایش‌های مربوط هستند؛ نه تضمینی برای بهبود یکسان در همه مدل‌ها یا تمام وظایف واقعی. پژوهش همچنین گزارش می‌کند که افزایش بودجه تکرار در سطح وظیفه می‌تواند به بهبودهای بیشتری منجر شود.
جزئیات روش آزمایش و نتایج در مقاله پژوهشی Harness2 و مخزن رسمی کد پروژه قابل‌بررسی است.
آیا این یعنی مدل دیگر به آموزش نیاز ندارد؟
نه. Harness2 وزن‌های مدل را تغییر نمی‌دهد و جایگزین آموزش مدل یا Fine-tuning نیست. این چارچوب تلاش می‌کند از همان مدل موجود، با اصلاح محیط اجرایی و شیوه استفاده از ابزارها، عملکرد بهتری بگیرد.
تفاوت این دو رویکرد مهم است. در Fine-tuning، پارامترهای مدل با استفاده از داده‌های آموزشی تغییر می‌کنند؛ اما در Harness2، تمرکز روی لایه‌ای است که مدل را به یک ایجنت اجرایی تبدیل می‌کند.
این روش می‌تواند در مواردی که مشکل از گردش کار، دستورها یا نحوه استفاده از ابزارهاست، مفید باشد. اما اگر مدل دانش لازم را نداشته باشد یا در استدلال پایه ضعف داشته باشد، اصلاح Harness لزوماً این محدودیت‌ها را برطرف نمی‌کند.
توسعه‌دهندگان چگونه می‌توانند از Harness2 استفاده کنند؟
کد Harness2 به‌صورت متن‌باز با مجوز Apache ۲.۰ منتشر شده و توسعه‌دهندگان می‌توانند آن را از GitHub دریافت کنند.
طبق راهنمای پروژه، برای اجرای نمونه اولیه به Linux، Python ۳.۱۲ و ابزار مدیریت محیط و بسته‌های uv نیاز است. اجرای نمونه محلی برای نمایش دو روش بهبود، به اعتبارنامه مدل نیاز ندارد؛ اما اجرای آزمایش‌های مبتنی بر مدل به تنظیم دسترسی مدل و نصب وابستگی‌های بنچمارک مربوطه نیاز خواهد داشت و ممکن است هزینه API داشته باشد.
این پروژه از OpenCode و Codex به‌عنوان محیط‌های اجرایی پشتیبانی می‌کند و بنچمارک‌هایی مانند JobBench، LAB و WorkBuddy-Bench را در اختیار می‌گذارد. با توجه به نیازهای نصب و تنظیمات، Harness2 در حال حاضر بیشتر برای توسعه‌دهندگان و پژوهشگرانی مناسب است که می‌خواهند رفتار ایحنت های خود را آزمایش و بهینه کنند.
همچنین گوگل در مخزن پروژه تصریح کرده است که Harness2 یک محصول رسمیِ پشتیبانی‌شده از سوی Google نیست؛ بلکه پروژه‌ای پژوهشی و متن‌باز است.
چرا Harness2 اهمیت دارد؟
اهمیت Harness2 در این است که مسیر دیگری برای بهترکردن ایجنت های هوش مصنوعی نشان می‌دهد. برای افزایش توانایی یک ایجنت، همیشه لازم نیست مدل بزرگ‌تر یا گران‌تری انتخاب شود. گاهی اصلاح ابزارها، حافظه، دستورها و روش اجرای کار می‌تواند بخشی از مشکلات را حل کند.
البته این رویکرد هنوز محدودیت‌هایی دارد. نتایج فعلی بر اساس چند بنچمارک مشخص به‌دست آمده‌اند و برای سنجش میزان تعمیم آن به کاربردهای گسترده‌تر، به آزمایش‌های بیشتر نیاز است. علاوه بر این، اجرای چندباره وظایف برای آزمایش تغییرات می‌تواند زمان و هزینه محاسباتی را افزایش دهد.
با وجود این محدودیت‌ها، Harness2 نمونه‌ای از حرکت پژوهش‌های هوش مصنوعی به سمت ایجنت هایی است که نه‌تنها وظایف را اجرا می‌کنند، بلکه می‌توانند روش اجرای خود را نیز بررسی و اصلاح کنند؛ آن هم بدون نیاز به تغییر وزن‌های مدل پایه.
