پژوهش و سخنرانی · SNM05 · ۱۵ نوامبر ۲۰۲۶
هوش مصنوعی پیشنهاد میدهد، کد تصمیم میگیرد.مقالهمان درباره ابزارهای پژوهشی هوش مصنوعی که نمیتوانند نقلقول ساختگی جا بزنند، که روی صحنه در دانشگاه نزوا ارائه کردم.
۱۵ نوامبر ۲۰۲۶ مقالهمان را در گردهمایی SNM05: AI-Powered Applications ارائه کردم؛ رویدادی که Innovation and Academic Nexus (IAN) و دانشگاه نزوا برگزار کردند. مقاله درباره Agatha است، دستیار پژوهشیای از Immortal Horizon Technologies که روی کامپیوتر خود کاربر کار میکند، و بر همان قاعدهای بنا شده که در کارم هم ایجنتهایم را به آن پایبند میکنم: مدل پیشنهاد میدهد و کد ساده و قطعی تصمیم میگیرد.
۰۱ — ایده
مدل پیشنهاد میدهد. کد ساده تصمیم میگیرد.
SNM05: AI-Powered Applications
مسئله
- دستیارهای پژوهشی هوش مصنوعی هنوز منبع و نقلقول از خودشان درمیآورند، و ایجنتهای هوش مصنوعی میتوانند کارهایی بکنند که کسی تأییدشان نکرده. پرامپت بهتر، بازبینی انسانی و مدل بزرگتر این خطاها را کمتر میکنند، اما برایشان سقفی نمیگذارند.
استناد · مدل چه چیزی را میتواند ادعا کند
- مدل فقط اشاره میکند. وقتی Agatha مقالهای را میخواند، مدل یک ادعا و جای نقلقول پشتیبانش را بهصورت موقعیت کاراکترها در متن مقاله پیشنهاد میدهد.
- کد تصمیم میگیرد. این موقعیتها را با مقاله واقعی تطبیق میدهد، نقلقول را از خود منبع کپی میکند و شناسه ادعا را خودش میدهد. ادعایی که نقلقولش پیدا نشود حذف میشود؛ پس نقلقول ساختگی به یک رکورد گمشده تبدیل میشود، نه یک دروغ باورپذیر.
اختیار · ایجنت چه کاری میتواند بکند
- هر کدام از ۱۱۲ ابزار ایجنت در Agatha اعلام میکند چه میخواند، چه مینویسد و آیا خروجیاش قابل اعتماد است. اعلامِ جاافتاده خطرناکترین حالت فرض میشود.
- محتوای غیرقابلاعتماد اجرا را علامتگذاری میکند، پس نوشتنی که بعد از دریافت یک صفحه وب بیاید هم بررسی میشود. سابایجنتها جدا از هم کار میکنند و نمیتوانند در وضعیت ایجنت والد بنویسند، و هر ایجنت کارگر بازبین مخصوص خودش را دارد.
صداقت · چه چیزی هنوز بررسی نمیشود
- هر محافظ با حذف کردن آزموده میشود: اصلاح را برگردان و ببین که یک تست مشخص شکست میخورد. به تعبیر خود پروژه: «تستی که نتواند شکست بخورد، فقط یک کامنت است.»
- مرحله نگارش هنوز به قواعد داخل پرامپت تکیه دارد و مقاله این را صریح میگوید. گسترش این بررسیها از خواندن به نوشتن، مسئله پژوهشی باز است.
مدل پیشنهاد میدهد«این روش فراخوانی را در اسناد طولانی بهتر میکند.» · نقلقول در کاراکترهای ۴٬۴۱۲ تا ۴٬۵۰۸
span.check(4412, 4508) → inside the article
quote.copy(source, 4412, 4508) → taken from the paper, not the model
segment.derive(span) → §4 Results
id.assign() → claim-014
نگه داشته شد · claim-014نقلقول دقیقاً با مقاله میخواند، پس مراحل بعدی میتوانند به آن اعتماد کنند.
مدل پیشنهاد میدهد«نویسندگان آن را روی ۱۰٬۰۰۰ کاربر آزمودند.» · نقلقول در کاراکترهای ۹٬۱۲۰ تا ۹٬۱۸۸
quote.find(source, 9120, 9188) → no such quote in the paper
حذف شدنقلقول نیست، ادعا هم نیست. هیچوقت آن را نمیبینید.
۰۲ — سیستم
یک موتور زیر همه محصولات. و قدمهای بعدی.
امروز کار میکندطراحیشده، هنوز ساخته نشده↓ساختهشده روی
قدمهای بعدی · ترتیب کار، بدون تاریخ
- اکنونامن برای سپردن به دیگران
- مقاومسازی برای کاربران بیرونی
- امضای فایلهای اپ
- انتشار یک نسخه و انتخاب کانال
- نزدیکسنجش و ساخت
- تستهایی که ارجاعهای ساختگی را میگیرند
- شمارندههای استفاده با رضایت کاربر
- انتشار Ofogh و Dawnstar
- سپسشرط پژوهشی
- ریاضیات مجوزها، فاز ۱ تا ۳
- بهکار بستنش روی ادعاهای هوش مصنوعی
- بعدترانتخاب کانالهای فروش
- تصمیم درباره شیوه عرضه Dawnstar و Ofogh
دروازه: امن برای سپردن به کاربران بیرونی
۰۳ — مطالعه
مقاله، پروپوزال و گواهی. و تیمی که پشت آنهاست.
Immortal Horizon Technologiesنرمافزاری میسازد تا ایجنتهای هوش مصنوعی روی کامپیوتر خودتان کار کنند و کدی ساده بررسی کند چه ادعا میکنند و چه کاری انجام میدهند.
www.immortalhorizon.org