معرفی هوش مصنوعی  LongWriter

مدل‌های زبانی بزرگ (LLMs) با مشکل طول خروجی متنی مواجه هستند و در حالی که می‌توانند ورودی‌هایی تا ۱۰۰ هزار کلمه را پردازش کنند، تولید خروجی‌های بیش از ۲ هزار کلمه برای آن‌ها دشوار است. برای حل این مشکل، محققان دانشگاه چینهوا با همکاری زوپوی آی، مدل زبانی جدیدی به نام «لانگ رایتر» (LongWriter) توسعه داده‌اند که قادر به تولید خروجی‌های متنی تا ۱۰ هزار کلمه است.

این تیم با آموزش یک مدل ۹ میلیارد پارامتری بر روی داده‌های طولانی‌تر، موفق به افزایش طول خروجی‌های تولیدی به حدود ۱۰ هزار کلمه شدند. آن‌ها یک مجموعه داده جدید به نام «لانگ رایتر-۶ کی» ایجاد کردند که شامل ۶ هزار سند نوشتاری با طول ۲ تا ۳۲ هزار کلمه است. نتایج نشان داد که این مدل می‌تواند اسناد بلند و منسجم تولید کند.

محققان همچنین به ملاحظات اخلاقی در استفاده از این مدل‌ها اشاره کردند و تأکید کردند که با درک محدودیت‌ها و به کارگیری شیوه‌های مسئولانه، می‌توانند از قدرت مدل‌های زبانی بزرگ بهره‌برداری کنند در حالی که خطرات بالقوه را کاهش دهند.

یک تیم از پژوهشگران هوش مصنوعی (AI) در دانشگاه تسینگهوا چین و شرکت Zhipu AI مدل زبانی بزرگ (LLM) پیشرفته‌ای به نام LongWriter توسعه داده‌اند. این مدل نوآورانه قادر است متونی با طول حداکثر ۱۰,۰۰۰ کلمه تولید کند که به طور قابل توجهی از طول خروجی مدل‌های موجود فراتر می‌رود. یافته‌های این پژوهشگران در مقاله‌ای که در سرور پیش‌چاپ arXiv منتشر شده، تشریح شده است.

چالش محدودیت

غلبه بر محدودیت‌های مدل‌های زبانی موجود

مدل‌های زبانی فعلی، با وجود توانایی پردازش ورودی‌هایی تا ۱۰۰,۰۰۰ کلمه، اغلب در تولید خروجی‌هایی بیش از ۲,۰۰۰ کلمه با مشکل مواجه می‌شوند. پژوهشگران این محدودیت را به این واقعیت نسبت می‌دهند که این مدل‌ها عموماً بر اساس اسناد کوتاه آموزش دیده‌اند. برای غلبه بر این مشکل و افزایش طول خروجی، آنها تغییراتی را اعمال کرده و از اسناد طولانی‌تر برای آموزش مدل جدید استفاده کردند.

فرآیند آموزش

آموزش و عملکرد LongWriter

این تیم در ابتدا یک مدل زبانی با ۹ میلیارد پارامتر را با استفاده از یک مجموعه داده متعارف، که عمدتاً از اسناد کمتر از ۲,۰۰۰ کلمه تشکیل شده بود، آموزش دادند. همان‌طور که انتظار می‌رفت، این مدل فقط توانست متونی تا ۲,۰۰۰ کلمه تولید کند. برای بهبود عملکرد، آنها مدل را با استفاده از یک روش به نام AgentWrite تغییر داده و یک مجموعه داده جدید به نام “LongWriter-6k” ایجاد کردند که شامل ۶,۰۰۰ سند با طول‌های بین ۲,۰۰۰ تا ۳۲,۰۰۰ کلمه بود.

بهبود خروجی

افزایش طول خروجی و کاربردهای احتمالی

پس از آموزش مدل تغییر یافته با مجموعه داده جدید، پژوهشگران دریافتند که این مدل می‌تواند اسنادی با طول تقریباً ۱۰,۰۰۰ کلمه تولید کند. آنها متوجه شدند که این اسناد بلندتر به خوبی منسجم بوده و در زمینه‌های مختلف کاربرد دارند. کد منبع باز این مدل در GitHub در دسترس قرار گرفته و توانایی‌های آن با تولید یک راهنمای گردشگری ۱۰,۰۰۰ کلمه‌ای برای مسافران چین به نمایش گذاشته شده است.

هوش مصنوعی LongWriter برای نوشتن تا 10000 کلمه

LongWriter تنها یک نویسنده متن نیست؛ بلکه یک مجموعه نوشتاری جامع است که برای توانمندسازی انواع نویسندگان طراحی شده است.

سورس این برنامه برای محققان در دسترس است

آدرس دیتاست و سورس

آدرس پلتفرم اجرایی و تست برنامه