درحالی‌که توجه علاقه‌مندان هوش مصنوعی اخیراً به مدل جدید و ارزان GPT-4o mini جلب شده، اپل تصمیم گرفته است خانواده مدل‌های کوچک خود را گسترش دهد. به‌تازگی محققان اپل چند مدل متن‌باز را تحت پروژه‌ای موسوم به DCLM منتشر کردند.
براساس گزارش AppleInsider، خانواده هوش مصنوعی جدید اپل، شامل دو مدل اصلی است: یکی با 7 میلیارد پارامتر و دیگری با 1.4 میلیارد پارامتر. هر دوی آن‌ها در بنچمارک‌ها عملکرد بسیار خوبی دارند، به‌خصوص نمونه بزرگ‌تر که بهتر از مدل Mistral-7B است و می‌تواند با سایر مدل‌های متن‌باز پیشرو مانند Llama 3 از متا و Gemma از گوگل رقابت کند.
محققان اپل این مدل‌های جدید را به‌عنوان مدل‌های متن‌باز با بهترین عملکرد توصیف کرده‌اند. نکته مهم این است که در این پروژه با انتشار کد آموزشی و مجموعه داده‌های دیگر، مدل‌ها به صورت متن‌باز در Hugging Face در دسترس هستند. همچنین هر دو مدل در بنچمارک‌های MMLU امتیاز خوبی کسب کردند تا در برابر مدل‌های تجاری دیگر رقابت کنند.
به گفته محققان اپل، مدل بزرگ‌تر یک بهبود 6.6 درصدی در بنچمارک‌ها در مقایسه با MAP-Neo (پیشرفته‌ترین مدل متن‌باز قبلی اپل) داشته است درحالی‌که تا 40 درصد از محاسبات کمتری برای آموزش آن استفاده شده است. از سوی دیگر، درست مانند مدل بزرگ‌تر DCLM-7B، نسخه کوچک‌تر 1.4B این مدل که روی 2.6 تریلیون توکن آموزش دیده است، عملکرد قابل‌توجهی را در تست‌های MMLU ،Core و Extended ارائه می‌دهد.
اپل در اردیبهشت‌ماه نیز از مدل‌های متن‌باز OpenELM رونمایی کرد که در چهار مدل مختلف 270 میلیون پارامتری، 450 میلیون پارامتری، 1.1 میلیارد پارامتری و 3 میلیارد پارامتری منتشر شد. به گفته اپل این مدل‌ها در وظایف مربوط به پردازش متن مانند نوشتن ایمیل عملکرد خوبی دارند.
مدل‌هایی که محققان اپل منتشر کرده است، ظاهراً در هیچ یک از محصولات آینده اپل به‌کار گرفته نمی‌شوند و بیشتر باید آن‌ها را به عنوان پروژه‌های تحقیقاتی متن‌باز در نظر گرفت.
