یک توسعهدهنده موفق شد مدل هوش مصنوعی ۹ میلیارد پارامتری را بدون نیاز به کامپیوتر جانبی روی پلیاستیشن ۴ اجرا کند.
کنسول پلیاستیشن ۴ که بیش از یک دهه از عرضه آن میگذرد، اکنون توانایی میزبانی از فناوریهای پیشرفته یادگیری ماشینی را پیدا کرده است. پروژهای متنباز با نام Garlic LLM مدل زبانی Qwen3.5-9B را بهصورت کاملا آفلاین و مستقیم روی تراشه این دستگاه قدیمی اجرا میکند.
بهگزارش ویدیو کاردز، لئوناردو آلگریا، توسعهدهنده این پروژه، توانسته است نرخ پردازش ۳۱ تا ۳۹ توکن بر ثانیه را روی کنسول ساخت ۲۰۱۳ سونی ثبت کند. دستیابی به چنین سرعتی روی سختافزاری که فاقد رابطهای برنامهنویسی اختصاصی برای محاسبات هوش مصنوعی است، شگفتی کارشناسان سختافزار را برانگیخت.
آلگریا برای عبور از محدودیت درایورهای گرافیکی سونی، هستههای محاسباتی سفارشی را با زبان OpenCL C برای معماری AMD GCN بازنویسی کرد. ارتباط مستقیم با پردازنده گرافیکی از طریق بافرهای دستنویس PM4 صورت میگیرد تا نیاز به توزیع لینوکس یا واسطههای نرمافزاری سنگین از بین برود.
حافظه اشتراکی ۸ گیگابایتی GDDR5 کنسول چالش بزرگ دیگر بود که با فشردهسازی دقیق برطرف شد. وزنهای مدل به دقتهای ۳ و ۴ بیتی کاهش یافتند.
بهرهگیری از سازوکار رمزگشایی حدسی سرعت تولید متن را به شکل چشمگیری ارتقا داد. این رویکرد نرخ پردازش پایه ۲۲ توکن بر ثانیه را در سناریوهای مختلف تا ۴۳ توکن بر ثانیه بالا برد و دستگاه قدیمی بازی را به یک چتبات کاربردی صوتی تبدیل کرد.
آیا انتظار داشتید کنسولهای نسل هشتم بتوانند میزبان مدلهای مدرن زبانی شوند؟ دیدگاه خود را با ما در میان بگذارید.