معرفی استاندارد HBF؛ حافظه واسط میان SSD و HBM
در سالهای اخیر هر نسل از شتابدهندههای AI با قدرت پردازشی بیشتر و حافظه HBM سریعتر معرفی شدهاند. با وجود این پیشرفتها، یک گلوگاه جدی وجود دارد. مدلهای هوش مصنوعی با سرعتی بسیار بیشتر از ظرفیت حافظه رشد میکنند. حالا استانداردی جدید با نام High Bandwidth Flash (HBF) رونمایی شده است. هدف این استاندارد، حل یکی از بزرگترین چالشهای معماری پردازندههای AI در سالهای آینده است.
پیش از هر توضیحی باید گفت که HBF قرار نیست جایگزین HBM یا SSD شود. این فناوری لایهای جدید میان این دو ایجاد میکند. HBF با بهرهگیری از حافظه NAND، پهنای باندی تا ۳ ترابایت بر ثانیه را هدف قرار داده است. پشتههای 16-Hi و اتصال مبتنی بر UCIe از دیگر ویژگیهای آن هستند. شتابدهندههای هوش مصنوعی میتوانند به حجمی چندین برابر بیشتر از حافظههای امروزی دسترسی داشته باشند. این دسترسی بدون وابستگی مستقیم به SSD امکانپذیر میشود.
تغییری مهم در معماری حافظه GPUها
بنابر گزارش Tom’s Hardware، اگر این استاندارد مورد پذیرش صنعت قرار گیرد، میتواند یکی از مهمترین تغییرات معماری حافظه GPUها از زمان معرفی HBM باشد.
در نگاه اول شاید تصور شود رقابت شرکتهایی مانند NVIDIA، AMD و گوگل بر سر تعداد هستهها یا توان پردازشی است. اما واقعیت این است که در بسیاری از بارهای کاری هوش مصنوعی، پردازندهها پیش از آنکه به سقف توان محاسباتی خود برسند، با محدودیت حافظه مواجه میشوند.
مدلهای زبانی بزرگ امروزی تنها شامل میلیاردها پارامتر نیستند. دادههایی مانند KV Cache، پایگاههای برداری، Embeddingها و اطلاعات سیستمهای بازیابی نیز باید تا حد امکان نزدیک پردازنده نگه داشته شوند. این نیاز، ظرفیت حافظه را به یکی از مهمترین عوامل تعیینکننده عملکرد تبدیل کرده است.
مقایسه HBM و SSD؛ شکاف بزرگ در تأخیر و پهنای باند
در چنین شرایطی، حافظه HBM پهنای باند بسیار بالایی ارائه میدهد. اما تولید آن هزینه زیادی دارد و ظرفیتش بهسادگی قابل افزایش نیست. در مقابل، SSDها ظرفیت بالایی دارند. اما اختلاف چند برابری آنها از نظر تأخیر و پهنای باند، باعث افت محسوس عملکرد در اجرای مدلهای بزرگ میشود.
اولین دیدگاه را ثبت کنید