ข่าว AMD วางขาย Instinct MI300A/MI300X รัน LLaMA-2 70B ได้ในชิปเดียว

[News]

AMD เริ่มส่งมอบชิปตระกูล Instinct MI300 ตามที่เปิดตัวไปเมื่อต้นปีที่ผ่านมา โดยแบ่งออกเป็นสองรุ่นย่อย คือ MI300A ที่เป็น APU มีซีพียูในตัว และ MI300X ที่เป็นชิปเร่งความเร็วอย่างเดียว

MI300A มาพร้อมแรม HBM3 ขนาด 128GB เน้นปรับปรุงประสิทธิภาพต่อพลังงานดีขึ้น 1.9 เท่าเทียบกับ MI250X รุ่นก่อนหน้า

MI300X เป็นชิปเร่งความเร็วสถาปัตยกรรม CDNA 3 เพิ่มหน่วยประมวลผล 40% ขยายแบนวิดท์หน่วยความจำ 1.7 เท่า ใส่แรม HBM3 192GB และรองรับข้อมูลแบบ FP8 หน่วยความจำที่สูงขึ้นทำให้สามารถรันโมเดล LLaMA-2 70B ได้ในชิปเดียว สำหรับองค์กรที่ต้องการรัน LLM อยู่ภายในองค์กรเอง

นอกจากชิปทั้งสองตัวแล้ว AMD ยังเปิดชุด SDK สำหรับพัฒนาปัญญาประดิษฐ์ ROCm เวอร์ชั่น 6 เพิ่มฟังก์ชั่นในกลุ่ม LLM เช่น FlahAttention, HIPGraph, และ vLLM โดยที่ผ่านมาผู้พัฒนา LLM เริ่มหันมาใช้ AMD กันมากขึ้น เช่น Lamini หรือ MosaicML

งานประกาศครั้งนี้มีผู้ให้บริการคลาวด์และผู้ผลิตเซิร์ฟเวอร์ออกมาตอบรับนำชิป M300 ไปขายหรือให้บริการกันจำนวนมาก ที่น่าแปลกใจรายหนึ่งคือ Meta ออกมาระบุว่าเริ่มใช้ MI300X กับ ROCm 6 แล้ว

ที่มา - AMD

Topics:
AMD
Artificial Intelligence
GPGPU

อ่านต่อ...

 

ข่าว  Google Drive อัพเดตขั้นตอนการกู้ไฟล์ สำหรับผู้ใช้ Drive for desktop ที่พบปัญหาไฟล์หาย

ข่าว  ผู้กำกับภาพยนตร์ The Legend of Zelda อยากให้หนังเป็นเหมือนผลงานของ Hayao Miyazaki