ข่าว AMD โอเพนซอร์สไลบรารี AITER เร่งความเร็ว LLM บน ROCm ได้เท่าตัว

[News]

AMD โอเพนซอร์สไลบรารี AI Tensor Engine for ROCm (AITER) ที่รวมเอาฟังก์ชั่นที่ปัญญาประดิษฐ์ต่างๆ ใช้งานบ่อย ให้ออปติไมซ์บน ROCm โดยเฉพาะ PyTorch ที่นิยมใช้งานกับปัญญาประดิษฐ์กลุ่ม LLM

กลุ่ม operator ที่ LLM ใช้งานสามารถรันได้เร็วขึ้นหลายเท่าตัว เช่น Mixture of Experts (MoE), การคูณแมตทริกซ์, Multi-Head Attention (MHA) ผลการทดสอบ DeepSeek-V3/R1 บนชิป MI300X สามารถรันเร็วขึ้นเทียบกับก่อนใช้ AITER ถึงเท่าตัว

ตอนนี้ซอฟต์แวร์รัน LLM เช่น vLLM และ SGLang รองรับ AITER แล้ว และทาง AMD ยืนยันว่าจะลงทุนพัฒนาเร่งความเร็วโหลดงาน AI บนชิป AMD เพิ่มเติมต่อไป

ที่มา - AMD

Topics:
AMD
LLM

Continue reading...

 

ข่าว  มีคนประมูลป้ายนกฟ้าที่สำนักงานใหญ่ Twitter ด้วยราคา 1.1 ล้านบาท

ข่าว  Apple เตรียมอัปเดต AirPods Max ให้ฟังเสียง Lossless และเสียง Ultra‑low Latency ได้