- เข้าร่วม
- 1 มิถุนายน 2011
- ข้อความ
- 16,364
- คะแนนปฏิกิริยา
- 0
- คะแนน
- 36
MangoBoost ผู้พัฒนาซอฟต์แวร์รัน LLM ชี้ชิป AMD ทำประสิทธิภาพใกล้เคียง NVIDIA หากออปติไมซ์ดีพอ
Body
MangoBoost ผู้ผลิตซอฟต์แวร์ออปติไมซ์ประมวลผลข้อมูล ระบุชิป AMD สามารถทำประสิทธิภาพได้ใกล้เคียงกับชิป NVIDIA ใน generation เดียวกันหากมีการออปติไมซ์ดีพอ อย่างไรก็ดีกระบวนการออปติไมซ์ในซอฟต์แวร์โอเพนซอร์สยอดนิยมนั้นซับซ้อนจนทำให้การดึงประสิทธิภาพได้เต็มยังคงยุ่งยาก
จุดออปติไมซ์ที่ MangoBoost ระบุนั้น มีตั้งแต่การปรับพารามิเตอร์ต่างๆ ในการรันโมเดล แต่ซอฟต์แวร์รันโมเดลยอดนิยม เช่น vLLM นั้นมีพารามิเตอร์ให้ปรับแต่งนับร้อยรายการ ทำให้การปรับแต่งจริงทำได้ยาก, การปรับแต่งการประสานงานข้ามเครื่องและระบบเน็ตเวิร์ค เป็นจุดที่บริษัทเข้ามาทำตลาดซอฟต์แวร์ LLMBoost ที่ช่วยออปติไมซ์ให้โดยอัตโนมัติ
AMD เองมีซอฟต์แวร์สื่อสารข้ามเครื่องของตัวเองในชื่อ RCCL (อ่านว่า rickle) แต่ทาง MangoBoost ระบุว่าซอฟต์แวร์ของบริษัทเร่งความเร็วการฝึก LLM ได้เหนือ RCCL ถึง 4.3 เท่าตัวในบางกรณี เร่งให้คลัสเตอร์ของ AMD MI300X มีประสิทธิภาพพอๆ กับ NVIDIA H100 สำหรับการรันบนชิปรุ่นใหม่ๆ อย่าง AMD MI355X ก็ยังเร่งความเร็วได้ทั้งอัตราการสร้างโทเค็น และลดเวลาตอบโทเค็นแรก (time to first token) ในการทดสอบ MLPerf 6.0 เมื่อต้นเดือนที่ผ่านมา Dell ก็ร่วมกับ MangoBoost โชว์ผลทดสอบโดยอาศัยคลัสเตอร์ผสมชิป AMD 3 รุ่น คือ MI300X, MI325X, MI355X และยังได้ประสิทธิภาพการสร้างโทเค็นที่สูงมาก
MangoBoost เป็นสตาร์ตอัพที่ก่อตั้งเมื่อปี 2022 จากเกาหลีใต้ นอกจากการขายซอฟต์แวร์ LLMBoost แล้วบริษัทยังพัฒนาชิป DPU ของตัวเอง โดยบริษัทได้รับทุน series B เมื่อปลายปี 2025 ที่ผ่านมา
ที่มา - การบรรยายในงาน AMD Instinct & ROCm Workshop 2026
lew Sat, 25/04/2026 - 11:09
Continue reading...
Body
MangoBoost ผู้ผลิตซอฟต์แวร์ออปติไมซ์ประมวลผลข้อมูล ระบุชิป AMD สามารถทำประสิทธิภาพได้ใกล้เคียงกับชิป NVIDIA ใน generation เดียวกันหากมีการออปติไมซ์ดีพอ อย่างไรก็ดีกระบวนการออปติไมซ์ในซอฟต์แวร์โอเพนซอร์สยอดนิยมนั้นซับซ้อนจนทำให้การดึงประสิทธิภาพได้เต็มยังคงยุ่งยาก
จุดออปติไมซ์ที่ MangoBoost ระบุนั้น มีตั้งแต่การปรับพารามิเตอร์ต่างๆ ในการรันโมเดล แต่ซอฟต์แวร์รันโมเดลยอดนิยม เช่น vLLM นั้นมีพารามิเตอร์ให้ปรับแต่งนับร้อยรายการ ทำให้การปรับแต่งจริงทำได้ยาก, การปรับแต่งการประสานงานข้ามเครื่องและระบบเน็ตเวิร์ค เป็นจุดที่บริษัทเข้ามาทำตลาดซอฟต์แวร์ LLMBoost ที่ช่วยออปติไมซ์ให้โดยอัตโนมัติ
AMD เองมีซอฟต์แวร์สื่อสารข้ามเครื่องของตัวเองในชื่อ RCCL (อ่านว่า rickle) แต่ทาง MangoBoost ระบุว่าซอฟต์แวร์ของบริษัทเร่งความเร็วการฝึก LLM ได้เหนือ RCCL ถึง 4.3 เท่าตัวในบางกรณี เร่งให้คลัสเตอร์ของ AMD MI300X มีประสิทธิภาพพอๆ กับ NVIDIA H100 สำหรับการรันบนชิปรุ่นใหม่ๆ อย่าง AMD MI355X ก็ยังเร่งความเร็วได้ทั้งอัตราการสร้างโทเค็น และลดเวลาตอบโทเค็นแรก (time to first token) ในการทดสอบ MLPerf 6.0 เมื่อต้นเดือนที่ผ่านมา Dell ก็ร่วมกับ MangoBoost โชว์ผลทดสอบโดยอาศัยคลัสเตอร์ผสมชิป AMD 3 รุ่น คือ MI300X, MI325X, MI355X และยังได้ประสิทธิภาพการสร้างโทเค็นที่สูงมาก
MangoBoost เป็นสตาร์ตอัพที่ก่อตั้งเมื่อปี 2022 จากเกาหลีใต้ นอกจากการขายซอฟต์แวร์ LLMBoost แล้วบริษัทยังพัฒนาชิป DPU ของตัวเอง โดยบริษัทได้รับทุน series B เมื่อปลายปี 2025 ที่ผ่านมา
ที่มา - การบรรยายในงาน AMD Instinct & ROCm Workshop 2026
lew Sat, 25/04/2026 - 11:09
Continue reading...