- เข้าร่วม
- 1 มิถุนายน 2011
- ข้อความ
- 17,168
- คะแนนปฏิกิริยา
- 0
- คะแนน
- 36
Wafer.ai ทดลองรัน Kimi K3 ด้วย AMD MI355X ระบุยังมีปัญหาบ้าง แต่คุ้มราคา
Body
Wafer.ai บริการ AI agent สำหรับการเร่งความเร็วการรัน AI รายงานถึงการทดลองรัน Kimi K3 โมเดลแบบเปิดให้ไปรันเองที่คะแนนทดสอบดีที่สุดในตอนนี้ด้วยชิป AMD MI355X ที่ให้แรมสูงทำให้สามารถรันบนเครื่องเดียวขนาด 8 GPU ได้ ส่งผลให้ต้นทุนการรันถูกกว่า NVIDIA B300 มาก เพราะค่าเช่าต่อ GPU ตอนนี้ MI355X อยู่ที่ 2.5 ดอลลาร์ต่อชิปต่อชั่วโมง ขณะที่ B300 อยู่ที่ 6 ดอลลาร์ต่อชิปต่อชั่วโมง
แม้ราคาจะถูกกว่า แต่รายงานก็ยอมรับว่าการรัน Kimi K3 บน MI355X พบปัญหาเยอะกว่า ตัวโมเดลสามารถรันโมเดลได้ทันทีแต่ประสิทธิภาพกลับค่อนข้างแย่ เช่น กระบวนการทำนายโทเค็นล่วงหน้า Kimi-K3-DSpark รันบน ROCm ไม่ได้ แต่สามารถแก้ไขได้โดยเขียนฟังก์ชั่นของ PyTorch ใหม่เพียงฟังก์ชันเดียว อีกปัญหาหนึ่งคือขั้นตอน prefill ที่ ROCm ไม่ยอมโหลดเคอร์เนล AITER MLA เพราะ Kimi K3 ใช้ 12 attention head ซึ่งไม่ตรงกับขนาดที่ MLA ใน ROCm รองรับที่ขนาด4, 8, 16 ทางแก้ก็เพียงปรับขนาด 12 เป็น 16 โดยเติมค่าศูนย์ในช่องที่เหลือทั้งหมดประสิทธิภาพก็เพิ่มขึ้น 2-3 เท่าทันที
ผลทดสอบยังแสดงให้เห็นว่าสุดท้ายแล้ว B300 ประสิทธิภาพดีกว่าชัดเจน อัตราการ decode ได้ 172token/s เทียบกับ MI355X ที่ได้ 118token/s ความได้เปรียบของ AMD จึงเป็นความคุ้มค่าต่อราคาเป็นหลัก
ที่มา - Wafer.ai
lew Mon, 03/08/2026 - 10:01
Continue reading...
Body
Wafer.ai บริการ AI agent สำหรับการเร่งความเร็วการรัน AI รายงานถึงการทดลองรัน Kimi K3 โมเดลแบบเปิดให้ไปรันเองที่คะแนนทดสอบดีที่สุดในตอนนี้ด้วยชิป AMD MI355X ที่ให้แรมสูงทำให้สามารถรันบนเครื่องเดียวขนาด 8 GPU ได้ ส่งผลให้ต้นทุนการรันถูกกว่า NVIDIA B300 มาก เพราะค่าเช่าต่อ GPU ตอนนี้ MI355X อยู่ที่ 2.5 ดอลลาร์ต่อชิปต่อชั่วโมง ขณะที่ B300 อยู่ที่ 6 ดอลลาร์ต่อชิปต่อชั่วโมง
แม้ราคาจะถูกกว่า แต่รายงานก็ยอมรับว่าการรัน Kimi K3 บน MI355X พบปัญหาเยอะกว่า ตัวโมเดลสามารถรันโมเดลได้ทันทีแต่ประสิทธิภาพกลับค่อนข้างแย่ เช่น กระบวนการทำนายโทเค็นล่วงหน้า Kimi-K3-DSpark รันบน ROCm ไม่ได้ แต่สามารถแก้ไขได้โดยเขียนฟังก์ชั่นของ PyTorch ใหม่เพียงฟังก์ชันเดียว อีกปัญหาหนึ่งคือขั้นตอน prefill ที่ ROCm ไม่ยอมโหลดเคอร์เนล AITER MLA เพราะ Kimi K3 ใช้ 12 attention head ซึ่งไม่ตรงกับขนาดที่ MLA ใน ROCm รองรับที่ขนาด4, 8, 16 ทางแก้ก็เพียงปรับขนาด 12 เป็น 16 โดยเติมค่าศูนย์ในช่องที่เหลือทั้งหมดประสิทธิภาพก็เพิ่มขึ้น 2-3 เท่าทันที
ผลทดสอบยังแสดงให้เห็นว่าสุดท้ายแล้ว B300 ประสิทธิภาพดีกว่าชัดเจน อัตราการ decode ได้ 172token/s เทียบกับ MI355X ที่ได้ 118token/s ความได้เปรียบของ AMD จึงเป็นความคุ้มค่าต่อราคาเป็นหลัก
ที่มา - Wafer.ai
lew Mon, 03/08/2026 - 10:01
Continue reading...