ข่าว Databricks ปล่อย DBRX โมเดล LLM เน้นเขียนโปรแกรม ความเร็วสูง ประหยัดจีพียู

[News]

Databricks ปล่อยโมเดล DBRX ที่เป็น LLM ระดับความสามารถใกล้เคียงกับ Gemini Pro 1.0 แต่ชูจุดเด่นด้านความเร็วในการตอบคำถาม และความสามารถด้านการเขียนโปรแกรมหรือแก้ปัญหาคณิตศาสตร์

DBRX อาศัยโครงสร้างแบบ mixture-of-experts (MoE) ภายในมีโมเดลย่อยเชี่ยวชาญแต่ละหัวข้อทั้งหมด 16 ชุด และระหว่างการทำงานจะรันทีละ 4 ชุด รวมโมเดลรวม 132 พันล้านพารามิเตอร์แต่รันจริงทีละ 36 พันล้านพารามิเตอร์ ชุดข้อมูลที่ใช้ขนาด 12 ล้านล้านโทเค็น ฝึกด้วย context windows ขนาด 32k โทเค็น

ทาง Databricks ระบุว่าเมื่อนำ DBRX มารันบน Mosaic AI Model Serving (บริษัทด้าน AI ที่ Databrick ซื้อเข้ามา) สามารถสร้างโทเค็นได้ 150 โทเค็นต่อวินาที ใช้พลังประมวลผลมีประสิทธิภาพกว่าโมเดล MPT เดิมๆ 4 เท่าตัว ในแง่ความเร็วเป็นรองเพียง Mixtral แต่คุณภาพคำตอบก็ดีกว่ามาก

โมเดล DBRX ที่ปล่อยมามีทั้งรุ่นพื้นฐานและรุ่นรับคำสั่ง สัญญาอนุญาตให้ใช้งานเป็นแบบเปิดอย่างมีข้อจำกัดทั้งการใช้งานผิดวัตถุประสงค์ และห้ามองค์กรที่มีผู้ใช้เกิน 700 ล้านคนต่อเดือนใช้งาน

ที่มา - Databricks

Topics:
Databricks
LLM

อ่านต่อ...

 

ข่าว  Disney+ เริ่มผนวกคอนเทนต์จาก Hulu เข้ามาแล้ว หลัง Disney เป็นเจ้าของ Hulu ทั้งหมด

ข่าว  Embracer ขายสตูดิโอ Gearbox ให้ Take-Two มูลค่า 460 ล้านดอลลาร์