ข่าว Mistral เปิดตัวโมเดลภาษาขนาดใหญ่ AI รุ่นใหม่ Mixtral 8x22B

[News]

Mistral สตาร์ทอัปด้าน AI จากฝรั่งเศส เปิดตัวโมเดลภาษาขนาดใหญ่ (LLM) Mixtral 8x22B ขนาดโมเดล 176 พันล้านพารามิเตอร์ ซึ่งเป็นรุ่นถัดจากโมเดลก่อนหน้า Mixtral 8x7B

การทำงานของ Mixtral 8x22B ยังคงใช้วิธี MoE (mixture of experts) ที่ทุกเลเยอร์ของแต่ละโทเค็น จะเลือกโมเดลที่เหมาะสม 2 ตัว (เรียกว่า experts) มาใช้ในการประมวลผล ทำให้ไม่ต้องใช้พารามิเตอร์ทั้งหมดมารัน ตอนนี้ Mistral ยังไม่ได้เปิดเผยรายละเอียดทั้งหมดของโมเดล แต่คาดการณ์ว่าโมเดลที่ถูกใช้จริงตอนรันมีประมาณ 38 พันล้านพารามิเตอร์

ไฟล์ทั้งหมดมีขนาด 262GB สามารถดาวน์โหลดได้จาก X ของ Mistral หรือบน Hugging Face ที่มีคนแปลงไฟล์ออกมาให้

ที่มา: VentureBeat

Topics:
Mistral
LLM

อ่านต่อ...

 

ข่าว  [ไม่ยืนยัน] ByteDance มีรายได้ปี 2023 1.2 แสนล้านดอลลาร์ แซง Tencent แล้ว

ข่าว  Google แจกเอง คู่มือการเขียน Prompt สำหรับ Gemini for Google Workspace