ข่าว TAALAS ฝังโมเดล Llama 3.1 8B ลงชิปโดยตรง อัตราการตอบสูงถึง 16,960 token/s

[News]

TAALAS ฝังโมเดล Llama 3.1 8B ลงชิปโดยตรง อัตราการตอบสูงถึง 16,960 token/s
Body

TAALAS บริษัทออกแบบชิปจากแคนาดา สาธิตชิป Taalas HC1 ที่ฝังโมเดลปัญญาประดิษฐ์ Llama 3.1 8B ลงไปในชิปตรงๆ ไม่สามารถแก้ไขได้อีก แต่ให้ความเร็วในการรันสูงถึง 16,960 token/s อยู่ในระดับที่เห็นผลลัพธ์ทันที

โมเดลที่รันไม่ใช่โมเดลเต็ม แต่เป็นรุ่นย่อ 3-bit ทำให้คุณภาพไม่เท่ากับ Llama 3.1 8B ที่ใช้งานกัน แต่ตัวชิปรองรับการรัน LoRA adapter ด้วย ทำให้สามารถปรับแต่งงานเฉพาะทางได้บางส่วนในอนาคต แม้จะแก้ไขโมเดลหลักไม่ได้ก็ตามที โดยรวมชิปมีทรานซิสเตอร์ทั้งหมด 53,000 ล้านตัว กินไฟ 2.5kW

ตัวบริษัท TAALAS เป็นสตาร์ตอัพอายุเพียง 2.5 ปี แต่ได้รับเงินทุนมาแล้วกว่า 200 ล้านดอลลาร์ ทาง TAALAS คาดว่าจะอัพเดต HC1 ให้รันโมเดลขนาดใหญ่ขึ้นและเป็นโมเดลคิดก่อนตอบเพื่อนำมาให้บริการต่อไป และมีแผนจะเปิดตัว HC2 ภายในปีนี้

ที่มา - TAALAS

lew Mon, 23/02/2026 - 11:26

Continue reading...

 

ข่าว  Sam Altman บอกถ้ามองว่า AI ใช้พลังงานมหาศาล คนหนึ่งคนเติบโตขึ้นมาก็ใช้พลังงานมากเช่นกัน

ข่าว  Seekster ประกาศยุติการให้บริการ วันที่ 1 มีนาคม เป็นต้นไป