ข่าว ผลทดสอบ Tokenizer ของ GPT-4o ภาษาไทยประหยัดเท่าตัว

[News]

เมื่อคืนที่ผ่านมา OpenAI เปิดตัว GPT-4o พร้อมกับประกาศเปลี่ยน tokenizer ใหม่โดยอาศัย 20 ภาษาต้นแบบในการบีบอัดข้อมูล ทำให้ภาษาต่างๆ ประหยัดโทเค็นยิ่งขึ้น แม้ภาษาไทยจะไม่อยู่ในรายชื่อ 20 ภาษา แต่ผลการทดลองก็พบว่าภาษาไทยนั้นประหยัดโทเค็นลงเท่าตัว

tokenizer ของ GPT-4o สามารถจับคำหรือส่วนของคำในภาษาไทยได้ชัดเจน คำสามัญเช่น "ของ" หรือ "จำนวน" ก็สามารถมองเป็นโทเค็นเดียวได้ทันที เทียบกับ tokenizer ของ GPT-4 ที่ไม่สามารถรวบตัวอักษรหลายตัวในภาษาไทยเข้าด้วยกันได้เลย ทำให้จำนวนโทเค็นกับจำนวนตัวอักษรใกล้เคียงกัน

ค่า API ของ GPT-4o นั้นประหยัดลงเท่าตัว และเมื่อภาษาไทยได้ประโยชน์จากการประหยัดโทเค็นลงอีกเท่าตัวก็น่าจะทำให้ค่าใช้งานโดยรวมลดลงเหลือเพียง 1 ใน 4 เท่านั้น

ที่มา - HuggingFace: The Tokenizer Playground

การตัดโทเค็นของ GPT-4o

การตัดโทเค็นของ GPT-4/GPT-4 Turbo

Topics:
OpenAI
ChatGPT
LLM

อ่านต่อ...

 

ข่าว  Assassin’s Creed Codename RED ได้ชื่อภาคทางการว่า Assassin's Creed Shadows

ข่าว  Sony เปิดตัว REON POCKET 5 แอร์พกพาราคา 5,999 บาท เริ่มขาย 17 พ.ค.นี้