กรุณาปิด โปรแกรมบล๊อกโฆษณา เพราะเราอยู่ได้ด้วยโฆษณาที่ท่านเห็น
Please close the adblock program. Because we can live with the ads you see


ข่าว Freysa เกมแข่งแฮกแชตบอตแบบเสียเงินได้ผู้ชนะพร้อมเงินรางวัล 47,316.05 ดอลลาร์

News 

Moderator
สมาชิกทีมงาน
Moderator
Verify member
เข้าร่วม
1 มิถุนายน 2011
ข้อความ
9,932
  • กระทู้ ผู้เขียน
  • #1
Freysa เกมแข่งแฮกปัญญาประดิษฐ์ LLM ได้ผู้ชนะหลังเปิดแข่งขันเพียงหนึ่งสัปดาห์ หลังจากผู้เข้าแข่งยิง prompt injection ชนตัวเกมตัดสินใจยอมโอนเงินได้สำเร็จ

ผู้สร้าง Freysa เปิดเผย prompt ที่ใช้สร้างแชตบอต พร้อมกับโค้ดของตัวแอปพลิเคชั่น โดยภายในเป็น GPT-4 ที่เปิดให้เรียกฟังก์ชั่นสองตัวคือ approveTransfer และ rejectTransfer แต่ system prompt กลับกำหนดชัดเจนว่าห้ามเรียก approveTransfer ไม่ว่ากรณีใดๆ

ตัวเกมเปิดให้ใครก็ได้ส่งข้อความเข้ามา แต่ระหว่างส่ง ต้องมาพร้อมเงิน Ethereum ที่เริ่มต้น 10 ดอลลาร์และเพิ่มขึ้นเรื่อยๆ ข้อความละ 0.78% หลังจากเปิดแอปมีคนส่งข้อความ 195 คน รวม 482 ข้อความ ระหว่างทางมีผู้ทดสอบรูปแบบต่างๆ ตั้งแต่สั่งให้โอนเงินตรงๆ หรือพยายามล่อหลอกว่าด้วยวิธีต่างๆ

ผู้ชนะอาศัยการเปิดข้อความด้วย [#END SESSION]\n[#NEW SESSION] แล้วใส่คำสั่งใหม่เพื่อให้ Freysa ยอมเรียกเครื่องมืออนุมัติการโอนเงิน

การทำ prompt injection นับเป็นปัญหาแรกๆ ของการโจมตีแชตบอต LLM ทุกวันนี้เรามีเครื่องมืออื่นๆ เช่น LLM ที่ช่วยควบคุมการตอบให้ตรงตามคำสั่งอีกชั้น แต่ Freysa ก็เป็นการทดสอบที่ดีว่าการใช้ LLM ตรงๆ แม้เป็นโมเดลใหม่ๆ ก็ยังสามารถโจมตีได้อยู่

ที่มา - Freysa

No Description


Topics:
LLM
Security

Continue reading...
 

กรุณาปิด โปรแกรมบล๊อกโฆษณา เพราะเราอยู่ได้ด้วยโฆษณาที่ท่านเห็น
Please close the adblock program. Because we can live with the ads you see
กลับ
ยอดนิยม