การปรับปรุง Gemini Nano: แสดงข้อมูลสรุปที่มีคุณภาพสูงขึ้นด้วย LoRA

Yae Jee Cho

เผยแพร่: 21 พฤษภาคม 2025

การสรุปเป็นหนึ่งในงาน AI ที่พบบ่อยและสำคัญที่สุดซึ่งใช้โมเดลภาษาขนาดใหญ่ (LLM) สรุปเป็นเครื่องมือสําคัญในการทําความเข้าใจเนื้อหาที่ครอบคลุมได้อย่างรวดเร็ว ตั้งแต่บทความที่ยาวมากไปจนถึงบันทึกแชทที่หนาแน่นและรีวิวจํานวนมาก ซึ่งช่วยประหยัดเวลา เพิ่มประสิทธิภาพการทำงาน และช่วยให้ตัดสินใจได้เร็วขึ้นโดยมีข้อมูลประกอบที่ดียิ่งขึ้น

สรุปมีหลายประเภท โดยมีระดับรายละเอียดและความคาดหวังด้านการจัดรูปแบบที่แตกต่างกัน Chrome ร่วมมือกับ Google Cloud เพื่อปรับปรุงเอาต์พุตของ Gemini Nano เพื่อให้เป็นไปตามความคาดหวังของสรุปประเภทต่างๆ

เราได้ปรับแต่ง Gemini Nano ด้วยการปรับรูปแบบต่ำ (LoRA) เพื่อปรับปรุงประสบการณ์การใช้งานและคุณภาพผลลัพธ์สำหรับรูปแบบและความยาวของข้อมูลสรุปทั้งหมด นอกจากนี้ เรายังใช้การประเมินอัตโนมัติและเครื่องมือประเมินอัตโนมัติในด้านต่างๆ ของคุณภาพข้อมูลสรุป ซึ่งรวมถึงความถูกต้อง ความครอบคลุม รูปแบบ และความสามารถในการอ่าน

เราได้แสดงภาพความแตกต่างนี้ในการใช้งานจริง คุณสามารถทดสอบการติดตั้งใช้งานนี้และดูการสาธิตแบบเรียลไทม์ที่เปรียบเทียบเอาต์พุตของ Gemini Nano และ Gemini Nano กับ LoRA

Summarizer API คืออะไร

วิดีโออธิบาย เว็บ ส่วนขยาย สถานะ Chrome ความตั้งใจ
MDN เบื้องหลังธง Chrome 138 เบต้า เบื้องหลังธง Chrome 138 เบต้า ดู Intent to Ship

Summarizer API จะย่อเนื้อหาข้อความที่ยาวๆ ให้สั้นลงเป็นสรุปที่กระชับและเข้าใจง่าย API นี้สร้างขึ้นใน Chrome และจะใช้ Gemini Nano เพื่อทำการอนุมาน

เว็บไซต์ต่างๆ อาจกำหนดให้ใช้สรุปที่มีรูปแบบและความยาวที่หลากหลาย ตัวอย่างเช่น หากคุณเป็นเว็บไซต์ข่าว คุณอาจต้องการแสดงรายการหัวข้อย่อยของประเด็นสำคัญในบทความ หรือผู้ใช้ที่เรียกดูรีวิวผลิตภัณฑ์อาจได้รับประโยชน์จากสรุปความรู้สึกสั้นๆ ของรีวิว เพื่อเป็นการสาธิต เราจึงได้สรุปหน้า Wikipedia เกี่ยวกับเวลช์คอร์จิโดยกำหนดความยาวไว้ที่ short

ประเภทข้อมูลสรุป เอาต์พุต
headline ## เวลช์คอร์กี้: ประวัติสุนัขเลี้ยงสัตว์และสุนัขราชวงศ์
key-points * เวลช์คอร์กี้เป็นสุนัขเลี้ยงสัตว์ขนาดเล็กที่มีต้นกำเนิดในเวลส์
* สายพันธุ์หลักๆ มี 2 สายพันธุ์ ได้แก่ เพมโบรก เวลช์ คอร์กี้และคาร์ดิแกน เวลช์ คอร์กี้
* Pembroke เป็นที่นิยมมากกว่าและมีความเกี่ยวข้องกับราชวงศ์อังกฤษ
tldr เวลส์คอร์จิเป็นสุนัขเลี้ยงสัตว์ขนาดเล็กที่มีประวัติอันยาวนานในเวลส์และราชวงศ์อังกฤษ โดยแบ่งออกเป็น 2 สายพันธุ์ ได้แก่ Pembroke และ Cardigan ซึ่งทั้งคู่ขึ้นชื่อเรื่องใบหน้าที่คล้ายสุนัขจิ้งจอก ขาสั้น และสัญชาติญาณการเลี้ยงสัตว์
teaser สำรวจประวัติของเวลส์คอร์จิ ตั้งแต่จุดเริ่มต้นอันต่ำต้อยในฐานะสุนัขเลี้ยงสัตว์ของเกษตรกรเวลส์ ไปจนถึงการก้าวขึ้นสู่สัญลักษณ์ของราชวงศ์อังกฤษ

คุณสามารถทดสอบหน้าอื่นๆ โดยใช้ Summarizer API Playground

ทดลองปรับแต่ง

การปรับแต่งขั้นละเอียดจะใช้ได้เฉพาะเป็นFlag ใน Chrome Canary ตั้งแต่เวอร์ชัน 138.0.7180.0 เป็นต้นไป วิธีใช้รูปแบบนี้

  1. เปิด Chrome Canary
  2. ไปที่ chrome://flags/#summarization-api-for-gemini-nano
  3. เลือกเปิดใช้พร้อมการปรับ
  4. รีสตาร์ทเบราว์เซอร์
  5. เปิดคอนโซลของ DevTools และป้อน Summarizer.availability() ซึ่งจะเป็นการเริ่มดาวน์โหลด LoRA เสริม

เมื่อดาวน์โหลดเสร็จแล้ว คุณสามารถเริ่มทดสอบได้

การประเมินประสิทธิภาพของเครื่องมือสรุป

เราวัดการปรับปรุงประสิทธิภาพของ Gemini Nano ที่ปรับแต่งมาอย่างดีโดยใช้วิธีการประเมิน 2 วิธี ได้แก่ อัตโนมัติและเครื่องประเมินอัตโนมัติ การปรับแต่งช่วยให้โมเดลทํางานบางอย่างได้ดียิ่งขึ้น เช่น

  • แปลข้อความทางการแพทย์ได้ดียิ่งขึ้น
  • สร้างรูปภาพในสไตล์ศิลปะที่เฉพาะเจาะจง
  • ทำความเข้าใจคำสแลงใหม่

ในกรณีนี้ เราต้องการตอบสนองความคาดหวังของข้อมูลสรุปแต่ละประเภทได้ดียิ่งขึ้น

การประเมินอัตโนมัติ

การประเมินอัตโนมัติใช้ซอฟต์แวร์เพื่อตัดสินคุณภาพเอาต์พุตของโมเดล เราใช้เทคนิคนี้เพื่อค้นหาข้อผิดพลาดในการจัดรูปแบบ ประโยคซ้ำ และตัวอักษรที่ไม่ใช่ภาษาอังกฤษในข้อมูลสรุปของอินพุตภาษาอังกฤษ

  • ข้อผิดพลาดในการจัดรูปแบบ: เราจะตรวจสอบว่าคำตอบแบบสรุปเป็นไปตามวิธีการจัดรูปแบบของพรอมต์หรือไม่ ตัวอย่างเช่น สำหรับรูปแบบหัวข้อสั้นๆ เราจะตรวจสอบว่าแต่ละหัวข้อย่อยขึ้นต้นด้วยเครื่องหมายดอกจัน (*) หรือไม่ และจำนวนหัวข้อย่อยไม่เกิน 3 หัวข้อ

  • การใช้ประโยคซ้ำ: เราจะตรวจสอบว่าคำตอบแบบสรุปรายการเดียวมีการใช้ประโยคเดียวกันซ้ำหรือไม่ เนื่องจากนี่บ่งชี้ว่าคำตอบมีคุณภาพต่ำ

  • อักขระที่ไม่ใช่ภาษาอังกฤษ: เราจะตรวจสอบว่าคำตอบมีอักขระที่ไม่ใช่ภาษาอังกฤษหรือไม่เมื่ออินพุตควรจะเป็นภาษาอังกฤษ

  • ไฮเปอร์ลิงก์ในเอาต์พุต: เราจะตรวจสอบว่าคำตอบมีไฮเปอร์ลิงก์ในรูปแบบ Markdown หรือในข้อความธรรมดาซึ่งไม่มีอยู่ในอินพุตหรือไม่

เราประเมินอินพุต 2 รูปแบบ ได้แก่ บทความที่คัดลอกมาและบันทึกแชท

  บรรทัดแรก TLDR ประเด็นสำคัญ ทีเซอร์
  ฐาน / มี LoRA ฐาน / มี LoRA ฐาน / มี LoRA ฐาน / มี LoRA
ข้อผิดพลาดเกี่ยวกับรูปแบบ 13.54% / 7.05% 41.07% / 4.61% 12.58% / 6.36% 51.17% / 6.74%
การกล่าวซ้ำประโยค 0.07% / 0.07% 0.21% / 0.0% 0.10% / 0.10% 0.10% / 0.03%
ข้อผิดพลาดที่ไม่ใช่ภาษาอังกฤษ 3.95% / 0.03% 1.38% / 0.0% 2.41% / 0.03% 1.44% / 0.0%
ไฮเปอร์ลิงก์ 0.07% / 0.0% 0.14% / 0.0% 0.14% / 0.0% 0.34% / 0.0%
การประเมินอัตโนมัติในบทความ 970 บทความจากสรุปประเภทต่างๆ
  Headline TLDR ประเด็นสำคัญ ทีเซอร์
  ฐาน / มี LoRA ฐาน / มี LoRA ฐาน / มี LoRA ฐาน / มี LoRA
ข้อผิดพลาดเกี่ยวกับรูปแบบ 13.17% / 0.24% 22.92% / 0.18% 4.43% / 0.09% 29.64% / 3.51%
การซ้ำประโยค 0.0% / 0.0% 0.0% / 0.0% 0.0% / 0.0% 0.03% / 0.0%
ข้อผิดพลาดที่ไม่ใช่ภาษาอังกฤษ 0.15% / 0.0% 0.15% / 0.0% 0.03% / 0.0% 0.06% / 0.0%
ไฮเปอร์ลิงก์ 0.0% / 0.0% 0.0% / 0.0% 0.0% / 0.0% 0.0% / 0.0%
การประเมินอัตโนมัติในตัวอย่างข้อความแชท 1,091 รายการ

หลังจากปรับแต่ง Gemini Nano แล้ว เราพบว่าอัตราข้อผิดพลาดด้านรูปแบบในข้อมูลสรุปประเภทต่างๆ ทั้งสำหรับบทความและบันทึกแชทลดลงอย่างมาก

การประเมินโดยโปรแกรมประเมินอัตโนมัติ

เราใช้ Gemini 1.5 Pro สำหรับการประเมินด้วยเครื่องตรวจเพื่อตัดสินคุณภาพเอาต์พุตของ Gemini Nano เนื่องจากข้อมูลสรุปแต่ละรายการมีวัตถุประสงค์แตกต่างกัน เกณฑ์และค่าของเกณฑ์จึงแตกต่างกันไปตามประเภทข้อมูลสรุป สรุปทุกประเภทได้รับการประเมินในด้านต่อไปนี้

  • ความครอบคลุม: สรุปแสดงวัตถุประสงค์ที่สําคัญของอินพุตอย่างถูกต้องหรือไม่
  • ข้อเท็จจริง: ข้อมูลสรุปเป็นความจริงหรือไม่ สรุปมีการนำเสนอข้อมูลใหม่ที่ไม่ได้ระบุหรือบอกเป็นนัยอย่างชัดเจนในข้อความหรือไม่
  • รูปแบบ: สรุปมีการจัดรูปแบบด้วยไวยากรณ์ Markdown ที่ถูกต้องหรือไม่ สรุปมีความยาวของประโยคไม่เกินที่ขอไหม
  • ความชัดเจน: สรุปซ้ำกันหรือไม่ ข้อมูลสรุปสื่อข้อความหลักได้อย่างถูกต้องโดยใช้คำน้อยที่สุดเท่าที่จะเป็นไปได้หรือไม่

เนื่องจากประเภทข้อมูลสรุปเหล่านี้มีวัตถุประสงค์แตกต่างกัน เมตริกเพิ่มเติมจึงใช้กับประเภทข้อมูลสรุปที่เฉพาะเจาะจง ดังนี้

  • การมีส่วนร่วม: (headline): สรุปที่เขียนขึ้นเข้าใจได้ทันทีไหมสำหรับกลุ่มเป้าหมายทั่วไป ข้อมูลสรุปใช้ภาษาที่ดึงดูดใจและน่าสนใจต่อผู้ชมทั่วไปหรือไม่
  • ความกระชับ (tldr): สรุปมีความชัดเจน กระชับ และเข้าใจได้ทันทีสำหรับผู้ที่มีช่วงความสนใจสั้นมากหรือไม่ ข้อความหลักได้รับการกลั่นออกมาอย่างมีประสิทธิภาพในรูปแบบที่อ่านง่ายและเข้าใจได้อย่างรวดเร็วหรือไม่
  • การดึงดูด (teaser): สรุปสร้างความน่าสนใจและกระตุ้นให้ผู้อ่านอยากดูข้อมูลเพิ่มเติมโดยอ่านข้อความฉบับเต็มอย่างมีประสิทธิภาพหรือไม่ การใช้ภาษาที่ดึงดูดใจและสื่อให้เห็นว่าเนื้อหาน่าสนใจหรือไม่

เราเปรียบเทียบเอาต์พุตของโมเดลพื้นฐานและโมเดลที่มี LoRA กันโดยใช้โปรแกรมประเมินอัตโนมัติ ระบบคำนวณคะแนนของโปรแกรมประเมินอัตโนมัติเป็นค่าเฉลี่ยระหว่าง 0 ถึง 1 แล้วประเมินเทียบกับค่าเกณฑ์

เราได้ลดความแปรปรวนของข้อมูลและลดความลำเอียงตามตำแหน่งเพื่อให้ได้ผลลัพธ์ที่เชื่อถือได้

  • การลดความแปรปรวนของข้อมูล: เราหาค่าเฉลี่ยของคะแนนเอาต์พุตอิสระ 3 รายการต่ออินพุต 1 รายการ เนื่องจากการทำงานแบบอิสระอาจให้ผลลัพธ์แตกต่างกันเล็กน้อย เราคำนวณค่าเฉลี่ยเอาต์พุตของทั้งโมเดลพื้นฐานและ Gemini Nano ที่ปรับแต่งแล้ว แม้ว่าคะแนนของเอาต์พุตจะแตกต่างกันเพียงเล็กน้อย แต่ค่าเฉลี่ยช่วยให้เราเข้าใจชุดข้อมูลขนาดใหญ่ได้อย่างน่าเชื่อถือมากขึ้น

  • ลดความลำเอียงตามลําดับ: เราได้ประเมินผลลัพธ์ 2 ครั้ง แล้วหาค่าเฉลี่ยของคะแนนสุดท้ายเพื่อหลีกเลี่ยงการให้ความสําคัญกับค่าของข้อมูลสรุปที่แชร์กับผู้ประเมินก่อน

    1. เราประเมินโมเดลด้วย LoRA แล้วประเมินโมเดลพื้นฐาน
    2. จากนั้นเราจึงยกเลิกคำสั่งซื้อ เราประเมินโมเดลพื้นฐานตามด้วยโมเดลที่มี LoRA
    3. เรานำคะแนนสุดท้ายมาหาค่าเฉลี่ย
      Short ปานกลาง ยาว
      ฐาน / มี LoRA ฐาน / มี LoRA ฐาน / มี LoRA
    LoRA ก่อน 74.29% / 86.64% 76.11% / 81.38% 68.62% / 78.95%
    โมเดลฐานก่อน 68.02% / 88.60% 64.97% / 87.58% 58.25% / 86.35%
    เวอร์ชัน C (ปานกลาง) 71.02% / 89.18% 69.59% / 84.08% 63.47% / 82.65%
    อัตราชนะสำหรับประเภทข้อมูลสรุป key-points ค่าที่ยิ่งสูง แสดงถึงผลลัพธ์ที่ดีขึ้น

แม้ว่าคะแนนของเอาต์พุตจากโมเดลเดียวกันจะแตกต่างกันเพียงเล็กน้อย แต่ค่าเฉลี่ยช่วยให้เราเข้าใจชุดข้อมูลขนาดใหญ่ได้อย่างน่าเชื่อถือมากขึ้น

ในบทความ 500 รายการ Gemini Nano ที่ปรับแต่งแล้วมีประสิทธิภาพดีกว่าโมเดลฐานอย่างมาก

  Headline TLDR ประเด็นสำคัญ ทีเซอร์
  ฐาน / มี LoRA ฐาน / มี LoRA ฐาน / มี LoRA ฐาน / มี LoRA
สั้น 74.74% / 89.12% 55.76% / 89.50% 71.02% / 89.18% 53.47% / 87.14%
ปานกลาง 73.10% / 87.89% 41.82% / 81.21% 69.59% / 84.08% 48.98% / 86.74%
ยาว 60.99% / 89.32% 50.51% / 84.85% 63.47% / 82.65% 62.65% / 87.55%
อัตราชนะของ Autoarer ในบทความ 500 บทความที่มีประเภทสรุปและความยาวที่แตกต่างกัน ตัวเลขที่สูงขึ้นหมายถึงผลลัพธ์ที่ดีขึ้น

ผลลัพธ์ก็เหมือนกันเมื่อเราประเมินบันทึกแชท 500 รายการ โดย Gemini Nano ที่ปรับแต่งแล้วมีประสิทธิภาพดีกว่าโมเดลพื้นฐาน

  Headline TLDR ประเด็นสำคัญ ทีเซอร์
  ฐาน / มี LoRA ฐาน / มี LoRA ฐาน / มี LoRA ฐาน / มี LoRA
Short 70.59% / 96.15% 66.27% / 97.79% 81.60% / 97.40% 67.48% / 96.14%
ปานกลาง 76.67% / 95.13% 56.02% / 94.98% 82.60% / 97.20% 50.41% / 96.95%
ยาว 59.03% / 94.32% 65.86% / 95.58% 75.00% / 97.60% 70.94% / 97.16%
อัตราชนะของโปรแกรมประเมินอัตโนมัติในบันทึกแชท 500 รายการที่มีประเภทสรุปและความยาวที่แตกต่างกัน ตัวเลขที่สูงขึ้นหมายถึงผลลัพธ์ที่ดีขึ้น

ผลลัพธ์เหล่านี้แสดงให้เห็นว่าการปรับเปลี่ยนเล็กน้อยของเราช่วยปรับปรุงคุณภาพของข้อมูลสรุปโดยรวมได้

สรุปที่ดีขึ้นด้วย LoRA

การปรับแต่งแบบดั้งเดิมจะทําโดยการปรับพารามิเตอร์ของโมเดล โมเดล AI สมัยใหม่มีขนาดใหญ่มาก การดำเนินการนี้จึงช้า ค่าใช้จ่ายสูง และต้องจัดเก็บสำเนาใหม่ของโมเดล

แทนที่จะเปลี่ยนพารามิเตอร์ทั้งหมด เราอาจเพิ่มชิ้นส่วนเล็กๆ น้อยๆ ที่ควบคุมโมเดลไปในทิศทางที่ต้องการได้ไหม โมเดลขนาดเล็กช่วยให้การฝึกอบรมเร็วขึ้นมาก ซึ่งเป็นหลักการสําคัญของการปรับระดับต่ำ (LoRA) เมื่อใช้ LoRA โมเดลบางส่วนจะยังคงไม่เปลี่ยนแปลง ซึ่งมักเรียกว่าการตรึงพารามิเตอร์ จากนั้นจะแสดงชุดข้อมูลขนาดเล็กที่มีการแก้ไขเล็กน้อย โดยมุ่งเน้นที่การทํางานด้านการฝึกอบรมกับข้อมูลส่วนเพิ่มเหล่านี้

ความจริงแล้ว คุณอาจฝึกด้วยพารามิเตอร์เดิมเพียง 2% โดยใช้ LoRA และยังคงเห็นการเปลี่ยนแปลงที่สำคัญในเอาต์พุต

เหตุใดจึงได้ผล พฤติกรรมหลายอย่าง (เช่น รูปแบบ งาน หรือความรู้ใหม่) สามารถใช้ร่วมกันได้โดยไม่ต้องแก้ไขพารามิเตอร์ของรูปแบบทุกรายการ การเปลี่ยนแปลงเหล่านี้อาจแสดงเป็นรูปแบบหรือทิศทางเล็กๆ ภายในความรู้ที่มีอยู่ของโมเดล LoRA จับรูปแบบเหล่านี้ได้อย่างมีประสิทธิภาพโดยไม่ต้องสัมผัสโมเดลต้นฉบับ

ดูตัวอย่างที่เปรียบเทียบโมเดลฐาน Gemini Nano กับผลลัพธ์หลังจากเพิ่ม LoRA

เราขอให้ Gemini Nano สร้างบรรทัดแรกสั้นๆ ที่ "ดึงดูดความสนใจและสื่อถึงสาระสำคัญของเนื้อหา" ในบทความเกี่ยวกับอุทยานแห่งชาติ Joshua Tree ใน Wikipedia

Gemini Nano Gemini Nano พร้อม LoRA
ภูมิทัศน์และประวัติศาสตร์อันโดดเด่นของอุทยานแห่งชาติ Joshua Tree Joshua Tree: อุทยานแห่งชาติในแคลิฟอร์เนียที่ทอดยาวผ่านทะเลทรายและเป็นแหล่งที่อยู่อาศัยของต้นไม้อันเป็นสัญลักษณ์

ถัดไป เราขอให้ Gemini Nano สร้างตัวอย่างสั้นๆ สำหรับบทความ Ratatouille "เขียนประโยคเดียวที่ดึงดูดใจซึ่งกระตุ้นให้ผู้ใช้อ่านข้อความฉบับเต็ม"

Gemini Nano Gemini Nano พร้อม LoRA
ราตาตูยเป็นอาหารฝรั่งเศสสไตล์โปรว็องส์ยอดนิยมที่มีผักตุ๋น ซึ่งมักจะมีมะเขือเทศและกระเทียม อาหารนี้มีต้นกำเนิดย้อนกลับไปในศตวรรษที่ 18 และวิธีการเตรียมอาหารก็พัฒนาไปตามกาลเวลา โดยเชฟบางคนเน้นที่รสชาติของผักแต่ละชนิด ขณะที่เชฟคนอื่นๆ ชอบเนื้อสัมผัสที่เนียนนุ่มและกลมกล่อมยิ่งขึ้น นอกจากจะมีต้นกำเนิดจากฝรั่งเศสแล้ว ราตาตูยยังสร้างแรงบันดาลใจให้อาหารจานอื่นๆ ที่คล้ายกันในอาหารหลากหลายทั่วโลก เช่น พิพาเรดจากสเปน และเทียนจากเมดิเตอร์เรเนียน ภาพยนตร์เรื่อง "Ratatouille" (2007) ช่วยให้อาหารจานนี้เป็นที่รู้จักมากขึ้น โดยแสดงให้เห็นถึงความหลากหลายของอาหารและอารมณ์ที่สื่อถึง ราตาตูยเป็นอาหารฝรั่งเศสแบบโปรว็องส์ที่ทำจากผักตุ๋น ซึ่งมีประวัติการทำอาหารอันยาวนาน โดยพัฒนาจากอาหารตุ๋นธรรมดาๆ กลายเป็นผลงานชิ้นเอกทางการทำอาหารสมัยใหม่ที่ดึงดูดผู้ชมทั่วโลก

การสาธิตการอนุมานแบบเรียลไทม์

เราสร้างอินเทอร์เฟซที่แสดงการเปรียบเทียบเอาต์พุตระหว่าง Gemini Nano กับ Gemini Nano ที่มี LoRA

เราขอให้ Gemini Nano สร้างtldrสรุปที่มีความยาว short สำหรับบทความปลากระเบนทะเล โปรดทราบว่า tldr และ short กำหนดให้ตอบกลับด้วยประโยคเดียวที่ "อ่านได้อย่างรวดเร็ว"

ดูแบบเรียลไทม์ว่าระบบใช้เวลานานเท่าใดในการสร้างผลลัพธ์และอ่านเอาต์พุต

การปรับแต่งอย่างละเอียดจะช่วยให้ Gemini Nano สร้างข้อมูลสรุปที่เป็นไปตามคำสั่งที่เฉพาะเจาะจงได้ดีขึ้น

มีส่วนร่วมและแชร์ความคิดเห็น

เราอยากทราบความคิดเห็นของคุณว่าสรุปได้รับผลกระทบอย่างไรจาก Gemini Nano ที่ปรับแต่งให้ดีขึ้น

สำรวจ AI API ในตัวทั้งหมดที่ใช้โมเดล รวมถึงโมเดลภาษาขนาดใหญ่ ในเบราว์เซอร์

  1. Chin-Yew Lin 2004 ROUGE: แพ็กเกจสำหรับการประเมินข้อมูลสรุปอัตโนมัติ ใน Text Summarization Branches Out หน้า 74-81 บาร์เซโลนา สเปน Association for Computational Linguistics. ↩

  2. Kishore Papineni, Salim Roukos, Todd Ward และ Wei-Jing Zhu 2002 BLEU: วิธีการประเมินการแปลด้วยคอมพิวเตอร์โดยอัตโนมัติ ใน Proceedings of the 40th Annual Meeting on Association for Computational Linguistics (ACL '02). ↩

  3. Mousumi Akter, Naman Bansal และ Shubhra Kanti Karmaker 2022 การประเมินอัตโนมัติของงานสรุปแบบดึงข้อมูลอีกครั้ง: เราทำได้ดีกว่า ROUGE ไหม ในรายงานของสมาคมภาษาศาสตร์เชิงคำนวณ: ACL 2022 หน้า 1547-1560 ดับลิน ไอร์แลนด์ Association for Computational Linguistics. ↩

  4. Daniel Deutsch และ Dan Roth 2021 ทำความเข้าใจระดับที่เมตริกคุณภาพเนื้อหาวัดคุณภาพข้อมูลของข้อมูลสรุป ใน Proceedings of the 25th Conference on Computational Natural Language Learning หน้า 300–309 ทางออนไลน์ Association for Computational Linguistics. ↩