Cải thiện Gemini Nano: cung cấp bản tóm tắt chất lượng cao hơn bằng LoRA

Yae Jee Cho

Ngày xuất bản: 21 tháng 5 năm 2025

Tóm tắt là một trong những nhiệm vụ AI phổ biến và quan trọng nhất bằng cách sử dụng mô hình ngôn ngữ lớn (LLM). Tóm tắt là một phương tiện quan trọng để nhanh chóng hiểu được nội dung phong phú, từ các bài viết dài và nhật ký trò chuyện dày đặc đến nhiều bài đánh giá, giúp tiết kiệm thời gian, nâng cao năng suất và đưa ra quyết định nhanh chóng, chính xác hơn.

Có nhiều loại bản tóm tắt, với mức độ chi tiết và định dạng khác nhau. Để đáp ứng kỳ vọng của nhiều loại bản tóm tắt, Chrome đã hợp tác với Google Cloud để cải thiện kết quả của Gemini Nano.

Chúng tôi đã tinh chỉnh Gemini Nano bằng tính năng điều chỉnh thứ hạng thấp (LoRA) để nâng cao trải nghiệm và chất lượng đầu ra cho tất cả các kiểu và độ dài tóm tắt. Ngoài ra, chúng tôi đã triển khai các phương pháp đánh giá tự động và tự động đánh giá về nhiều khía cạnh của chất lượng bản tóm tắt, bao gồm tính xác thực, phạm vi, định dạng và khả năng đọc.

Chúng tôi đã minh hoạ sự khác biệt này trong thực tế. Bạn có thể thử nghiệm cách triển khai này và xem bản minh hoạ theo thời gian thực so sánh đầu ra của Gemini Nano và Gemini Nano với LoRA.

Summarizer API là gì?

Video giải thích Web Phần mở rộng Trạng thái của Chrome Intent
MDN Sau một lá cờ Chrome 138 beta Sau một lá cờ Chrome 138 beta Xem Ý định vận chuyển

API Tóm tắt nén nội dung văn bản dài thành các bản tóm tắt ngắn gọn, dễ hiểu. API này được tích hợp vào Chrome và sử dụng Gemini Nano để thực hiện suy luận.

Các trang web khác nhau có thể yêu cầu bản tóm tắt có nhiều kiểu và độ dài. Ví dụ: nếu là trang web tin tức, bạn nên cung cấp danh sách các điểm chính được liệt kê bằng dấu đầu dòng trong bài viết. Ngoài ra, người dùng duyệt xem bài đánh giá sản phẩm có thể được hưởng lợi từ một bản tóm tắt nhanh và ngắn gọn về cảm xúc của bài đánh giá. Để minh hoạ, chúng tôi đã tóm tắt trang Wikipedia về giống chó Corgi xứ Wales với độ dài được đặt thành short.

Loại tóm tắt Kết quả
headline ## Chó Corgi xứ Wales: Lịch sử của chó chăn cừu và chó hoàng gia
key-points * Chó Pembroke Welsh Corgi là một giống chó chăn gia súc nhỏ có nguồn gốc từ xứ Wales.
* Có hai giống chính: Pembroke và Cardigan Welsh Corgi.
* Pembroke phổ biến hơn và được liên kết với gia đình hoàng gia Anh.
tldr Chó sục xứ Wales (Welsh Corgi) là một giống chó chăn gia súc nhỏ có lịch sử lâu đời ở xứ Wales và gia đình hoàng gia Anh. Giống chó này có hai loại: Pembroke và Cardigan, cả hai đều nổi tiếng với khuôn mặt giống cáo, chân ngắn và bản năng chăn gia súc.
teaser Khám phá lịch sử của giống chó Corgi xứ Wales, từ nguồn gốc khiêm tốn là một giống chó chăn gia súc cho nông dân xứ Wales cho đến khi trở thành biểu tượng của gia đình hoàng gia Anh.

Bạn có thể thử nghiệm với các trang khác bằng cách sử dụng Summarizer API Playground.

Thử nghiệm với tính năng tinh chỉnh

Tính năng tinh chỉnh chỉ có dưới dạng cờ trong Chrome Canary, từ phiên bản 138.0.7180.0. Cách sử dụng mô hình này:

  1. Mở Chrome Canary.
  2. Chuyển đến chrome://flags/#summarization-api-for-gemini-nano
  3. Chọn Bật với tính năng Điều chỉnh.
  4. Khởi động lại trình duyệt.
  5. Mở Bảng điều khiển của DevTools và nhập Summarizer.availability(). Thao tác này sẽ bắt đầu tải LoRA bổ sung xuống.

Sau khi tải xuống xong, bạn có thể bắt đầu thử nghiệm.

Đánh giá hiệu suất của trình tóm tắt

Chúng tôi đo lường mức độ cải thiện hiệu suất của Gemini Nano được tinh chỉnh chủ yếu bằng cách sử dụng hai phương pháp đánh giá là tự động và tự động đánh giá. Việc tinh chỉnh giúp mô hình thực hiện tốt hơn các nhiệm vụ cụ thể, chẳng hạn như:

  • Dịch văn bản y tế tốt hơn.
  • Tạo hình ảnh theo một phong cách nghệ thuật cụ thể.
  • Tìm hiểu về một từ lóng mới.

Trong trường hợp này, chúng tôi muốn đáp ứng tốt hơn kỳ vọng của từng loại bản tóm tắt.

Đánh giá tự động

Đánh giá tự động sử dụng phần mềm để đánh giá chất lượng đầu ra của mô hình. Chúng tôi đã sử dụng kỹ thuật này để tìm lỗi định dạng, câu lặp lại và sự tồn tại của ký tự không phải tiếng Anh trong bản tóm tắt của dữ liệu đầu vào bằng tiếng Anh.

  • Lỗi định dạng: Chúng tôi kiểm tra xem nội dung phản hồi tóm tắt có tuân theo hướng dẫn định dạng của câu lệnh hay không. Ví dụ: đối với kiểu điểm chính ngắn, chúng ta kiểm tra xem mỗi dấu đầu dòng có bắt đầu bằng dấu hoa thị (*) hay không và số lượng dấu đầu dòng không được vượt quá 3 dấu đầu dòng.

  • Lặp lại câu: Chúng tôi kiểm tra xem cùng một câu có lặp lại trong một phản hồi tóm tắt hay không, vì điều này cho thấy phản hồi có chất lượng kém.

  • Ký tự không phải tiếng Anh: Chúng tôi kiểm tra xem phản hồi có chứa ký tự không phải tiếng Anh hay không khi dữ liệu đầu vào phải là tiếng Anh.

  • Siêu liên kết trong kết quả: Chúng tôi kiểm tra xem phản hồi có siêu liên kết nào ở định dạng Markdown hoặc văn bản thuần tuý không có trong dữ liệu đầu vào hay không.

Chúng tôi đã đánh giá hai kiểu dữ liệu đầu vào: bài viết được thu thập thông tin và nhật ký trò chuyện.

  Dòng tiêu đề TLDR Điểm chính Đoạn hé lộ
  Cơ sở / Có LoRA Cơ sở / Có LoRA Cơ sở / Có LoRA Cơ sở / Có LoRA
Lỗi định dạng 13,54% / 7,05% 41,07% / 4,61% 12,58% / 6,36% 51,17% / 6,74%
Lặp lại câu 0,07% / 0,07% 0,21% / 0,0% 0,10% / 0,10% 0,10% / 0,03%
Lỗi không phải tiếng Anh 3,95% / 0,03% 1,38% / 0,0% 2,41% / 0,03% 1,44% / 0,0%
Siêu liên kết 0,07% / 0,0% 0,14% / 0,0% 0,14% / 0,0% 0,34% / 0,0%
Đánh giá tự động trên 970 bài viết thuộc nhiều loại tóm tắt.
  Headline TLDR Các điểm chính Đoạn giới thiệu
  Cơ sở / Có LoRA Cơ sở / Có LoRA Cơ sở / Có LoRA Cơ sở / Có LoRA
Lỗi định dạng 13,17% / 0,24% 22,92% / 0,18% 4,43% / 0,09% 29,64% / 3,51%
Lặp lại câu 0,0% / 0,0% 0,0% / 0,0% 0,0% / 0,0% 0,03% / 0,0%
Lỗi không phải tiếng Anh 0,15% / 0% 0,15% / 0% 0,03% / 0,0% 0,06% / 0,0%
Siêu liên kết 0,0% / 0,0% 0,0% / 0,0% 0,0% / 0,0% 0,0% / 0,0%
Đánh giá tự động trên 1091 mẫu mục nhập trò chuyện.

Sau khi tinh chỉnh Gemini Nano, chúng tôi nhận thấy tỷ lệ lỗi định dạng giảm đáng kể trên nhiều loại bản tóm tắt, cho cả bài viết và nhật ký trò chuyện.

Đánh giá bằng công cụ tự động

Chúng tôi đã sử dụng Gemini 1.5 Pro để đánh giá trình tự động đánh giá, nhằm đánh giá chất lượng đầu ra của Gemini Nano. Vì mỗi bản tóm tắt có một mục đích khác nhau, nên tiêu chí và giá trị của tiêu chí cũng khác nhau đối với các loại bản tóm tắt. Tất cả các loại bản tóm tắt đều được đánh giá về:

  • Mức độ phù hợp: Bản tóm tắt có nêu chính xác mục đích thiết yếu của dữ liệu đầu vào không?
  • Tính xác thực: Bản tóm tắt có trung thực không? Bản tóm tắt có giới thiệu thông tin mới không được nêu rõ hoặc ngụ ý trong văn bản không?
  • Định dạng: Phần tóm tắt có được định dạng bằng cú pháp Markdown hợp lệ không? Tóm tắt có tuân thủ độ dài tối đa của câu như yêu cầu không?
  • Sự rõ ràng: Bản tóm tắt có lặp lại không? Bản tóm tắt có truyền tải chính xác thông điệp cốt lõi bằng ít từ nhất có thể không?

Vì các loại bản tóm tắt này có mục đích khác nhau, nên các chỉ số bổ sung sẽ áp dụng cho các loại bản tóm tắt cụ thể:

  • Mức độ tương tác: (headline): Đối tượng chung có thể hiểu ngay nội dung tóm tắt không? Bản tóm tắt có sử dụng giọng điệu hấp dẫn và thu hút đối tượng nói chung không?
  • Sự ngắn gọn (tldr): Bản tóm tắt có rõ ràng, súc tích và dễ hiểu ngay lập tức đối với những người có thời lượng chú ý rất ngắn không? Nội dung có tóm tắt hiệu quả thông điệp cốt lõi thành một dạng dễ hiểu để người đọc có thể đọc nhanh không?
  • Khả năng thu hút (teaser): Bản tóm tắt có tạo được sự tò mò và khuyến khích người đọc muốn tìm hiểu thêm bằng cách đọc toàn bộ văn bản không? Nội dung đó có sử dụng ngôn từ hấp dẫn và gợi ý nội dung thú vị không?

Chúng tôi đã so sánh kết quả của mô hình cơ sở và mô hình với LoRA, cạnh nhau, bằng cách sử dụng trình tự động đánh giá. Điểm của trình tự động đánh giá được tính trung bình từ 0 đến 1, sau đó được đánh giá dựa trên giá trị ngưỡng.

Để đảm bảo kết quả có cơ sở, chúng tôi đã giảm độ biến thiên của dữ liệu và giảm bớt sự thiên vị về vị trí.

  • Giảm độ biến thiên của dữ liệu: Chúng tôi đã tính trung bình điểm số của 3 đầu ra độc lập cho mỗi đầu vào, vì các lần chạy độc lập có thể có kết quả hơi khác nhau. Chúng tôi đã lấy trung bình kết quả cho cả mô hình cơ sở và Gemini Nano được tinh chỉnh. Mặc dù sự khác biệt về điểm số giữa các kết quả chỉ chênh lệch một chút, nhưng điểm trung bình giúp chúng ta hiểu rõ hơn về các tập dữ liệu lớn.

  • Giảm thiểu thiên vị vị trí: Để tránh ưu tiên giá trị của bản tóm tắt được chia sẻ trước với người đánh giá, chúng tôi đã đánh giá kết quả hai lần, sau đó lấy trung bình điểm số cuối cùng.

    1. Chúng tôi đã đánh giá mô hình bằng LoRA, sau đó là mô hình cơ sở.
    2. Sau đó, chúng tôi đã đảo ngược thứ tự. Chúng tôi đã đánh giá mô hình cơ sở, sau đó là mô hình có LoRA.
    3. Chúng tôi đã tính điểm trung bình cho điểm số cuối cùng.
      Short Trung bình Long
      Cơ sở / Có LoRA Cơ sở / Có LoRA Cơ sở / Có LoRA
    LoRA trước tiên 74,29% / 86,64% 76,11% / 81,38% 68,62% / 78,95%
    Trước tiên, hãy tạo mô hình cơ sở 68,02% / 88,60% 64,97% / 87,58% 58,25% / 86,35%
    Phiên bản C (Trung bình) 71,02% / 89,18% 69,59% / 84,08% 63,47% / 82,65%
    Tỷ lệ thắng cho loại tóm tắt key-points. Giá trị càng cao thì kết quả càng tốt.

Mặc dù sự khác biệt về điểm số cho đầu ra của cùng một mô hình chỉ khác nhau một chút, nhưng giá trị trung bình giúp chúng ta hiểu rõ hơn về các tập dữ liệu lớn.

Trên 500 bài viết, Gemini Nano được tinh chỉnh đã hoạt động hiệu quả hơn đáng kể so với mô hình cơ sở.

  Headline TLDR Các điểm chính Đoạn giới thiệu
  Cơ sở / Có LoRA Cơ sở / Có LoRA Cơ sở / Có LoRA Cơ sở / Có LoRA
Ngắn 74,74% / 89,12% 55,76% / 89,50% 71,02% / 89,18% 53,47% / 87,14%
Phương tiện 73,10% / 87,89% 41,82% / 81,21% 69,59% / 84,08% 48,98% / 86,74%
Dài 60,99% / 89,32% 50,51% / 84,85% 63,47% / 82,65% 62,65% / 87,55%
Tỷ lệ thắng của Autorarer trên 500 bài viết thuộc nhiều loại tóm tắt và độ dài. Số càng cao thì kết quả càng tốt.

Điều này cũng đúng trong quá trình đánh giá 500 nhật ký trò chuyện, Gemini Nano được tinh chỉnh đã hoạt động hiệu quả hơn mô hình cơ sở.

  Headline TLDR Các điểm chính Đoạn giới thiệu
  Cơ sở / Có LoRA Cơ sở / Có LoRA Cơ sở / Có LoRA Cơ sở / Có LoRA
Short 70,59% / 96,15% 66,27% / 97,79% 81,60% / 97,40% 67,48% / 96,14%
Trung bình 76,67% / 95,13% 56,02% / 94,98% 82,60% / 97,20% 50,41% / 96,95%
Long 59,03% / 94,32% 65,86% / 95,58% 75,00% / 97,60% 70,94% / 97,16%
Tỷ lệ thắng của Trình đánh giá tự động trên 500 nhật ký trò chuyện thuộc nhiều loại tóm tắt và độ dài. Số càng cao thì kết quả càng tốt.

Những kết quả này cho thấy việc tinh chỉnh của chúng tôi đã cải thiện chất lượng tổng thể của bản tóm tắt.

Tóm tắt hiệu quả hơn với LoRA

Theo truyền thống, việc tinh chỉnh được thực hiện bằng cách điều chỉnh các tham số của mô hình. Các mô hình AI hiện đại rất lớn, vì vậy, thao tác này diễn ra chậm, tốn kém và yêu cầu lưu trữ một bản sao hoàn toàn mới của mô hình.

Thay vì thay đổi tất cả các tham số, nếu chúng ta thêm các phần bổ sung nhỏ để điều hướng mô hình theo hướng chúng ta muốn thì sao? Kích thước nhỏ hơn giúp quá trình huấn luyện nhanh hơn nhiều. Đây là nguyên tắc cốt lõi của cơ chế thích ứng cấp thấp (LoRA). Với LoRA, một số phần nhất định của mô hình vẫn không thay đổi, thường được gọi là đóng băng các tham số. Sau đó, một tập dữ liệu nhỏ hơn được đưa vào với các nội dung sửa đổi nhỏ, tập trung vào việc huấn luyện các phần bổ sung này.

Trên thực tế, thông thường, bạn có thể huấn luyện chỉ 2% tham số ban đầu bằng LoRA và vẫn thấy những thay đổi đáng kể trong kết quả.

Tại sao cách này hiệu quả? Bạn có thể kết hợp nhiều hành vi (chẳng hạn như kiểu, nhiệm vụ hoặc kiến thức mới) mà không cần thay đổi mọi tham số mô hình. Những thay đổi này có thể được biểu thị dưới dạng các mẫu hoặc hướng nhỏ trong kiến thức hiện có của mô hình. LoRA ghi lại hiệu quả các mẫu này mà không cần chạm vào mô hình gốc.

Hãy xem một số ví dụ so sánh mô hình cơ sở Gemini Nano với kết quả sau khi thêm LoRA.

Chúng tôi đã yêu cầu Gemini Nano tạo một dòng tiêu đề ngắn "thu hút sự chú ý và truyền tải được tinh thần của nội dung" trong bài viết trên Wikipedia về Công viên quốc gia Joshua Tree.

Gemini Nano Gemini Nano với LoRA
Cảnh quan và lịch sử độc đáo của Công viên quốc gia Joshua Tree Joshua Tree: Công viên quốc gia ở California, nằm giữa sa mạc và là nơi có những cây mang tính biểu tượng

Tiếp theo, chúng tôi yêu cầu Gemini Nano tạo một đoạn giới thiệu ngắn cho bài viết về Ratatouille. "Viết một câu hấp dẫn để khuyến khích người dùng đọc toàn bộ văn bản."

Gemini Nano Gemini Nano với LoRA
Ratatouille là một món ăn nổi tiếng của vùng Provence ở Pháp, có thành phần chính là các loại rau củ hầm, thường bao gồm cà chua và tỏi. Món ăn này có nguồn gốc từ thế kỷ 18 và cách chế biến đã phát triển theo thời gian, một số đầu bếp nhấn mạnh hương vị của từng loại rau, trong khi những người khác lại thích kết cấu mượt mà và đồng nhất hơn. Ngoài nguồn gốc Pháp, ratatouille còn là nguồn cảm hứng cho các món ăn tương tự trong nhiều nền ẩm thực trên thế giới, bao gồm cả piperade của Tây Ban Nha và tian của Địa Trung Hải. Phim "Ratatouille" (2007) đã phổ biến thêm món ăn này, cho thấy tính linh hoạt trong ẩm thực và sự cộng hưởng cảm xúc của món ăn. Ratatouille là một món ăn Provençal của Pháp, gồm các loại rau củ được hầm. Món ăn này có một bề dày ẩm thực phong phú, phát triển từ một món hầm đơn giản thành một kiệt tác ẩm thực hiện đại đã thu hút khán giả trên toàn thế giới.

Bản minh hoạ suy luận theo thời gian thực

Chúng tôi đã xây dựng một giao diện minh hoạ việc so sánh đầu ra giữa Gemini Nano và Gemini Nano với LoRA.

Chúng tôi yêu cầu Gemini Nano tạo một bản tóm tắt tldr có độ dài short cho bài viết về Cá mặt trăng. Hãy nhớ rằng tldr và short yêu cầu câu trả lời trong 1 câu "dễ đọc".

Xem theo thời gian thực thời gian tạo kết quả và đọc kết quả.

Bằng cách triển khai tính năng tinh chỉnh, Gemini Nano có thể tạo bản tóm tắt tốt hơn theo các hướng dẫn cụ thể.

Tương tác và chia sẻ ý kiến phản hồi

Chúng tôi rất mong nhận được ý kiến phản hồi của bạn về mức độ ảnh hưởng của Gemini Nano đã được tinh chỉnh đến bản tóm tắt.

Khám phá tất cả API AI tích hợp sẵn sử dụng các mô hình, bao gồm cả mô hình ngôn ngữ lớn, trong trình duyệt.

  1. Chin-Yew Lin. 2004. ROUGE: Một gói để tự động đánh giá bản tóm tắt. Trong cuốn Text Summarization Branches Out (Tóm tắt văn bản mở rộng), trang 74–81, Barcelona, Tây Ban Nha. Hiệp hội Ngôn ngữ học máy tính. ↩

  2. Kishore Papineni, Salim Roukos, Todd Ward và Wei-Jing Zhu. 2002. BLEU: một phương pháp đánh giá tự động về bản dịch máy. Trong Proceedings of the 40th Annual Meeting on Association for Computational Linguistics (ACL '02). ↩

  3. Mousumi Akter, Naman Bansal và Shubhra Kanti Karmaker. 2022. Xem lại việc đánh giá tự động về nhiệm vụ tóm tắt trích xuất: Chúng ta có thể làm tốt hơn ROUGE không? Trong Kết quả của Hiệp hội Ngôn ngữ học máy tính: ACL 2022, trang 1547–1560, Dublin, Ireland. Hiệp hội Ngôn ngữ học máy tính. ↩

  4. Daniel Deutsch và Dan Roth. 2021. Tìm hiểu mức độ mà các chỉ số về chất lượng nội dung đo lường chất lượng thông tin của bản tóm tắt. Trong Proceedings of the 25th Conference on Computational Natural Language Learning (Biên bản Hội nghị lần thứ 25 về Học ngôn ngữ tự nhiên bằng máy tính), trang 300–309, Trực tuyến. Hiệp hội Ngôn ngữ học máy tính. ↩