ОСОБЛИВОСТІ СИСТЕМ ГЕНЕРАЦІЇ З ДОПОВНЕНИМ ПОШУКОМ НА ОСНОВІ ВЕЛИКИХ МОВНИХ МОДЕЛЕЙ
Authors:
- Олексій Володимирович КоломійцевОКОлексій Володимирович Коломійцев
- Дмитро Андрійович ВіричДВДмитро Андрійович Вірич
- Володимир Олександрович КомаровВКВолодимир Олександрович Комаров
- Альберт Миколайович КатунінАКАльберт Миколайович Катунін
- Анатолій Іванович СобораАСАнатолій Іванович Собора
- Костянтин Валерійович ЗакутінКЗКостянтин Валерійович Закутін
- Вадим Ігорович ЛільчицькийВЛВадим Ігорович Лільчицький
- Олександр Леонідович КоломієцьОКОлександр Леонідович Коломієць
- Анатолій Анатолійович СоловйовАСАнатолій Анатолійович Соловйов
- Юрій Вікторович КобецьЮКЮрій Вікторович Кобець
- Юрій Уктамбайович ДжуманязовЮДЮрій Уктамбайович Джуманязов
- Дмитро Андрійович Лук’яНовДЛДмитро Андрійович Лук’яНов
Open Access
- 18 September 2026
- journal article
- Published by European Scientific Platform (Publications) in Grail of Science
- No. 75,p. 285-305
Abstract
У статті розкрито особливості систем генерації з доповненим пошуком (RAG) на основі великих мовних моделей. Системи генерації з доповненим пошуком – це технологія, яка поєднує пошук актуальних даних у зовнішніх базах із генерацією тексту великими мовними моделями та дозволяє моделям давати точніші відповіді без необхідності повного перенавчання. Встановлено, що RAG є основною архітектурою промислових систем, які потребують обґрунтованих відповідей за приватними даними, Виявлено та кількісно охарактеризовано чотири групи обмежень промислової експлуатації. Розмежовано три рівні кешування – точний, префіксний на боці постачальника та семантичний на боці застосунку. Показано, що лише семантичний рівень виключає як вхідні, так і вихідні токени. Встановлено, що задача формування контексту є задачею відбору оптимальної підмножини під бюджетним обмеженням, а не задачею ранжування. Розглянуто кількісні межі потенційного виграшу. Простір станів в усіх відомих моделях обмежений характеристиками запиту та історією видобування і не включає ані стану семантичного кешу, ані виміряної інтенсивності дрейфу корпусу.Keywords
This publication has 16 references indexed in Scilit:
- LightRAG: Simple and Fast Retrieval-Augmented Generation2025
- SCALM: Towards Semantic Caching for Automated Chat Services with Large Language Models2024
- Lost in the Middle: How Language Models Use Long ContextsTransactions of the Association for Computational Linguistics, 2024
- LLMLingua-2: Data Distillation for Efficient and Faithful Task-Agnostic Prompt Compression2024
- GPTCache: An Open-Source Semantic Cache for LLM Applications Enabling Faster Answers and Cost Savings2023
- LLMLingua: Compressing Prompts for Accelerated Inference of Large Language Models2023
- SEPARABLE PROGRAMMING METHOD FOR SOLVING MULTI-DIMENSIONAL PROBLEMS OF OPTIMIZING THE PARAMETERS OF LASER INFORMATION MEASUREMENT SYSTEMSAdvanced Information Systems, 2019
- The budgeted maximum coverage problemInformation Processing Letters, 1999
- The use of MMR, diversity-based reranking for reordering documents and producing summaries1998
- An analysis of approximations for maximizing submodular set functions—IMathematical Programming, 1978