ОСОБЛИВОСТІ СИСТЕМ ГЕНЕРАЦІЇ З ДОПОВНЕНИМ ПОШУКОМ НА ОСНОВІ ВЕЛИКИХ МОВНИХ МОДЕЛЕЙ


Abstract
У статті розкрито особливості систем генерації з доповненим пошуком (RAG) на основі великих мовних моделей. Системи генерації з доповненим пошуком – це технологія, яка поєднує пошук актуальних даних у зовнішніх базах із генерацією тексту великими мовними моделями та дозволяє моделям давати точніші відповіді без необхідності повного перенавчання. Встановлено, що RAG є основною архітектурою промислових систем, які потребують обґрунтованих відповідей за приватними даними, Виявлено та кількісно охарактеризовано чотири групи обмежень промислової експлуатації. Розмежовано три рівні кешування – точний, префіксний на боці постачальника та семантичний на боці застосунку. Показано, що лише семантичний рівень виключає як вхідні, так і вихідні токени. Встановлено, що задача формування контексту є задачею відбору оптимальної підмножини під бюджетним обмеженням, а не задачею ранжування. Розглянуто кількісні межі потенційного виграшу. Простір станів в усіх відомих моделях обмежений характеристиками запиту та історією видобування і не включає ані стану семантичного кешу, ані виміряної інтенсивності дрейфу корпусу.