Одна вещь, которую стоит знать заранее: качество графового поиска целиком зависит от того, насколько хорошо составлен сам граф — то есть насколько правильно система распознала объекты и связи между ними. Если просто нарезать текст на куски, вытащить из него какие попало объекты и связи и закинуть в граф, ожидая отличных результатов — это наивный подход, и качество вашей системы извлечения объектов и связей — главный фактор, который решает, поможет графовый поиск или навредит. Здесь легко потратить месяцы на настройку графа для задачи, с которой обычный гибридный поиск справился бы за неделю.
Ещё одна полезная деталь: большинство проблем в подобных системах возникает не там, где ИИ формулирует ответ, а на этапе самого поиска — то есть система в принципе не находит нужный текст, и дальше ей просто не с чем работать. Это значит, что перед тем как усложнять архитектуру графом, стоит сначала проверить, хорошо ли работает базовый поиск — возможно, проблема вообще не в отсутствии графа.