Лед тронулся, демократизация LLM идет полным ходом. AnythingLLM – это GUI обертка вокруг
Ollama + RAG.
Ollama в свою очередь является CLI оберткой вокруг другого известного проекта llama.cpp.
А llama.cpp позволяет запускать модельки локально даже если у вас нет GPU.
RAG это соответственно Retrieval-Augmented Generation - метод который позволяет встраивать проприетарные данные в LLM промпт.
Например, берем прайс-листы Электромагнитые муфты ЭТМ 051С-1А и ГОСТ 8966-75 Части соединительные стальные с цилиндрической резьбой. После процессинга сотрудники смогут задавать самые каверзные вопросы о муфтах и ГОСТах, LLM.
Какие то ушлые консалтеры из Германии замутили Helm чарт для AnythingLLM для того, чтобы можно было развернуть его на Kubernetes и используют для решения похожих задач в немецкой госухе (департамент города Габмург?).
https://github.com/la-cc/anything-llm-helm-chart
У это AnythingLLM есть даже REST API, можно использовать его для системной интеграции. Хотя решение это конечно не enterprise уровня. Для такого рода задач нужно, что-то класса MuleSoft или Apache Camel.
