Создайте базу знаний для чат-бота, собирая данные с веб-сайта: сканирование, сегментация, цитирование
Поддержка бота зависит от того, чем его питают. Направьте его на свой собственный сайт — документацию, часто задаваемые вопросы, центр помощи — с помощью сканирования для очистки markdown и сегментации для извлечения. Вот конвейер, который обеспечивает обоснованные и цитируемые ответы.
Чат-бот поддержки зависит от того, чем его питают, и лучшее, что можно ему дать, — это ваш собственный веб-сайт — документацию, часто задаваемые вопросы и статьи центра помощи, которые вы уже поддерживаете. Проблема в том, что бот не может читать веб-сайт так, как это делает человек; ему нужен чистый, сегментированный, извлекаемый текст с прикрепленным источником к каждому фрагменту. Это руководство — полный конвейер: сканируйте сайт в markdown, сегментируйте его, внедряйте в векторное хранилище и извлекайте цитируемый контекст во время запроса — обоснованная база знаний, которая остается актуальной по мере изменения вашего сайта.
Почему RAG, а не дообучение
Вы могли бы дообучить модель на вашем контенте, но для бота поддержки это неправильный инструмент: переобучение медленное, дорогостоящее и устаревает в момент, когда вы редактируете документ. Генерация с дополнением извлечением (RAG) сохраняет знания вне модели — сегментируйте ваш контент, внедряйте его, и во время запроса извлекайте наиболее релевантные фрагменты и передавайте их модели в качестве контекста. Обновите документ, пересканируйте, и знания бота обновятся вместе с ним. Спрос реален: рынок чат-ботов прогнозируется расти на 23,3% CAGR до 2030 года, исследование KPMG показало, что 69% людей уже используют чат-ботов, а исследование Стэнфорда и MIT среди 5 179 агентов поддержки измерило средний прирост производительности на 14% от помощи генеративного ИИ — 35% для самых новых агентов.
Шаг 1: сканируйте сайт для очистки markdown
Подавать сырой HTML в конвейер RAG — это отравлять его навигацией, баннерами cookie и тегами скриптов. Вместо этого сканируйте прямо в markdown — он сохраняет заголовки, списки и таблицы, убирая шум презентации, что именно и лучше всего воспринимает LLM. Scraper API с режимом сканирования проходит по сайту и возвращает каждую страницу в виде чистого markdown:
import requests
resp = requests.post(
"https://api.quantumproxies.io/crawl",
json={"url": "https://docs.example.com", "limit": 300, "format": "markdown"},
headers={"Authorization": "Bearer YOUR_API_KEY"},
timeout=120,
)
pages = resp.json()["pages"] # each: {"url": ..., "markdown": ...}Сканирование вашего собственного сайта просто; сканирование документов за географическими или скоростными ограничениями — это то, где важно маршрутизировать через правильные IP, чтобы сканирование завершилось, а не остановилось на полпути. Markdown-first — это тот же принцип, что и подача LLM свежих веб-данных.
Шаг 2: сегментируйте по заголовкам, сохраняйте источник
Не внедряйте целые страницы — извлечение работает лучше всего на сфокусированных сегментах. Разделите каждую страницу по ее заголовкам, чтобы каждый сегмент был одной связной темой, и несите URL источника на каждом, чтобы вы могли его позже цитировать. Это также то место, где хороший исходный документ окупается: статьи с четкими заголовками, одной идеей каждая, и вопросы, переформулированные в тексте, сегментируются намного лучше, чем стена текста (бот не может вывести контекст, который мог бы человек):
def chunk_markdown(md, source_url):
chunks, cur = [], {"heading": "", "text": ""}
for line in md.splitlines():
if line.startswith("#"):
if cur["text"].strip():
chunks.append({**cur, "source": source_url})
cur = {"heading": line.lstrip("# ").strip(), "text": ""}
else:
cur["text"] += line + "\n"
if cur["text"].strip():
chunks.append({**cur, "source": source_url})
return chunks
all_chunks = [c for p in pages for c in chunk_markdown(p["markdown"], p["url"])]
Шаг 3: внедряйте, храните и извлекайте с цитатами
Внедряйте каждый сегмент в вектор и добавляйте его в векторную базу данных с URL источника в качестве метаданных. Во время запроса внедряйте вопрос пользователя, извлекайте несколько лучших совпадений и передавайте их текст модели в качестве контекста — и показывайте ссылки на источники, чтобы ответ был проверяемым, а не черным ящиком:
# index each chunk with its source as metadata
for c in all_chunks:
vec = embed(c["heading"] + "\n" + c["text"])
index.upsert(id=uid(c), values=vec,
metadata={"source": c["source"], "text": c["text"]})
# at query time: retrieve, ground, and cite
hits = index.query(embed(user_question), top_k=4)
context = "\n\n".join(h.metadata["text"] for h in hits)
citations = list({h.metadata["source"] for h in hits})
answer = llm(f"Answer using only this context:\n{context}", question=user_question)Обоснование модели в извлеченном контексте — и указание ей отвечать только из этого контекста — это то, что останавливает бота поддержки от уверенного изобретения политики. Цитаты выполняют двойную функцию: они позволяют пользователям проверять, и они позволяют вам заметить, когда бот обращается к неправильному документу. Для более глубоких механизмов наше руководство по конвейерам RAG, которые не устаревают, идет дальше в сегментации и извлечении.
Шаг 4: обновляйте, иначе он устареет
База знаний — это живой организм. Документы переписываются, цены меняются, появляются новые статьи — и бот, отвечающий на основе сканирования прошлого месяца, дает неправильные ответы с полной уверенностью. Запланируйте повторное сканирование, сравните каждую страницу с ее последней версией и повторно внедряйте только то, что изменилось, чтобы обновление оставалось дешевым. Сохраняйте дату извлечения на каждом сегменте, чтобы вы всегда знали, насколько актуален источник ответа. Если вы предпочитаете потреблять управляемую, всегда свежую ленту, а не запускать сканирование и обновление самостоятельно, веб-данные, созданные для LLM, справятся со сбором.
Сканируйте любой сайт для очистки markdown для вашего бота
Часто задаваемые вопросы
Как создать базу знаний для чат-бота с веб-сайта?
Сканируйте сайт для очистки markdown, разделите каждую страницу на сегменты по заголовкам с прикрепленным URL источника, внедряйте сегменты в векторную базу данных и во время запроса извлекайте наиболее релевантные сегменты, чтобы обосновать ответ модели. Запланируйте повторное сканирование, чтобы поддерживать актуальность. Этот подход RAG означает, что редактирование документа обновляет знания бота без переобучения.
Нужно ли обучать модель на моем контенте?
Нет — и для бота поддержки не следует. Дообучение медленное, дорогостоящее и устаревает, когда ваш контент меняется. Генерация с дополнением извлечением сохраняет знания в векторном хранилище вне модели, так что бот всегда отвечает на основе текущего сканирования. Вы только повторно сканируете и внедряете, когда контент меняется, что гораздо дешевле, чем переобучение.
Почему сканировать в markdown, а не в HTML?
Сырой HTML содержит навигацию, рекламу, баннеры cookie и скрипты, которые добавляют шум и тратят ваш бюджет на внедрение. Markdown сохраняет значимую структуру — заголовки, списки, таблицы — убирая слой презентации, что LLM воспринимает наиболее чисто. Более чистый ввод означает более релевантное извлечение и меньше запутанных ответов. Боты также не могут читать изображения или видео, поэтому держите ключевую информацию в тексте.
Как поддерживать базу знаний в актуальном состоянии?
Запланируйте периодические повторные сканирования, определите, какие страницы изменились, и повторно внедряйте только их — полные повторные сканирования тратят полосу пропускания и вычислительные ресурсы. Храните дату извлечения на каждом сегменте, чтобы вы могли определить, насколько свеж источник ответа, и версионируйте индекс, чтобы вы могли откатиться, если плохое сканирование ухудшает извлечение. Инкрементальное обновление сохраняет стоимость пропорциональной реальным изменениям.
Конвейер — это продукт здесь: сканируйте в markdown, сегментируйте по заголовкам, внедряйте с источниками, извлекайте и цитируйте, затем обновляйте по расписанию. Делайте это, и ваш бот поддержки отвечает на основе вашего реального контента, ссылается на свои источники и остается актуальным по мере эволюции вашего сайта — разница между ботом, которому доверяют, и тем, которого учатся обходить. Чтобы дать агенту ИИ живой доступ к тем же данным через стандартный интерфейс, смотрите наше руководство по QuantumProxies MCP серверу.