Извлечение DN-информации из внешних чатов

Поле text может быть строкой ИЛИ массивом (при форматировании). Для поиска используй оба поля: text и text_entities.

Алгоритм работы

Шаг 1: Поиск сообщений-кандидатов

Для каждого result.json ищи по трём уровням триггеров:

Tier 1 — Прямые упоминания DN (безусловный триггер):

Tier 2 — Контекстные (требуют проверки контекста ±5 сообщений):

Tier 3 — Юридические (редкие, но точные):

Tier 4 — Составные (2+ слова рядом в одном сообщении или ±3 по ID):

• ВНЖ + удалён / фриланс / номад
• partita\s*iva + номад / кочевни / digital nomad
• forfettari + номад / кочевни
• квестур + номад / кочевни

Шаг 2: Расширение контекста

Для чатов (supergroup):

1. Тред назад: reply_to_message_id рекурсивно до корня
2. Тред вперёд: все сообщения с reply_to_message_id на любое сообщение в цепочке (транзитивно)
3. Соседи: ±15 сообщений по ID, в пределах 30 минут, тематически связанные
4. Дедупликация: объединить, убрать дубликаты по ID, сортировать по дате

Для каналов:

1. ±5 сообщений по ID
2. Собрать части длинного поста (несколько сообщений от одного автора подряд)
3. Отметить forwarded_from если есть

Шаг 3: Верификация DN-релевантности (ОБЯЗАТЕЛЬНЫЙ)

Без этого шага Tier 2 триггеры дают ~50% ложных срабатываний. На rutoitalychat (103K сообщений) без верификации — 529 дискуссий, после — 269.

Для каждой собранной дискуссии проверь: содержит ли объединённый текст ВСЕХ сообщений хотя бы одно DN-специфичное слово?

DN_VERIFY_RE = re.compile(
    r'номад|кочевни|digital[\s._-]?nomad|nomad[\s._-]?visa'
    r'|nomad[ie]\s*digital|\bdn\b|виз\S*\s+dn|dn\s+виз'
    r'|27[\s.-]*ter|decreto.*nomad|цифров\S*\s+кочевни',
    re.IGNORECASE
)

Правило: нет совпадения DN_VERIFY_RE по всему тексту дискуссии -> дискуссия отсеивается.

Почему это работает:

• Tier 1 проходит автоматически — триггер уже содержит DN-слово
• Tier 2 проходит, только если в расширенном контексте кто-то упомянул DN
• \bdn\b ловит аббревиатуру «DN» — покрывает «подавался на DN в Белграде»

Что НЕ является DN-контекстом:

• «виза D» — общая категория (lavoro subordinato, autonomo, studio, famiglia, elective residence...)
• «lavoro autonomo» без «номад»/«DN»/«кочевник» — обычная фрилансерская виза
• «partita IVA», «ВНЖ», «квестура» сами по себе — общая иммиграция

Шаг 4: Извлечение информации

Из каждой подтверждённой дискуссии извлеки:

Обязательный контекст: источник — кликабельная markdown-ссылка с URL: [emigrantista #1234](https://t.me/emigrantista_answers/1234) / [rutoitalychat #5678](https://t.me/rutoitalychat/5678) / [rutoitaly #1234](https://t.me/rutoitaly/1234) / [immigrazia_IT #1234](https://t.me/immigrazia_IT/1234), город/консульство/квестура, тип занятости, дата. НЕ писать [rutoitaly #1234] без (https://t.me/...).

Кейсы: даже если сообщение не проходит полный DN_VERIFY, но содержит личный кейс подачи/получения — вставить в 18-cases.md (кейс ценен сам по себе). Полная библиотека regex-паттернов для поиска кейсов: ../update-guide/references/case-patterns.md.

Шаг 5: Формирование выхода

Сохрани в ту же папку где исходник, с префиксом extracted_:

.datasource/2026-04-06/emigrantista_answers_2026-04-06/
  result.json                          <- исходник
  extracted_emigrantista_answers.json   <- результат

Формат JSON:

{
  "source": "emigrantista_answers_2026-04-06",
  "extraction_date": "2026-04-06",
  "discussions": [
    {
      "discussion_id": 1,
      "trigger_messages": [1234, 1235],
      "all_message_ids": [1230, 1231, 1234, 1235, 1236, 1240],
      "topic": "Краткое описание",
      "messages": [
        {"id": 1234, "date": "2026-03-15T10:30:00", "from": "Имя", "text": "текст"}
      ],
      "extracted_facts": [
        {
          "fact": "Квестура Милана для DN требует справку X",
          "category": "Изменения процедур",
          "confidence": "yellow (из опыта)",
          "context": "квестура Милана, ИП",
          "date": "2026-03-15",
          "source_ids": [1234, 1235],
          "guide_section": "12-first-steps.md"
        }
      ]
    }
  ],
  "stats": {
    "total_messages_scanned": 50000,
    "trigger_matches": 150,
    "discussions_found": 25,
    "discussions_after_filtering": 18,
    "facts_extracted": 42
  }
}

Обработка ссылок

• Пересланные сообщения (forwarded_from) — учитывай как источник, отмечай оригинальный канал
• Официальные источники (консульства, integrazionemigranti.gov.it, законодательство) -> переходи и верифицируй, маркировка 🟢
• Другие Telegram-каналы -> отметь как потенциальный источник для будущей обработки

Маркировка достоверности

• 🟢 Официально — законодательство, сайты консульств
• 🟡 Из опыта — реальные кейсы (из внешних чатов = независимый источник, особо ценно)
• 🔴 Спорно — противоречит основному гайду или другим источникам

Факты из внешних чатов, подтверждающие основной DN-чат — независимая верификация. Отмечай такие случаи.

Стратегия по размеру источника

• Каналы (<10K сообщений): grep + ручной просмотр. Верификация обычно не отсеивает — авторы пишут целевые посты.
• Чаты (>10K сообщений): Python-скрипт с индексацией и DN_VERIFY_RE. Без верификации — ~50% мусора.

Референсные Python-скрипты для обработки больших чатов: references/scripts.md.

Шаг 6: Проверка саммари

После добавления фактов в файлы гайда — проверь блоки > **Коротко:** в начале каждого затронутого файла. Саммари — производное от фактов, и должно оставаться актуальным.

Если добавленный факт:

• Противоречит саммари → обновить саммари
• Добавляет важную оговорку → дополнить саммари
• Не влияет на саммари → оставить как есть

Чеклист перед финализацией

• Все Tier 1 триггеры проверены по каждому файлу
• Tier 2 — контекст проверен, false positives отфильтрованы
• Верификация DN-релевантности пройдена для каждой дискуссии
• Для чатов восстановлены полные треды (reply_to вперёд-назад)
• Каждый факт имеет ссылку [канал #ID] и дату
• Контекст (консульство/квестура/город/тип занятости) указан
• Маркировка (🟢/🟡/🔴) проставлена
• Факты, подтверждающие/противоречащие гайду, особо отмечены
• Статистика заполнена
• Кейсы подачи/получения вставлены в 18-cases.md
• Проверка саммари: блоки > **Коротко:** в затронутых файлах по-прежнему корректны
• Пересортировка помогаторов: если добавлены кейсы в 18-cases.md — проверить порядок профилей в 19-helpers.md (больше привязанных кейсов = выше в списке)
• Навигация и ссылки: см. раздел «Поддержка внутренней навигации» в CLAUDE.md