Ищем разработчика в команду Digital Footprint Intelligence (TI / OSINT), который будет заниматься поддержкой парсеров и разработкой внутреннего портала по обработке данных.
Наш стек: Python, aiohttp, FastAPI, PostgreSQL, Docker, Elasticsearch
- парсинг/скрейпинг различных ресурсов
- интеграция с различными API
- корректировка правил парсинга (XPath, регулярные выражения) в уже существующих решениях
- структуризация данных (написание конвертеров, автоматизация процесса обработки данных и т.д.)
- разработка и поддержка систем мониторинга работоспособности внутренних решений
- Уверенные знания Python
- Знание языка SQL
- Опыт работы с Elasticsearch, RabbitMQ
- Понимание регулярных выражений и языка XPath
- Умение работать с различными форматами данных (XML, JSON)
- Опыт в Web Scraping (желателен опыт работы с Selenium/Pyppeteer/Playwright, PyAutoGUI)
- Опыт работы с ОС Linux (желателен опыт работы в направлении DevOps)
- Опыт в подходах CI/CD: Docker, Ansible, Kubernetes
- Опыт работы с системами мниторинга: Grafana, Prometheus, Splunk
- Понимание LLM