requirements.txt

# Core dependencies
bcrypt>=4.0.0
PyJWT>=2.10.0
authlib>=1.2.0
google-analytics-data>=0.18.0
colorlog>=6.7.0
psycopg2-binary>=2.9.0
httpx>=0.24.0
redis[hiredis]>=4.5.0
sentry-sdk[starlette,sqlalchemy]>=1.32.0
starlette>=0.27.0
gql>=3.4.0
ariadne>=0.20.0
granian>=0.4.0
sqlalchemy>=2.0.0
orjson>=3.9.0
pydantic>=2.0.0
numpy>=1.24.0
muvera>=0.2.0
torch>=2.0.0
sentence-transformers>=2.2.0
transformers>=4.56.0
scikit-learn>=1.7.0
pylate>=1.0.0
faiss-cpu>=1.7.4

# Type stubs
types-requests>=2.31.0
types-Authlib>=1.2.0
types-orjson
types-PyYAML>=6.0.0
types-python-dateutil>=2.8.0
types-redis>=4.6.0
types-PyJWT>=1.7.1
feat: migrate to uv package manager - Add pyproject.toml with project configuration - Update requirements.txt and requirements.dev.txt with versions - Add .uv configuration file - Update .gitignore for uv - Update README with uv instructions - Configure hatchling build system - Add mypy configuration - Test uv sync and pytest integration 2025-08-12 13:12:39 +03:00			`# Core dependencies`
			`bcrypt>=4.0.0`
			`PyJWT>=2.10.0`
			`authlib>=1.2.0`
			`google-analytics-data>=0.18.0`
			`colorlog>=6.7.0`
			`psycopg2-binary>=2.9.0`
			`httpx>=0.24.0`
			`redis[hiredis]>=4.5.0`
			`sentry-sdk[starlette,sqlalchemy]>=1.32.0`
			`starlette>=0.27.0`
			`gql>=3.4.0`
			`ariadne>=0.20.0`
			`granian>=0.4.0`
tests-passed 2025-07-31 18:55:59 +03:00			`sqlalchemy>=2.0.0`
feat: migrate to uv package manager - Add pyproject.toml with project configuration - Update requirements.txt and requirements.dev.txt with versions - Add .uv configuration file - Update .gitignore for uv - Update README with uv instructions - Configure hatchling build system - Add mypy configuration - Test uv sync and pytest integration 2025-08-12 13:12:39 +03:00			`orjson>=3.9.0`
			`pydantic>=2.0.0`
search-wrapper 2025-08-23 14:08:34 +03:00			`numpy>=1.24.0`
fmt 2025-08-23 10:47:52 +03:00			`muvera>=0.2.0`
## [0.9.18] - 2025-01-09 ### 🔍 Search System Redis Storage - 💾 Redis-based vector index storage: Переключились обратно на Redis для хранения векторного индекса - Заменили файловое хранение в `/dump` на Redis ключи для надежности - Исправлена проблема с правами доступа на `/dump` папку на сервере - Векторный индекс теперь сохраняется по ключам `search_index:{name}:data` и `search_index:{name}:metadata` - 🛠️ Improved reliability: Убрали зависимость от файловой системы для критичных данных - ⚡ Better performance: Redis обеспечивает более быстрый доступ к индексу - 🔧 Technical changes: - Заменили `save_index_to_file()` на `save_index_to_redis()` - Заменили `load_index_from_file()` на `load_index_from_redis()` - Обновили автосохранение для использования Redis вместо файлов - Удалили неиспользуемые импорты (`gzip`, `pathlib`, `cast`) 2025-09-01 15:09:36 +03:00			`torch>=2.0.0`
embedding-search 2025-08-31 19:20:43 +03:00			`sentence-transformers>=2.2.0`
## [0.9.18] - 2025-01-09 ### 🔍 Search System Redis Storage - 💾 Redis-based vector index storage: Переключились обратно на Redis для хранения векторного индекса - Заменили файловое хранение в `/dump` на Redis ключи для надежности - Исправлена проблема с правами доступа на `/dump` папку на сервере - Векторный индекс теперь сохраняется по ключам `search_index:{name}:data` и `search_index:{name}:metadata` - 🛠️ Improved reliability: Убрали зависимость от файловой системы для критичных данных - ⚡ Better performance: Redis обеспечивает более быстрый доступ к индексу - 🔧 Technical changes: - Заменили `save_index_to_file()` на `save_index_to_redis()` - Заменили `load_index_from_file()` на `load_index_from_redis()` - Обновили автосохранение для использования Redis вместо файлов - Удалили неиспользуемые импорты (`gzip`, `pathlib`, `cast`) 2025-09-01 15:09:36 +03:00			`transformers>=4.56.0`
			`scikit-learn>=1.7.0`
0.9.29] - 2025-10-08 ### 🎯 Search Quality Upgrade: ColBERT + Native MUVERA + FAISS - 🚀 +175% Recall: Интегрирован ColBERT через pylate с НАТИВНЫМ MUVERA multi-vector retrieval - 🎯 TRUE MaxSim: Настоящий token-level MaxSim scoring, а не упрощенный max pooling - 🗜️ Native Multi-Vector FDE: Каждый токен encode_fde отдельно → список FDE векторов - 🚀 FAISS Acceleration: Двухэтапный поиск O(log N) для масштабирования >10K документов - 🎯 Dual Architecture: Поддержка BiEncoder (быстрый) и ColBERT (качественный) через `SEARCH_MODEL_TYPE` - ⚡ Faster Indexing: ColBERT индексация ~12s vs BiEncoder ~26s на бенчмарке - 📊 Better Results: Recall@10 улучшен с 0.16 до 0.44 (+175%) ### 🛠️ Technical Changes - requirements.txt: Добавлены `pylate>=1.0.0` и `faiss-cpu>=1.7.4` - services/search.py: - Добавлен `MuveraPylateWrapper` с native MUVERA multi-vector retrieval - 🎯 TRUE MaxSim: token-level scoring через списки FDE векторов - 🚀 FAISS prefilter: двухэтапный поиск (грубый → точный) - Обновлен `SearchService` для динамического выбора модели - Каждый токен → отдельный FDE вектор (не max pooling!) - settings.py: - `SEARCH_MODEL_TYPE` - выбор модели (default: "colbert") - `SEARCH_USE_FAISS` - включить FAISS (default: true) - `SEARCH_FAISS_CANDIDATES` - количество кандидатов (default: 1000) ### 📚 Documentation - docs/search-system.md: Полностью обновлена документация - Сравнение BiEncoder vs ColBERT с бенчмарками - 🚀 Секция про FAISS: когда включать, архитектура, производительность - Руководство по выбору модели для разных сценариев - 🎯 Детальное описание native MUVERA multi-vector: каждый токен → FDE - TRUE MaxSim scoring алгоритм с примерами кода - Двухэтапный поиск: FAISS prefilter → MaxSim rerank - 🤖 Предупреждение о проблеме дистилляционных моделей (pylate#142) ### ⚙️ Configuration ```bash # Включить ColBERT (рекомендуется для production) SEARCH_MODEL_TYPE=colbert # 🚀 FAISS acceleration (обязательно для >10K документов) SEARCH_USE_FAISS=true # default: true SEARCH_FAISS_CANDIDATES=1000 # default: 1000 # Fallback к BiEncoder (быстрее, но -62% recall) SEARCH_MODEL_TYPE=biencoder ``` ### 🎯 Impact - ✅ Качество поиска: +175% recall на бенчмарке NanoFiQA2018 - ✅ TRUE ColBERT: Native multi-vector без упрощений (max pooling) - ✅ MUVERA правильно: Используется по назначению для multi-vector retrieval - ✅ Масштабируемость: FAISS prefilter → O(log N) вместо O(N) - ✅ Готовность к росту: Архитектура выдержит >50K документов - ✅ Индексация: Быстрее на ~54% (12s vs 26s) - ⚠️ Latency: С FAISS остается приемлемой даже на больших индексах - ✅ Backward Compatible: BiEncoder + отключение FAISS через env ### 🔗 References - GitHub PR: https://github.com/sionic-ai/muvera-py/pull/1 - pylate issue: https://github.com/lightonai/pylate/issues/142 - Model: `answerdotai/answerai-colbert-small-v1` 2025-10-09 01:15:19 +03:00			`pylate>=1.0.0`
			`faiss-cpu>=1.7.4`
feat(search.py): change to txtai server, with ai model. And fix granian workers 2025-03-05 20:08:21 +00:00
feat: migrate to uv package manager - Add pyproject.toml with project configuration - Update requirements.txt and requirements.dev.txt with versions - Add .uv configuration file - Update .gitignore for uv - Update README with uv instructions - Configure hatchling build system - Add mypy configuration - Test uv sync and pytest integration 2025-08-12 13:12:39 +03:00			`# Type stubs`
			`types-requests>=2.31.0`
			`types-Authlib>=1.2.0`
publish-shout-fix 2025-08-21 12:16:30 +03:00			`types-orjson`
feat: migrate to uv package manager - Add pyproject.toml with project configuration - Update requirements.txt and requirements.dev.txt with versions - Add .uv configuration file - Update .gitignore for uv - Update README with uv instructions - Configure hatchling build system - Add mypy configuration - Test uv sync and pytest integration 2025-08-12 13:12:39 +03:00			`types-PyYAML>=6.0.0`
			`types-python-dateutil>=2.8.0`
			`types-redis>=4.6.0`
versions-fix 2025-08-20 20:54:58 +03:00			`types-PyJWT>=1.7.1`