3559 Commits

This Branch

This Branch

All Branches

Author	SHA1	Message	Date
Untone	3c40bbde2b	0.9.29] - 2025-10-08 ... ### 🎯 Search Quality Upgrade: ColBERT + Native MUVERA + FAISS - **🚀 +175% Recall**: Интегрирован ColBERT через pylate с НАТИВНЫМ MUVERA multi-vector retrieval - **🎯 TRUE MaxSim**: Настоящий token-level MaxSim scoring, а не упрощенный max pooling - **🗜️ Native Multi-Vector FDE**: Каждый токен encode_fde отдельно → список FDE векторов - **🚀 FAISS Acceleration**: Двухэтапный поиск O(log N) для масштабирования >10K документов - **🎯 Dual Architecture**: Поддержка BiEncoder (быстрый) и ColBERT (качественный) через `SEARCH_MODEL_TYPE` - **⚡ Faster Indexing**: ColBERT индексация ~12s vs BiEncoder ~26s на бенчмарке - **📊 Better Results**: Recall@10 улучшен с 0.16 до 0.44 (+175%) ### 🛠️ Technical Changes - **requirements.txt**: Добавлены `pylate>=1.0.0` и `faiss-cpu>=1.7.4` - **services/search.py**: - Добавлен `MuveraPylateWrapper` с **native MUVERA multi-vector** retrieval - 🎯 **TRUE MaxSim**: token-level scoring через списки FDE векторов - 🚀 **FAISS prefilter**: двухэтапный поиск (грубый → точный) - Обновлен `SearchService` для динамического выбора модели - Каждый токен → отдельный FDE вектор (не max pooling!) - **settings.py**: - `SEARCH_MODEL_TYPE` - выбор модели (default: "colbert") - `SEARCH_USE_FAISS` - включить FAISS (default: true) - `SEARCH_FAISS_CANDIDATES` - количество кандидатов (default: 1000) ### 📚 Documentation - **docs/search-system.md**: Полностью обновлена документация - Сравнение BiEncoder vs ColBERT с бенчмарками - 🚀 **Секция про FAISS**: когда включать, архитектура, производительность - Руководство по выбору модели для разных сценариев - 🎯 **Детальное описание native MUVERA multi-vector**: каждый токен → FDE - TRUE MaxSim scoring алгоритм с примерами кода - Двухэтапный поиск: FAISS prefilter → MaxSim rerank - 🤖 Предупреждение о проблеме дистилляционных моделей (pylate#142) ### ⚙️ Configuration ```bash # Включить ColBERT (рекомендуется для production) SEARCH_MODEL_TYPE=colbert # 🚀 FAISS acceleration (обязательно для >10K документов) SEARCH_USE_FAISS=true # default: true SEARCH_FAISS_CANDIDATES=1000 # default: 1000 # Fallback к BiEncoder (быстрее, но -62% recall) SEARCH_MODEL_TYPE=biencoder ``` ### 🎯 Impact - ✅ **Качество поиска**: +175% recall на бенчмарке NanoFiQA2018 - ✅ **TRUE ColBERT**: Native multi-vector без упрощений (max pooling) - ✅ **MUVERA правильно**: Используется по назначению для multi-vector retrieval - ✅ **Масштабируемость**: FAISS prefilter → O(log N) вместо O(N) - ✅ **Готовность к росту**: Архитектура выдержит >50K документов - ✅ **Индексация**: Быстрее на ~54% (12s vs 26s) - ⚠️ **Latency**: С FAISS остается приемлемой даже на больших индексах - ✅ **Backward Compatible**: BiEncoder + отключение FAISS через env ### 🔗 References - GitHub PR: https://github.com/sionic-ai/muvera-py/pull/1 - pylate issue: https://github.com/lightonai/pylate/issues/142 - Model: `answerdotai/answerai-colbert-small-v1`	2025-10-09 01:15:19 +03:00
Untone	1e9a6a07c1	docs	2025-09-29 17:57:45 +03:00
Untone	9b284852e9	oath2.0	2025-09-29 16:33:49 +03:00
Untone	504152981b	admin-auth	2025-09-29 16:08:58 +03:00
Untone	f2398d3592	protected-route-fix	2025-09-29 15:54:22 +03:00
Untone	8e944e399a	oauth-fix	2025-09-29 13:59:49 +03:00
Untone	f10c29c9ca	logfix	2025-09-29 12:51:04 +03:00
Untone	b4b41fde08	oauth-fixing	2025-09-29 08:53:39 +03:00
Untone	327135c09b	cleaner-log4	2025-09-29 08:15:15 +03:00
Untone	a0ab20f276	cleaner-log3	2025-09-29 01:00:18 +03:00
Untone	d7e50c6e31	cleaner-log2	2025-09-29 00:46:54 +03:00
Untone	d57e59f98b	cleaner-log	2025-09-29 00:40:10 +03:00
Untone	6496bee531	fetch-profile	2025-09-29 00:27:16 +03:00
Untone	147e227fa0	oauth-google	2025-09-28 20:53:42 +03:00
Untone	c338bdc683	oauth-github	2025-09-28 20:52:17 +03:00
Untone	44b69dc743	oauth-raw-req-control	2025-09-28 20:45:08 +03:00
Untone	9b727ac9ca	oauth-fix	2025-09-28 20:34:26 +03:00
Untone	d1e35dd8b1	oauth-redirect-uri-fix	2025-09-28 20:04:52 +03:00
Untone	dcdb6c7b30	lesslogs2	2025-09-28 17:36:04 +03:00
Untone	af0f3e3dea	lesslogs	2025-09-28 17:26:23 +03:00
Untone	752e2dcbdc	[0.9.28] - 2025-09-28 ... ### 🍪 CRITICAL Cross-Origin Auth - **🔧 SESSION_COOKIE_DOMAIN**: Добавлена поддержка поддоменов `.discours.io` для cross-origin cookies - **🌐 Cross-Origin SSE**: Исправлена работа Server-Sent Events с httpOnly cookies между поддоменами - **🔐 Unified Auth**: Унифицированы настройки cookies для OAuth, login, refresh, logout операций - **📝 MyPy Compliance**: Исправлена типизация `SESSION_COOKIE_SAMESITE` с использованием `cast()` ### 🛠️ Technical Changes - **settings.py**: Добавлен `SESSION_COOKIE_DOMAIN` с типобезопасной настройкой SameSite - **auth/oauth.py**: Обновлены все `set_cookie` вызовы с `domain` параметром - **auth/middleware.py**: Добавлена поддержка `SESSION_COOKIE_DOMAIN` в logout операциях - **resolvers/auth.py**: Унифицированы cookie настройки в login/refresh/logout resolvers - **auth/__init__.py**: Обновлены cookie операции с domain поддержкой ### 📚 Documentation - **docs/auth/sse-httponly-integration.md**: Новая документация по SSE + httpOnly cookies интеграции - **docs/auth/architecture.md**: Обновлены диаграммы для unified httpOnly cookie архитектуры ### 🎯 Impact - ✅ **GraphQL API** (`v3.discours.io`) теперь работает с httpOnly cookies cross-origin - ✅ **SSE сервер** (`connect.discours.io`) работает с теми же cookies - ✅ **Безопасность**: httpOnly cookies защищают от XSS атак - ✅ **UX**: Автоматическая аутентификация без управления токенами в JavaScript	2025-09-28 13:06:03 +03:00
Untone	fb98a1c6c8	[0.9.28] - OAuth/Auth with httpOnly cookie	2025-09-28 12:22:37 +03:00
Untone	6451ba7de5	cookie-fix	2025-09-27 20:37:19 +03:00
Untone	ee82a8f684	cookie-debug2	2025-09-27 20:25:30 +03:00
Untone	c46b30a671	cookie-debug	2025-09-27 20:17:00 +03:00
Untone	19e0092a83	cilog	2025-09-27 13:59:40 +03:00
Untone	bd54d900aa	separate-codegen-fix2	2025-09-27 13:56:10 +03:00
Untone	eab0ba7b42	separate-codegen-fix	2025-09-27 13:53:00 +03:00
Untone	a2cca6f189	..	2025-09-27 13:51:15 +03:00
Untone	2ac983d81e	nodiag	2025-09-27 13:47:26 +03:00
Untone	e0e3e39d55	codegen-2addr	2025-09-27 13:30:47 +03:00
Untone	853ed77083	ci-diagnostic	2025-09-27 13:28:51 +03:00
Untone	03626ec20d	panelfix	2025-09-27 13:20:56 +03:00
Untone	97cb0f999c	panel-install-fix	2025-09-27 13:08:57 +03:00
Untone	0f6cc61286	mypyfix	2025-09-27 12:31:53 +03:00
Untone	ee799120f6	fmt	2025-09-26 21:13:23 +03:00
Untone	05c188df62	[0.9.29] - 2025-09-26 ... ### 🚨 CRITICAL Security Fixes - **🔒 Open Redirect Protection**: Добавлена строгая валидация redirect_uri против whitelist доменов - **🔒 Rate Limiting**: Защита OAuth endpoints от брутфорса (10 попыток за 5 минут на IP) - **🔒 Logout Endpoint**: Критически важный endpoint для безопасного отзыва httpOnly cookies - **🔒 Provider Validation**: Усиленная валидация OAuth провайдеров с логированием атак - **🚨 GlitchTip Alerts**: Автоматические алерты безопасности в GlitchTip при критических событиях ### 🛡️ Security Modules - **auth/oauth_security.py**: Модуль безопасности OAuth с валидацией и rate limiting + GlitchTip алерты - **auth/logout.py**: Безопасный logout с поддержкой JSON API и browser redirect - **tests/test_oauth_security.py**: Комплексные тесты безопасности (11 тестов) - **tests/test_oauth_glitchtip_alerts.py**: Тесты интеграции с GlitchTip (8 тестов) ### 🔧 OAuth Improvements - **Minimal Flow**: Упрощен до минимума - только httpOnly cookie, нет JWT в URL - **Simple Logic**: Нет error параметра = успех, максимальная простота - **DRY Refactoring**: Устранено дублирование кода в logout и валидации ### 🎯 OAuth Endpoints - **Старт**: `v3.dscrs.site/oauth/{provider}` - с rate limiting и валидацией - **Callback**: `v3.dscrs.site/oauth/{provider}/callback` - безопасный redirect_uri - **Logout**: `v3.dscrs.site/auth/logout` - отзыв httpOnly cookies - **Финализация**: `testing.discours.io/oauth?redirect_url=...` - минимальная схема ### 📊 Security Test Coverage - ✅ Open redirect attack prevention - ✅ Rate limiting protection - ✅ Provider validation - ✅ Safe fallback mechanisms - ✅ Cookie security (httpOnly + Secure + SameSite) - ✅ GlitchTip integration (8 тестов алертов) ### 📝 Documentation - Создан `docs/oauth-minimal-flow.md` - полное описание минимального flow - Обновлена документация OAuth в `docs/auth/oauth.md` - Добавлены security best practices	2025-09-26 21:03:45 +03:00
Untone	ac0111cdb9	tests-upgrade	2025-09-25 09:40:12 +03:00
Untone	1992434a13	npmfix	2025-09-25 08:52:55 +03:00
Untone	34738ae611	[0.9.25] - 2025-01-25 ... ### Added - 🔍 **OAuth Detailed Logging**: Добавлено пошаговое логирование OAuth callback для диагностики ошибок `auth_failed` - 🧪 **OAuth Diagnostic Tools**: Создан `oauth_debug.py` для анализа OAuth callback параметров и диагностики проблем - 📊 **OAuth Test Helper**: Добавлен `oauth_test_helper.py` для создания тестовых состояний OAuth в Redis - 🔧 **OAuth Provider Detection**: Автоматическое определение OAuth провайдера по формату authorization code ### Fixed - 🚨 **OAuth Callback Error Handling**: Улучшена обработка исключений в OAuth callback с детальным логированием каждого шага - 🔍 **OAuth Exception Tracking**: Добавлено логирование исключений на каждом этапе: token exchange, profile fetch, user creation, session creation - 📋 **OAuth Error Diagnosis**: Реализована система диагностики для выявления точной причины `error=auth_failed` редиректов ### Changed - 🔧 **OAuth Callback Flow**: Разделен OAuth callback на логические шаги с индивидуальным error handling - 📝 **OAuth Error Messages**: Улучшены сообщения об ошибках для более точной диагностики проблем	2025-09-25 08:48:36 +03:00
Untone	2ce8a5b957	🔧 Add detailed OAuth callback logging for debugging auth_failed errors	2025-09-25 07:54:00 +03:00
Untone	5d0ad2a2e3	oauth-fix3	2025-09-24 23:11:01 +03:00
Untone	77513080c7	oauth-fix2	2025-09-24 19:39:50 +03:00
Untone	c9b6c77658	oauth-fix2	2025-09-24 19:30:06 +03:00
Untone	12023d9eda	oauth-fix	2025-09-24 13:35:49 +03:00
Untone	26f28aa35e	[0.9.23] - 2025-09-23 ... ### Fixed - 🔧 **OAuth Callback URL**: Исправлено формирование callback URL - добавлен отсутствующий слеш между доменом и путем - 🔒 **OAuth HTTPS**: Принудительное использование HTTPS для callback URL в продакшне (исправляет ошибку "redirect_uri is not associated") ### Changed - 🔄 **OAuth Routes**: Возвращены к стандартному формату `/oauth/{provider}` - провайдеры не передают параметр provider в callback	2025-09-24 09:33:02 +03:00
Untone	d19e753e96	oauth-redirect-fix	2025-09-24 08:18:44 +03:00
Untone	8104454d68	slash-oauth-fix	2025-09-23 22:07:06 +03:00
Untone	9d4e24732e	oauth-instruct	2025-09-23 21:34:48 +03:00
Untone	c1a7902937	nopkce	2025-09-23 21:22:47 +03:00