Всем привет!

Добавил функционала в свой информационный хаб — сайт interpreter.ru, который находит и переводит новости по интересующим меня темам. Первоначально сайт просматривал по порядку все ленты и при обнаружении новой статьи проверял её на дубликат, то есть, сравнивал с теми статьями, которые скачивались ранее. Если статья оригинальная, то ей присваивался по определенным критериям рейтинг, который сигналит, насколько информация глобально важная и интересная. Далее статьи с высоким рейтингом переписываются на русском языке и распределяются по другим моим сайтам. Качественный контент генерирует лиды. Трафик лишним не бывает. Если уж я насобирал что-то для себя, пожалуйста, читайте все, кому это ещё может быть интересно.

Какие проблемы удалось порешать за последнее время?

Во-первых, многие интересные ленты отказываются выдавать контент российским IP-адресам. Также нашими российскими провайдерами жестко фильтруется трафик практически со всех западных хостингов. Вы получаете с совершенно случайных и не заблокированных официально у нас иностранных сайтов только первые 16-20 Кб данных, после чего соединение обрывается. Масштаб этого явления меня поразил. На слуху у нас что? Ограничили Телеграм, Instagram, да YouTube, а по факту оказывается, что мы уже напрочь самоизолировались от всего остального мира. Короче говоря, поднял прокси во Франкфурте и обошёл ограничения и с нашей стороны, и со стороны зарубежных сервисов. А раз уж мои сайты получили доступ, то и лично пользуюсь. Почему я раньше использовал стрёмные VPN-сервисы, которые ещё и работают через раз? Давно надо был свой поднять. 

Что еще сделано? Оптимизировал нагрузку на сервер. В разных новостных лентах новые статьи появляются с разной периодичностью. На каких-то специализированных сайтах они идут потоком, иногда несколько десятков в день. На других сайтах они появляются раз в неделю или раз в месяц. Соответственно, на таких сайтах нет смысла проверять наличие новых статей каждый час. Когда источников несколько десятков или сотен, они должны опрашиваться в соответствии с ожидаемой периодичностью. Вот я и реализовал адаптивную периодичность. Источники с высокой скоростью обновления проверяются часто, и интервал уменьшается. Для источников с низкой скоростью обновления интервал увеличивается, но рост интервала ограничен неделей даже если новости выходят ещё реже. При изменении скорости выдачи новостей каким-то источником интервал автоматически подстраивается под новый режим.

В-третьих, ленты имеют разный формат, поэтому пришлось через настраиваемый конфиг реализовать «дообогащение» контента, когда невозможно сразу получить весь текст статьи или графику к ней. «Дообогащение» позволяет специфичными запросами получить контент в полном объёме.

Сервис ещё далёк от идеала, но уже весьма прилично выполняет главную задачу — мониторинг ключевых событий по определенной тематике. Доводка может занять ещё какое-то время, но будет уже нерегулярной, поскольку не осталось каких-то критически важных функций, которые следовало бы реализовать обязательно.

Между тем зреет следующий проект. Думаю, это будет какой-то сайт-интегратор, который сможет принимать запросы на естественном языке. Регистрация — через диалог с ИИ, напоминание паролей и двухфакторная авторизация — через ИИ, переключение между моделями — через ИИ, размещение товаров — через ИИ, какой-то функционал «умного дома» - через ИИ, сбор запросов о потребностях пользователей, планирование развития, сбор-анализ-модерация комментариев — тоже через ИИ. В общем, должен получиться какой-то универсальный фреймворк для любых нужд с возможностью подключения любых сайтов через API. Идея в том, чтоб можно было по-простому создавать мощных и универсальных ИИ-агентов для любых сайтов и личных нужд без зависимости от какой-то конкретной нейросети или экосистемы. Наоборот, с подключением любой нейросети и практически любого нового функционала по определенным правилам с учётом безопасности и аутентификации. Универсальная обёртка для всех доступных нейросетей. Кстати, и домен подходящий есть — просто framework.ru. Кто желает поучаствовать в проекте и как-то скооперироваться — пишите.

Пока-пока!