Поиск по дневнику

[Харта]

Когда-то в diary был чудесный поисковик. Позволяющий найти всё, что угодно в любом активном дневнике по фразе или слову. Работал на пятёрочку. Вношу предложение восстановить тот или сделать какой-нибудь другой, но рабочий. Сейчас приходится вводить фразу в Гугле, уточнять ник автора и адрес diary.ru

Понимаю, что это сложно, и на быстроте реализации не настаиваю. Но сервисом пользовались и будут пользоваться, если вернуть.

Comments

[Hokori]

Это очень важно и предельно срочно, потому что без поисковика индексация у дайри около нуля, а новые пользователи ничего найти не могут и не задерживаются!

[Харта]

Hokori, согласна. У меня есть несколько предложений ещё по привлечению новых пользователей. но не знаю, куда б их изложить... Таки свежая кровь для жизни Дайри нужна.

[Hokori]

Харта, очень нужна, без новичков мы загнемся
Я думаю, админам предложить. Рекламой, а значит и привлечением пользователей, вроде бы  Lesya занимается. Или  quirischa и  ArLe написать. Не знаю как лучше

[Paula]

да, вот это вообще первое, что надо сделать!
и еще что-то сделать с индексацией в поисковиках, чтобы дайри были видны(

[Bystander]

Хотелось бы не просто поиск по открытым для всех дневникам, а такой, который искал бы по всем дневникам и сообществам, открытым для конкретного пользователя (в том числе и 18+). А то зайти куда-то можно, а найти ничего нельзя.

[Ver/o/nika]

В дайри-спирите писали, что поиск был от Яндекса, и яндекс прикрыл лавочку.
По сути, нам нужен программист, который напишет новый поиск с нуля на движке сайта.
Есть у кого знакомые альтруисты?

[gluker]

если взять только записи то это 120Гб текста в более 100млн строк искать в таком объеме весьма непросто, поиск это специализированный сервис на который нужно слишком много ресурсов, которых у нас просто нет, потому выполняется он сторонними сервисами, которые мы контролировать не можем. У того же яндекса основной поиск и поиск по блогам разные вещи и если основной поиск они поддерживают и развивают то поиск по блогам работает так как было описано ранее, потому почти единственный способ это перенаправление на обычный поиск гугла или яндекса, быть может с заполнением каких-то параметров. вообщем все не просто и поиски программистов не помогут.

[Bystander]

Помимо яндекса с гуглом, есть еще варианты - Lucene, Elasticsearch и т.д. Необязательно свой поиск с нуля писать. Можно еще как-то подумать, как уменьшить нагрузку (по датам, например, или по своему избранному).

[Sai_desu]

Извиняюсь, если немного не в тему, но было бы хорошо, если бы невидимость для поисковых систем не отключала возможность использовать поиск в своём собственном дневнике. Потому что найти что-то у себя бывает нужно, а отключать запрет для внешних поисковиков не хотелось бы.

[May_Day]

мне в крупных сообществах и в собственном дневе всегда не хватает поиска (не работает)

[Hokori]

Sai_desu, на данный момент у дайри поисковик от яндекса, он внешний. И яндексом порезанный и заброшенный n лет назад, потому и не пашет
Если делать поиск при закрытии от индексации внешней, то поиск должен быть внутренний, иначе ничего не выйдет. Где-то, я уже не найду где, сведущие люди писали, что это дорого и сложно

[Sai_desu]

Hokori, спасибо, я, в общем-то, так и думал. Но вдруг...

[Spring_girl10]

Очень нужная штука! Лично мне её больше всего не хватает на diary. Особенно поиск по сообществу. Когда точно знаешь, что об этом писали а не найти. Пользователи очень по разному расставляет теги и даже по тегам бывает искать очень долго. Или вообще не ставят теги когда пишут с телефона...

[fire-dragon]

если взять только записи то это 120Гб текста в более 100млн строк искать в таком объеме весьма непросто, поиск это специализированный сервис на который нужно слишком много ресурсов, которых у нас просто нет, потому выполняется он сторонними сервисами, которые мы контролировать не можем. У того же яндекса основной поиск и поиск по блогам разные вещи и если основной поиск они поддерживают и развивают то поиск по блогам работает так как было описано ранее, потому почти единственный способ это перенаправление на обычный поиск гугла или яндекса, быть может с заполнением каких-то параметров. вообщем все не просто и поиски программистов не помогут.



gluker, Положим что в русском 40 000 слов, это предположение сразу уменьшит приведенную вами сумму в 40 000 раз, к величине 3 мб. Само же ядро будет занимать 100 - 200 мб.

В общем это смешная нагрузка для сервера.

[pickaboo]

fire-dragon, а продублируйте, пожалуйста, здесь ваше предложение по поводу Sphinx search engine.

[pickaboo]

fire-dragon, или, может, даже лучше вынести его в текст вашего поста.

[fire-dragon]

Пишет  fire-dragon:

06.11.2017 в 23:15

В общем то перешли на личности. В ходе разговора были высказаны несколько предположений сколько стоит содержать сервера дневников и как это возможно все оптимизировать.

Если кратко то заменить винты на ссд, шардировать данные и держать оперативный резерв постов в памяти сервера, после уже считывать с диска, когда уже "протухли".







А по поводу поиска порекомендую Sphinx. Собственно обзорная статья по некоторым поисковым движкам. habrahabr.ru/post/30594/

Sphinx search engine

«Тип: отдельный сервер, MySQL storage engine
Платформа: С++/кросс-платформенный
Индекс: монолитный + дельта-индекс, возможность распределённого поиска
Поисковые возможности: булевый поиск, поиск по фразам и т.п. с возможностью группировки, ранжирования и сортировки результата
API и протоколы: SQL DB (а также встроенная поддержка MySQL и PostgreSQL), собственный XML-интерфейс, встроенные API для РНР, Ruby, Python, Java, Perl
Поддержка языков: встроенный английский и русский стемминг, soundex для реализации морфологии
Дополнительные поля: да, неограниченное количество
Типы документов: только текст или собственные XML-формат
Размер индекса и скорость поиска: очень быстрый, индексация около 10 Мб/сек (зависит от CPU), поиск около 0.1 сек/~2 — 4 Гб индексе, поддерживает размеры индекса в сотни Гб и сотни миллионов документов (это если не использовать кластеризацию), однако есть примеры работ на терабайтных базах данных.
Лицензия: open source, GPL 2 или коммерческая.
URL: sphinxsearch.com»

URL комментария

[pickaboo]

fire-dragon, спасибо!

[Вла]

Яндексный поиск стал очень отстойным по причине ограничения в месяц. Хорошо, если новый поиск будет искать посты за всё время, как это было раньше, и как это делает Гугл.

[[Bran&D]]

Очень нужно!!
Невозможно что либо найти на сайте. приходится выкручиваться

[Alexandera]

Очень нужно! Раньше легко было найти людей увлекающихся теми же группами, актерами, книгами просто по поиске и легко найти пост в сообществе по ключевым словам. Очень не хватает этой функции.

[Рез]

Это не срочно, но важно.
Крайне интенсивно по ресурсам (скорее всего из-за этого и отказались), но всё же должно быть бесплатным, так как базовая функция для подобного ресурса.

[пышпыш]

Очень прошу сделать поиск по дайрикам. Тут такой кладезь опыта и знаний, а найти и применить невозможно.

[Keeley A]

Поиск очень нужен! Вспоминая себя, будучи еще новичком, пользовалась им постоянно, да и сейчас, пусть и определилась более менее с предпочтениями, но тоже временами очень не хватает поисковика. Банально в своем дневнике найти какое-то старье.

[fire-dragon]

если руками то в гугле можно примерно так

site:m.diary.ru <что нам нужно найти>

site:m.diary.ru/~user <что нам нужно найти в дневнике пользователя>

[fire-dragon]

если руками то в гугле можно примерно так

site:m.diary.ru <что нам нужно найти>

site:m.diary.ru/~user <что нам нужно найти в дневнике пользователя>