-Подписка по e-mail

 

 -Поиск по дневнику

Поиск сообщений в profhce

 -Статистика

Статистика LiveInternet.ru: показано количество хитов и посетителей
Создан: 10.06.2007
Записей:
Комментариев:
Написано: 178


Какой вопрос - такой ответ

Вторник, 07 Августа 2007 г. 18:33 + в цитатник
Продолжимте взвешивать блоги. Допустим индекс мы построили, настроили и  обновляем.
/Заметка: инженерные вопросы индексирования масивов текста размером с LiRu в разрезе автор.пост/комент обсудим на следующем этапе, буде интерес. Пока отсылаю заинтересованных к источнику /

Как  жеж теперь спросить  (сформулировать запрос) ? Обычные методы запроса к поисковикам не меняются с прошлого века -  вводим строку  на выходе получаем список документов отсортированных  по  "ценности " (релевантности).  Дополнительные возможности могут быть такими:
  • запрос по всем словам в строке, по нескольким , по точному совпадению , за исключением определённых слов;
  • ограничение области поиска (всякие разные, для поиска по блогам отобор по автору, в случае патентов - по заявителю и т.д.);
  • в некоторых системах реализван режим поиска по синонимам (~ для Google);
  • ещё много всяких  фишек.
Среди них есть полезная "мелочь", которой редко пользуются, найти страницы " похожие"  на заданную (related: для Google). Чем-то похожим (по идее) предлагается пользоваться для поиска  авторов  подходящих блогов.  На мой взгляд, самый простой и удобный способ спросить (отобрать) - это запрос типа - выбрать (сколько то) авторов, похожих (не лицом, вестимо а текстом) на этого. Или по другому - выбрать авторов, чей текст похож на следующий фрагмент (прилагается). А уж как выбрали, можем их сортировать (по звёздочкам, числу ПЧ, возрасту и росту).

Звучит (пока) не страшно. Вопрос как сравнить массивы текста? - определённо как-то можно, Google же сравнивает.  Кроме того, есть такая интересная задачка, как определение авторства .  Занимаются ею давно и лингвисты (с математиками)  накопали, наверное,  полезной математики сравнения. Чтобы не быть голословным (а даже если и вдруг..проекты то завиральные) - отсылаю заинтересованных к источнику Лингвоанализатор и всему, что найдется по ссылкам.  К  сожалению, автор методики и программы (доступной в исходниках!) умер  в 04.  И даже если вычисление относительной энтропии текстов вам не понравится - там есть ещё много чего другого.
Рубрики:  Как измерить блог
Метки:  

Lurk   обратиться по имени Пятница, 24 Августа 2007 г. 22:05 (ссылка)
Огромное спасибо за "Лингвоанализатор", штудирую)))

Есть кое-какие спорные вопросы, например что брать, по отношению к блогу, за эталон? Ведь в блоге могут быть как свои собственные тексты блогера, так и цитаты из любых других источников.
Ответить С цитатой В цитатник
profhce   обратиться по имени Суббота, 25 Августа 2007 г. 23:18 (ссылка)
Lurk, Нэма за що, но штудировать надо, скорее пару специализированных статей Хмелёва, а лучше просто исходники (хороший алгоритмист ..был, это я как краевед заявляю). Они легко находятся, но могу дать прямой линк.

Алгоритмы "антиплагиата" - проще и ..традиционнее, что ли. Пиара по ним больше чем математики, но тоже можно глянуть. Что касаемо цитат - без проблем - если кто кого цитирует, это всё равно определяет автора (сообщения с цитатой в этом случае). Важно построить способ кормить индекс не краулером (пробовал - нудно разбирать структуру страницы)- а прямо RSS-ом (а лучше -ATOM-ом - в нём просто есть поле "author". Ну и понятно, если договориться с Valez-ом, то накормить индекс через DTS (или как это в MySQL называется) можно без проблем.

Удач!
Ответить С цитатой В цитатник
BlogRider   обратиться по имени Понедельник, 27 Августа 2007 г. 00:05 (ссылка)
profhce, Если дашь линк буду очч признателен, т.к. сейчас присутствует полное отсутствие свободного времени.

В данный момент пристально изучаю русский язык, как это ни странно звучит. Может к концу недели, хотя я сомневаюсь, будут результаты. В любом случае если из моей идеи что-то выгорит озвучу.

Краулер - неизвестное для меня слово, но как я понял это имелось ввиду "парсить хтмл". Совершенно неблагодарное занятие. Исписав кучу кода плюнул и спокойно работаю с RSS, в котором есть вся инфа которая мне нужна. Правда база растет не по дням, а по часам но этого стоило ожидать.

Блог хостингов море и ограничиваться одним лиру не стоит. Договорившись с Валей всего этого моря не выпить, а потому писать программы нужно под стандартные протоколы которые работают и применяются везде.

Хотя договорившись с одним "начальником", с другим уже будет куда проще. )))
Ответить С цитатой В цитатник
Lurk   обратиться по имени Понедельник, 27 Августа 2007 г. 00:07 (ссылка)
Черт. Спалился раньше времени.
Ответить С цитатой В цитатник
profhce   обратиться по имени Понедельник, 27 Августа 2007 г. 19:57 (ссылка)
Lurk, Линк - прошу пожалуйста: http://www.math.toronto.edu/dkhmelev/PROGS/tacu/index-rus.html

Краулер, он же спайдер понятно что делает. Как правило, ему можно сказать: "..здесь читать, здесь не читать, здесь рыбу заворачивали". Но хлопотно.
Про море и Валю (выпивали вместе?) - согласен, но ему может оказаться интересно - что бы отличиться (от других), вам - чтобы проверить(методу) /показать(результаты). А уж если будет что показать, договариваться будут уже с вами.
Ответить С цитатой В цитатник
Lurk   обратиться по имени Вторник, 28 Августа 2007 г. 13:30 (ссылка)
profhce, За линк огромное спасибо.

Про Валю - было дело)) Как только будет, что показать обязательно пойдем и к Вале и еще к кому-нибудь))
Ответить С цитатой В цитатник
Комментировать К дневнику Страницы: [1] [Новые]
 

Добавить комментарий:
Текст комментария: смайлики

Проверка орфографии: (найти ошибки)

Прикрепить картинку:

 Переводить URL в ссылку
 Подписаться на комментарии
 Подписать картинку