Я прошу прщения, видимо что-то пропустил, что есть концепция гейткипинга?

Теперь пару слов о поиске информации. То что выдает гугл или яндекс уже можно считать манной небесной. Мне, как програмисту любителю, даже представить себе сложно какие алгоритмы они там используют. Но даже на своем уровне я понимаю что на данный момент невозможно построить поисковую систему отвечающую современным требованиям по нескольким причинам:
1) высокая стоимость и доступность машинного времени. (Имется ввиду не домашняя машина которая просто не справиться с теми запросами которые обрабатывают сервера поисковиков, а суперкомпьютеры о которых мы только читали в журналах)
2) Люди создающие что либо, в том числе и поисковики, в подавляющем большинстве своем, хотят заработать денег. По этому на первом месте всегда будет проплаченный линк а нет что вы ищете.

Lurk, гейткипинг (вкратце) - это сбор и агрегация информации со смыслом. Более подробно в моих художественных текстах ("Диспетчер атаки", "Конус тишины").

По сути - я не думаю, что поисковые системы решат вопрос. Софт, который сможет из заранее выбранных источников и по потребностям пользователя создавать структурированный текст - вот это была бы тема

Gatekeeper, Без ИИ тут не обойтись, а до него нам еще очень далеко. ))

А ставить человека на структуризацию информации для того, что бы машина могла эту информацию переваривать, дорого и медленно.

Смотря что иметь в виду под ИИ. Выстраивать логические связи между документами (или более широко - объектами) путем семантического анализа поверх лексического - можно. Хоть и трудоемко - как в плане алгоритмов, так и в плане затрат машинного времени.
А даже эти логические связи могут значительно помочь. С привлечением генетических алгоритмов и введением в цикл обработки человека можно добиться результатов (человек на промежуточных этапах анализа указывает программе, что правильно, а что поправить, таким образом обучая ее). Отсюда уже недалеко до синтеза новой информации на основе имеющейся - а это и есть ИИ в первом приближении.
Я понимаю, что это только звучит так просто и что если до сих пор в широком доступе нет ничего подобного, значит что-то мешает. Но я и не планирую в скором (обозримом) будущем выдать результаты. Как бы то не было, этим стоит заняться.

ABATAP, Вот как раз по пути домой думал об этом.

Сейчас существуют тематические форумы, сообщества и прочие места в сети где люди обмениваются информацией по определенным темам. И я уверяю, что в этих сетевых местах, можно найти ответ на любой вопрос, начиная от необходимого уровня кислотности почвы для выращивания грибов определенного вида в домашних условиях до температуры плавления одной сферической лошади в вакуме.

И вот такие ресурсы нужно для начала каталогизировать, после отобрать информацию представляющую ценность. А уже после скормить машине с хотя бы эвристическим анализатором. Который в свою очередь, с помошью человека, выстраивал бы эти самые логические связи.

И уже после этого можно было бы зхадавать аппарату самые мыслемые и не мыслемые вопросы.

Вы прям мои мысли читаете )
Собственно, у меня стоит первоначальная задача в создании системы именно для сообщества, к которому я отношусь. То есть отслеживать не весь интернет, а сайты/форумы/блоги именно своего сообщества.

ABATAP, Еще мыслишка)) Так на будущее))

Если у себя в базе агрегат не сможет найти ответа, что бы сам создавал топик в нужном форуме с вопросом)))

З.Ы. Можно на ты? ))

ABATAP, кстати неплохая идея насчет сообщества, как коллективного разума, но тут обязательно нужно решить проблему, которая связана с компетентностью того, кто дает совет. Читать инфу, в конце которой будет стоять жирное ИМХО... В любом случае софт, который сможет связывать фрагменты текста в читаемую структуру, которая не будет полной абракадаброй - над этим надо думать.

Lurk, человек, который структурирует информацию, будет дорого стоить? Это еще вопрос. В любом случае экономика этого дела может быть просчитана даже сейчас

Gatekeeper, такая информация - сдобренная "имхо" - тоже может помочь. Для построения профиля/истории мембера.

Gatekeeper, Если говорить о информации глобально то человек понадобится не один. Я к этому)))

ABATAP, может быть история ИМХО и полезна, но в таком случае для начала надо вводить проверку квалификации пользователя, дабы некачественная информация не попадала в массив. А в принципе согласен.

Lurk, да, не один. Но в любом случае я пока вижу, что связка "человек-компьютер" будет более эффективна чем ИИ, который сидит в компьютере. Глобально - должны появиться специализированные компании или сообщества людей, которые осуществляют фильтрацию и рекомбинирование информации под заказ.

Исходное сообщение Lurk
А ставить человека на структуризацию информации для того, что бы машина могла эту информацию переваривать, дорого и медленно.

Однако ставят, и местами достаточно успешно. Тот же раздел "Самое обсуждаемое в интернете" на http://blogs.yandex.ru/ -- в большинстве именно "ручками" и вбивается...

Шаннар, Совершенно не тот объем и характеристики. Посчитать циферки это одно, а отделить зерна от плевел в обсуждении статьи "Константин Лешан об экспериментах для демонстрации дырочной телепортации и левитации" совершенно другое))

Lurk, да, отфильтровать и структурировать новую информацию - это не просто. Но на мой взгляд (и я всегда это считал) - "кадры решают все". То есть человек в этом отношении всеж-таки будет являться ключевым звеном. А вот как раз чем он будет вбивать - ручками или нет - то это вопрос оптимизации алгоритма. Массу вещей можно автоматизировать, сэкономив время.

Gatekeeper, Без человека никак. Но человек без этих алгоритмов просто захлебнется в этом объеме информации

Lurk, только для того, чтобы эти алгоритмы разрабатывать нужны не только программеры, но и люди, которые смыслят, скажем так, в гуманитарных аспектах - семиотики, культурологи, лингвисты. Иначе все это опять превратиться в подсчет цифирок