«Профессиональный поиск в Интернете»

Алексей Кутовенко Профессиональный поиск в Интернете

Введение

Интернет-поиск – важный элемент работы в Сети. Точное количество веб-ресурсов современного интернета вряд ли кому-либо точно известно. В любом случае, счет идет на миллиарды. Для того чтобы можно было использовать информацию, необходимую в данный конкретный момент, не важно, в рабочих или развлекательных целях, сначала нужно ее найти в этом постоянно пополняемом океане ресурсов. Это совсем не простая задача, поскольку информация в современной Сети не структурирована, что создает проблемы ее нахождения. Не случайно своеобразными «окнами» в это информационное пространство стали именно интернет-поисковики.

Вряд ли среди интернет-пользователей найдутся люди, никогда не использовавшие крупные универсальные поисковые машины. Названия Google, Яндекс и пары-тройки других больших машин на слуху у всех. Они замечательно справляются с повседневными задачами интернет-поиска, и зачастую пользователи даже не пытаются искать им замену. В то же время количество поисковых интернет-машин в наше время исчисляется тысячами. Причины такого разнообразия альтернативных машин имеют различные корни. Одни проекты пытаются напрямую конкурировать с лидерами глобального рынка за счет тщательной работы с национальными интернет-ресурсами. Другие предлагают возможности составления запроса, отсутствующие у известных поисковиков. Значительное количество альтернативных машин специализируются на поиске по определенной тематической области или определенному типу контента, достигая в решении этих задач впечатляющих результатов. Как бы то ни было, включение таких поисковиков в собственный пользовательский арсенал средств интернет-поиска может заметно повысить его качество. Здесь, правда, существует один нюанс: надо знать о таких машинах и уметь пользоваться их возможностями.

Предполагаем, что читатели данной книги уже достаточно хорошо знакомы с техникой поиска с помощью универсальных поисковиков. Хорошо настолько, что почувствовали ограничения, связанные с их применением. Скорее всего, такие люди уже пробовали искать и применять те или иные дополнительные инструменты. Печатное слово не обходит стороной тему интернет-поиска: и статьи периодически появляются, и книги выходят. Вот только герои у них, как правило, одни и те же – несколько ведущих универсальных поисковиков. Наша книга отличается тем, что в ней делается попытка охватить весь спектр современных поисковых решений. Здесь вы найдете описания и рекомендации по использованию лучших современных сервисов, ориентированных на решение наиболее распространенных поисковых задач. Эта книга для людей, много работающих в интернете и использующих Сеть для поиска нужной информации – будь то бизнес, учеба или хобби.

Для того чтобы интернет-поиск был успешным, должны быть выполнены два условия: запросы должны быть хорошо сформулированы и задавать их нужно в подходящих местах. Другими словами, от пользователя требуется, с одной стороны, умение переводить свои поисковые интересы на язык поискового запроса, а с другой – хорошее знание поисковых систем, доступных инструментов поиска, их достоинств и недостатков, что позволит выбирать в каждом конкретном случае наиболее подходящие средства поиска.

В настоящее время не существует какого-либо одного ресурса, удовлетворяющего всем требованиям к интернет-поиску. Поэтому при серьезном подходе к поиску неизбежно приходится задействовать разные инструменты, используя каждый в наиболее подходящем случае.

Доступных средств поиска немало. Их можно объединить в несколько групп, каждая из которых обладает определенными достоинствами и недостатками. Главы нашей книги посвящены основным группам современных поисковых интернет-систем.

Глава 1, «Универсальные интернет-поисковики», посвящена крупным универсальным системам поиска информации в Сети. Основной акцент делается на их наиболее современных инструментах, которые обычно выпадают из поля зрения широкой публики. Обзор возможностей известных машин дает нам своеобразную точку отсчета и позволяет четко представить сферу применения альтернативных поисковых решений.

Глава 2, «Вертикальный поиск», рассказывает о системах, специализирующихся на определенных тематических областях или же определенных видах контента.

В главе 3, «Метапоиск», рассмотрены метапоисковые системы, способные отправить запрос одновременно на несколько интернет-поисковиков, а затем собрать и обработать полученные результаты в едином интерфейсе.

Глава 4, «Семантические и визуальные интернет-поисковики», представляет собой обзор экспериментальных систем, предлагающих оригинальные пользовательские интерфейсы, а также интересные подходы к обработке запросов.

В главе 5, «Рекомендательные машины», рассказывается о недавно появившихся поисковых сервисах, по-английски метко названных «Discovery Engines», то есть «машины открытий». С их помощью можно обрабатывать ряд запросов, которые «не по зубам» другим видам интернет-поисковиков.

Если вам не подходит ни один готовый продукт, вы можете создать собственный интернет-поисковик. Созданию таких персональных машин посвящена глава 6, «Персональные поисковики».

Несколько глав нашей книги посвящены поиску различных видов сетевого контента. В главе 7, «Поиск изображений», рассказывается о современных тенденциях интернет-поиска изображений, а также о возможностях соответствующих экспериментальных систем. Глава 8, «Поиск видео», предлагает обзор средств видеопоиска ведущих универсальных интернет-поисковиков, а также лучших специализированных систем этого направления.

Глава 9, «Поиск «скрытого» контента», является обзором систем, позволяющих вести поиск контента, который «не видят» универсальные поисковики. К такому «скрытому» контенту относятся, например, торренты или файлы, размещенные на FTP-серверах и файловых хостингах.

Глава 10, «Поиск для Web 3.0», рассказывает о средствах интернет-поиска данных в форматах «семантического веба».

Поиск не заканчивается простым получением результатов с того или иного поисковика. Инструментам обработки и сохранения результатов посвящена последняя глава нашей книги – глава 11, «Программы-помощники».

Прежде чем начинать рассказ о конкретных продуктах, имеет смысл разобраться с классификацией современных средств интернет-поиска, а также определиться с терминами, которые постоянно встречаются на страницах нашей книги.

Основные средства интернет-поиска можно разделить на следующие основные группы:

• поисковые машины;

• веб-каталоги;

• справочные ресурсы;

• локальные программы для поиска в интернете.

Наиболее популярным средством поиска являются поисковые машины – так называемые интернет-поисковики (Search Engines). Тройка лидеров в общемировом масштабе достаточно стабильна – это Google, Yahoo! и Bing. Во многих странах к этому перечню добавляются собственные локальные поисковики, оптимизированные для работы с местным контентом. С их помощью теоретически можно найти любое конкретное слово на страницах многих миллионов сайтов.

Несмотря на многие различия, все интернет-поисковики работают по схожим принципам и с технической точки зрения состоят из похожих подсистем.

Первая структурная часть поисковика – специальные программы, применяемые для автоматического поиска и последующего индексирования веб-страниц. Такие программы обычно называют пауками, или ботами. Они просматривают код веб-страниц, находят расположенные на них ссылки и тем самым обнаруживают новые веб-страницы. Есть и альтернативный способ включения сайта в индекс. Многие поисковики предлагают владельцам ресурсов возможность самостоятельно добавить сайт в свою базу. Как бы то ни было, затем веб-страницы скачиваются, анализируются и индексируются. В них выделяются структурные элементы, находятся ключевые слова, определяются их связи с остальными сайтами и веб-страницами. Производятся и другие операции, результатом выполнения которых становится формирование индексной базы поисковика. Эта база – второй главный элемент любого поисковика. Сейчас не существует какой-либо одной абсолютно полной индексной базы, которая содержала бы сведения обо всем контенте интернета. Поскольку разные поисковики используют разные программы поиска веб-страниц и строят свой индекс с помощью разных алгоритмов, индексные базы поисковиков могут существенно различаться. Некоторые сайты оказываются проиндексированными несколькими поисковиками, однако всегда остается определенный процент ресурсов, включенных в базу только какого-либо одного поисковика. Наличие у каждого поисковика такой оригинальной и непересекающейся части индекса позволяет сделать важное практическое заключение: если вы пользуетесь только одним поисковиком, пусть даже самым крупным, вы обязательно потеряете некоторый процент полезных ссылок.

Заметим, что формирование индексных баз – весьма ресурсоемкая задача. Многие поисковые проекты не утруждают себя сбором собственных баз, предпочитая использовать базы одного или нескольких сторонних поисковиков. Это позволяет сосредоточиться на разработке оригинальных пользовательских интерфейсов и дополнительных инструментов, иногда превосходящих по возможностям соответствующие средства владельцев баз. Следующая часть интернет-поисковика – собственно программы поиска и сортировки результатов. Эти программы решают две основные задачи: сначала находят в базе страницы и файлы, соответствующие поступившему запросу, а затем сортируют полученный массив данных в соответствии с различными критериями. От эффективности их работы во многом зависит успех в достижении целей поиска.

Последний элемент интернет-поисковика – пользовательский интерфейс. Кроме обычных для любых сайтов требований к эстетике и удобству, к интерфейсам поисковиков предъявляется еще одно важное требование: они должны предлагать различные инструменты составления и уточнения запросов, а также сортировки и фильтрации результатов. Преимущества поисковых машин – великолепный охват источников, сравнительно быстрое обновление содержимого базы и хороший выбор дополнительных функций. Главный инструмент работы с поисковиками – это запрос. Для успешного поиска неплохо изучить основные правила составления запросов, а также языки поисковых запросов конкретных поисковиков.

С точки зрения пользователя основной недостаток поисковиков – это неизбежное наличие информационного шума в результатах. Основные направления совершенствования современных поисковых машин как раз связаны с повышением точности их ответов и фильтрацией ненужных данных.

Для интернет-поиска используются также специальные приложения, устанавливаемые на локальном компьютере. Это могут быть как простые программы, так и довольно сложные комплексы поиска и анализа данных. Наиболее распространены поисковые плагины для браузеров, панели для браузеров, предназначенные для работы с каким-либо конкретным поисковым сервисом, и метапоисковые пакеты с возможностями анализа результатов.

Веб-каталоги – это ресурсы, в которых сайты распределяются по тематическим категориям. Если с поисковиками пользователь работает только посредством запросов, то в каталоге есть возможность просматривать тематические разделы целиком.

Второе принципиальное отличие каталогов от автоматических поисковиков – это то, что в их наполнении, как правило, непосредственно участвуют люди, которые просматривают ресурсы и относят сайт к той либо иной категории.

Веб-каталоги принято делить на универсальные и тематические. Универсальные стараются охватить максимум тем. В них можно найти все, что угодно: от сайтов о поэзии до компьютерных ресурсов. Другими словами, широта поиска у них максимальная. Тематические же каталоги специализируются на определенной тематике, обеспечивая за счет сокращения широты охвата ресурсов максимальную глубину поиска.

Второе дыхание веб-каталоги получили в эпоху Web 2.0. Над их пополнением на многочисленных социальных проектах трудятся сами посетители, а не специальная команда каталогизаторов. За счет привлечения труда многочисленных пользователей удается значительно расширить базы проектов. Такие ресурсы являются ценным источником информации и предлагают массу интересных дополнительных инструментов поиска.

Преимущества каталогов – сравнительно высокое качество ресурсов, поскольку каждый сайт в нем просматривается и отбирается человеком. Тематическая группировка сайтов позволяет удобно располагать сайты близкой тематики. Такой режим работы хорош для обнаружения новых для вас сайтов по интересующей теме – он точнее применения поисковой машины. Веб-каталоги рекомендуется использовать для первого знакомства с какой-либо предметной областью, а также поиска по нечетким запросам – у вас будет возможность «побродить» по разделам каталога и точнее определиться с тем, что именно вам требуется.

Недостатки веб-каталогов известны. В первую очередь, это медленное пополнение базы, поскольку включение сайта в каталог предполагает участие человека. В отношении оперативности веб-каталог – не соперник поисковикам. Кроме того, веб-каталоги существенно уступают поисковикам по размерам баз. Соперничать с автоматическими системами в количестве охваченных ресурсов – задача для них безнадежная. Еще один недостаток современных каталогов – отсутствие единой классификации ресурсов и четких критериев отнесения их к той или иной категории. Иногда создается впечатление, что разработчики веб-каталогов намеренно игнорируют уже существующие классификационные языки поиска.

Для поиска ответов на конкретные вопросы эффективней всего использовать справочные ресурсы. К ним относятся многочисленные онлайновые энциклопедии и справочники, сервисы перевода и другие ресурсы, на которых можно получить краткие и конкретные ответы на свои вопросы. Обратившись к справочнику, пользователь избавляет себя от необходимости обработки текстов с разнообразных сайтов. Кроме того, справочники дают определенную уверенность в точности полученных фактических сведений.

Говоря о интернет-поиске, нельзя обойти вниманием ряд терминов, которые тесно связаны с этой сферой и часто используются для описания и оценки поисковиков.

Релевантность – это соответствие ответа поисковика поступившему от пользователя поисковому запросу. Другими словами, релевантным считается ответ, максимально соответствующий пользовательскому запросу. Это важнейший в работе интернет-поисковиков показатель. Не случайно сортировка списка выдачи по релевантности является основной функцией на подавляющем большинстве поисковых ресурсов. Однако если мы вспомним расхожее выражение «Каков вопрос – таков и ответ», то подойдем к важному нюансу в определении соотношения релевантности и качества результатов поиска. Дело в том, что строгое соответствие условиям запроса не гарантирует качественный результат поиска. Релевантный ответ вполне может оказаться ненужным, несмотря на то что прекрасно соответствует запросу. Дело в том, что пользователь может сформулировать неудачный или слишком обобщенный запрос. Поэтому для определения качества поиска часто применяют понятие пертинентности, которое обозначает степень соответствия ответа поисковика реальной информационной потребности пользователя. Другими словами, пертинентный ответ – это ответ, который предлагает пользователю нужную информацию, даже в том случае, если запрос сформулирован пользователем не самым удачным образом. Именно на улучшения пертинентности направлен ряд новых технологий интернет-поиска C релевантностью связано также понятие информационного шума. Так принято называть попавшие по тем или иным причинам в список выдачи результаты, не соответствующие запросу.

Следующие два важных понятия – широта и глубина интернет-поиска. Широким называют поиск, который захватывает как можно большее количество источников информации. При этом достаточным считается хотя бы упоминание о том или ином подходящем запросу сайте. Глубина поиска относится к подробности индексирования и последующего поиска каждого конкретного ресурса. Например, многие поисковики по-разному подходят к индексированию разных сайтов. Крупные и популярные сайты индексируются в максимальном объеме, роботы стараются не упустить ни одной страницы такого ресурса. В то же время на других сайтах может быть проиндексирована только заглавная страница и пара страниц содержания. Эти обстоятельства, естественно, сказываются и на последующем поиске. Глубокий поиск работает по принципу «лучше включить в результаты лишнюю информацию, чем упустить какие-либо относящиеся к теме поиска данные».

Достаточно часто можно встретить такие понятия, как глобальный и локальный интернет-поиск. При локальном интернет-поиске учитывается географическое местоположение пользователя и предпочтение отдается результатам, так или иначе связанным с конкретной страной или местностью. При глобальном поиске эта информация не учитывается, и поиск ведется во всех доступных ресурсах.

При составлении запроса на интернет-поисковиках действуют различные режимы поиска. К типовым режимам поиска, которые встречаются на большинстве интернет-машин, можно отнести простой и расширенный поиск. Простой поиск позволяет в одном запросе указать только один поисковый признак. Расширенный поиск дает возможность составить запрос из нескольких условий, связав их логическими операторами.

Для уточнения поисковых запросов используются различные фильтры. Фильтрами далее мы будем называть те или иные вспомогательные средства составления запроса, которые не относятся к содержательной стороне условий запроса, а ограничивают результаты поиска каким-либо формальным признаком. Так, например, применяя при поиске фильтр типа файла, пользователь не сообщает системе сведений, относящихся к теме своего запроса, а просто ограничивает полученные результаты определенным типом файлов, указанным в условии своего запроса.

От издательства

Ваши замечания, предложения и вопросы отправляйте по адресу электронной почты comp@piter.com (издательство «Питер», компьютерная редакция).

Мы будем рады узнать ваше мнение!

Подробную информацию о наших книгах вы найдете на веб-сайте издательства .

Глава 1 Универсальные интернет-поисковики

Универсальные интернет-поисковики – это основное и наиболее известное средство интернет-поиска. Такие поисковики обеспечивают максимальный охват различных ресурсов. Именно к универсальному типу относятся крупнейшие и наиболее популярные поисковые машины. Это действительно мощные решения с большим количеством возможностей и инструментов, о которых зачастую не знают многие пользователи. Понимание особенностей и возможностей универсального поиска позволяет узнать сильные и слабые стороны таких систем и осознанно выбирать максимально эффективные инструменты поиска.

Рынок универсальных поисковиков достаточно велик. В этой главе мы рассмотрим только наиболее мощные машины, способные достойно работать с запросами на русском языке. Открывают главу рассказы о лидерах русского поиска – системах Google.ru и Яндекс. О каждом из этих поисковиков написаны книги и масса статей. Мы сосредоточимся на основных характеристиках, имеющих значение для конечного пользователя, а также попытаемся определить их сильные стороны.

Компанию им составляет новая поисковая разработка корпорации Microsoft – система Bing, которая пока заметно обделена вниманием, а также полезный и достаточно мощный поисковик Exalead, преимуществом которого является хорошая поддержка поиска в европейских интернет-ресурсах. Данная система – пока редкий гость в поисковом арсенале наших пользователей, поэтому она рассматривается подробнее остальных.

В этой главе при обзоре систем Google и Яндекс мы сосредоточимся только на возможностях веб-поиска, а поиск в специализированных базах этих проектов рассматривается в следующих главах, посвященных поиску изображений и видео. Для других универсальных поисковиков сведения о мультимедиа-поиске приводятся сразу же при знакомстве с ними.

Поскольку три из четырех героев этой главы имеют зарубежное происхождение, сразу отметим, что мы анализируем возможности только их русских версий. Дело в том, что некоторые функции зарубежных систем, особенно экспериментальные, зачастую доступны только в оригинальных, как правило, англоязычных версиях сервисов.

Google

Поисковик Google заслуженно считается мировым лидером современного интернет-поиска. Основанная в 1998 году компания Google по сей день остается среди ведущих законодателей мод в сфере интернет-поиска и веб-сервисов.

Разработчики Google всегда отличались повышенным вниманием к совершенствованию алгоритмов своего поисковика, а также разумным консерватизмом в области пользовательского интерфейса. Возможности составления запроса на Google можно назвать классическими, да и способы отображения результатов поиска также стали своеобразным стандартом. В последнее время разработчики Google предприняли серьезные изменения в этих областях – слишком уж старомодно стал смотреться крупнейший поисковик на фоне молодых конкурентов.

Google обладает одной из крупнейших в мире индексных баз, что обеспечивает широкий охват источников информации. Индексная информация Google сведена в несколько вертикальных баз. Кроме наиболее известной базы «Веб», это несколько мультимедиа-баз («Картинки», «Видео»), работающих с источниками актуальной информации и сообщениями на RSS-лентах база «Новости», а также индексирующая сетевые дневники база «Блоги». Кроме того, Google предлагает широкий выбор дополнительных ресурсов, среди которых стоит отметить картографический сервис, каталог сайтов, службу вопросов и ответов. Эти ресурсы также можно рассматривать как инструменты поиска.

В базе «Веб» для составления запроса Google предлагает режимы простого и расширенного поиска. В режиме простого поиска из дополнительных инструментов доступна только виртуальная клавиатура. Расширенный поиск предлагает больше возможностей. Поскольку форма расширенного поиска доступна практически во всех поисковых продуктах Google, остановимся на ней подробнее (рис. 1.1).

Рис. 1.1. Форма расширенного поиска Google

Данная форма разделена на четыре зоны. Первая выделенная цветом зона содержит инструменты составления запроса с использованием логических операторов. Поддерживается поиск по точной фразе. Между словами, внесенными в поле. Со всеми словами, будет автоматически поставлено логическое «И». Поле С любым из слов добавляет между словами запроса логическое «ИЛИ», а Без слов – оператор «НЕ». В этой же зоне находится выпадающее меню, позволяющее выбрать количество результатов на странице выдачи в диапазоне от десяти до ста ссылок.

Следующая зона формы расширенного поиска содержит перечень основных фильтров. С их помощью можно ограничить поиск ресурсами на определенном языке или ресурсами, относящимися к какой-либо одной доменной зоне. Полезным часто становится фильтр. Дата, с помощью которого можно отбирать веб-страницы, проиндексированные в определенный промежуток времени. Поддерживается и поиск по конкретному, указанному пользователем сайту. Фильтр Расположение слов дает возможность указать, в каком элементе веб-страницы должны находиться указанные ключевые слова. Фильтр Права использования предназначен для отбора контента, распространяемого под определенными условиями. Данный фильтр особенно актуален при поиске файлов. Предлагается и семейный фильтр под названием. Безопасный поиск; он предназначен для автоматического исключения из результатов поиска потенциально оскорбительного или неприличного контента. Данный фильтр имеет три уровня действия. Строгий уровень отбрасывает все сомнительные сайты, умеренный действует только при поиске изображений, не сказываясь на результатах веб-поиска. Кроме того, фильтрацию можно полностью отключить. Как известно, Google индексирует не только веб-страницы, но и файлы различных типов: документы в форматах Microsoft Office, Google Earth, PDF, PostScript, RTF и SWF. Включить поиск по какому-либо из этих типов файлов можно, используя фильтр. Формат файлов.

Зона поиска по странице позволяет искать сайты, ссылающиеся на указанную веб-страницу (поле Ссылки), а также сайты, содержащие ключевые слова, тематически близкие указанной в поле Похожие веб-странице.

Расположенная в нижней части формы расширенного поиска зона Поиск по темам в настоящее время предлагает доступ только к поиску по исходному коду программ, распространяющихся с открытыми исходными кодами (Open Source).

При обработке запроса на русском языке Google достаточно осторожно использует изменение морфологических форм слова. Это сознательная позиция разработчиков. Взамен предлагаются поисковые уточнения, демонстрируемые над списком выдачи, в который и предлагаются другие словоформы наравне с предложениями по исправлению орфографии, опечаток, а также слов, ошибочно набранных при неправильной раскладке.

Страница выдачи Google по умолчанию предлагает список из десяти наиболее релевантных результатов поиска. Особенность Google заключается в том, что на своей странице выдачи этот поисковик демонстрирует концепцию так называемого «универсального поиска» (Universal Search). Выполнен он по рецепту Джеймса Бонда: «смешать, но не взбалтывать». Его суть заключается в том, что набранный в Google запрос по умолчанию отправляется на все основные специализированные ресурсы поисковика, а результаты такого поиска показываются единым списком. Конечно, показывать результаты поиска картинок или видео на одной странице с результатами веб-поиска умеют большинство современных поисковиков, располагающих такими базами, однако результаты из различных баз Google показываются не отдельными блоками на странице, а выводятся единым списком, при этом позиции разнородных результатов на странице выдачи распределяются по степени общей релевантности.

Соответствующие алгоритмы пытаются определить, что важней для темы поиска: обычная веб-страница, видеоролик, новость или сообщение в блоге, что и определяет порядок следования результатов в форме выдачи.

Для каждого результата приводится заголовок найденной страницы, текстовая выдержка, адрес веб-страницы, а также ссылки на сохраненную при индексировании в кэше поисковика копию веб-страницы и тематически подобные странички. Необходимо отметить, что поиск подобных веб-страниц пока не является сильной стороной Google и здесь, как правило, можно наблюдать небольшое количество результатов, а также информационный шум.

Для изображений, включенных в «универсальный» список выдачи, приводятся только их графические миниатюры. Видеоролики сопровождаются информацией об их длительности, а также дате добавления в базу.

В нижней части страницы находится поле для поиска в найденном. Его роль – возможность уточнения запроса пользователем за счет добавления новых ключевых слов (рис. 1.2).

Рис. 1.2. Инструменты уточнения запроса Google собраны на боковой панели списка выдачи

Дополнительные инструменты уточнения запроса вынесены на боковую панель, которая содержит несколько блоков фильтров. Первый сверху блок позволяет быстро перейти к поиску в основных вертикальных базах Google. Второй блок во многом повторяет перечни фильтров формы расширенного поиска. С помощью его инструментов можно отобрать результаты, представленные на языке, установленном в браузере пользователя по умолчанию, отфильтровать ссылки по дате добавления в индекс. Если пользователь является обладателем аккаунта Google, система может разделить в списке выдачи просмотренные и еще не просмотренные им результаты.

Отдельно отметим возможность настройки внешнего вида страницы выдачи Режим Колесо обозрения делит область просмотра результатов на две части. Первая предлагает визуальную карту результатов поиска: в центре демонстрируется поступивший запрос, а вокруг располагаются дополнительные, автоматически найденные ключевые слова, способные содержательно уточнить запрос. Режим Хронология упорядочивает результаты по хронологическому признаку, при этом учитывается не дата добавления страницы в индекс, а даты событий, о которых идет речь в тексте найденных веб-страниц. Данный режим позволяет наглядно увидеть историю развития той или иной темы. Для этого служит выводимая над результатами поиска «линия времени», разделенная на отрезки по 5 лет. Щелкнув на определенном делении, можно открыть результаты, текст которых относится только к этому отрезку времени.

Дополнительные варианты настройки есть и у стандартного режима просмотра. В режиме. Сайты с картинками под заголовком каждого результата поиска демонстрируются изображения, найденные на этом же сайте. В режиме. Предпросмотр страниц рядом с каждой позицией поиска выводится миниатюрный скриншот веб-страницы, что позволяет вспомнить нужный сайт по его внешнему виду.

Последней на сегодняшний день новинкой Google в области пользовательских интерфейсов стал режим «Живой поиск». Он включается автоматически при достаточной скорости интернет-соединения. В этом режиме список результатов поиска загружается немедленно после ввода или изменения поискового запроса пользователем. Кроме того, рядом со ссылками появились кнопки с изображением лупы. Они открывают всплывающие панели со скриншотами выбранных страниц.

Более подробного рассказа заслуживает режим. Поиск с переводом, который работает с помощью сервиса Google Переводчик. При его активации на странице поиска появляется меню выбора языковых пар. Результаты поиска выводятся в двух колонках: на оригинальном языке и переведенные на указанный пользователем язык. Данная функция очень полезна при поиске по национальным сегментам интернета. После перехода по переведенным ссылкам переводятся и целевые веб-страницы. Система перевода Google отличается хорошей скоростью работы, поэтому серфинг в таком режиме проблем не вызывает.

Главный плюс переводческой службы Google – большое количество поддерживаемых языков. Качество перевода с основных европейских языков вполне сносное, правда, это относится только к текстам так называемой «общей» лексики. Как только происходит переход на тематические ресурсы, качество перевода заметно падает. Как бы то ни было, в большинстве случаев понять смысл текста можно (рис. 1.3).

Рис. 1.3. Режим поиска с переводом полезен при работе с национальными сегментами интернета

Система поиска новостей в Google работает с новостными сайтами и другими ресурсами, предлагающими соответствующий контент. В отличие от веб-поиска допускается сортировка результатов не только по релевантности, но и по дате публикации.

Для поиска в блогах Google не предлагает каких-либо необычных инструментов или возможностей, просто ограничивая поиск ресурсами популярных блог-платформ. А вот база «Микроблоги» интересна тем, что индексирует сообщения популярного сервиса Twitter. Сортировка результатов поиска идет по дате их публикации. Для удобства работы со списком выдачи предлагается визуальная «линия времени», демонстрирующая количество «твитов» за последний день и позволяющая быстро находить сообщения за определенный промежуток времени.

Локальный поиск Google тесно связан с картографическими сервисами, поэтому его эффективность напрямую связана с качеством покрытия картами Google той или иной территории. Наилучшее качество обеспечивается для Северной Америки. При локальном поиске в русских ресурсах достойный охват обеспечивается только для крупных городов. Нельзя не отметить, что данное направление развивается, и результаты постепенно становятся лучше. Для запуска поиска по картам достаточно добавить слово «карта» к своему поисковому запросу.

Обладатели аккаунтов Google при настройке поиска могут включить режим записи своих поисковых запросов. Полученные сведения о переходах по ссылкам используются для улучшения списка выдачи Google. При желании историю своего поиска можно очистить в любой момент.

Google может похвастаться хорошим выбором вспомогательных справочных инструментов. Набор в строке поиска математического выражения позволит быстро вычислить его значения. Поддерживаются основные арифметические операции. В строке поиска также работает механизм перевода значений между различными единицами измерения и конвертации валют.

Некоторое время тому назад системой Google предлагался также достаточно широкий выбор поисковых операторов, которые можно было указывать в строке поиска для уточнения запроса. Сейчас большинство таких операторов доступно в форме расширенного поиска в виде фильтров. Активными и официально поддерживаемыми остались только оператор обязательного включения слова (+) и оператор автоматической подстановки слов в запрос. В последнем случае поисковик анализирует подобные по смыслу запросы, поступавшие в систему, и постарается дополнить поступивший запрос. Оператор define: позволит найти определения заданного в строке поиска слова в крупных справочных ресурсах. В то же время многие доступные ранее операторы продолжают работать. Их перечень, характеристика и примеры использования приведены в приложении А.

Активным пользователям Google стоит обратить внимание на проект Google Experimental Search, являющийся одним из разделов Google Labs (/). Этот проект предлагает протестировать новейшие разработки Google в области поиска. Одновременно можно принять участие только в одном из предлагаемых экспериментов. В настоящее время там представлены два проекта, касающиеся работы с Google с помощью клавиатурных комбинаций.

Среди дополнительных программ для работы с Google отметим поисковые плагины для браузеров, а также официальную панель инструментов Google. Она предлагает быстрый доступ к поиску в вертикальных базах Google и возможность работы с историей поиска своего аккаунта Google. Кроме того, предлагается быстрый доступ к другим веб-сервисам Google.

Яндекс

Официально представленный широкой публике в 1997 году поисковик Яндекс успешно развивался и через десять лет впервые попал в число десяти крупнейших поисковых машин мира. В русском сегменте интернета он добился лидирующих позиций, которые пока не собирается уступать, несмотря на возрастающую конкуренцию. Отличительными чертами Яндекса с начала его существования стали собственные оригинальные алгоритмы определения релевантности результатов поиска, гибкие инструменты работы с текстом запросов и учет особенностей морфологии русского языка при их обработке.

Яндекс опирается на собственные индексные базы. Кроме поиска по веб-документам система предлагает неплохой выбор специализированных ресурсов и дополнительных сервисов. Яндекс в настоящее время работает с изображениями, видео, новостями, блогами и словарями. Мощные поисковые возможности заложены также в собственном картографическом сервисе и в системе поиска товаров. Кроме того, Яндекс ведет собственный каталог веб-сайтов. Сильной стороной Яндекса является развитая программа локального поиска, что особенно актуально для наших пользователей. Яндекс предоставляет возможность доступа к своим базам сторонним разработчикам. Как следствие, немало русских проектов альтернативного интернет-поиска так или иначе используют ресурсы Яндекса. Кроме обычной системы поиска предлагается и сокращенный вариант Яндекса, доступный по адресу ya.ru. Интерфейс этой версии состоит только из поля ввода запроса и кнопки начала поиска.

Поиск в веб-документах предлагает режимы простого и расширенного поиска. Простой поиск не предоставляет каких-либо фильтров, что компенсируется возможностью автоматического разбора запросов на естественном языке, уверенной обработкой относительно длинных запросов, а также системой автоматического дополнения запроса. Максимальная длина запроса – сорок слов.

Форма расширенного поиска для составления запроса предлагает только одно поле. Логические операторы, связывающие слова запроса, предлагается вводить вручную, благо. Яндекс располагает достаточно подробным языком запросов. Остальные инструменты формы расширенного поиска – это различные фильтры (1.4).

Рис. 1.4. Форма расширенного поиска системы Яндекс

Поле На сайте позволяет ограничить поиск определенным сайтом. Поле В регионе является фильтром, с помощью которого можно перейти к локальному поиску в ресурсах, связанных с определенной географической областью.

Фильтр Слова позволяет гибко управлять областью поиска указанных ключевых слов. Поиск может вестись как во всем тексте веб-страниц, так и ограничиваться только их заголовками. Здесь же находится группа переключателей, отвечающая за работу механизма учета морфологии в ходе поиска. Переключатель В любой форме дает поисковику команду искать не только указанную в запросе форму слова, но и другие его варианты. Переключатель Точно так, как в запросе отключает эту функцию Яндекса для всех слов запроса. Фильтр Язык ограничивает область поиска только документами на определенном языке. Поддерживается восемь языков, в том числе украинский, белорусский, татарский и казахский – достаточно редкие гости на других поисковых системах.

Фильтр Дата обновления позволяет указать временной промежуток создания или обновления нужных веб-страниц. Помимо перечня интервалов, данный фильтр позволяет указать произвольный диапазон дат. Фильтр Формат отвечает за выбор форматов нужных документов. Кроме веб-страниц в формате HTML, Яндекс индексирует файлы Microsoft Office (DOC, XLS, PPT), RTF, PDF и Flash-ролики. Интересно, что при ранжировании результатов поиска файлов различных типов используются стандартные алгоритмы Яндекса для работы с текстом и особенностями оформления. Для проиндексированных файлов названных типов в кэше поисковика сохраняется их текстовая версия.

Под формой составления запроса выводится блок, в котором составленный с помощью перечисленных инструментов запрос формулируется в виде текста на естественном языке. Это позволяет лучше представить условия запроса и избежать логических несоответствий.

Страница выдачи результатов поиска содержит список найденных ссылок. По умолчанию он сортируется по релевантности. Поддерживается также сортировка результатов по дате публикации или обновления. Переключатель режимов сортировки находится в нижней части страницы.

Для каждого результата приводится заголовок страницы, текстовая выдержка, ссылки на сохраненную копию страницы и другие результаты этого запроса к данному сайту. Для крупных интернет-ресурсов демонстрируются также ссылки на их основные разделы Наблюдать работу этого механизма можно, например, в результатах, полученных на крупных справочных ресурсах.

Непосредственно возле поля запроса находятся переключатели режимов поиска в найденном и локального поиска. Регион для локального поиска определяется автоматически, на основе IP-адреса пользователя. Изменить его можно вручную при общей настройке механизма поиска Яндекса.

Боковая панель страницы выдачи предлагает ссылки на результаты поиска по введенному пользователем запросу в вертикальных базах изображений и видео. Каких-либо дополнительных инструментов быстрого уточнения запроса на странице выдачи Яндекса нет (рис. 1.5).

Рис. 1.5. Страница выдачи поисковой системы Яндекс

После регистрации бесплатного аккаунта открывается доступ к службе «Мои находки». Она предназначена для сохранения истории поиска с помощью Яндекса. Любопытно, что сохраненные запросы впоследствии демонстрируются в списке автоподсказок при наборе нового запроса в поле поиска.

Новостной поиск Яндекса основан на индексировании ресурсов, участвующих в партнерской программе поисковика. Для попадания в индекс ресурс должен удовлетворять ряду требований как технического плана, так и организационного. В частности, сайт должен предлагать оригинальный контент, регулярно обновляться, а также иметь определенный стаж работы в интернете.

При поиске новостей на первый план выходит оперативность обновления индексных баз. Для решения этой задачи используется особый робот-индексатор, способный обрабатывать ресурсы в течение короткого промежутка времени. В результатах поиска можно увидеть ресурсы, обновленные десяток минут назад. Правда, такая оперативность достигается не для всех ресурсов, и в среднем Яндекс индексирует новости немного медленней, чем Google.

Форма расширенного поиска в новостях значительно отличается от аналогичной формы обычного веб-поиска. С ее помощью можно выбрать одну или несколько новостных рубрик для поиска и определиться с регионом, к которому должны относиться новостные сообщения. Фильтр Источники содержит перечень новостных ресурсов, с которыми работает Яндекс. При необходимости в этом списке можно отобрать только нужные источники и ограничить ими поиск.

Страница результатов поиска в новостях также имеет свои отличия. Фильтр Результаты поиска не только выводит статистику проведенного поиска, но и позволяет одним щелчком отобрать видеосообщения, статьи или интервью. Здесь же выводятся ссылки на так называемые пресс-портреты героев новостей, найденных по запросу пользователя. Пресс-портрет содержит краткую характеристику персонажа, его основной деятельности, список доступных интервью, перечень последних новостей, а также список пресс-портретов людей, часто упоминающихся в новостях вместе с данной личностью. Необходимо отметить, что пресс-портрет – это не заранее составленная справочная статья, а результат автоматической обработки информации новостных ресурсов.

Фильтр времени публикации позволяет отбирать новости по запросу за определенный промежуток времени – от текущего дня до месяца. А вот расположенная непосредственно под полем запроса панель с перечнем основных новостных рубрик поисковым фильтром не является – это просто ссылки на тематические страницы с последними новостями.

Результаты поиска по умолчанию группируются по сюжетам – подборкам новостей, посвященных одному событию, что позволяет составить мнение о том или ином событии по материалам нескольких источников. Для каждого результата приводятся заголовок, источник и время публикации.

Сервис Яндекс. Словари является справочным ресурсом. Он предлагает поиск по крупным онлайновым словарям и энциклопедиям, а также перевод на иностранные языки. Для уточнения запроса служит фильтр типа справочного ресурса. Поиск может быть ограничен только энциклопедиями или только результатами перевода. На странице выдачи результаты группируются по видам словарей, в которых было найдено определение ключевого слова из запроса. Сначала выводятся результаты универсальных источников, затем – тематических словарей и справочников. Результаты перевода на другие языки демонстрируются на отдельной панели.

Сервис Яндекс. Блоги работает с крупными блог-площадками, а также форумами, экспортирующими информацию о своих сообщениях в формате RSS. Доступны простой и расширенный режимы поиска. Простой поиск не предлагает каких-либо дополнительных инструментов, кроме самой строки поиска. Режим расширенного поиска здесь обладает своей спецификой, отражающей особенности контента. Фильтр Область поиска позволяет выбирать для поиска конкретный вид социального ресурса: блог, микроблог или форум. Поддерживается поиск в конкретном ресурсе и в диапазоне указанных пользователем дат. Особенно интересен блок фильтров. Автор. Он позволяет искать сообщения конкретного автора или сообщества. Кроме того, предлагается фильтр персональных характеристик автора: возраст, местоположение, пол и даже музыка, прослушиваемая автором в момент публикации записи, если, конечно же, в блоге есть такая информация. При поиске в блогах поддерживаются все стандартные поисковые операторы Яндекса, а также некоторое количество специальных операторов, которые в большинстве своем воспроизводят функции фильтров расширенного поиска.

Яндекс отличается гибким и достаточно подробным языком поисковых операторов, который можно использовать при составлении запроса. Подробный перечень доступных операторов, а также примеры их использования приведены в приложении А.

Из дополнительных поисковых инструментов отметим панель для браузеров Яндекс.Бар. Она предлагает быстрый поиск на всех сервисах Яндекса, умеет подсвечивать найденные слова на веб-страницах, а также переводить выделенные пользователем слова на иностранные языки.

Bing

Историю интернет-поиска от Microsoft простой не назовешь. На последовательно предлагаемых публике сервисах неоднократно менялись алгоритмы, используемые базы данных и, конечно же, названия. До начала 2000-х поисковик не располагал собственными базами и работал с внешними индексами от AltaVista, Inktomi и Looksmart. Первоначальное имя MSN Search использовалось до 2006 года, а затем на несколько лет изменение названий поисковика стало для Microsoft традицией.

Вместе с окончательным переходом на поиск в собственных индексныхMSN Search была переименована сначала в Windows LiveLive Search. Наконец, в начале лета 2009 на смену Live Search пришел новый поисковый проект Bing.

«Bing позволит иначе взглянуть на поиск информации в интернете и поможет пользователям в принятии важных решений», – именно таким заявлением начинался пресс-релиз Microsoft, посвященный запуску Bing. Стремления разработчиков были понятны: поисковики от Microsoft, несмотря на все старания, на Западе стабильно уступали по популярности лидерам – Google и Yahoo!. Если же говорить о русскоязычных версиях предыдущих поисковых проектов Microsoft, то по количеству и качеству находимых ссылок они намного уступали крупным российским поисковикам. В попытке догнать конкурентов разработчики Bing сделали ставку на улучшение качества поиска и внедрение новых технологий, многие из которых были приобретены вместе с создавшими их фирмами.

Необходимо заметить, что русскоязычная версия Bing, как и большинство других локализованных версий, лишена ряда дополнительных функций, например поиска по магазинам. Поскольку они, по сути, работают только в Северной. Америке, подробно останавливаться на них смысла нет.

В настоящее время Bing работает по собственным индексным базам и предлагает поиск веб-страниц, изображений и видеороликов. Все эти базы представлены в виде вкладок над главным полем поиска.

При поиске веб-документов доступны режимы простого и расширенного поиска. Интерфейс такого привычного элемента, как форма расширенного поиска, в Bing выполнен достаточно интересно. Форма открывается не в новом окне, а прямо на странице выдачи, что достаточно удобно, поскольку результаты изменения запроса на странице выдачи отражаются сразу, и уточнение запроса происходит весьма быстро.

К сожалению, система Bing лишена некоторых полезных и привычных на других крупных поисковиках функций. Например, она не обрабатывает слова, по ошибке набранные в другой раскладке, что уже давно умеют делать многие конкуренты. Не справляется она и с опечатками в ключевых словах – как на русском, так и на английском языках.

Форма расширенного поиска Bing состоит из четырех вкладок. Вкладка Условия поиска предлагает работу с логическими операторами, которые выбираются в предлагаемом выпадающем меню. Новые ключевые слова с автоматически добавленными операторами присоединяются к исходному поисковому запросу. Вкладка Веб-сайт или домен позволяет вести поиск только на конкретном сайте или домене, а также исключать соответствующие ресурсы из результатов поиска. Вкладки Страна или регион и Язык в полном соответствии со своими названиями дают возможность ограничить поиск определенным национальным сегментом интернета или же веб-страницами на указанном языке. Отметим, что в отличие от Google и Яндекс, в Bing поиск можно вести одновременно по нескольким выбранным языкам. Для этого достаточно добавить несколько соответствующих условий в форме расширенного поиска.

Страница поисковой выдачи Bing состоит из области просмотра результатов и боковой панели, содержащей вспомогательные инструменты. При веб-поиске на этой панели демонстрируются предложения по уточнению запроса. Надо сказать, что данная технология действительно работает неплохо и помогает быстро уточнять запросы. Для найденных ссылок показываются заголовок и адрес веб-страницы, краткая текстовая выдержка, а также ссылка на кэшированную версию страницы (рис. 1.6).

Рис. 1.6. Форма расширенного поиска Bing открывается прямо на странице результатов поиска

Мультимедиа-поиск Bing представлен базами изображений и видео. Для поиска изображений предлагается только режим простого поиска. Инструменты уточнения запроса вынесены на боковую панель страницы выдачи Доступны несколько фильтров. К традиционным для современных универсальных поисковиков отнесем фильтры размера картинки и ее цветности. В меню фильтра размера изображения присутствует пункт. Фоновые рисунки, который позволяет отбирать картинки в стандартных разрешениях для использования в качестве «обоев» рабочего стола персонального компьютера. Фильтр Макет позволяет отобрать изображения различных форматов: квадратные, широкоэкранные, а также высокие, то есть ориентированные по вертикали.

Гораздо интересней эффект применения фильтров, анализирующих визуальные характеристики самого изображения. Фильтр Стиль достаточно успешно отличает фотоснимки от рисунков и коллажей. Любопытен поиск по наличию на изображении людей, который предлагает несколько возможностей: можно искать только лица, портреты или же изображения людей в полный рост. Работает этот фильтр весьма качественно. Отметим, что система неплохо справляется даже с рисованными изображениями.

Дополнений у поисковика Microsoft Bing немного. Предложения ограничиваются поисковыми плагинами для браузеров.

Exalead

Одной из особенностей Европы, в том числе и в сфере интернет-поиска, является большое количество национальных языков. Поисковик, претендующий на место ведущего в Европе, просто обязан хорошо индексировать национальные сегменты интернета и качественно обрабатывать запросы на многочисленных европейских языках – как крупнейших, так и менее распространенных. Именно в данной области европейская разработка может получить серьезное конкурентное преимущество по сравнению с мощными заокеанскими конкурентами. На роль такого европейского поисковика в настоящее время всерьез претендует система Exalead. Данный проект был разработан в рамках исследовательской программы Quaere, финансируемой Евросоюзом.

Exalead располагает собственными индексными базами. Основные поисковые ресурсы системы – это базы веб-документов, изображений, видео и новостей. Стартовая страница Exalead предлагает возможность персональной настройки. На этой странице можно разместить ссылки на свои любимые сайты – они будут отображаться в виде графических миниатюр-скриншотов. Правда, для этого придется бесплатно зарегистрировать аккаунт, а также разрешить браузеру хранить куки-файлы Exalead.

Веб-поиск Exalead предлагает режимы простого и расширенного поиска. Форма расширенного поиска, как и в Bing, открывается прямо на странице выдачи Отметим, что Exalead предлагает не просто привычную форму с набором дополнительных полей, а сложное выпадающее меню, которое играет роль мастера по уточнению запроса (рис. 1.7). При выборе того или иного пункта в меню мастера в строку запроса добавляются новые элементы, а при необходимости операторы и спецсимволы.

Рис. 1.7. Мастер расширенного поиска Exalead

В меню мастера выделено три тематических блока. Первый блок дает возможность определиться с вариантами уточнения запроса. Предлагаются поиск по фразе, обязательное включение и исключение заданных пользователем слов, а также поиск с помощью масок. Поддерживается использование в запросе стандартных логических операторов. Кроме этих базовых опций, предлагаются и более интересные варианты. В режиме Approximate Spelling Search ищутся слова, подобные по написанию заданным. Режим Phonetic Search позволяет найти слова, похожие по своему звучанию на указанные пользователем. Если предложения по исправлению опечаток уже давно можно найти на других поисковиках, то поиск по звуковой транскрипции слова можно назвать новинкой.

Оставшиеся два блока расширенного поиска предлагают отфильтровать результаты по дате их появления в индексе поисковика, а также ограничить поиск определенным сайтом, заголовком страницы или другим формальным признаком.

Каждую позицию в перечне найденных ссылок на странице выдачи сопровождают миниатюры-скриншоты страниц и краткая текстовая аннотация (рис. 1.8). Страница выдачи Exalead также отличается широким выбором вспомогательных инструментов, собранных на боковой панели. Первый блок фильтров позволяет ограничить выдачу результатами, найденными на сайтах и в блогах. Следующие два блока позволяют отобрать контент определенного формата. Распознается большое количество «офисных» форматов файлов, а также видео– и аудиофайлы. Фильтр даты публикации позволяет быстро просмотреть результаты, проиндексированные в определенный промежуток времени. По умолчанию шаг такого фильтра – один год. Фильтр Related Terms предлагает ознакомиться с автоматически подобранными дополнительными ключевыми словами, которые способны помочь в уточнении запроса.

Рис. 1.8. Страница результатов поиска системы Exalead

Два последних блока фильтров выполнены в виде интерактивных круговых диаграмм. Они демонстрируют процентное распределение результатов поиска по языковому признаку и по принадлежности к национальным сегментам интернета. Щелкая на секторах диаграмм или же на соответствующих позициях сопровождающих списков, можно быстро отфильтровать результаты поиска по выбранному критерию. Любой найденный сайт можно добавить в свою персональную базу закладок.

Отдельным видом поиска в Exalead является поиск в Википедии. В этом режиме на странице выдачи все найденные ссылки сопровождаются не только стандартным скриншотом и текстовой выдержкой, но и перечнем тематических категорий, персон, организаций и местоположений, упомянутых в найденной статье энциклопедии. Страница выдачи содержит боковую панель с облаком тегов, в котором также выделены названные перечни дополнительных признаков. Кроме того, поддерживается быстрая сортировка результатов по языку с помощью выпадающего меню.

Exalead предлагает хорошие возможности для поиска мультимедиаконтента – изображений и видео. Инструменты расширенного поиска изображений вынесены на специальную панель фильтров, которая располагается над списком выдачи Кроме стандартных фильтров по размеру картинки и типу файла, предлагаются возможности отбора изображений по ориентации снимка (книжная или альбомная). Есть у Exalead и визуальные фильтры. С их помощью можно отбирать картинки по цветовой гамме – соответствующая палитра доступна на панели фильтров, а также разделить фотоснимки и рисованную графику, правда, эта опция не всегда работает уверенно.

При просмотре результатов поиска изображений доступен режим вывода найденных картинок в виде бесконечной ленты. Это значит, что результаты поиска не разбиваются на отдельные страницы, а новые миниатюры просто автоматически подгружаются по мере прокрутки страницы результатов. Включить эту возможность можно при настройке поисковика, установив флажок Allow infinite scroll in image search.

Видеопоиск Exalead работает в базах крупных видеохостингов. Полного списка поддерживаемых ресурсов разработчики не сообщают, однако в результатах тестовых запросов удалось отследить примерно два десятка ресурсов. Среди них – YouTube, Metacafe, Dailymotion, Reuters, Comedy Central и ряд других. Отметим, что в результатах попадались и ролики Rutube. На боковой панели страницы выдачи предлагаются опции для отбора результатов поиска по продолжительности ролика, источнику, а также тематической категории. В последнем случае используются теги, которыми ролики помечены на хостинге-источнике. Результаты можно отсортировать не только по релевантности, но и по дате добавления, а также рейтингам роликов на видеохостингах.

Для поиска новостных сюжетов можно воспользоваться вертикальным сервисом Voxalead News. Источниками роликов служат базы трех десятков телеканалов. Представлены проекты на английском, французском, китайском и арабском языках. Диапазон достаточно широк: от CNN до Al Jazeera, есть в списке и Russia Today. Результаты можно ограничить только выбранными пользователем каналами. Такая настройка доступна в меню Select Sources. Любопытно, что кроме поиска новостного видео Exalead предлагает поиск записей новостей десятка радиостанций. Щелчок на любой позиции в списке результатов, будь то видео или аудио, открывает страницу со встроенным плеером, а также полным текстом новости. Для каждого ролика предлагается панель тегов, состоящая из трех вкладок: People, Organization и Location. На них группируются автоматически выделенные из текста новости ключевые слова, относящиеся к персонам, организациям или географическим пунктам. Щелчки на них подсвечивают соответствующие фрагменты в тексте новости, а также включают переход в ролике к данному фрагменту.

Как и положено серьезным проектам интернет-поиска, Exalead обзавелся собственной «лабораторией», в которой представлен ряд экспериментальных разработок, пока не внедренных в основной поиск.

Экспериментальный интерфейс Exalead Constellations предназначен для визуализации результатов поиска. Найденные по запросу ссылки демонстрируются в виде своеобразной «звездной карты». При ее построении учитывается количество ссылок на тот или иной сайт – они демонстрируются в виде цветных лучей. Чем их больше, тем ближе к центру «галактики» будет расположена «звезда» сайта. Над полем поиска выводятся уточнения, с помощью которых можно быстро отсортировать ресурсы, посвященные персоналиям. Кроме того, в Constellations доступны практически все инструменты фильтрации стандартного варианта Exalead. Вызвать соответствующую панель фильтров можно с помощью ссылки Refines.

Любопытен экспериментальный сервис Exalead Wikifier. С его помощью можно «викифицировать» любую веб-страницу в ходе серфинга. Смысл этой операции заключается в том, что сервис ищет на открытой веб-странице ключевые слова, значения которых есть в Википедии, после чего подсвечивает их цветным выделением. Наведя на него указатель мыши, пользователь получает всплывающее окошко с информацией из сетевой энциклопедии, а также ссылки на страницу. Википедии и результаты поиска Exalead выделенного слова. Викифицировать можно не только указанную веб-страницу, но и текст, введенный в поле на стартовой странице Wikifier. В результате получается своеобразный встроенный справочник, прозрачно работающий во время серфинга.

Проект Chromatik Search предлагает поиск изображений по визуальным признакам. Поиск можно начинать с ключевого слова, а можно сразу же воспользоваться панелью визуальных инструментов. С помощью палитры выбираются цвета, которые должны присутствовать в нужном вам изображении. Их процентное соотношение устанавливается простым перетаскиванием ползунка Adjust Proportions. В результате можно достаточно точно описать характеристики искомой картинки. Благодаря этому простому в работе средству разработчикам Chromatik удалось, с одной стороны, добиться высокой точности запроса, а с другой стороны, сделать этот процесс максимально простым для пользователя. Во всяком случае, решающий аналогичные задачи алгоритм IBM QBIC заметно сложнее в освоении. Дополнительная настройка запроса позволяет управлять цветностью искомой картинки, а также искать более светлые или более темные изображения. Интересно, что характеристики запроса, составленные с помощью графических инструментов, дублируются текстом, который выводится над областью выдачи результатов. В результате Exalead предлагает один из наиболее удобных на сегодняшний день интерфейсов для визуального поиска изображений (рис. 1.9).

Рис. 1.9. Экспериментальный проект Exalead Chromatic Search

Есть у Exalead и своя экспериментальная поисковая машина для Twitter, которая называется Tweepz. В настоящее время она индексирует более пятнадцати миллионов аккаунтов. Интересно выполнена заявка на включение в индекс. Если пользователь желает, чтобы его сообщения попадали в базу Tweepz, достаточно зафолловить канал @tweepz. Система поддерживает собственный язык запросов. Он позволяет работать с масками, вести поиск по именам и географическому местоположению пользователей. Страница результатов поиска содержит боковую панель с хорошим выбором фильтров. Результаты можно сортировать по релевантности, количеству фолловеров и языкам. Кроме того, в Tweepz работает система автоматического поиска дополнительных ключевых слов, с помощью которых можно уточнить запрос.

Если рассмотренные нами ранее проекты отличаются своей технической сложностью, то Exalead Light демонстрирует прямо противоположный подход к поиску. Это «легкая», максимально упрощенная версия поиска Exalead, предлагающая только текстовые инструменты уточнения запросов Exalead Light отличается также более высокой скоростью работы. В то же время здесь не поступились качеством поиска – доступны все вертикальные базы проекта.

Exalead обладает хорошей подборкой дополнительных программ. Букмарклет Exalead позволяет создавать закладки на веб-страницы в ходе серфинга и сохранять их в своем онлайновом профиле. Поисковый плагин Exalead предлагает стандартные опции и работает в браузерах Internet Explorer и Firefox. Для веб-мастеров предлагается поиск по сайту на основе технологии Exalead. Впечатление от него двоякое. С одной стороны, там работают многие фирменные «фишки» Exalead, например визуальные фильтры-диаграммы. С другой стороны, глубина индексирования сайтов сильно зависит от страны их происхождения. Для русскоязычных сайтов такой поиск пока практически бесполезен.

Выводы и рекомендации

Для большинства пользователей универсальные поисковики являются основным, а зачастую и единственным средством интернет-поиска. Они предлагают хороший охват источников, а также набор инструментов, достаточный для решения основных поисковых задач.

Удобными особенностями интерфейса Google являются вынесенные на боковую панель страницы выдачи инструменты уточнения запроса, а также активное использование «универсального поиска» с равноправным ранжированием по релевантности результатов, полученных из его различных специализированных баз. Заслуживает внимания и удобный режим просмотра «Живой поиск».

В безусловном активе системы Яндекс – гибкий учет морфологии русского языка в ходе веб-поиска. Кроме того, данный поисковик предлагает достаточно удачную форму расширенного поиска, а также большой выбор поисковых операторов.

От знакомства с поисковиком Microsoft Bing в его современном состоянии остаются двойственные впечатления. С одной стороны, заметного изменения качества интернет-поиска не произошло и трудно давать прогнозы о возможных изменениях в данном направлении. К минусам отнесем также отсутствие в локализованных версиях Bing ряда дополнительных сервисов, теоретически способных привлечь пользователей. С другой стороны, с интерфейсом нового поисковика поработали серьезно и достаточно успешно. Кроме того, весьма неплох в Bing мультимедиа-поиск.

Поисковик Exalead демонстрирует хорошие результаты поиска ресурсов на европейских языках. Несложно самостоятельно убедиться, что, допустим, при поиске по одинаковому запросу на итальянском языке Exalead заметно выигрывает у Google как по широте охвата веб-ресурсов, так и по степени глубины их индексации. Тестовый поиск французских и немецких ресурсов не позволяет выявить однозначного лидера: в зависимости от запроса вперед может выйти и Exalead, и Google. В англоязычном поиске сильнее оказывался Google.

При выборе универсального поисковика важную роль играет качество находимых с его помощью ресурсов. Определить предпочтительный для конкретных задач поисковик можно «методом маркера». Суть его состоит в том, что вначале составляется некий тематический поисковый запрос, после чего опрашивается группа людей-экспертов в данной области на предмет выявления лучших, по их мнению, интернет-ресурсов по избранной теме. На основе данных опроса формируется список сайтов-маркеров, гарантированно релевантных запросу и содержащих качественную информацию. Затем запрос отправляется на тестируемые поисковики. Логика оценки проста: чем выше в результатах поиска будут расположены сайты-маркеры, тем лучше конкретный ресурс подходит для поиска информации по тестовой теме.

Эту схему вполне может применить и частный пользователь. Поскольку далеко не у всех под рукой имеется группа экспертов, основная проблема заключается в определении сайтов-маркеров. Для ее решения можно проанализировать разделы полезных ссылок, часто встречающиеся на тематических сайтах. Найдя действительно серьезный тематический ресурс по интересной вам теме, загляните в такой раздел – там вы найдете ссылки, отобранные энтузиастами своего дела, что позволит выявить сайты-маркеры, а приводимые в таких разделах описания ресурсов являются хорошими заготовками для конструирования тестового запроса.

Глава 2 Вертикальный поиск

Важным направлением развития современного интернет-поиска стало появление большого количества специализированных поисковиков, предназначенных для углубленного поиска определенного тематического контента. Такие интернет-машины часто называют «вертикальными». Среди таких проектов можно найти немало полезных ресурсов.

Вертикальные поисковики удачно дополняют универсальный интернет-поиск. Если вы интересуетесь какой-либо определенной тематикой и нашли соответствующий специализированный поисковик – можете принимать поздравления: эффективность поиска заметно возрастет. Улучшение качества поиска достигается за счет обращения в первую очередь к заранее отобранным тематическим ресурсам. Это позволяет значительно уменьшить количество информационного шума в списке выдачи Кроме того, сортировка результатов поиска зачастую производится с учетом особенностей тематического контента. Исключительно заметной разница универсального и вертикального вариантов поиска становится в ситуациях, когда у ключевых слов запроса есть синонимы в других областях. Простейший пример такого запроса – слово «библиотека», которое может иметь различное значение в зависимости от контекста. Это может быть и реальное учреждение, и сетевое собрание электронной литературы, и компонент компьютерного приложения. Многие вертикальные машины обладают дополнительными алгоритмами обработки запросов, учитывающими наличие сленга, аббревиатур и других тонкостей, так или иначе присущих конкретным тематическим областям.

Необходимо заметить, что вертикальные поисковики являются хорошей альтернативой тематическим порталам, снабженным собственными системами поиска. В популярных тематических нишах таких порталов немало, и для того чтобы составить полную информационную картину той или иной темы, пользователю приходится немало поработать. Рано или поздно возникает естественное желание получить некий общий поисковик, который позволил бы собрать в едином интерфейсе информацию с нескольких ценных ресурсов. Другими словами, мы опять приходим к идее вертикального поисковика.

В этой главе рассматриваются три группы вертикальных поисковиков. Это специализированные учебные и научные поисковики, особенно актуальные для читателей, получающих образование или повышающих квалификацию. Этим же читателям, надеемся, будут полезны сведения о системах поиска в сетевых электронных библиотеках. Дополняет картину рассказ о специализированных поисковиках компьютерных программ. Эта задача универсальна и время от времени возникает у большинства пользователей.

Научный интернет-поиск

Современные универсальные системы интернет-поиска не самым лучшим образом приспособлены для поиска научной информации. В результате поиск научных публикаций с их помощью становится достаточно сложной задачей. Решить ее с максимальной эффективностью помогут специализированные научные поисковики, которые являются разновидностью вертикальных машин интернет-поиска. Сейчас можно найти немало таких машин, в основном отраслевого характера. Кроме того, на современном информационном рынке встречается значительное количество коммерческих предложений баз данных научной информации, подписка на доступ к которым может быть весьма дорогостоящей. Мы же остановимся на многоотраслевых интернет-поисковиках, специализирующихся на свободно доступном научном и учебном контенте. В ходе научного интернет-поиска кроме специализированных проектов можно использовать и вертикальные сервисы универсальных поисковиков. Пожалуй, наиболее известным ресурсом такого плана является проект Академия Google.

Академия Google

Когда же может потребоваться обращение к такому специализированному научному поиску? Типичные ситуации – подготовка рефератов, курсовых и других учебных работ. Представим себе студента, которому нужно подготовить такую письменную работу. Скачивать готовую курсовую – низкий класс, тем более что по узким темам готовых рефератов немного, соответственно, они хорошо известны всем, в том числе и преподавателям. Да и пользы от таких рефератов для самого студента – ноль, разве что время экономится. Итак, наш герой принимает правильное и максимально полезное для качества своего образования решение: работать самостоятельно. Первый этап подготовки любой учебной работы – поиск источников по теме. Вполне логично использовать для этих целей не только традиционные, но и интернет-источники. Однако при обращении к сетевым источникам возникает несколько проблем, главная из которых – проблема оценки качества найденных публикаций. Если искать обычными универсальными поисковиками, то отличить первоисточник от «перепева» или банального плагиата очень сложно. Кроме того, никто не дает гарантии, что приводимая информация не была искажена. Специализированный поисковик ограничит поиск только заранее отобранными ресурсами, содержащими качественную информацию. Проведем практический эксперимент и отправим одинаковые запросы в универсальном поисковике Google и в Академии Google. Тестовым ключевым словом выступит «абиогенез» – одна из концепций современной биологии, описывающая происхождение живой материи из неживой. Первые две страницы выдачи «обычного» поисковика Google будут заняты ссылками на краткие статьи словарей и энциклопедий с редкими вкраплениями предложений скачать рефераты по близким темам. Список выдачи Академии Google с первых же страниц полностью состоит из ссылок на научные и научно-популярные статьи, материалы конференций и разделы книг по теме запроса. Поскольку рядом с каждым материалом приводятся сведения о его цитируемости в других работах, это позволяет достаточно быстро найти основные работы, с которыми, по всей видимости, стоит ознакомиться в первую очередь.

Давайте подробнее познакомимся с возможностями и инструментами Академии Google. Бета-версия данного сервиса под оригинальным названием Google Scholar стартовала в октябре 2004 года. Академия Google индексирует ресурсы открытого доступа, интернет-сайты, а также издательские сервисы, предоставляющие доступ к публикациям на коммерческих условиях. Кроме того, научный поисковик Google развивает программу интеграции с электронными каталогами классических (офлайновых) научных библиотек. Данная программа предназначена для библиотек, располагающих онлайновыми электронными каталогами, поддерживающими формат OpenURL. Подключение библиотек к научному проекту Google свободное и бесплатное. В зависимости от настройки сервера библиотеки просмотр каталога может предоставляться как всем желающим, так и только зарегистрированным пользователям библиотеки. Русскоязычная версия Академии Google по умолчанию поддерживает поиск по электронному каталогу Государственной публичной научно-технический библиотеки (ГПНТБ). При настройке механизма поиска пользователь может добавить до трех собственных ссылок на онлайновые каталоги библиотек, поддерживающих названные технологии.

Интерфейс поисковика выдержан в строгом стиле и предлагает не так много дополнительных инструментов. К средствам быстрой фильтрации результатов отнесем, разве что, хронологическое меню, позволяющее переходить к просмотру публикаций определенного года выхода. Если публикация была найдена на нескольких ресурсах, то в результатах поиска появится ссылка для просмотра полного списка копий такого материала. При оценке релевантности той или иной ссылки, влияющей на ее позицию в списке выдачи поисковика, учитывается индекс цитирования публикации и ее автора, а также известность интернет-источника или издания, опубликовавшего статью (рис. 2.1).

Рис. 2.1. Страница результатов поиска сервиса Академия Google

Режим расширенного поиска. Академии Google, кроме стандартного набора инструментов формирования запроса (поиск по фразе, на включение и исключение указанных слов), предлагает поиск по именам авторов и по публикациям определенных журналов, а также позволяет указать диапазон дат публикации нужных материалов.

Каждая ссылка на странице выдачи снабжается кратким библиографическим описанием источника, счетчиком индекса цитирования данной публикации, а также ссылкой для поиска похожих материалов. При настройке системы доступен инструмент. Библиографический менеджер, позволяющий получить корректное библиографическое описание источника, которое можно использовать в списке литературы к своим работам. К сожалению, предусмотрены только зарубежные стандарты описания ресурсов, форматы наших библиографических. ГОСТов здесь не поддерживаются, что определенно смазывает впечатление от этой полезной функции.

К достоинствам. Академии Google отнесем простоту освоения, высокую скорость работы, а также функцию поиска в каталогах крупных «офлайновых» научных библиотек. Недостатками проекта является небольшой выбор дополнительных инструментов управления поиском, а также информационный шум в результатах для пользователя, ориентирующегося на источники свободного доступа. В списке выдачи этого поисковика много ссылок на коммерческие ресурсы, что означает прямую доступность только аннотаций или кратких выдержек из текста публикаций.

Scholar.ru

Система Scholar.ru специализируется на русскоязычном учебном и научном контенте. Поисковик индексирует различные виды документов: статьи, монографии, а также авторефераты диссертаций, представленные в широко распространенных форматах электронных книг: HTML, PDF и DjVu (рис. 2.2).

Рис. 2.2. Страница результатов поиска сервиса Scholar.ru

Пополнение индекса ведется в комбинированном режиме. Основным источником данных служат результаты автоматической индексации нескольких крупных онлайновых проектов, в том числе сети SciPeople, собирающих электронные версии научных публикаций и предлагающих их в общем доступе. Кроме того, материал может быть добавлен в поиск самим автором. Соответствующая форма предлагается на страницах проекта. Следствием такого подхода стало, с одной стороны, практически полное отсутствие информационного шума в результатах, а с другой – сравнительно небольшой объем базы проекта. На данный момент в ней порядка 80 тысяч публикаций.

Работать с сервисом Scholar.ru можно в режимах простого и расширенного поиска. Последний дает возможность использовать в запросе ряд фильтров. С их помощью можно точно указать тематический раздел базы Scholar ru для поиска, дату публикации, название журнала или адрес сайта, на котором был опубликован материал. Кроме того, можно искать работы конкретного автора или же работы, выполненные в определенном учреждении.

Страница выдачи результатов поиска содержит простой текстовый список ссылок на найденные публикации. Каждый пункт этого списка включает полный заголовок статьи, имя автора, сведения об издании, в котором была опубликована статья, а также первые фразы ее аннотации. Приведенные данные сопровождаются значками доступных для скачивания версий статьи в различных форматах и списком тематических тегов. Некоторые результаты снабжаются также примером библиографического описания найденного материала, который можно использовать в списках литературы. Кроме ссылки на саму статью предлагается и ссылка на страницу ее обсуждения на проекте SciPeople.

Данный сервис представляет собой гибрид поисковика и веб-каталога. Получить доступ к каталогу можно на вкладке-разделе Каталог научных публикаций. Предлагаемый каталог состоит из двадцати пяти основных разделов, отражающих широкий спектр наук как естественного, так и гуманитарного профиля. К сожалению, количество пустых разделов здесь достаточно велико, что не способствует эффективной работе. Разработчики предупреждают, что в каталог попадают не все статьи проекта, поэтому если важен максимальный охват доступного материала, лучше использовать не каталог, а систему поиска.

Вкладка Авторефераты и диссертации предлагает доступ к каталогу соответствующих видов документов, проиндексированных Scholar ru. Каких-либо специфических инструментов поиска или сортировки в нем не предусмотрено.

Раздел Научные области предлагает облако тегов, с помощью которого можно найти нужный материал. Любопытно, что страница выдачи при поиске в этом разделе сопровождается вспомогательной боковой панелью с перечнем тематически близких научных тематик.

Раздел Аспирантура носит справочный характер, напрямую к поиску не относится и содержит паспорта научных специальностей.

Поиск на научных сайтах с использованием платформы Flexum «Поиск по научным сайтам»

Тема научного поиска не прошла мимо разработчиков персональных поисковиков. Подробному рассказу о возможностях таких поисковых систем посвящена отдельная глава нашей книги (см. главу 6). Сейчас же мы остановимся на одном из примеров таких ресурсов – тематической системе научного поиска, созданной с помощью платформы Flexum. В индексе проекта на сегодняшний день несколько тысяч сайтов. Данный проект по этому показателю, кстати, является крупнейшей системой на платформе Flexum. В индексе проекта представлены тематические научные интернет-ресурсы, сайты учебных заведений, научных организаций и научных журналов.

Интерфейс поиска на научных сайтах предлагает стандартные для поисковиков на базе Flexum возможности. Стартовая страница содержит не только инструменты составления запроса, но и каталог включенных в систему сайтов. Он автоматически выстраивается на основе тегов, присвоенных сайтам автором поисковика. Всего на данном поисковике выделено несколько десятков категорий. Среди них как тематические разделы, посвященные отдельным научным дисциплинам, так и разделы, выделенные по типам интернет-ресурсов. К таким разделам относятся Форумы и блоги, а также Электронные библиотеки.

В системе научного поиска на базе Flexum доступен только режим простого поиска. Найденные веб-страницы могут выводиться единым списком с сортировкой по релевантности или группироваться по сайтам, на которых они были найдены. Рядом с каждой ссылкой в списке выдачи находится кнопка вызова формы поиска с помощью Flexum на найденном сайте. Расположенная рядом со списком выдачи панель тегов-закладок позволяет быстро переходить к поиску только на сайтах, помеченных соответствующими тегами, что повышает точность поиска.

Главное достоинство данного ресурса – хороший охват научных интернет-ресурсов на русском языке. К недостаткам отнесем отсутствие дополнительных возможностей составления сложных запросов, а также наличие информационного шума в результатах поиска. Справедливости ради отметим, что эти недостатки свойственны многим персональным поисковикам.

Scirus

Любой серьезный специалист не может развиваться в профессиональном плане, не получая качественной информации о сфере своей деятельности. О студенте, который пишет курсовую, мы уже говорили. Давайте теперь вспомним про его научного руководителя. Современная наука многонациональна, оставаться на гребне волны, не интересуясь зарубежными публикациями, сейчас, пожалуй, просто невозможно. Однако здесь начинаются проблемы. В мире выходит огромное количество книжных и периодических изданий научной тематики. Получить доступ к таким «бумажным» версиям зачастую сложно, иногда не помогают и библиотеки: относительно малое количество людей, интересующихся специфическими узкими темами, помноженное на традиционно высокую стоимость научной литературы не способствует полноте комплектования таких библиотек. В этой ситуации на помощь опять же приходит интернет. Даже исторически глобальная компьютерная сеть связана с академической наукой – это было, пожалуй, первое применение интернета в «мирной» жизни за пределами сферы интересов военных. Сохраняется это значение интернета и в наши дни. В. Сети находится значительное количество архивов и баз данных научной тематики. Правда, при попытке ими воспользоваться возникают новые проблемы. Во-первых, никуда не пропадает проблема оценки качества и достоверности информации. Более того, критерии качества источников в научной и профессиональной деятельности значительно повышаются. Во-вторых, сетевые базы могут быть как открытыми, бесплатными, так и коммерческими, цены на доступ к которым не отличаются демократичностью. Разделить их в списке выдачи универсальных интернет-поисковиков сложно. Справиться с новыми вызовами помогают специализированные интернет-поисковики.

Система Scirus предназначена для поиска научной информации в сферах естественных наук, компьютерных технологий, экологии, экономики, менеджмента и лингвистики. Индексная база Scirus рассчитана на специалистов и исследователей В настоящее время в нее входит порядка трехсот семидесяти миллионов документов. Это именно научные публикации, взятые из солидных источников. Если говорить о доступных видах документов, то это не только журнальные статьи и монографии, но и научные рефераты, препринты, материалы конференций, патенты. Кроме того, ведется поиск на официальных сайтах научных организаций и учреждений. К сожалению, среди источников Scirus нет русскоязычных ресурсов, поэтому для эффективной работы с найденным контентом требуется знание иностранных языков.

Замечательное качество данного поисковика состоит в том, что любая найденная ссылка обязательно ведет к полному тексту найденной публикации. Это значит, что пользуясь Scirus, вы, в отличие от многих других подобных поисковиков, не попадете в результате на страницу платной базы, где вам покажут один-два абзаца текста и ненавязчиво попросят за просмотр остального несколько десятков евро. В то же время Scirus может работать и с коммерческими источниками. Для этого предусмотрена устанавливаемая при настройке поисковика опция показа результатов, полученных, в том числе, и из коммерческих баз.

Возможности составления запросов предусматривают режимы простого и расширенного поиска. В режиме расширенного поиска можно пользоваться стандартными логическими операторами, фильтровать список выдачи по видам документов и форматам файлов. Доступен поиск введенных ключевых слов в определенных полях описания документов (автор, заглавие, ISSN и другие). Кроме того, в форме расширенного поиска присутствует несколько специфических для научной сферы фильтров. Например, можно ограничить выдачу только электронными материалами «печатных» журналов или же результатами, полученными со страниц веб-проектов, причем допускается детальный выбор используемых при поиске источников. Интересен фильтр Subject Areas. Как известно, значительный процент современных исследований проводится на стыках нескольких дисциплин. С помощью данного фильтра можно четко обозначить сферу науки, к которой должны относиться ожидаемые результаты поиска. Это позволяет гибко выделять в результатах поиска как узкие исследования, так и публикации междисциплинарного характера (рис. 2.3).

Рис. 2.3. Система Scirus предлагает поиск среди 370 млн научных публикаций

Интерфейс страницы поисковой выдачи Scirus разделен на несколько панелей. Основная часть экрана отдана списку выдачи, который можно сортировать по релевантности и по дате публикаций. Возле всех ссылок находятся флажки, с помощью которых можно отобрать нужное подмножество записей и одним щелчком мыши отправить их по электронной почте, сохранить для дальнейшей работы (не более 25 ссылок, причем для этого понадобится включить в браузере режим сохранения куки-файлов) или же экспортировать в виде списка. Раздел Refine your Search демонстрирует список дополнительных ключевых слов, автоматически найденных в результатах поиска и позволяющих быстро уточнить свой запрос. Доступны инструменты фильтрации найденного контента по признаку источника.

Возможности дополнительной настройки поисковика Scirus достаточно скромны. Можно задать количество ссылок на странице выдачи, включить режим вывода ссылок на документы из фондов библиотек-партнеров Scirus, а также управлять группировкой ссылок на странице выдачи.

Scirus предлагает несколько вспомогательных дополнений для браузеров Это стандартный простой поисковый плагин и довольно удобная панель инструментов Scirus Toolbar. У веб-мастеров есть возможность установить на своем сайте поисковую форму Scirus. Соответствующий код доступен на странице Downloads – останется только разместить его в коде своего проекта, как любой другой JavaScript-виджет.

ScienceResearch

Проект ScienceResearch является бесплатным и общедоступным поисковиком научных ресурсов, который обладает рядом интересных особенностей. Данный проект работает с базами данных, электронными библиотеками и другими источниками онлайновых научных публикаций. Такие источники называются на данном проекте «коллекциями». В общей сложности проект поддерживает поиск более чем на трех сотнях таких коллекций. Основные особенности ScienceResearch – это поддержка технологии Federated Search и использование кластеризации при выводе результатов поиска.

Технология «объединенного поиска» (Federated Search) разработана компанией Deep Web Technologies и реализована в поисковом алгоритме Explorit Research Accelerator, который предлагается заинтересованным разработчикам. Данная технология отличается тем, что построенные на ее основе поисковики не собирают какую-либо собственную индексную базу, а способны работать в режиме реального времени с большим количеством внешних подключаемых баз данных.

После поступления запроса от пользователя ScienceResearch отправляет его всем поддерживаемым коллекциям. Затем в полученных ответах отбрасываются дублирующиеся записи и определяются наиболее релевантные результаты. Заметим, что степень релевантности определяется с помощью алгоритмов самой системы ScienceResearch и не зависит от качества ранжирующих алгоритмов отдельных источников информации. В результате формируется страница выдачи, которая и демонстрируется пользователю.

Поскольку все эти операции выполняются в режиме реального времени, ScienceResearch предлагает несколько уникальных возможностей. Например, если за время просмотра пользователем страницы результатов поиска в какой-либо из внешних баз появляются новые записи, подходящие под условия введенного запроса, система выводит соответствующее сообщение и предлагает дополнить список выдачи новыми результатами. При составлении запросов допускается использование логических операторов и поиск по точной фразе. Режим расширенного поиска позволяет вести поиск по конкретным признакам (заглавию, автору публикации), ограничить выдачу определенным хронологическим промежутком, а также конкретной научной дисциплиной. Список основных дисциплин выводится на боковой панели поисковика. Кроме того, можно выбрать одну или несколько коллекций, на которые будет отправлен ваш запрос. К сожалению, в бесплатной версии ScienceResearch предлагается выбирать не из всех доступных коллекций, а только из нескольких основных.

Для уточнения запросов в системе ScienceResearch применяются кластерные технологии. Результаты работы алгоритма демонстрируются на боковой панели страницы выдачи Кроме тематических кластеров предлагаются разделы, группирующие статьи по авторам, источникам публикаций и другим подобным признакам. С помощью соответствующих меню можно сортировать список выдачи по различным признакам, а также переключаться в режим просмотра результатов, полученных из какой-либо одной коллекции.

BASE

Научный интернет-поисковик Bielefeld Academic Search Engine (BASE) имеет европейские корни. Сам сервис BASE принадлежит немецкому университету, а в основе его поисковых алгоритмов лежат разработки норвежской компании Fast Search & Transfer. Ценность данного ресурса состоит в том, что BASE является поисковой машиной международного проекта Open Archives Initiative, кроме того, этот поисковик сотрудничает с европейским научно-информационным проектом DRIVER, что способствует повышению качества включенных в индексные базы поисковика материалов.

Первый из названных проектов позволяет владельцам электронных библиотек обмениваться данными о своих собраниях и является частью движения открытого доступа (Open Access), направленного на повышение доступности научной информации. В рамках этого движения, которое приобрело популярность в начале 2000-х годов, авторы получают платформу для распространения своих идей в международной академической среде с минимальными затратами и без необходимости длительного ожидания публикаций в традиционных научных журналах. Целью проекта DRIVER является создание сводного ресурса, объединяющего европейские электронные библиотеки, специализирующиеся на научной и учебной информации. Таким образом, проект BASE является удобной точкой доступа к свободно распространяемой научной информации. Кроме названных источников, в BASE используется и собственная индексная база тематических веб-сайтов и баз данных, поэтому в результатах поиска могут попадаться ссылки на коммерческие базы данных.

Для составления запросов BASE предлагает режимы простого и расширенного поиска. В простом режиме предлагается вести полнотекстовый поиск по всем возможным полям записей проиндексированных ресурсов, а для уточнения запроса доступно только переключение сферы поиска между ресурсами BASE и поиском в базе. Академии Google через интерфейс BASE.

В режиме расширенного поиска можно вести поиск конкретных полей описания ресурсов (автор, заглавие, тема), определять географический регион и год издания публикаций. Здесь же можно определиться с типом искомого контента. Поддерживается поиск статей, книг, текстов лекций, тезисов докладов, а также карт, видео– и аудиофайлов. В систему BASE интегрирован тезаурус Eurovoc, так что при обработке запроса пользователь может получить релевантные результаты сразу на двух десятках европейских языков, а также списки синонимов и близких терминов, что позволяет при необходимости качественно уточнить запрос.

Поиск книг

Книга как форма представления информации продолжает жить и здравствовать даже в нашу эпоху глобальных сетей и гипертекста. Действительно, концентрированное и компактное освещение какой-либо темы в книге выгодно отличается от самостоятельных поисков информации среди россыпей веб-страниц.

Электронные книги – не редкость в современной Сети. Они доступны в различных форматах и на значительном количестве сайтов онлайновых библиотек. Сетевых библиотек сегодня достаточно много, среди них есть как универсальные, так и специализирующиеся на определенных видах литературы. Эффективность интернет-поиска электронных книг во многом зависит от правильного выбора библиотеки, коллекция которой должна максимально соответствовать тематике запроса. Запоминать все библиотеки и их особенности – не самый лучший путь, проще возложить эту миссию на поисковые системы. Вот только универсальные интернет-поисковики в данном случае не очень удобны, поскольку не позволяют быстро находить страницы, предлагающие ссылки на полный текст нужного произведения. Такие ресурсы иногда приходится буквально выкапывать из массы сопутствующих ссылок.

Принцип работы специализированных книжных интернет-поисковиков прост: вместо общего поиска по. Сети они ограничиваются просмотром заранее составленного списка сетевых библиотек. Это обеспечивает повышение точности поиска: за каждой ссылкой на странице выдачи будет находиться именно электронная книга, которую можно просмотреть в режиме подключения или скачать, чтобы просмотреть позже.

Сейчас можно найти достаточное количество подобных поисковых машин. Мы сосредоточимся на лучших представителях семейства, работающих с русскоязычными сетевыми библиотеками. Отобранные нами поисковики соответствуют нескольким важным требованиям. Во-первых, они работают только с теми ресурсами, которые предлагают полнотекстовые версии электронных книг в свободном доступе. Во-вторых, они умеют обрабатывать запросы с различными поисковыми признаками, в том числе специфическими именно для книг. В-третьих, они обеспечивают хороший охват сетевых источников, ведь именно в этом состоит главное преимущество специализированного интернет-поиска по сравнению с поиском в какой-либо одной сетевой библиотеке.

Сервис Google Книги

Сервис Google Книги позволяет не только искать книги, но и читать их в режиме подключения. Основу базы составляют отсканированные книги и электронные версии книг, предоставленные правообладателями. Важным источником пополнения базы стало сотрудничество с крупными традиционными библиотеками. Вопросы корректного использования оцифрованных Google в рамках этого проекта книг во время его становления возникали неоднократно. Обострялись они тем, что, в отличие от многих других подобных проектов оцифровки книг, компания Google работала и с современными изданиями, на которые распространялись авторские права. В итоге компромисс был достигнут и многие особенности книжного поисковика Google обусловлены именно стремлением найти баланс между поисковыми возможностями и требованиями защиты авторских прав.

Возможности составления запроса на сервисе Google Книги по внешнему виду и возможностям в основном соответствуют стандартному веб-поисковику Google. Здесь также предлагаются простой и расширенный режимы поиска. Отличия можно найти только в форме расширенного поиска книг. В ней стандартный блок составления запроса дополнен такими специфическими поисковыми признаками, как Заголовок, Автор и Издатель. Возможен поиск и по специальным индексам, относящимся к издательской продукции. Это международный стандартный номер книги (ISBN) и международный стандартный номер периодических изданий (ISSN). Такие индексы являются уникальными и позволяют однозначно идентифицировать нужное издание.

Собственно поиск ведется среди полных текстов оцифрованных книг. Страница выдачи содержит список результатов, содержащий миниатюру обложки, а также краткое библиографическое описание издания: заглавие книги, сведения об ответственности (имя автора и название издательства), количество страниц. Обязательно приводятся условия просмотра книги. Возможны три варианта, определяемые условиями, на которых издания были предоставлены Google правообладателями. Первый вариант – запрет просмотра текста книги. В этом случае рядом с таким результатом выводится сообщение «Без предварительного просмотра». Второй, наиболее распространенный, вариант предполагает возможность просмотра фрагментов отсканированных книг. Размер фрагментов может отличаться. Как правило, демонстрируются только одна-две страницы, на которых были обнаружены слова из поискового запроса. Кроме того, к показу правообладателем могут быть разрешены только определенные страницы издания. Обойти эти ограничения иногда удается подбором дополнительных ключевых слов или работой с оглавлением. Также можно найти приложения, позволяющие автоматизировать этот процесс и загружать на свой компьютер как фрагменты книг из баз Google, так и издания целиком. Третий вариант применяется к изданиям, срок действия авторских прав на которые истек или которые предлагаются правообладателями в свободном доступе. Такие книги в результатах поиска имеют пометку «Полный просмотр». Для полного просмотра предлагаются также все периодические издания, размещенные в базе Google.

Страница просмотра книги предлагает два режима отображения: простой текст, полученный в результате распознавания оцифрованных страниц, и непосредственный вывод графических файлов отсканированных страниц. Если издание разрешено для полного просмотра, в интерфейсе страницы располагается ссылка, позволяющая загрузить электронную книгу в формате PDF.

Обладатели аккаунтов Google получают также возможность добавлять нужные книги со страницы выдачи в собственную онлайновую библиотеку. Сделать это можно с помощью меню. Добавить в мою библиотеку, которое сопровождает каждый результат на странице выдачи В меню можно выбрать папку персональной библиотеки, в которой будет сохранена книга. На сохраненные книги можно составлять собственные рецензии, которые будут видны другим пользователям проекта. Предлагается также поиск среди текстов книг персональной библиотеки.

eBdb

Проект eBdb ведет свою историю с 2003 года, когда у его создателей появилась идея специализированного поисковика для интернет-библиотек. Первая версия проекта называлась eBoogle, однако через некоторое время имя проекта пришлось сменить из-за претензий со стороны представителей Google – слишком уж похожими были названия и дизайн. В результате проект обрел свое современное название, которое является сокращением от фразы «Electronic Books Database» – «база данных электронных книг». В настоящее время eBdb предлагает достаточно удобный поиск практически во всех крупнейших российских сетевых библиотеках. В индексе проекта сейчас насчитывается полтора миллиона электронных книг.

Рассмотрим основные возможности eBdb. Доступен только режим простого поиска, однако он дополнен рядом полезных инструментов. Некоторые из них реализованы в виде поисковых операторов. У пользователя есть возможность поиска книг внутри конкретной библиотеки. Для этого используется оператор site:, сопровождаемый адресом конкретной библиотеки. Заметим, что в таком запросе может фигурировать и группа библиотек, адреса которых в этом случае разделяются запятыми. Если же данный оператор использовать без какого-либо ключевого слова, а только с адресом веб-сайта, то страница выдачи будет содержать полный список книг из этой библиотеки, проиндексированных поисковиком. Поддерживается также стандартный поиск точной фразы. Для его запуска понадобится заключить свой запрос в кавычки.

Страница выдачи поисковика eBdb выдержана в классическом стиле. Результаты поиска выводятся в виде обычного текстового списка. Каждая позиция в списке содержит название найденной книги, краткую аннотацию, если она, конечно же, доступна на сайте библиотеки, и сведения о самой библиотеке, в которой была найдена книга, в том числе адрес сетевой библиотеки, общее количество проиндексированных в ней книг и сведения о необходимости регистрации, если для скачивания книги требуется заводить персональный аккаунт. Если книга была найдена в нескольких сетевых библиотеках, соответствующее сообщение будет показано рядом с результатом. Щелкнув на нем, можно просмотреть перечень библиотек и выбрать из них наиболее удобную для вас. Данная функция продублирована поисковым оператором group: По умолчанию ссылки в результатах выдачи группируются по одинаковым названиям книг. Такой подход позволяет избежать засорения списка выдачи дублирующимися результатами.

Кроме проекта eBdb.ru действует и аналогичный проект eBdb in English (). Заметим, что он работает с зарубежными сетевыми библиотеками, соответственно результаты поиска русской и английской версий поисковика различаются. При «иностранном» поиске книг в списке выдачи нередко можно обнаружить ссылки на файлы, которые хранятся на различных файловых хостингах. С одной стороны, это удобно, поскольку позволяет расширить сферу поиска. С другой стороны, никакой проверки работоспособности ссылок на файлы eBdb не проводит. Это значит, что вероятность наткнуться в таком режиме на «мертвую» ссылку или удаленный файл достаточно велика, что несколько портит впечатление от данного режима поиска.

Кроме собственно поисковика проект eBdb предлагает собственный каталог электронных книг. Он разделен на пять основных разделов. Наиболее крупным из них является раздел. Художественная литература, который содержит подразделы русской и зарубежной литературы, а также множество жанровых подразделов: от комиксов и манги до мемуаров. Раздел Нехудожественная литература содержит тематическую литературу по различным отраслям знаний и отдельным темам. Особенно интересны подразделы, посвященные изучению иностранных языков. Весьма богат раздел. Детям и родителям, в котором собрано одиннадцать тысяч детских книг и популярных педагогических изданий. Раздел Бизнес-книги, в полном соответствии со своим названием, предлагает литературу по экономике, финансам, организации бизнеса и другим сопутствующим темам. Раздел Foreign Books предлагает списки книг, отсортированных по языковому принципу.

Настройка механизма поиска вынесена на отдельную страницу. В процессе настройки можно определить способ открытия результатов – в новом окне или в исходном; способ группировки книг – по названию книги или без группировки, а также задать количество ссылок на странице выдачи Доступный диапазон – от десяти до ста ссылок на странице (рис. 2.4).

Рис. 2.4. Страница настройки поисковика eBdb

Проект eBdb обладает рядом приятных дополнительных возможностей и инструментов. В первую очередь отметим возможность RSS-подписки на поступившие в индекс поисковика новые книги из определенной библиотеки. Другой вариант – RSS-подписка на новые поступления eBdb, подходящие под составленный пользователем поисковый запрос. Последний вариант очень удобен, если вы постоянно отслеживаете книжные новинки определенной тематики.

Система eBdb предлагает собственный поисковый плагин, который можно установить в браузерах Internet Explorer и Mozilla Firefox. Веб-мастера имеют возможность установить форму поиска eBdb на своем сайте.

Nigma

Собственной системой поиска электронных книг обладает и российский кластерный метапоисковик Nigma. Система поиска Nigma, ориентированная на поиск в электронных библиотеках, еще находится в стадии разработки, и «фирменный» механизм кластеризации здесь пока работает не очень хорошо, однако его доработка применительно к особенностям поиска литературы, скорее всего, – просто вопрос времени. Что касается полноты поиска, то впечатление от данного ресурса двойственное. Как правило, Nigma находит меньше позиций, чем рассмотренный ранее проект eBdb. Однако у Nigma есть свои козыри.

Данная система включает в результаты поиска не только сами книги, но и рецензии на них, а также статьи критического плана. Такие ссылки помечаются в списке результатов рисунком с пером. Это обстоятельство весьма полезно для студентов и школьников. Из других дополнительных функций стоит отметить инструмент. Найти слова, доступный в виде ссылки, расположенной возле всех позиций в результатах поиска. Данная функция позволяет провести поиск ключевых слов из запроса в тексте найденной книги. Работает эта функция только для электронных книг, представленных в формате HTML или TXT. Возможность поиска в тексте книги весьма удобна, если первоначально поиск проводился по широкому тематическому запросу и перед скачиванием книги необходимо убедиться, что издание посвящено именно предмету вашего поиска, а не его синонимам из других областей.

Biblio

Сразу несколько проектов, посвященных поиску электронных книг, эксплуатируют технологии персонального поиска. Проект Biblio построен на платформе Google Custom Search.

Данный поисковик выдает не только прямые ссылки на книги или статьи, но и ссылки на страницы со списками книг, среди которых уже можно встретить прямую ссылку для скачивания нужного текста. При тематическом поиске это может быть полезно, поскольку появляется возможность найти новые книги по теме. Если же разыскивается конкретная книга, то такие ссылки только способствуют увеличению информационного шума.

Отметим, что поиск здесь полнотекстовый, а это значит, что слова из запроса ищутся во всем тексте выложенной в интернете электронной книги. Это плюс, однако не стоит забывать, что таким образом индексируются только те произведения, которые представлены в сетевых библиотеках в виде HTML– или TXT-файлов. Если же книга выложена для скачивания в виде архива, полнотекстовый поиск не работает. На популярные запросы к данным системам можно подписаться с помощью RSS.

У Biblio есть проект-близнец, который называется eBiblio (ebibLio.net). Рассматривать его отдельно особого смысла нет – результаты одинаковых запросов у данных ресурсов полностью совпадают вплоть до десятой страницы выдачи.

Особенностью данных проектов является возможность уточнения запроса с помощью перечня рубрик, расположенного над основным списком выдачи Он позволяет быстро отфильтровать в результатах поиска, например, только рефераты или справочные издания, оставив в стороне фантастику и другую художественную литературу. К сожалению, отметить сразу несколько рубрик нельзя. Кроме того, данный фильтр на Bibblio и eBiblio не всегда работает корректно, особенно в случае с аудиокнигами.

Поиск программ

Каталогов, отслеживающих новинки программного обеспечения или же собирающих соответствующие архивы, в современном интернете великое множество. Среди них есть как крупные проекты, стремящиеся к максимально полному охвату программ всевозможного назначения, так и специализированные тематические ресурсы. Такая ситуация порождает проблему: в ходе поиска или выбора какой-нибудь нестандартной программы приходится просматривать как минимум несколько каталогов программного обеспечения. Решение данной проблемы логично возложить на специализированные поисковики, которые примут запрос, отправят его на тематические ресурсы, обработают полученные результаты и представят их единым удобным списком. Подобные поисковики особенно хороши при поиске не конкретной программы, название которой вы уже знаете, а при подборе программ для решения какой-либо задачи, поскольку позволяют составить достаточно полное впечатление о состоянии рынка в выбранной области. Сразу предупредим, что речь пойдет о машинах, работающих только с легальным программным обеспечением – не важно, бесплатным или коммерческим. Так что потребителям «вареза» с комплектом «таблеток» лучше обратиться к другим источникам.

SoftSearch

Для поиска русскоязычного программного обеспечения имеет смысл использовать систему SoftSearch. Все-таки зарубежные машины плохо справляются с поиском наших программ, да и понятие «русификатор» им, как правило, не ведомо. Этот поисковик работает с двумя десятками каталогов программного обеспечения, в том числе Downloads.ru, Freesoft, Listsoft и многими другими крупными ресурсами, что в итоге создает достаточно широкую базу поиска.

В SoftSearch доступен только режим простого поиска. С помощью переключателей можно только выбрать тип контента: помимо компьютерных программ SoftSearch позволяет искать книги, новости и статьи. Дополнительные фильтры появляются уже на странице выдачи результатов поиска. Состав их не отличается оригинальностью, но предлагает все основные возможности, включая отбор программ с русским или английским интерфейсом, фильтрацию программ с различным типом лицензии (свободное распространение или условно-бесплатные). Отдельный фильтр посвящен выбору платформы. Поддерживается выбор различных версий Windows, Mac OS, Unix и мобильных операционных систем. Также можно задать количество ссылок на странице выдачи Диапазон допустимых значений – от классической десятки до сотни. К сожалению, одновременно указать в одном запросе несколько условий не получится, что не очень удобно.

Проект SoftSearch поддерживает дополнительную обработку полученных результатов. Выражается это в наличии собственной системы рейтинга, которая используется также при ранжировании результатов в списке выдачи Она основана на популярности той или иной программы на портале SoftSearch, что придает рейтингу определенную самостоятельность: и раскрученные пакеты, и новинки рынка оказываются в одинаковых стартовых условиях.

Для каждой ссылки на странице выдачи предлагается неплохая подборка полезной информации. Кроме названия программы, это адрес сайта, в каталоге которого она была найдена. Приводится очень краткий – буквально одна строчка – фрагмент с описанием приложения. Есть и другие полезные данные, о которых забывают многие конкуренты: дата обновления, номер последней версии, размер установочного файла найденной программы.

Данная система обладает возможностями как поисковика, так и простого каталога программного обеспечения (рис. 2.5). Каталог можно просматривать по названиям программ в алфавитном порядке, кроме того, можно воспользоваться тематическими разделами.

Рис. 2.5. Система SoftSearch обладает возможностями как поисковика, так и каталога

У SoftSearch есть собственная рекомендательная система, предлагающая подборку похожих программ. Заметим, что работает она весьма достойно, поэтому если вы ищете программу для решения какой-либо задачи, не проходите мимо, вполне возможно, что вас заинтересуют и другие предложения. Кроме того, для импортных приложений данный инструмент предлагает ссылки на пакеты русификации.

Exefind

Поисковик Exefind поддерживает только простой режим поиска. Скорость работы данной машины весьма высока. Для каждой найденной записи приводятся название программы, краткое описание функций, ссылка на каталог, в котором она была найдена, размер, а также прямые ссылки на скриншот программы и на программу установки. Если же щелкнуть на заголовке записи, откроется не страница внешнего каталога, как это можно было бы ожидать, а новая страница самого поисковика Exefind с несколько более подробным описанием найденной программы.

Результаты сортируются по релевантности, каких-либо дополнительных режимов сортировки или фильтрации не предусмотрено. В то же время система выделяет цветом бесплатные и коммерческие программы. Если программное обеспечение распространяется свободно, рядом с ним в результатах имеется зеленая полоска. Если же это условно-бесплатный или коммерческий продукт, то полоска розовая.

Четкого списка каталогов программ, которые Exefind задействует в поиске, на сайте проекта нет, однако в результатах можно найти ссылки на большое количество малоизвестных специализированных каталогов, что представляется весьма интересным в плане увеличения широты охвата при поиске. Здесь можно искать программы для самых различных платформ, как «настольных», так и мобильных. С русскоязычными ресурсами и вообще с кириллическими запросами данная машина не работает.

Qweas

Система Qweas умеет работать в двух режимах поиска: в собственной базе и в Сети. В первом случае скорость, естественно, гораздо выше, но охват меньше. Страница результатов на первые позиции выводит «рекомендованные» редакцией поисковика ресурсы. В основном это коммерческие продукты, что наводит на мысли о скрытой рекламе. В то же время качество поиска, как такового, хорошее, и на первых позициях, как правило, оказываются весьма и весьма достойные программы.

Доступен как простой, так и расширенный поиск. В первом случае кроме собственно строки запроса выводится только меню с фильтром платформ. В расширенном режиме поиска предлагается форма, состоящая из восьми полей, в которых можно точно указать платформу для требуемой программы. Заметим, что здесь помимо названия можно ввести конкретную версию операционной системы.

Любопытно, что данный ресурс работает не только с привычным набором Windows/MacOS/Linux/Unix, но и с программами для куда более экзотичных систем, в числе которых AS/400, RIM, OpenVMS, старушки DOS и OS/2, а также современные мобильные платформы. В то же время полнота поиска иногда вызывает вопросы, система не находит некоторые весьма распространенные пакеты.

На странице выдачи для каждой программы демонстрируются ее название, краткая выдержка из ее описания, прямая ссылка на файл программы с информацией о его размере. На боковой панели страницы выдачи выводятся предложения по уточнению запроса. Благодаря такому механизму в Qweas удобно подбирать программное обеспечение по нечетким запросам.

Кроме системы поиска, проект Qweas располагает довольно крупным и детализированным каталогом программного обеспечения.

Выводы и рекомендации

Создание качественного и популярного тематического поисковика – непростая задача. Не стоит забывать, что интернет-поиск – зона тяжелой конкурентной борьбы, и чтобы достичь успеха, специализированный вертикальный поисковик должен предложить нечто такое, что пользователь не сможет получить с помощью того же Google или другого популярного универсального поисковика. А это весьма и весьма сложно. Однако рассмотренные в данной главе проекты вполне успешно справляются с этой задачей.

Если говорить о научном поиске, то в настоящее время, к сожалению, возможности поиска публикаций на русском и иностранных языках нельзя назвать равнозначными. Проект Scholar, ru, а также проект на платформе Flexum «Поиск по научным сайтам» предлагают только базовые инструменты составления запроса и значительно уступают зарубежным аналогам по объемам баз. В то же время это единственные специализированные источники для научного интернет-поиска на русском языке и полученные с их помощью результаты весьма полезны. Если же стоит задача поиска зарубежных научных публикаций, то замечательные результаты можно получить с помощью системы Scirus. Большой объем базы и хороший выбор инструментов составления запроса дают хорошие шансы на успешное завершение поиска. Ресурсы ScienceResearch и BASE также предлагают неплохую подборку источников и оригинальные инструменты составления запроса.

Поиск полнотекстовых электронных книг в настоящее время является достаточно хорошо разработанной областью вертикального поиска. Среди соответствующих разделов универсальных поисковиков безусловно лучшими являются проекты Google и Nigma. Система Google Книги хороша в первую очередь для фактографического поиска в текстах книг, поскольку в большинстве случаев демонстрирует только фрагменты книг. Поиск книг в проекте Nigma ориентирован на полнотекстовые книги, интересен он также параллельным поиском критических публикаций. Однако лучшим инструментом для поиска полных текстов электронных книг следует признать проект eBdb. Он хорошо работает с русскоязычными сетевыми библиотеками. Найденные книги доступны для скачивания без каких-либо ограничений. Максимум, что потребуется от пользователя для получения файла – регистрация в соответствующей сетевой библиотеке. Данный поисковик умеет работать как с прямыми запросами по названию конкретной книги, так и с более широкими запросами, позволяющими отследить публикации определенного автора или же собрать тематическую подборку литературы. Кроме этих базовых функций он обладает удобным набором дополнительных сервисов. Таким образом, данная машина может быть рекомендована всем пользователям, интересующимся электронными книгами.

При поиске программ первую остановку имеет смысл сделать на проекте SoftSearch. Хорошая работа с каталогами и собственная рейтинговая система способствуют повышению качества поиска. Неплохие результаты при поиске зарубежных программ можно получить с помощью системы Exefind. Поисковик Quweas во многом уступает конкурентам, однако отличается уникальной возможностью поиска программ для редких компьютерных платформ.

Глава 3 Метапоиск

Сам факт наличия множества индексных баз данных сетевых документов, причем собранных с использованием разных методов и алгоритмов, порождает экологическую нишу для целого класса метапоисковых систем. Такие системы не занимаются самостоятельным сбором информации, а отсылают запрос пользователя на несколько других поисковых серверов, объединяют результаты поиска, производят их дополнительную обработку и выдают обобщенный ответ. Это увеличивает широту охвата поиска за счет обработки данных различных индексных баз. Кроме того, метапоиск экономит время пользователя, которое иначе пришлось бы потратить на личное обращение ко всем нужным серверам. Такова схема работы полноценной метапоисковой системы. В то же время существует ряд сервисов, пренебрегающих собственным анализом полученных результатов. В предельном случае вы можете просто получить пару-тройку отдельных страниц с результатами разных поисковиков. Данный подход, в общем-то, тоже имеет право на существование, однако далее мы остановимся только на нескольких по-настоящему инновационных системах. Дело в том, что проблема обработки результатов метапоиска стоит даже более остро, чем в случае отдельного поисковика. Не удивительно, что на метапоисковиках можно увидеть немало интересных экспериментальных решений.

У всех ведущих современных интернет-поисковиков есть одна общая черта – они выдают результаты единым списком, отсортированным по релевантности ссылок. При всех своих достоинствах данная схема порождает для пользователей проблемы при большом количестве ссылок в списке выдачи Не секрет, что мало кто просматривает на поисковике больше одного-двух экранов результатов, на которых может так и не найтись требуемой информации. В то же время нужные данные в итоге могут оказаться на сайте, занимающем какую-нибудь 108-ю позицию в общем списке. Получается парадоксальная ситуация: информация в Сети есть, она найдена, однако останется навсегда скрытой для пользователя, если он не сможет грамотно уточнить запрос или составить сложное поисковое выражение.

Одним из ответов на данный вызов стала технология кластеризации результатов интернет-поиска. Ее преимущества по сравнению с аналогами – возможность сравнительно простой автоматизации процесса. Кластерные технологии не требуют какой-либо специфической разметки веб-страниц, как это принято в комплексе технологий «семантического веба». Они также не нуждаются в сравнительно трудоемкой предварительной подготовке массива веб-страниц, используемой в веб-каталогах. Цена этого преимущества – некоторый процент информационного шума, неизбежного при автоматической обработке результатов поиска в Сети.

Получив запрос, кластерный поисковик, как и обычная поисковая система, сначала находит в своей базе соответствующие запросу веб-страницы. Различия начинаются на этапе сортировки результатов. Система проводит анализ найденных страниц и находит на них дополнительные ключевые слова, встречающиеся вместе с терминами из поступившего от пользователя запроса. Получившиеся в результате такого анализа подмножества страниц называются кластерами и с большой вероятностью относятся к разным аспектам темы запроса. Далее в недрах поисковика происходит следующее важное событие – определение релевантности ссылок и их позиции в результатах. Кластерная машина проделывает эту операцию отдельно для каждого кластера. При этом ссылки со страниц одного кластера, то есть сайтов аналогичной или схожей тематики, ценятся выше, чем ссылки с посторонних, пусть даже очень популярных ресурсов. В результате позиция сайта в списке выдачи по кластеру является своеобразным отражением ее оценки коллегами по тематическому цеху, что работает на качество поиска. Кроме того, ранжирование ссылок по отдельным кластерам позволяет вывести на первые позиции в кластерах полезные, но не «раскрученные» ресурсы, которым в обычных поисковиках с выдачей результатов единым списком и бесконечными войнами оптимизаторов мало что светит.

Nigma

Российские разработчики поисковых систем не остаются в стороне от современных тенденций – разработка кластерной машины Nigma ведется исследовательской группой из МГУ им. М. В. Ломоносова в сотрудничестве со Стэнфордским университетом. Предварительная версия сервиса была запущена в начале 2005 года. Nigma опрашивает все крупные базы, содержащие документы на русском языке, в числе которых Google, Yahoo! AltaVista, MSN, Яндекс и Рамблер, что обеспечивает широкий охват источников. Кроме того, постепенно генерируется собственная индексная база Nigma.

Система Nigma позволяет увидеть сильные стороны метапоисков. Помогает в этом практическом эксперименте правильная настройка механизма поиска Nigma. Прямо под строкой ввода запроса находится несколько выпадающих меню, среди которых есть меню. Поисковики. Именно оно дает пользователям возможность управлять подбором поисковиков, на которые отправляются запросы. Если выбрать только какой-нибудь один поисковик, то, по сути, с ним можно поработать в интерфейсе, построенном на кластерах. Попробуйте убрать из этого списка свой любимый универсальный поисковик – в результате полученный по запросу список выдачи наглядно продемонстрирует, сколько веб-страниц вы теряете, работая только с одной индексной базой.

Приятно отметить тот факт, что разработчики Nigma не пошли по соблазнительному для многих пути создания «кальки» уже существующего ресурса, а сделали ставку на инновации. Сильной стороной Nigma является тщательный учет специфики русскоязычных запросов.

Это проявляется в собственном алгоритме кластеризации результатов, а также в поиске по различным морфологическим формам, синонимам слов из запроса пользователя и обобщенным понятиям. Интересная особенность системы заключается в том, что поисковикам отправляются запросы не только по точно заданному пользователем слову, но и по его автоматически сгенерированным словоформам. Это существенно увеличивает количество найденных страниц. Такой режим поиска запускается, если по исходной словоформе обнаруживается слишком мало документов. Работа этого механизма видна в служебной информации о найденной ссылке на странице выдачи Если документ был найден без морфологического преобразования запроса, то рядом с ним будут просто указаны использованный поисковик и рейтинг страницы. Если же была найдена сгенерированная словоформа, то после названия поисковика появится буква «М».

Особого упоминания заслуживает мощная система исправления орфографических ошибок и опечаток в запросах Nigma умеет исправлять прямо-таки клинические случаи: до четырех ошибок в слове, набранном в неправильной раскладке, причем предлагаемые варианты сортируются на основе близости к звучанию исправляемого слова. Кроме того, в систему встроен собственный словарь компьютерных терминов – полагаем, не надо рассказывать, сколько может быть вариантов написания у многих заимствованных слов из данной предметной области и какие проблемы из-за этого возникают при поиске в Сети на русском языке.

В Nigma работает система автоматического дополнения вводимого запроса. Помимо предложений по написанию запроса, здесь появляются дополнительные результаты: перевод вводимых слов на английский язык, короткие ответы на прямые вопросы к системе, а также справка из Википедии по теме запроса. Кроме того, по выпадающему меню автозаполнения можно перемещаться с помощью клавиатуры, что улучшает эргономику. В результате данное меню превратилось в самостоятельный и довольно мощный инструмент поиска.

При работе с англоязычными запросами можно воспользоваться инструментом. Англоподсказка, который подсказывает правильные грамматические конструкции для запросов на английском языке, подставляет в запрос синонимы, имеющие аналогичный русский перевод. Однако пока это экспериментальная функция и ее возможности ограничены.

Поисковик Nigma обладает мощной системой поиска ответов на конкретные вопросы, а также может решать математические примеры и работать с химическими реакциями – уникальное пока предложение среди универсальных поисковиков. Для некоторых типов задач (линейные, биквадратные, бикубические уравнения и другие) выводятся не только ответ, но и ход решения задачи. Кроме того, быстрые ответы на такие вопросы демонстрируются в меню автозаполнения.

Подводя итог, можно сказать, что за счет охвата всех крупных русскоязычных индексных баз Nigma – отличное решение для широкого поиска. А применение кластеризации позволяет быстро уточнять свой запрос даже при первоначальном поиске в условиях малознакомых тем, благо дополнительные ключевые слова предлагаются автоматически. В результате данную систему вполне можно рекомендовать для повседневного универсального применения (рис. 3.1).

Рис. 3.1. Российский кластерный метапоисковик Nigma

Для обработки массива найденных ссылок Nigma, как уже было сказано, использует кластеризацию по собственному алгоритму, оптимизированному с учетом особенностей русского языка. Интерфейс страницы выдачи Nigma состоит из основного списка результатов и боковой панели, в которой выводятся иерархический список выделенных системой кластеров, а также краткие справочные сведения о предмете поиска. При щелчке на кластере открывается не только страница соответствующих результатов, но и список вложенных кластеров, позволяющих уточнить запрос. Кроме того, в Nigma действует система фильтрации результатов – установив флажки возле нерелевантных кластеров, их можно быстро исключить из общей выборки.

Интересной экспериментальной функцией Nigma является инфопоиск. Посмотреть на результаты инфопоиска можно на общей странице выдачи Действует он следующим образом. При индексации веб-страницы разбиваются на отдельные блоки данных. Блоки, относящиеся к вашему запросу, добавляются к результатам поиска с высоким рейтингом. В результате на высоких позициях в списке выдачи пользователь видит не только ссылки на максимально релевантные веб-страницы, но и отдельные блоки данных для менее релевантных страниц. Это действительно удобно: мы не теряем полезную информацию из «длинного хвоста» результатов и экономим время, которое иначе пришлось бы потратить на просмотр дополнительных веб-страниц.

Новинками Nigma являются режимы табличного и музыкального поиска. Если ответы на запрос пользователя можно представить в структурированном виде, Nigma формирует на основе найденных данных таблицу и выводит ее на странице выдачи над общим списком результатов. Это удобный режим представления данных, ценность которого повышает возможность сохранения таблицы в формате CSV. К сожалению, эта экспериментальная функция пока работает только с очень небольшим количеством запросов, кроме того, она замедляет работу поисковика. Если для вашего запроса доступен режим таблицы, то на странице выдачи появится специальный значок.

Поиск музыки с помощью Nigma интересен тем, что при индексировании аудиофайлов информация извлекается из MP3-тегов, что позволяет реализовать режим структурированной демонстрации результата поиска. Сведения о найденном файле представляются в виде таблицы. Информация группируется по именам исполнителей, названиям альбомов и композиций, а также жанрам. Кроме того, на соответствующей панели выводится текст песни, если таковой был найден. В принципе, подобный режим поиска привычен при работе со всевозможными плеерами, поддерживающими создание библиотек мультимедиа, однако в сфере интернет-поиска, тем более универсального, это новинка, причем весьма удобная. Найденные записи можно прослушать прямо на странице результатов поиска – для этого в Nigma предусмотрен встроенный плеер. Заметим, что Nigma выдает прямые ссылки на файлы, а не отправляет пользователя на исходную веб-страницу. Пользователи Nigma могут загрузить на сервер собственные файлы в формате MP3, которые будут исправно проиндексированы и станут доступны для всех посетителей Nigma. Свои файлы при желании впоследствии можно будет удалить.

Nigma предлагает также метапоиск в базах изображений поисковиков, задействованных при обычном поиске документов. Здесь кластеризация не используется – доступна только группировка результатов по размерам картинок.

Yippy

Кластерный метапоисковик Yippy имеет уже достаточно богатую историю. Используемый в нем алгоритм был разработан компанией Vivisimo. Под этим же именем система поиска работала до 2004 года, когда на основе алгоритмов Vivisimo был создан метапоисковик Clusty. Помимо более простого интерфейса, эта система в отличие от «демонстратора технологий» Vivisimo была рассчитана на самую широкую публику. Наконец, в 2009 году вместе с очередным изменением интерфейса и появлением дополнительных возможностей метапоисковик получил и новое имя – Yippy, под которым он сейчас и работает.

Yippy получает данные из дюжины источников. Для веб-поиска используют результаты систем Bing, Ask, Yahoo! и Open Directory. Кроме веб-поиска возможен поиск в новостях и блогах. В случае новостей задействуются базы CNN, Yahoo! ТТН Times и Reuters. Для поиска в блогах используются базы Blogpulse, Blogdigger, Feedster и Technorati.

Если рассматривать список этих индексных баз с практической точки зрения, то можно сделать вывод, что поиск с помощью Yippy станет хорошим дополнением к поиску с помощью Google. У вас будет возможность просмотреть объединенные результаты практически всех основных поисковиков на одной странице, обеспечив тем самым значительное расширение базы поиска и экономию собственного времени. Доступные варианты поиска выводятся в виде вкладок над полем ввода запроса. Интересно, что набор этих вкладок, а также список используемых в них поисковых ресурсов можно настраивать. Кроме того, можно создать собственную вкладку и подобрать состав входящих в нее ресурсов. Для перехода к такой настройке служит ссылка Preferences, находящаяся справа от поля поиска. Другие элементы управления на странице настройки позволяют задать количество результатов на одной странице выдачи, а также состав вспомогательной информации, выводимой рядом со ссылками на странице выдачи (рис. 3.2).

Рис. 3.2. Yippy является одним из самых мощных кластерных метапоисковиков

Процесс составления запроса здесь не отличается от «обычных» поисковиков. Все дополнительные инструменты уточнения запроса собраны на странице выдачи Кластеры, которые здесь называются «облаками» (Clouds), представлены на боковой панели в виде наглядного иерархического дерева. По умолчанию показывается не все дерево, а только корневые разделы, которые можно раскрывать щелчками мыши. В нижней части боковой панели находится поле быстрого поиска в найденных кластерах (Find in clouds). После отработки уточненного запроса все кластеры, в которых встречается дополнительный термин, получают цветную подсветку. Кроме вкладки Clouds, на боковой панели расположены вкладки Sources и Sites. Они носят вспомогательный характер и позволяют сортировать результаты веб-поиска по другим признакам, например поисковым машинам, с которых были получены ссылки, или же по доменам найденных сайтов. Названия и содержание закладок Yippy изменяются в зависимости от типа поиска. Например, при поиске изображений кластеры выделяются по размерам изображений, имени и домену источника, а также типу файла.

Форма расширенного поиска, вызываемая ссылкой Advanced, содержит фильтры языка и типа файлов и позволяет ограничить поиск конкретным сайтом или доменом.

В аннотациях к найденным ссылкам на странице выдачи Yippy показывается традиционная для метапоисковиков строка, сообщающая, в каких именно базах был найден данный документ и его рейтинг в этих системах. Удобная особенность Yippy – возможность предварительного просмотра найденных страниц в небольшом фрейме прямо на странице результатов поиска рядом со ссылками.

Весьма интересным получился раздел кластерного поиска в Википедии, который становится удобным средством поиска в случае, когда требуется не просто найти одну статью по конкретной теме, а охватить целиком некую предметную область. Выделяемые системой кластеры здорово экономят время, которое при обычном режиме поиска было бы затрачено на открытие и просмотр связанных статей из Википедии.

Отметим наличие в Yippy интерфейса, оптимизированного для мобильных устройств (m.yippy.com). Здесь кластеры группируются в виде горизонтальной линейки в верхней части страницы выдачи, а вместо строки фильтра появляется раздел Refine Query, предлагающий варианты уточнения запроса.

Системы «классического» метапоиска

Для полноты картины упомянем несколько метапоисковиков, не использующих в своей работе кластеризацию. Среди зарубежных «классических» метапоисковиков стоит назвать такие ресурсы, как Dogpile () и Metacrawler (). Они основаны на одном алгоритме и работают с Google, Yahoo! Ask, LookSmart, About, FindWhat и некоторыми другими машинами. Полученные списки обрабатываются и сортируются по релевантности. «Классический» русскоязычный метапоиск наилучшим образом реализован в системе Metabear/Metabot. Получаемые данные дополнительно обрабатываются по собственному алгоритму. Работает поисковик сразу по двум адресам: на metabear.com расположена английская версия, а на metabot.ru – русская. Среди поддерживаемых поисковых машин и каталогов – Яндекс, Рамблер и Апорт.

При поиске через Metabot можно применять логические операторы и задать режим точного совпадения фразы. Излишне увлекаться данной возможностью не следует, поскольку используемые поисковики могут по-разному толковать одни и те же операторы, что может привести к неправильной трактовке запроса и ухудшению результатов поиска.

Что касается интерфейса, то здесь все выдержано в строгом стиле: ссылка, краткая текстовая выдержка из документа, перечень нашедших его поисковиков. Ключевые слова подсвечиваются цветом.

Кроме работы с веб-документами, система Metabot способна искать специфичные ресурсы: видеоклипы, музыкальные файлы и FTP-архивы.

Ixquick

Согласно некоторым статистическим подсчетам, обычный житель. Лондона за день попадает в объективы примерно трех сотен телекамер наблюдения. В. Нью-Йорке свободы побольше: там среднего жителя за день фиксирует всего двести камер. К этому очередному цивилизационному стандарту постепенно стремятся и другие страны. Сбежать от тотального наблюдения в виртуальное пространство становится все труднее, пресловутая сетевая анонимность, позволю себе скаламбурить, становится все более виртуальной.

Возможности отслеживания сетевой активности сейчас самые богатые. Даже если говорить только об интернет-поиске, можно отметить, что некоторые крупные поисковики сохраняют информацию о проводимых пользователями поисках. К счастью, на многих системах эта опция явно описывается в справке, поэтому у пользователя есть возможность при желании отключить режим записи своих сеансов поиска. Однако отдельные машины, в том числе занимающие лидирующие места на рынке, собирают эту информацию, не спрашивая согласия у пользователей. Это обычно обосновывается необходимостью сбора статистики для улучшения механизма поиска и предоставления дополнительных сервисов. Вот только нет никаких гарантий того, что эти данные никогда не будут переданы третьей стороне или же банально украдены. Ничего не имея против прогресса, все равно спокойней себя чувствуешь, когда в пределах досягаемости находится какая-нибудь волшебная кнопочка под названием «Выключить все». Именно на эту роль и претендует сервис Ixquick.

Система метапоиска Ixquick работает с десятью внешними базами. Это поисковики Bing, Yahoo! Ask, All the Web, Cuil, Entire Web, Gigablast, каталоги Qkport и Open Directory, а также Wikipedia. В списке баз отсутствует Google, однако охват альтернативных систем стоит признать достаточно широким, что делает данный метапоисковик весьма ценным ресурсом. Поддерживается поиск на восемнадцати языках, в том числе русском.

Ixquick предлагает три режима поиска: Ixquick Search, Power Search и Expert Search. В отличие от большинства других поисковиков, быстро сменить режим в ходе поиска не удастся. Для этого придется обратиться к странице настройки системы. Первый из названных режимов, по сути, является режимом простого поиска. С его помощью можно составить запрос, содержащий только какое-либо одно условие. Дополнительных фильтров и инструментов уточнения запроса здесь нет Power Search и Expert Search – это, фактически, два варианта расширенного поиска, отличающиеся количеством доступных возможностей поиска Power Search предлагает стандартные средства работы с логическими операторами: поиск с обязательным включением или исключением указанных ключевых слов, поиск любых слов, поиск точной фразы Expert Search, кроме этого, поддерживает поиск в заголовках страниц и тексте URL-адресов, ограничение поиска определенным доменом, а также позволяет находить сайты, ссылающиеся на указанную пользователем веб-страницу.

Рядом со строкой ввода запроса находится перечень задействованных в ответе на запрос поисковиков и каталогов. При необходимости можно исключить из списка выдачи результаты определенных машин щелчками на их значках.

Полученные от внешних источников результаты обрабатываются, и пользователю предлагается объединенный список уникальных результатов, найденных на различных поисковиках. Для определения релевантности результатов и, соответственно, их позиции в списке выдачи используются собственные алгоритмы Ixquick. Кроме того, на странице результатов поиска рядом со ссылками, которые были высоко оценены целевыми поисковиками, выводится их рейтинг в виде линейки «звездочек». Каждая звездочка означает, что какой-либо из поисковиков поместил эту ссылку на первые позиции в своем списке выдачи При наведении на них указателя мыши появляется всплывающая подсказка со сведениями о нашедших данную ссылку поисковиках и ее позиции в их списках выдачи В остальном страница результатов весьма проста: из дополнительных инструментов уточнения запроса присутствует только строка поиска в найденном, расположенная в нижней части страницы выдачи (рис. 3.3).

Рис. 3.3. Страница выдачи метапоисковика Ixquick

Ixquick может похвастаться некоторыми полезными функциями, демонстрирующими внимательное отношение разработчиков к вопросу приватности пользователей Ixquick предлагает сразу несколько инструментов повышения скрытности поиска и серфинга. Начнем с его способности выступать в качестве прокси-сервера. Рядом с каждой найденной ссылкой в списке результатов поиска находится ссылка Proxy. Щелчок на ней открывает целевой сайт в защищенном режиме, в котором Ixquick выступает в качестве посредника, скачивая запрошенную веб-страницу и выводя ее в собственном интерфейсе для просмотра. При этом внешний сайт не может узнать IP-адрес пользователя, сохранить его куки-файл или как-то иначе нарушить приватность просмотра. При переходе по ссылкам на найденной веб-странице все новые адреса также открываются с помощью прокси-сервера Ixquick. У защищенного режима Ixquick, конечно же, есть некоторые ограничения. В частности, отключаются присутствующие на веб-страницах скрипты, теряют работоспособность многие формы ввода данных. В то же время для обычного серфинга возможностей Ixquick вполне достаточно.

Что же касается самой системы Ixquick, то она не записывает никаких данных пользователя и не хранит историю поиска. Более того, даже при сохранении вариантов настройки механизма поиска у пользователя есть выбор: записать их в куки-файл браузера или же сгенерировать персональный URL-адрес для доступа к странице поиска Ixquick, к который и будут относится сделанные настройки.

Кроме веб-поиска, данная система предлагает поиск изображений, видео и номеров телефонов. Поиск изображений решен достаточно просто и не предлагает ни режима расширенного поиска, ни дополнительных фильтров, кроме «семейного». Видеопоиск в Ixquick опирается на базы системы Blinkx. На странице выдачи предлагаются небольшие Flash-превью найденных роликов. Уточнить запрос можно с помощью тематических фильтров, которые выводятся рядом со строкой запроса вместо предлагаемого при веб-поиске перечня задействованных поисковиков. Поиск номеров телефонов ведется с помощью специальной формы запроса, которая позволяет искать как частные номера, так и номера организаций. Поиск может вестись в нескольких десятках стран. Поддерживается и реверсивный поиск абонента по его номеру. Результаты такого поиска нельзя назвать исчерпывающими, и зачастую Ixquick уступает специальным справочным сервисам.

Из программных дополнений Ixquick оснащен поисковым плагином для браузеров, а также полнофункциональной панелью инструментов для Internet Explorer и Firefox.

Выводы и рекомендации

Ценность метапоиска состоит в широком охвате ресурсов. Именно они позволяют наглядно убедиться, что обращаясь к одному, пусть даже самому лучшему «обычному» поисковику, вы рискуете пройти мимо ресурсов в альтернативных базах данных. Особый интерес представляют метапоисковики, поддерживающие кластерные технологии обработки результатов.

Как нетрудно заметить, прелесть кластерных технологий в полной мере ощущается при поиске по широким запросам. Благодаря возможности уточнять свой запрос по подсказке системы вы найдете искомый результат гораздо быстрее, чем при работе с традиционными поисковиками. На выходе получается не просто список ссылок, а набор тематических разделов, позволяющий быстро составить мнение о предмете поиска. Появляется шанс познакомиться с ресурсами, которые в другом случае вы бы, скорее всего, никогда не увидели. Есть у кластеризации и несколько побочных эффектов. Например, это возможность отследить ассоциативные связи между различными темами, а также в определенной степени обработать синонимы естественного языка – кластерный поисковик не спутает естествоиспытателя. Дарвина с одноименным австралийским портом.

Безусловным лидером в сфере метапоиска русских ресурсов является система Nigma. Хороший охват, достаточно качественная кластеризация, большое количество вспомогательных функций – вот сильные стороны этого метапоисковика.

При поиске зарубежных ресурсов такого однозначного лидера среди современных метапоисковиков нет. Весьма удобна в работе система Yippy. Она оснащена качественными алгоритмами кластеризации и хорошим набором инструментов уточнения запроса. Метапоисковик Ixquick позволят вести поиск в хорошей подборке альтернативных поисковых баз, а также предлагает любопытные инструменты повышения приватности серфинга. Таким образом, выбирать метапоисковик в данном случае следует исходя из особенностей конкретного запроса.

Глава 4 Семантические и визуальные интернет-поисковики

Фрэнсис. Бэкон в свое время заметил, что правильная постановка вопроса свидетельствует о некотором знакомстве с делом. Этот афоризм четырехвековой давности можно применить и к процессу составления поисковых запросов. Для перевода сложного, комплексного вопроса в подходящий набор ключевых слов иногда приходится здорово поломать голову. Вот если бы поисковик мог прямо отвечать на задаваемые вопросы!. Хорошая новость: такие поисковые машины уже существуют и называются «семантическими», или же «поисковиками с обработкой запросов на естественном языке». В этой главе мы познакомимся с лучшими представителями этого класса интернет-поисковиков, реализующими семантические технологии разбора запросов на русском языке.

Прежде чем начинать рассказ о конкретных машинах, разберемся в некоторых характеристиках, отличающих семантические поисковики, и самых общих принципах их работы с точки зрения пользователя. Это позволит в дальнейшем избежать ненужных повторов.

Техническая реализация поиска по прямым вопросам с последующей выдачей на них осмысленных ответов в общем случае такова: поисковая машина принимает заданную пользователем поисковую фразу, после чего пытается автоматически выделить в ее составе ключевые слова и определить их взаимоотношения. Одновременно отбрасывается информационный шум, то есть слова, не несущие смысловой нагрузки. Другими словами, на данном этапе происходит автоматическая формализация поискового запроса и генерирование на его основе четкого поискового образа. Затем он передается более или менее стандартному алгоритму поиска в базе проиндексированных документов.

Следующая важная особенность семантических поисковиков – результаты поиска. Если обычные поисковики в основном предоставляют пользователю ссылки на веб-сайты, где предположительно находится необходимая информация, то семантические поисковики пытаются давать прямые ответы, самостоятельно выделяя в проиндексированных документах нужные фрагменты. В результате страница выдачи подобного поисковика выглядит несколько необычно. Вместо списка релевантных запросу ссылок пользователю предлагается список прямых ответов на заданный пользователем вопрос. Другими словами, главным режимом работы семантического поисковика является режим фактографического поиска.

Практически все современные семантические поисковики в настоящее время находятся в стадии бета-тестирования. В их работе еще встречается немало ограничений. Для эффективного использования таких машин в повседневной работе необходимо не только обладать сведениями об их возможностях, но и представлять себе сферу их применения, то есть ту область, в которой они обладают преимуществами по сравнению с обычными поисковиками.

Dialogus

Система Dialogus реализует только режим простого поиска, не предусматривая каких-либо дополнительных фильтров или инструментов составления запроса. Пользовательские запросы принимаются только в виде прямых вопросов. После отправки запроса Dialogus демонстрирует интересную особенность своего интерфейса: поисковая машина с помощью флэш-ролика иллюстрирует процесс обработки запроса в режиме реального времени. Пусть эта опция и не несет практической нагрузки, однако любопытно видеть, как запрос проходит фазы разбора и формализации, нормализации терминов, синтаксического и морфологического анализа, предварительного поиска в собственной базе Dialogus и Сети в целом, поиска стоп-слов и собственно выдачи текстового ответа. Страница выдачи Dialogus разделена на две главные зоны: рабочую область, содержащую основной список результатов, и боковую вспомогательную панель (рис. 4.1). В ней выводится список запросов, поступивших в систему от других пользователей и тематически похожих на заданный вами, а также, что особенно интересно, проводится поиск изображений, подходящих, по мнению поисковика, под тематику вашего запроса. Правда, эффективность поиска изображений пока невысока, равно как и релевантность предлагаемых картинок.

Рис. 4.1. Семантическая поисковая система Dialogus

Ответы Dialogus представляют собой краткие текстовые выдержки, в которых, по мнению системы, находится ответ на заданный вопрос. Каждый фрагмент сопровождается несколькими вспомогательными кнопками. С их помощью можно просмотреть более крупный фрагмент текста ответа или перейти на содержащую его веб-страницу. Для повышения точности работы системы применена обратная связь. Пользователям предлагается оценить ответ по пятибалльной шкале. Кроме того, предусмотрена кнопка, позволяющая пометить ответ как спам.

Заметим, что семантическая подсистема данного проекта действительно работает. Если при разборе вопросов могут происходить сбои в ходе формализации запроса, то выдаваемые прямые ответы, как правило, действительно полезны и сокращают время поиска конкретной информации.

AskNet

Система AskNet Global Search предлагает режим простого поиска по заданному пользователем вопросу. Отличие данной системы от конкурентов проявляется в возможности вести поиск в нескольких вертикальных базах, доступ к которым можно получить с помощью вкладок над полем запроса. Предлагается шесть таких баз, а также режим поиска во всех доступных источниках. При переходе к поиску в вертикальной базе под полем поиска предлагается выбрать источники, на которые будет отправлен запрос. Для поиска новостей предлагаются ресурсы Lenta.ru, Газета. ру, CNews и РБК. Выбор из трех-четырех источников возможен и в других вертикальных базах: «Энциклопедии», «Словари», «Магазины», «Медицина» и «Адреса».

AskNet лучше всего понимает только определенные типы вопросов. Перечень поддерживаемых в настоящее время конструкций на русском и английском языках подробно разобран в справочной системе проекта. Корректная работа алгоритма разбора запроса в форме свободно сформулированного вопросительного предложения гарантируется, если в нем содержится не более двух сказуемых или трех других однородных членов. Вопрос также должен быть грамматически верным и синтаксически согласованным. В принципе, AskNet может обработать и предложение с ошибками, однако ждать в таком случае достойного результата сложно. Если система не сможет обработать ваш запрос с учетом семантики, поиск будет проведен в обычном режиме, то есть только по ключевым словам.

При поступлении запроса система самостоятельно определяет наиболее вероятный объект поиска. При поиске учитываются синонимы, обрабатываются аббревиатуры и словесная запись цифр и дат. Семантические технологии в AskNet также работают на этапе выдачи результатов – связи между словами в поисковой фразе учитываются при сортировке результатов. Скорость работы данной системы не отличается быстротой, от принятия запроса до выдачи ответа может пройти около десяти секунд.

Страница выдачи AskNet Global Search предлагает традиционный список ссылок, сопровождаемый краткими выдержками из текста найденных веб-страниц, в которых красным цветом выделяются ключевые слова, содержавшиеся в вашем поисковом запросе, а зеленым – сформулированные системой на основе семантической обработки запроса. Оригинальный документ можно просмотреть, не покидая страницы поиска, для чего предусмотрена ссылка. Подробно, расположенная возле каждой позиции выдачи Она открывает на странице результатов фрейм, в который и загружается исходная страница. Если системе удалось найти прямые и точные ответы на заданный вопрос, например, дату, имя, численное значение какого-либо параметра, то эти данные приводятся отдельным коротким списком над основным списком выдачи.

Кроме стандартной версии семантического интернет-поиска, предлагается сервис AskNet Global Search Mobile. В настоящее время это единственное на рынке предложение русского семантического поиска, оптимизированное для мобильных устройств. В отличие от обычного режима, здесь нельзя выбирать вертикальные базы для поиска. К сожалению, данный сервис часто страдает от сбоев доступа.

Экспериментальные интерфейсы интернет-поисковиков

Одним из направлений улучшения качества работы пользователей с системами интернет-поиска стали эксперименты в области пользовательского интерфейса – визитной карточки любого поисковика. Отметим, что интерфейс не просто выполняет сугубо эстетическую функцию, но является средством построения удобной рабочей среды, необходимой для эффективного поиска. Кроме того, именно от его устройства во многом зависит перечень предлагаемых пользователю инструментов составления запроса и уточнения результатов поиска. В последние годы появилось достаточное количество поисковых проектов с нестандартными, экспериментальными интерфейсами. Попробуем разобраться, что они предлагают пользователям и готовы ли они отправить на свалку истории старый добрый интерфейс с выдачей результатов в виде текстового списка из десяти ссылок на страницу.

Прежде чем начинать рассказ об экспериментальных интерфейсах, попробуем вкратце разобраться с недостатками традиционного интерфейса. Привычная страница выдачи интернет-поисковика, как правило, представляет собой список из десяти текстовых ссылок, сопровождаемых краткой характеристикой. Как показывает практика, редкий пользователь просматривает больше двух-трех таких страниц, на которых обычно располагаются наиболее популярные ресурсы. Это порождает серьезную проблему «длинного хвоста» результатов, которые без дополнительного уточнения запроса пользователем, как правило, не просматриваются. Одним из способов решения данной проблемы является уже описанная нами ранее технология кластеризации, однако решать ее можно и с помощью экспериментальных интерфейсов.

Характерной чертой современных интернет-поисковиков является возможность поиска в вертикальных базах данных. Как правило, каждому виду поиска выделяют отдельную страницу, иногда со своими специфическими инструментами составления запроса и демонстрации результатов. Такая раздельная организация интерфейса удобна для глубокого поиска в конкретной базе данных, однако порождает ряд проблем в случаях, когда требуется собрать разнородный материал по определенной теме или же сравнить результаты выдачи по тематическому запросу на нескольких интернет-поисковиках. Проведя поиск в веб-документах, а затем переходя к поиску изображений, мы теряем результаты первого поиска и не можем одновременно просматривать оба списка выдачи Это не всегда удобно. Приходится одновременно открывать и просматривать несколько страниц, а затем думать о том, как бы удобнее сохранить результаты поиска. Данные операции требуют затрат времени и лишних усилий. Решение проблемы также может лежать в области разработки нестандартных пользовательских интерфейсов. Не случайно некоторые крупные универсальные поисковики стали «подмешивать» в результаты веб-поиска позиции, найденные в вертикальных базах.

Поисковики с традиционным интерфейсом для уточнения запроса предлагают весьма ограниченный набор инструментов. Как правило, это подсказки при вводе запроса и разные варианты запроса, которые помогают поправить орфографию или просмотреть близкие по написанию варианты слов из запроса. Некоторые экспериментальные поисковики предлагают интерфейсы с большим количеством оригинальных инструментов уточнения запроса.

Экспериментальные пользовательские интерфейсы поиска, опирающиеся на различные визуальные приемы повышения эффективности поиска, в отношении применяемых средств и решаемых задач можно условно разделить на группы.

К первой отнесем поисковики, интерфейсы которых построены с применением вкладок или же настраиваемого перечня колонок. Такой подход призван помочь пользователю при одновременном просмотре результатов поиска из нескольких источников: вертикальных баз одного поисковика или нескольких поисковиков в случае системы интернет-метапоиска.

Интерфейсы второй группы экспериментальных поисковиков можно назвать «облаками», или «картами». В них применяются различные способы визуализации результатов поиска, позволяющие, с одной стороны, увеличить количество отображаемых на одной странице результатов, с другой – предоставляющие пользователям дополнительные инструменты уточнения запроса и просмотра его результатов.

Zuula

Наиболее простым и показательным примером поискового интерфейса, построенного на вкладках, может служить проект Zuula. Его разработчики сделали ставку на демонстрацию списков выдачи нескольких поисковиков на одной странице результатов в виде вкладок, подобно тому, как это давно реализовано в популярных браузерах.

Zuula предлагает несколько вариантов поиска, представленных кнопками над полем ввода запроса. Это поиск веб-документов, изображений, новостей и блогов. При настройке поисковика для каждого из этих видов контента можно составить собственные списки ресурсов, результаты которых будут демонстрироваться в колонках на странице Zuula. Поскольку Zuula не производит дополнительную обработку полученных из внешних источников результатов поиска, этот поисковик может быть полезен, главным образом, для быстрого сравнения результатов работы различных поисковиков, а также как инструмент быстрого обращения с одним запросом к заранее созданной подборке поисковых ресурсов. Такая простота не является серьезным недостатком, поскольку с исходной задачей оптимизации поиска в нескольких источниках Zuula справляется.

Режим расширенного поиска в Zuula представляет собой подборку стандартных инструментов составления запроса, доступных на всех используемых системой поисковиках. Это позволяет составлять сложные запросы, не задумываясь о разнице в их синтаксисе на различных поисковиках.

Zuula располагает некоторыми полезными дополнениями, к которым относятся панели инструментов для браузеров Internet Explorer и Firefox, а также собственная форма поиска, размещаемая на сайте пользователя в качестве виджета.

Quintura

Одной из лучших на сегодняшний день реализаций визуального «облачного» интерфейса обладает поисковый проект Quintura. Кроме того, данная система объединяет возможности визуальных интерфейсов с кластерной технологией уточнения запроса. Сами разработчики называют ее «интерактивной поисковой системой».

Поиск можно вести в шести базах. Кроме привычных по большинству других поисковых проектов ссылок. Веб и Картинки, здесь присутствует ссылка. Шоппинг, а также ссылка. Поиск для детей, открывающая доступ к специализированному поисковику.

При веб-поиске Quintura задействует индексные базы поисковика Яндекс. Другими словами, перед нами – чистый эксперимент с пользовательским интерфейсом, а не поисковик как таковой. Запрос вводится только в режиме простого поиска, все уточнения предлагается производить с помощью кластерного визуального интерфейса (рис. 4.2).

Рис. 4.2. Современный интерфейс выдачи поисковика Quintura

Страница выдачи Quintura в настоящее время предлагается в двух версиях: старой и новой, отличающихся внешним видом и способами работы с кластерами. Соответствующий переключатель находится рядом с полем ввода запроса.

«Старая» страница выдачи разделена на две основные зоны: визуальную карту кластеров в левой части экрана и список ссылок активного кластера в правой. Внешне карта больше всего напоминает облако тегов – в центре находится введенное в поле поиска ключевое слово, вокруг которого располагаются тематически связанные с ним кластеры. Щелкая на кластерах, можно уточнить запрос с помощью дополнительных ключевых слов или же отфильтровать список выдачи, удалив из него ненужные кластеры. Такой прием призван максимально облегчить пользователям уточнение запроса. При проведении любой операции карта автоматически перестраивается с учетом внесенных пользователем изменений. Новые данные в списке ссылок на правой панели подгружаются в режиме реального времени, поэтому система Quintura чувствительна к скорости работы интернет-канала.

«Новая» версия страницы выдачи построена иначе. Облако кластеров вынесено в верхнюю часть страницы выдачи Кроме того, оно потеряло свою интерактивность. Теперь кластеры нельзя удалять из запроса щелчком на единственной кнопке – осталась только возможность быстрого добавления соответствующих ключевых слов к запросу. Взамен предлагается возможность быстрого просмотра первых результатов любого кластера при наведении на него указателя мыши. Надо заметить, что работает новый интерфейс быстрее своего предшественника.

Сам список результатов поиска представляет собой два десятка ссылок на страницу. Каждая ссылка сопровождается минимумом необходимых данных: адресом найденной веб-страницы и краткой текстовой выдержкой.

Детская версия Quintura поддерживает поиск только на заранее отобранных сайтах, содержащих «семейный» и познавательный контент. Основные инструменты поиска здесь повторяют основной сервис Quintura: облако кластеров, перестраивающееся при переходе между ними, автоматическое добавление ключевых слов к запросу при щелчке на кластере.

Раздел Шоппинг отличается тем, что поиск ведется только на сайтах онлайновых магазинов. Ассортимент раздела достаточно ограничен, а вот описания найденных товаров обязательно дополняются их фотографиями.

Результаты поиска изображений в Quintura аналогичны результатам системы Яндекс. Отличия состоят только в присутствии фирменного облака над списком результатов и отсутствием присущей. Яндексу группировки результатов.

Визуальный интерфейс Quintura удобен в работе и действительно ускоряет уточнение запроса. Работает Quintura достаточно быстро, производит впечатление завершенного продукта и вполне может претендовать на роль основного поисковика «на каждый день».

Облака ключевых слов – это достаточно удобный и симпатичный инструмент, однако у него есть свои ограничения. Во-первых, все кластеры в облаке располагаются на одном уровне и проследить иерархические и логические связи между ними достаточно трудно. Во-вторых, их количество на одной странице ограничено – если их окажется слишком много, в «облаке» можно и заплутать. В-третьих, практически единственным средством характеристики тега и соответствующего ему кластера ссылок является выделение тега цветом и шрифтом. Предполагается, что это позволяет быстро выбирать наиболее существенные кластеры. Это действительно так, однако обратной стороной становится некоторая предопределенность пути поиска. Подсказки как будто ведут пользователя по виртуальным рельсам, и сделать шаг в сторону от проторенной и наиболее популярной дорожки со временем становится все труднее.

AllPlus

Визуальный метапоисковик AllPlus – это достаточно свежая разработка, взаимодействующая с базами крупнейших современных поисковиков: Google, Yahoo! Bing и Ask.

Система предлагает различные варианты вертикального поиска: веб-документов, изображений, видео, а также способна искать в блогах и базе Twitter. Составлять запрос можно только в режиме простого поиска. Для дальнейшего уточнения используются кластеризация и визуализация.

Страница выдачи AllPlus разделена на три колонки. Центральная занята списком найденных ссылок, снабженных только заголовком, адресом сайта и текстовой выдержкой. Правая колонка содержит панели с перечнем лучших результатов заданного запроса, полученных из вертикальных баз новостей, картинок, видео и блогов.

Левая колонка предлагает доступ к инструментам уточнения запроса. Она разделена на две вкладки: Topics и Topics Graph. Первая демонстрирует список выделенных в ходе анализа кластеров. Кластеры показываются в виде иерархического списка. Вкладка Topics Graph включает визуальный режим просмотра перечня кластеров. Результаты открываются в новом окне или прямо в панели кластеров в зависимости от установленного переключателя Dock/Undock. В этом режиме просмотра список кластеров выводится в виде схемы. Центральным элементом схемы является кластер заданного при поиске ключевого слова. Значки других кластеров располагаются вокруг центрального (рис. 4.3). Их можно свободно перетаскивать, перестраивая тем самым карту. Щелчок на кластере закрывает карту и открывает соответствующую стандартную страницу выдачи AllPlus. Заметим, что данная система весьма чувствительна к установленной версии Java-машины, так что если у вас что-то не заработает, первым делом проверьте на своем компьютере версию установленной Java-машины и при необходимости обновите ее.

Рис. 4.3. Страница системы AllPlus в режиме визуального просмотра кластеров Topics Graf

Система AllPlus весьма удобна в работе, а ее визуальный интерфейс хоть и не отличается функциональностью, может реально поспособствовать скорейшему нахождению нужной информации. Заметим, что система способна нормально работать с русскоязычными запросами, однако качество кластеризации уступает ведущим российским проектам.

TouchGraph Google Browser

Крупные современные интернет-поисковики не торопятся внедрять на своих страницах визуальные технологии. Причин этому много – от здорового консерватизма до возможных проблем с совместимостью: практически все современные проекты визуализации построены на технологии Java или Flash. Однако это не значит, что эксперименты с интерфейсом поиска – это удел стартапов и малоизвестных поисковых машин. Сейчас можно найти ряд проектов сторонних разработчиков, предлагающих собственные интерфейсы для популярных поисковиков и онлайновых справочников. Примерами таких продуктов могут служить сервисы компании TouchGraph.

Упомянутые приложения состоят из трех инструментов, визуализирующих результаты поиска на Google, Amazon и Facebook. Возможности этих инструментов, равно как и их интерфейсы, очень похожи – по большому счету, отличаются только источники данных для анализа. Построены эти приложения на технологии Java и соответственно требуют наличия на компьютере Java-машины.

Поскольку возможности предлагаемых приложений близки, мы остановимся только на одном из них – TouchGraph Google Browser. Рабочее пространство этого апплета разделено на несколько зон и содержит любопытный набор инструментов. Большая часть окна приложения отведена зоне просмотра результатов поиска. Боковая панель содержит фильтры и окно информации о найденных сайтах.

Отправив поисковый запрос, пользователь может просмотреть его результаты в виде цветной графической схемы (рис. 4.4). С помощью панели инструментов TouchGraph пользователь может редактировать и перестраивать карту, выводя на нее значки или URL-адреса сайтов, выбирая количество отображаемых кластеров, задавая их цвета и расстояние между узлами. Перестраивать карту можно и вручную, перетаскивая мышью нужные узлы. Дополнительные инструменты сортировки доступны в контекстном меню, которое можно вызвать для любого элемента карты. С их помощью можно развернуть кластер для просмотра вложенных элементов, оставить на карте только выделенный кластер или же просто открыть связанный с выделенным узлом карты веб-сайт. При выборе конкретного сайта на соответствующей панели выводится краткая информация о нем.

Рис. 4.4. Поисковая визуальная система TouchGraph Google Browser

Боковая панель фильтров содержит полный список всех найденных сайтов – как отображенных на карте, так и скрытых, например, из-за выбранного пользователем масштабе изображения. Этот список можно сортировать по различным признакам: названию сайта, адресу. Кроме того, ссылки можно сгруппировать по кластерам. Такой фильтр запускается с помощью кнопок в крайней левой колонке списка – щелкая на них можно вывести отмеченную ссылку ближе к центру карты или же, наоборот, удалить ее из результатов поиска.

WikiMindMap

Проект WikiMindMap предназначен для визуального поиска в рамках сервиса Wikipedia. Изюминка проекта состоит в том, что при визуализации используются технологии так называемых «карт разума». Логичное решение, если учесть, что карты разума как раз и были в свое время придуманы для облегчения восприятия человеком больших объемов текстовой информации.

Интерфейс данного сервиса построен на технологии Flash. Поиск ведется в простом режиме и начинается указанием ключевого слова в поле поиска. Из дополнительных возможностей доступна только возможность выбора одного из одиннадцати поддерживаемых WikiMindMap локализованных версий Wikipedia. Русскоязычной версии (Википедии) в этом списке, к сожалению, пока нет. После нахождения подходящих энциклопедических статей в дело вступает алгоритм сортировки найденного. Найденные записи представляются в виде карты разума со всеми присущими этим картам особенностями, в том числе центральной темой (указанного в поисковом запросе ключевого слова) и иерархической структурой связанных терминов, которые выделяются пусть и не всегда безгрешно, но вполне достойно (рис. 4.5).

Рис. 4.5. Система визуализации WikiMindMap

На первом уровне иерархии WikiMindMap обычно находятся не отдельные термины, а их тематические группы, которые можно раскрывать, щелкая на значке +. Кнопки с зелеными стрелками перестраивают карту, помещая в ее центр соответствующее ключевое слово. Щелчок на конкретном термине открывает соответствующую страницу Wikipedia. Кроме страниц Wikipedia, на карте могут присутствовать и ссылки на внешние ресурсы. Они также берутся со страниц энциклопедии и помечаются особым значком. В результате привычная энциклопедия приобретает новые черты, информация автоматически структурируется, что действительно совершенствует процесс поиска справочной информации. Заметим, что работает система весьма и весьма быстро.

Полученную онлайновую карту можно сохранить на своем компьютере как файл в формате популярного свободного редактора карт разума FreeMind. Можно скачать и саму программу WikiMindMap. На сайте проекта представлено несколько различных скомпилированных версий, а также выложен архив с исходным кодом WikiMindMap.

Universe

Сервис Universe – это проект, находящийся на грани собственно интернет-поиска и изобразительного искусства. Для поиска применяются стандартные инструменты новостного сервиса Daylife, на серверах которого и работает Universe. Визуальный интерфейс проекта выполнен с помощью другой готовой технологии – инструментов проекта Processing.

Возможности составления запроса в Universe скромные – предусмотрен только режим простого поиска. После запуска поискового механизма система сама генерирует визуальную «вселенную», которая выглядит именно как карта звездного неба. Просмотр предлагается начать со щелчка на карте, после чего в ее центр выводится основной термин поиска. Дополнительные результаты демонстрируются в виде своеобразного кольца вокруг центральной темы (рис. 4.6).

Рис. 4.6. Система Universe предлагает оригинальный визуальный интерфейс поиска

При поиске и группировке новостей данный ресурс пытается автоматически устанавливать связи между событиями, персоналиями и сообщениями различного типа (текстовыми, видео, фото), проходящими в общем потоке новостей.

С технической точки зрения Universe – это Java-апплет, поэтому для его работы на компьютере должна быть установлена последняя версия Java-машины. Кроме того, апплет достаточно требователен к компьютеру пользователя. Кроме естественного для веб-приложения требования быстрого интернет-канала, для использования Universe рекомендуется наличие на компьютере пользователя не менее 2. Гбайт оперативной памяти. Для относительно маломощных устройств предлагается более демократичная версия Universe Mini. Она загружает меньшее количество результатов за сеанс поиска, а также выводит визуальную карту не в полноэкранном режиме, а в небольшом окне, что благоприятно сказывается на быстродействии.

Выводы и рекомендации

В этой главе рассмотрены два интересных направления совершенствования интернет-поиска. Современные семантические поисковики являются в большей степени экспериментальными машинами, находящимися в стадии развития. Для того чтобы получить реальную пользу от использования таких поисковиков, приходится, как обычно, учить «матчасть» и держать в уме особенности современной реализации алгоритмов таких машин при составлении собственных поисковых запросов. Поэтому чтобы получить практическую выгоду от их применения, все равно придется конструировать запросы с оглядкой на ограниченные возможности их машинного разбора. Наилучшим образом такие машины обрабатывают прямые вопросы, содержащие более-менее точные указания на область поиска, то есть слова «Где?», «Когда?», «Сколько?» и им подобные. В таких случаях результаты выдачи семантических машин действительно могут оказаться более качественными, чем у обычных универсальных поисковиков, в чем нетрудно убедиться самостоятельно.

Стоит признать, что потенциал у таких поисковиков действительно большой, однако в настоящее время в данных системах реализованы далеко не все возможные семантические технологии, по сути своей, сейчас они только помогают выделить ключевые слова из свободно построенных фраз и подобрать дополнительные словоформы для составления корректного поискового запроса.

Визуальные поисковые системы действуют на стыке областей собственно интернет-поиска и анализа данных. Не случайно в них широко применяются технологии кластеризации данных. Самые полезные и инновационные системы такого плана – Quintura и AllPlus. Обе эти системы можно рекомендовать широкому кругу пользователей.

Глава 5 Рекомендательные машины

Эпоха «социального Web 2.0» открыла новую ипостась интернет-поиска. Появились поисковые сервисы, по-английски метко названные «Discovery Engines», то есть «машины открытий». Наиболее распространенный вариант перевода этого названия на русский язык – рекомендательные сервисы. Обычные поисковики способны работать только по прямому запросу пользователя и обладают ограниченными возможностями его уточнения. Запросы на рекомендательных машинах работают по принципу анализа ассоциативных связей. Проанализировав тем или иным способом предоставленную пользователем информацию о его вкусах или потребностях, такие машины автоматически подбирают подходящие предложения из своих баз. Метод поиска, основанный на сборе подобной статистики и применении статистических методов анализа, принято называть «коллаборативной фильтрацией». Рекомендательные машины без преувеличения являются одним из самых полезных классов поисковых приложений Web 2.0.

Рекомендательная функция современных интернет-сервисов становится все более выраженной. Инструменты автоматической рекомендации доступны на значительном количестве мультимедиа-хостингов, а также являются частыми гостями интернет-магазинов. Однако используемые в таких проектах алгоритмы достаточно просты и редко могут похвастаться точными попаданиями. В то же время существует ряд сервисов, для которых рекомендации – это основная специализация. Именно такие решения рассмотрены в данной главе.

Рекомендательные машины можно разделить на два типа: универсальные и тематические. На универсальных ресурсах можно искать и получать рекомендации не только по выбору книг или фильмов, но и музыки, подарков, телепередач, сайтов и других объектов. Тематические рекомендательные машины, как правило, сосредотачиваются на каком-либо одном виде контента. Здесь рассмотрены лучшие представители этих направлений. Примером универсального ресурса выступает крупнейший российский проект рекомендательного плана Imhonet. Тематические проекты представлены сервисами, работающими с музыкой, видео и веб-сайтами.

Imhonet

Информацию, необходимую для расчета рекомендаций, система получает социальными методами. Каждому новому пользователю Imhonet предлагается выставлять оценки предлагаемым объектам. Как только накапливается некий необходимый минимум оценок, пользователь начинает получать рассчитанные именно для него рекомендации и прогнозы.

Чтобы пользоваться рекомендациями можно было как можно скорее, уже в ходе регистрации аккаунта Imhonet предлагается оценить два десятка книг, фильмов и подарков. За счет продуманного интерфейса (на странице выводится сразу шесть объектов, а новые подгружаются по мере оценивания), этот процесс проходит на редкость быстро.

Наиболее качественно на Imhonet реализована работа с фильмами и книгами. Для определения оценок по десятибалльной шкале предлагается весьма функциональная панель. На ее вкладке. Детализированная оценка можно оценить до десятка отдельных характеристик фильма или книги, а также указать, насколько давно состоялось знакомство с оцениваемым произведением. Кроме того, оценку можно пометить как знаковую, которая будет иметь при расчете будущих рекомендаций максимальный вес, а также как неактуальную. При наведении указателя мыши на любой пункт оценки всплывают подсказки со словесной характеристикой, что в определенной степени способствует унификации оценок различных пользователей (рис. 5.1).

Рис. 5.1. Универсальный рекомендательный сервис Imhonet

Список рекомендаций каждого тематического раздела имеет собственные варианты настройки. Так, например, для фильмов можно указать временной промежуток их выхода, жанр, минимальный средний балл рекомендуемых произведений и минимальное количество рекомендующих их пользователей. Любопытно, что предлагается также фильтр, с помощью которого можно отсеять фильмы с очень большим количеством оценок. Это призвано избавить пользователя от банальных и общеизвестных результатов.

Страница выдачи, кроме собственно списка предлагаемых произведений, содержит достаточно подробные сведения о них. Рядом с каждой позицией выводится средняя оценка, а также оценка-прогноз, рассчитанная на основе предыдущих ваших оценок. Доступна и форма расширенной статистики, которая сообщает не только простое количество пользователей, оценивших тот же объект, но и процентное соотношение совпадений ваших оценок с оценками других пользователей, а также соотношение поставленных вами рейтингов с рейтингами других пользователей Imhonet при оценке одного объекта.

Щелкнув на ссылке, можно просмотреть подробные сведения о рекомендуемом произведении. Такой своеобразный «паспорт» состоит из отдельных вкладок, касающихся основных сведений, полученных наград, отзывов пользователей. Для фильмов предлагаются дополнительные вкладки с подборками кадров и перечнем задействованных актеров.

В музыкальном разделе Imhonet нет стартовой формы оценки, подобной фильмам и книгам. Взамен нам предлагают заглянуть в разделы композиций с самыми высокими оценками, а также посмотреть самые неоднозначные произведения, обладающие наибольшим расхождением в пользовательских оценках. На страницах с информацией об альбомах есть возможность онлайнового прослушивания композиций. Если сравнивать качество музыкальных рекомендаций Imhonet и оценки наиболее известного специализированного музыкального сервиса рекомендаций Last.fm, то преимущество, пожалуй, отдадим специальному ресурсу.

Раздел Сайты интегрирован со встроенным онлайновым менеджером закладок. В его функциях нет ничего выдающегося, крупным специализированным менеджерам он сам по себе не конкурент. Дело в том, что в рекомендательные списки Imhonet исправно попадают и так хорошо известные сайты, свежих тематических проектов там не так много. В результате рекомендательный сервис не в полной мере справляется с ролью «машины открытий» и на сегодняшний день по-настоящему может быть полезен разве что начинающим пользователям.

Дальнейшим развитием идеи раздела Сайты можно считать раздел. Блоги. Веб 3.0. Наполняется этот раздел, как и любой другой блог. Для каждого поста предлагается стандартная для Imhonet панель оценок, где можно указать свой рейтинг материала. После того как собрана начальная статистика персональных предпочтений, появляется возможность включить рекомендательный режим.

Раздел Игры на фоне уже рассмотренных нами разделов смотрится довольно бледно. Из рекомендательных инструментов здесь присутствуют разве что пункты. Прогноз и блок. Похоже оценивают. Прогноз хоть и рассчитывается, но оказывается, по субъективной оценке, гораздо менее точным, чем при рекомендации фильмов или книг.

Главная отличительная особенность сервиса Imhonet – стремление применить рекомендательный алгоритм к максимально широкому спектру объектов. Поскольку характеристик у таких разноплановых объектов может быть просто огромное количество, и далеко не все из них можно формализовать и представить в виде ограниченной сетки оценок нескольких параметров, степень полезности рекомендаций будет серьезно различаться для разных пользователей.

Spurl

Название сервиса Spurl расшифровывается как «особые URL-адреса» (SPecial URL). Данный проект предлагает сервис онлайнового хранения закладок со значительной социальной составляющей и системой автоматической рекомендации сайтов.

Начинать работу со Spurl можно импортом закладок из своего браузера. Необходимо отметить хорошую поддержку различных платформ. Кроме привычных браузеров Internet Explorer и Firefox, данный сервис работает с Opera и Safari. В отличие от большинства подобных сервисов, Spurl позволяет импортировать как весь файл закладок браузера целиком, так и выбирать отдельные разделы и конкретные закладки, которые затем загружаются на сервер. На этом же этапе можно определить, какие закладки станут публичными, а какие останутся приватными.

Добавление новой ссылки в штатном режиме происходит через всплывающее окно браузера, при этом к описанию страницы автоматически добавляется ее скриншот. Возможности сортировки закладок в Spurl весьма гибкие: можно как раскладывать их по папкам, так и применять теги. Spurl умеет работать в тесной интеграции с аккаунтом одного из крупнейших современных менеджеров закладок Del.icio. us. Если установить соответствующий флажок, все ссылки, которые пользователь сохраняет с помощью Spurl, будут автоматически добавляться к его архиву на сервисе Del.icio.us. Таким образом, можно пользоваться сразу двумя ресурсами через единый интерфейс.

Система анализирует сохраняемые ссылки и применяемые пользователем теги. Через некоторое время Spurl начинает автоматически предлагать новые ссылки по аналогичным темам. Посмотреть их можно на специальной вкладке Discover. На основе рекомендаций система Spurl способна создавать пользовательские RSS-каналы. Экспортируются такие данные в форматах XML, Atom или же через JavaScript.

LiveLib

Тематическая рекомендательная система LiveLib работает с литературными произведениями. Добавить новую книгу в свой пользовательский профиль можно, указав в специальной форме имя автора, заглавие книги или ее ISBN. Если в базе проекта уже есть такая книга, можно просто импортировать эти данные. В блоке персональной информации предлагается указать тематические теги для книги, примерную дату ее прочтения или же выбрать для нее статус Планирую прочитать или Не читал. Отдельно предлагается указать формат книги: бумажная, электронная или аудиокнига. В этом же блоке предлагается форма для написания рецензии на произведение.

LiveLib работает не только как рекомендательный сервис, но и как своеобразная записная книжка, в которой можно сохранять сведения о прочитанных книгах, а также строить планы на будущее чтение. Рекомендательная система строится на тегах и определяемом пользователями рейтинге. Шкала оценок предусматривает три ступени: «понравилось», «не понравилось» и «нейтрально». Для каждой книги демонстрируется ее усредненный рейтинг, количество читателей и рецензий, список тегов, а также ссылка на подборку избранных цитат из произведения, если они, конечно, были для него указаны.

Проект LiveLib интегрирован с поисковиком электронных книг eBdb. Это означает, что всего одним щелчком на соответствующей ссылке на странице книги можно провести поиск ее электронных вариантов в онлайновых полнотекстовых библиотеках. Это очень удобная функция для тех, кто предпочитает книги в электронных форматах. Для тех же, кто читает обычные бумажные издания, предлагается ссылка на книжный магазин Ozon (рис. 5.2).

Рис. 5.2. «Подборки» на сайте рекомендательной системы LiveLib

Оригинальная находка проекта – система «подборок», представляющих собой созданные пользователями списки книг, объединенные определенной тематикой. Подчеркнем, что они не генерируются автоматически, а составляются самими пользователями, поэтому не лишены доли субъективности. Признаки, по которым составляются подборки, могут быть самыми разными. Среди существующих подборок есть списки книг, получивших различные литературные премии, «Художественная литература про еду», научно-популярные книги и множество других тематических списков.

Данный сервис подойдет людям, которым удобнее ориентироваться не на абстрактные цифры рейтингов, а на «живые» рекомендации. Рецензии на книги вынесены в особый раздел сайта – их можно читать и комментировать отдельно, а не только в привязке к странице определенного произведения. На повышение уровня «социальности» ресурса работают блог и форум проекта, где можно обсудить представленные на сайте произведения, не ограничивая себя рамками формализованных рецензий и оценок. Отметим возможность создания виджета для своего сайта или блога, основанного на информации о книгах из вашего профиля.

Last.fm

Одним из наиболее известных и популярных рекомендательных сервисов в современной. Сети является проект Last.fm. Его вполне можно считать эталоном современной рекомендательной машины. Мы остановимся только на основных особенностях реализации его поисковых возможностей.

Специализация Last.fm – музыка. Данный сервис вырабатывает рекомендации на основе статистики прослушиваемых пользователем музыкальных произведений. Эту задачу решает локальный клиент Last.fm, который устанавливается на компьютере пользователя и отслеживает списки прослушивания мультимедиа-плееров. На самом сервисе Last.fm данный процесс называется «скробблингом» (рис. 5.3). Информация о частоте прослушивания композиций загружается на сервер Last.fm, где и рассчитываются персональные рекомендации. Дополнительный способ характеризовать музыку – использовать теги. Благодаря такой автоматизации сбора данных в онлайновом профиле достаточно быстро собирается хорошая статистика, отражающая музыкальные вкусы и пристрастия пользователя.

Рис. 5.3. Локальный клиент Last.fm в процессе скробблинга

Система рекомендаций Last.fm, таким образом, опирается на статистику о сотнях миллионов прослушиваний, о понравившихся произведениях и о присвоенных пользователями тегов. Наличие такой широкой базы самым благотворным образом сказывается на качестве рекомендаций. Получить их можно, даже не регистрируя свой аккаунт, достаточно выбрать в каталоге Last.fm любого исполнителя и воспользоваться кнопкой. Похожие исполнители. Страница каждого исполнителя содержит его краткую биографию, список доступных для онлайнового просмотра видеоклипов, а также панель связанных с ним новостей, в том числе сведения о турне и концертах. Кроме того, выводится хит-парад его композиций среди пользователей Last.fm. Заметим, что степень стилистической схожести рекомендуемых исполнителей оценивается на Last.fm гибко – в процентах. Качество рекомендаций вполне высокое. После регистрации аккаунта и сбора некоторой персональной статистики Last.fm начинает автоматически предлагать похожих исполнителей.

Last.fm предлагает только режим простого поиска. В то же время здесь работает весьма совершенная система автодополнения запроса. В выпадающем меню, которое открывается при начале ввода ключевых слов, предлагаемые варианты сгруппированы в разделы Исполнители, Альбомы и Композиции. В результате данное меню можно рассматривать как своеобразный фильтр, позволяющий быстро найти нужный вариант (рис. 5.4).

Рис. 5.4. Поиск похожих исполнителей в Last.fm

Замечательная возможность Lasf.fm – создание на основе предлагаемых рекомендаций собственной онлайновой радиостанции и прослушивание в потоковом режиме музыки, подбираемой исходя из ваших личных вкусов.

Jinni

Jinni – это специализированный рекомендательный сервис, сфера деятельности которого – кино Jinni состоит из двух основных частей: рекомендательной системы и поисковика.

Работа с системой начинается заполнением пользовательского профиля, в котором предлагается указать свои кинематографические вкусы, для чего служат два списка характеристик. Первый список содержит перечень основных жанров. Пользователь может отметить те из них, которые ему нравятся или, наоборот, вызывают неприязнь. В принципе, такие перечни предлагаются на большей части других рекомендательных сервисов. Второй список гораздо оригинальней – здесь собрано около двух десятков наиболее расхожих сюжетов современного кинематографа. Среди них – дружба, расследования, отцы и дети, легенды и мифы, столкновения культур. Здесь также предлагаются все те же опции «нравится – не нравится».

Следующий шаг в заполнении профиля рекомендаций не менее оригинален – это выбор зрительского амплуа. Предлагается дюжина вариантов, среди которых можно встретить «героя» и «индивидуалиста», «стратега» и «бунтаря» и даже загадочного «любителя альтернативной реальности». Выбрав свое амплуа, пользователь получает список фильмов, которые предлагается оценить по десятибалльной шкале. Приятно, что в стартовом пуле фильмов присутствуют как недавние блокбастеры, так и классика. После заполнения первоначального профиля, или, как его еще называют разработчики Jinni, «генома», можно воспользоваться рекомендациями (рис. 5.5).

Рис. 5.5. Страница генерации профиля-генома на сервисе Jinni

На основе анализа персонального профиля-генома генерируется оригинальный инструмент Jinni – персональный скетч фильмов (Movie Personality Sketch). Выглядит он как блок, содержащий облако тегов и графических миниатюр фильмов. Это своеобразная модель вкусов пользователя, составленная с помощью алгоритмов Jinni. Разработчики проекта уверяют, что эта модель максимально индивидуальна и двух одинаковых скетчей у пользователей проекта быть не может. Щелчки на тегах и миниатюрах инициируют поиск подобных картин. Таким образом, свой скетч можно не только демонстрировать другим, но и применять в качестве инструмента поиска новых для вас произведений.

Рекомендации для каждого пользователя рассчитываются ежедневно. Результаты можно увидеть, просто зайдя на сайт под своим именем: рекомендации будут выведены в виде коллажа на стартовой странице Jinni.

Не чужды Jinni и популярные в современной. Сети социальные инструменты. Заполнив свой профиль, можно попытаться найти людей со схожими вкусами. Для этого предназначен инструмент Match-o-mat. Зайдя в публичный профиль любого пользователя и вызвав этот инструмент, можно получить детальный анализ схожести ваших вкусов. Причем степень этой схожести выражается не только в абстрактных баллах или процентах, но и в виде краткого текста, который сообщит, в чем именно вкусы совпадают и в чем различаются. Все это сопровождается панелью с перечнем фильмов, которые, вероятно, понравятся обоим пользователям.

В роли поисковика система Jinni способна работать в двух режимах: просмотра каталога и собственно свободного поиска по запросу. «Каталожная» часть реализована в виде боковой панели, на которой находятся ссылки на отдельные разделы архива Jinni. Всего выделены семь признаков, среди которых поиск по жанру, сценарию, отраженному в фильме историческому периоду, настроению, предполагаемой аудитории и даже попавшим в кадр достопримечательностям. Однако боковая панель, скорее всего, способна быть лишь вспомогательным средством навигации.

По центру окна браузера располагается коллаж из отдельных кадров фильмов каждого раздела, щелкая на которых можно переходить в соответствующие тематические разделы Каждая миниатюра сопровождается текстовым комментарием, рассказывающим о фильмах выбранного раздела Данный коллаж является центральным элементом пользовательского интерфейса Jinni и заменяет на данном сервисе традиционный текстовый список результатов.

При наведении указателя мыши на миниатюру всплывает окошко, которое содержит рейтинговую шкалу, краткую аннотацию к фильму, кнопки добавления картины в персональные списки пользователя и ссылки на страницу онлайнового просмотра фильма, если он доступен на сайтах партнеров Jinni (Netflix, Amazon, iTunes) или же магазина, торгующего дисками. Организация миниатюр в коллаже выполнена по образу облака тегов. Размер каждой миниатюры заменяет нумерацию позиций в обычном списке результатов. По умолчанию размеры миниатюр определяются релевантностью конкретного фильма поисковому запросу (рис. 5.6). При необходимости можно изменить способ сортировки. Доступные варианты – даты выхода фильмов, средний пользовательский рейтинг и продолжительность фильма.

Рис. 5.6. Визуальные результаты поиска в системе Jinni

На странице результатов поиска, кроме центрального коллажа, присутствуют и дополнительные средства фильтрации результатов, собранные на панели Story Tuners. Включив их, мы получаем в свое распоряжение четыре ползунка, с помощью которых можно оценить степень реализма фильма, его настроение (легкое или серьезное), динамичность сюжета, а также степень известности картины. Последняя возможность хороша для знакомства с пропущенными по каким-либо причинам фильмами интересующего вас направления.

Поиск по прямому запросу в Jinni действует только в простом режиме: рядом со строкой запроса есть только одна пара переключателей, которая четко ограничивает сферу поиска названиями фильмов или же их описаниями. Поскольку в Jinni индексируется довольно много характеристик фильмов, искать можно не только по таким формальным признакам, но и по настроению фильма или особенностям сюжета. По мере набора текста система выводит подсказки, причем они содержат ссылки сразу двух категорий: по названиям фильмов, именам актеров и режиссеров, а также ключевым словам. Рядом с поисковыми предложениями в скобках уточняется, к какой категории проиндексированной информации они относятся.

Преимущество Jinni – качественная и глубокая индексация фильмов по множеству характеристик. Обратная сторона такого подхода – повышенные трудозатраты на индексирование. Дело в том, что данный процесс полностью взяла на себя команда Jinni. Пользователи проекта могут только предлагать включить в базу тот или иной фильм, участия в его описании они не принимают. Это сознательная позиция разработчиков Jinni, призванная гарантировать качество индексирования. В то же время нетрудно предсказать и недостатки такой системы. Подавляющее большинство фильмов в базе – американские. Европа представлена с большим отставанием, а фильмы из остальных регионов земного шара – это, скорее, отдельные вкрапления в общей мозаике. Таким образом, если вы являетесь любителем западного кино и англоязычный интерфейс вас не смущает, Jinni станет для вас прекрасным инструментом тематического поиска. В других же случаях целесообразней воспользоваться иными сервисами.

Выводы и рекомендации

Рекомендательные ресурсы – специфический продукт, который не без оснований относят к поколению Web 2.0. Если рассматривать их как средство поиска, необходимо помнить о нескольких ключевых особенностях.

Первая особенность рекомендательных сервисов – это особые возможности поиска. В отличие от других поисковиков здесь ведущим поисковым признаком являются ассоциативные связи различных объектов. Любой запрос на рекомендательной машине можно свести к команде найти объекты, подобные предъявленному пользователем.

Вторая особенность рассмотренных ресурсов – ориентация на применение для индексирования контента тегов, свободно присваиваемых пользователями. Данный способ описания ресурсов очень прост в освоении и становится базой для работы дополнительных инструментов и услуг. Важное преимущество тегов – гибкость. Ресурсу может быть присвоено ровно столько тематических «ярлычков», сколько сочтет необходимым пользователь. Однако у данного способа тоже есть свои нюансы. Поскольку при таком подходе теги расставляют самые обычные люди без какой-либо специальной подготовки, качество индексирования может быть, мягко говоря, разным. Не стоит также забывать о существовании синонимов – разные пользователи могут поставить разные теги для одного понятия. Свою лепту вносит и риск банальных орфографических ошибок. Эти нюансы потом существенно осложняют поиск нужных ссылок. Разработчики ресурсов по мере возможности стараются сгладить эти негативные особенности технологии, построенной на тегах. Достигается это за счет предложения различных инструментов автодополнения вносимых тегов или подсказки похожих ключевых слов. Это, во-первых, ускоряет индексирование, а во-вторых, позволяет хоть как-то сохранить единообразие в применении тегов.

Для того чтобы помочь системе при расстановке ключевых слов-тегов, достаточно придерживаться некоторых простых правил индексирования, принадлежащих еще к «доинтернетовской» эпохе. По мере возможностей, старайтесь присваивать ссылкам по одной теме одинаковые теги. Для максимально полного описания ставьте теги не только по теме конкретной страницы, но и указывающие на «вышестоящие» понятия (для «браузеров» это, например, «компьютерные программы» и «интернет»), используйте синонимы и ассоциации («сеть», «веб-серфинг», «стандарты» и т. д.). Эти нехитрые правила позволяют значительно повысить качество индексирования.

Глава 6 Персональные поисковики

Среди всего многообразия систем интернет-поиска особое место занимают так называемые персональные поисковики. Система персонального, или пользовательского, интернет-поиска (Custom Search Engine) – это сервис, позволяющий создать и настроить специализированный поисковик, учитывающий в результатах персональные предпочтения и тематические интересы пользователя, другими словами – его собственный контекст поиска. Такие технологии очень широко применяются для создания систем поиска отдельных сайтов, полезны они и «частникам», поскольку позволяют построить поисковик по интересующим конкретного человека тематическим ресурсам.

Главная идея персонального поиска заключается в том, что пользователю предлагают самостоятельно определить перечень веб-ресурсов, к которым будет обращаться новый поисковик. В результате ценой определенной потери в широте охвата персональный поиск заметно улучшает точность поиска.

В простейшем случае персональный поиск сводится к поиску в группе указанных пользователем сайтов, более сложные варианты подразумевают тонкую настройку выдачи, автоматическое добавление тематических сайтов в персональный индекс и организацию совместной работы над поисковиком группы единомышленников.

В сфере персонального интернет-поиска на сегодняшний день не так много достойных, конкурентоспособных предложений. В настоящее время для использования можно рекомендовать проекты Google Custom Search Engine и Flexum. Другие общедоступные платформы персонального поиска серьезно уступают лидерам и не отличаются качественной работой с ресурсами на русском языке.

Google Custom Search Engine

Проект Google Custom Search Engine (сокращенно – Google CSE) является наиболее крупной на сегодняшний день системой персонального интернет-поиска. Интерфейс Google CSE доступен на нескольких десятках языках. Предусмотрен и русский язык. Правда, перевод пока неполный, особенно страдает в этом плане справочная система.

Создание собственного поисковика Google CSE происходит в несколько этапов. Удобнее всего будет отследить этот процесс на практическом примере создания тематического поисковика.

В первую очередь потребуется определиться с назначением будущего поисковика. Это может быть любая сфера, связанная с вашей профессиональной деятельностью или хобби. Наш тестовый поисковик будет посвящен авиации. Это широкая тема, по которой в Сети можно найти большое количество разнообразного контента, что позволит нам продемонстрировать в работе максимум инструментов Google CSE.

Следующий шаг – непосредственная регистрация в системе Google Custom Search Engine и создание нового поисковика. Стартовая страница системы сразу же предлагает ссылку для этого. В специальной форме указывается имя новой системы, краткое описание поисковика и набор сопоставленных ему ключевых слов. Этот набор будет использоваться для уточнения результатов сортировки: сайты с такими ключевыми словами расположатся выше в списке выдачи Далее необходимо выбрать один из трех режимов работы будущей машины: простой поиск во всей базе Google, поиск только на сайтах, непосредственно включенных в персональный индекс, и поиск в базе Google с выводом включенных в индекс сайтов на первые позиции в списке выдачи.

Выбор между этими вариантами лучше всего делать с учетом степени вашей подготовленности. Если вы интересуетесь определенной темой достаточно долго, у вас, скорее всего, уже имеется хорошая коллекция ссылок на действительно полезные и информативные сайты по теме. Список таких ссылок можно использовать как основу для персонального поисковика. В этом случае лучше сразу ограничить сферу поиска только указанными сайтами, поскольку этот вариант избавит поисковик от большей части информационного шума. Если же у вас такой подборки ссылок пока нет и поисковик создается «с нуля», имеет смысл выбрать вариант поиска в базе Google с предпочтением указанных вами сайтов. Такой вариант позволит сразу же получить работоспособную систему, точность функционирования которой будет постепенно повышаться по мере пополнения персонального списка сайтов.

Поскольку в персональном поиске используется готовая индексная база Google, проверить работу своего поисковика можно сразу же после его регистрации. Для этого достаточно ввести тестовый запрос и просмотреть результаты, полученные именно с указанных вами сайтов.

Изменить большинство из указанных при регистрации параметров нового поисковика впоследствии можно с помощью раздела Основные сведения, который расположен на боковой панели управления Google CSE.

Следующий этап работы над персональным поисковиком – заполнение его индексной базы – занимает гораздо больше времени. Поддерживая свой поисковик, пользователь в основном занимается именно этой работой. В настоящее время существует ограничение на общее количество сайтов, задействованных при персональном поиске одного пользователя – не более 5000 ссылок. Добавить адреса новых сайтов в индекс поисковика можно с помощью веб-интерфейса сервиса, дополнения для браузера, а также посредством импорта предварительно отформатированного пользователем файла в формате XML.

Первый способ предполагает использование веб-интерфейса самого поисковика Google CSE. В боковой панели системы находится ссылка. Сайты, которая и открывает соответствующую форму. Работа идет сразу с двумя списками: первый из них позволяет включать сайты в индекс поисковика. Назначение второго – прямо противоположное: исключение результатов с указанных вами сайтов из результатов поиска.

В ходе добавления новых ресурсов к персональной системе в адресах сайтов можно использовать маски, позволяющие точно указать, что именно мы хотим включить в свой индекс. Это дает возможность задействовать в своей системе широкий диапазон ресурсов: от целых доменов до конкретных веб-страниц. Данная возможность серьезно повышает гибкость настройки системы поиска, поскольку позволяет «оптом» добавлять в индекс сразу группы сайтов, или наоборот – ограничивать индекс определенного сайта каким-либо одним его разделом. Это полезно, если вы нашли сайт широкого профиля. Если просто включить его в базу, то кроме полезных для вашего тематического поиска результатов в списке выдачи окажется много лишних ссылок из других разделов сайта. Если взять, например, авиационную тему, то эту ситуацию можно проиллюстрировать на примере фотогалерей. Допустим, мы хотим включить в свою систему результаты поиска в базе фотохостинга Flickr. Простое добавление в индекс адреса fLickr.com ни к чему хорошему не приведет: мы получим огромное количество результатов, большинство из которых будет иметь к тематике нашего поисковика лишь отдаленное отношение. Гораздо дальновидней включить в индекс только конкретные подборки или архивы пользователей, которые фотографируют именно авиацию. Например, следующая маска даст возможность включить в индекс нашего поисковика только фотографии группы, посвященной британскому истребителю Lightning:

/*

Другие примеры шаблонов представлены в табл. 6.1.

Таблица 6.1. Шаблоны в Google Custom Search Engine

Пополнять базы с помощью веб-интерфейса Google CSE имеет смысл, пожалуй, только на начальном этапе создания поисковика. Далее удобней пользоваться инструментом. Указатель GoogLe (рис. 6.1). Он представляет собой дополнение к браузеру, с помощью которого можно быстро включать открытые в браузере сайты и отдельные веб-страницы в базу персонального поиска во время серфинга, не открывая сайта Google CSE. Установить его можно на страничке . Работа с ним очень похожа на добавление записей в онлайновый сервис закладок. На панель браузера добавляется новая кнопка, которая открывает всплывающее окно с формой описания сайта. В ней указываются персональный поисковик, в индекс которого мы хотим добавить сайт, и список тематических ярлыков, которые мы можем присвоить сохраняемому ресурсу. Настройкой таких ярлыков мы займемся немного позже. Кроме того, в данной форме есть возможность выбора между добавлением сайта целиком и добавлением только одной конкретной страницы сайта. Другими словами, нам предлагают автоматически сгенерировать маску, которая обеспечит включение в индекс только открытой в данный момент веб-страницы. К сожалению, возможности более гибкой работы с масками в этом диалоге нет. Поэтому, если вам понадобится указать не одну веб-страницу, а раздел сайта, придется обратиться к стандартному веб-интерфейсу Google CSE.

Рис. 6.1. Инструмент Указатель Google

Облегчить достаточно трудоемкую работу по заполнению индексной базы Google CSE помогает режим автоматического сбора ссылок с указанной веб-страницы. Этот режим, доступный в разделе Сайты панели управления поисковиком, называется динамическим извлечением страниц. Его можно включить как для уже присутствующей в списке веб-страницы, так и для нового добавляемого в систему сайта. После включения этого режима Google CSE просматривает исходную веб-страницу и добавляет в индекс поисковика все сайты, на которые с этой страницы ведут ссылки. Данный режим весьма удобен для сбора новых адресов из разделов полезных ссылок тематических сайтов или, допустим, с обновляемых лент новостей. В результате для того, чтобы ваша персональная база начала пополняться в автоматическом режиме, достаточно включить в область поиска хотя бы один-два сайта с обновляемым тематическим контентом. Необходимо обратить внимание, что такие ссылки не добавляются в индекс в виде самостоятельных записей. В индексе сохраняется только исходная ссылка, поэтому к автоматически собранным сайтам нельзя применять индивидуальную настройку.

Как уже отмечалось, построенный на основе Google CSE поисковик начинает работать сразу же после включения в индекс хотя бы нескольких сайтов. В принципе, работа над персональной системой поиска может быть сведена к пополнению списка сайтов, однако Google CSE предлагает широкий набор дополнительных вариантов настройки и инструментов, с помощью которых можно заметно улучшить работу поисковика.

Пожалуй, первый режим, который стоит включить в новом поисковике, – это режим назначения ярлыков-уточнений. Когда персональный поисковик становится достаточно крупным (несколько сотен сайтов), мы опять сталкиваемся с проблемой «длинного хвоста» результатов, которые, не попадая на первые страницы списка выдачи, оказываются невидимыми для пользователя. Решение этой проблемы – разделение общего индекса поисковика на несколько более узких по теме баз.

Разделив результаты поиска, мы будем получать при каждом запросе только ту информацию, которая требуется в каждый конкретный момент. В то же время это не скажется на широте поиска, поскольку в любое время можно будет перейти к общему поиску без использования тегов. Продуманная система разделов способна значительно повысить удобство работы с персональным поисковиком. Технически это реализуется за счет присваивания сохраняемым ссылкам ярлыков-уточнений. Например, в нашем тестовом поисковике можно выделить раздел. Форумы, в который поместить все выявленные сайты с обсуждениями, раздел. Книги, где собрать ссылки на сайты с литературой по теме, разделы Фото и Видео – для сайтов с мультимедиа-контентом. Одному сайту может быть сопоставлена как одна, так и несколько тематических меток.

Как показывает практика, имеет смысл сразу предусмотреть нейтральный ярлык для сайтов, не подходящих ни под одну из уточненных категорий. Дело в том, что в системе Google CSE нельзя «оптом» отобрать записи, у которых нет ярлыков. Поэтому, если вы придумаете какую-либо новую тематическую категорию, придется вручную перебирать индекс в поиске «свободных» ссылок. Если же сразу отмечать их «нейтральным» ярлыком, то такие ссылки потом можно будет отобрать буквально парой щелчков мышью. Назвать такой ярлык можно просто Сайты.

Ярлыки настраиваются в разделе Уточнения панели управления Google CSE. Система уточнений способна работать в двух режимах, активирующихся при выборе пользователем на странице поисковика определенного тематического раздела Первый режим позволяет включать в результаты поиска только сайты, отмеченные конкретным ярлыком. Второй режим менее радикален: поиск ведется во всей базе, но сайты, отмеченные выбранным ярлыком, выводятся на первые позиции.

Любопытно, что Google ведет собственную единую базу тематических ярлыков, предназначенных для персональных поисковиков. Каждому включенному в такую базу «универсальному» ярлыку сопоставляются наиболее авторитетные и полезные, по мнению Google, веб-ресурсы. Использование базы таких ярлыков, как и многих других дополнительных инструментов Google Custom Search Engine, обеспечивает автоматизацию наполнения персонального поисковика новыми данными. Если мы применим в своем поисковике любой из универсальных ярлыков, то получим возможность автоматически добавить к своему индексу все привязанные к ярлыку тематические веб-ресурсы. Надо признать, что список таких универсальных ярлыков пока несколько эклектичен и не очень велик. Ознакомиться с ним можно по адресу . Ярлыки разделены на тематические группы, например Автомобили, Компьютеры и игры, при этом каждая группа, в свою очередь, предлагает готовый набор ярлыков.

При желании можно принять участие в совершенствовании таких универсальных тематических разделов. Для этого сначала надо зарегистрироваться на странице . Затем в списке ярлыков можно выбрать нужный и либо загрузить предварительно составленный XML-файл с описанием тематических ресурсов, либо добавить сайты вручную на странице сервиса Полученные данные будут обработаны и учтены при формировании списка рекомендуемых ресурсов.

Еще один способ ускорить работу по наполнению индекса персонального поисковика – пригласить для совместной работы других пользователей. Сделать это можно с помощью раздела Совместная работа. Для приглашений служат инвайты, рассылаемые по электронной почте. К сожалению, при совместной работе нескольких пользователей над одной системой отсутствует возможность правки записей, созданных другими пользователями. Нельзя даже удалить неудачные записи – только аккаунт соавтора. Это означает, что к выбору партнеров по работе нужно подходить достаточно ответственно.

Продолжить совершенствование поисковика можно путем настройки средств продвижения сайтов, обработки синонимов и автозаполнения запросов.

Раздел Продвижения позволяет выделить в индексе поисковика сайты, которые будут иметь безусловное преимущество при сортировке результатов поиска по определенным ключевым словам (рис. 6.2). Такие ссылки начнут появляться в отдельном блоке над общим списком выдачи Данный прием позволяет повысить точность работы поисковика, поскольку лучшие узкотематические сайты попадут на первые позиции вне зависимости от результатов работы алгоритмов ранжирования. В нашем тестовом поисковике такую роль могут сыграть сайты, целиком посвященные определенному типу летательных аппаратов или же персоналиям. При добавлении каждого «продвижения» указывается его название, адрес целевого веб-сайта, а также список ключевых слов, ввод которых включит режим продвижения в результатах поиска. Альтернативный способ продвижения – загрузка предварительно составленного файла описаний продвижений. Данный вариант подходит, если вам нужно загрузить несколько десятков, а то и сотен продвигаемых адресов. При меньших объемах удобнее использовать стандартные инструменты раздела Продвижения.

Рис. 6.2. Панель настройки механизма продвижений Google CSE

Настройка синонимов в Google CSE позволяет, в частности, качественно обрабатывать аббревиатуры, а также вести поиск не только по введенным пользователем ключевым словам, но и по их синонимам. Включается этот механизм в разделе Синонимы боковой панели Google CSE. Именно там можно создать список синонимов для запросов к вашей системе Если пользователь системы задействовал внесенное в этот список слово, то поиск автоматически проводится и по его синонимам. Создать список синонимов очень просто. Достаточно указать в предлагаемой форме ключевое слово или фразу, которая включит данный режим поиска, а также собственно список синонимов. Можно также самостоятельно создать по предлагаемым правилам файл с описаниями списка синонимов и загрузить его в свой персональный поисковик.

Еще один режим, повышающий удобство работы с поисковиком, – режим автозаполнения вводимых пользователями поисковых запросов. Словарь этой системы формируется индивидуально для каждого персонального поисковика на основе анализа включенных в его базу сайтов. Включить режим автозаполнения можно в разделе Основные сведения. После этого Google CSE будет анализировать включенные в индекс поисковика сайты и формировать список ключевых слов, предлагаемых пользователю по мере набора текста в строке поиска Google CSE. Кроме этого режима в разделе Основные сведения можно включить режим автоматической транслитерации вводимых пользователями запросов.

Итак, наш поисковик обрел вполне реальные черты и научился неплохо справляться со своей работой. Осталось только продемонстрировать его публике. Для каждого персонального поисковика Google создает собственную домашнюю страницу, на которой и проводится поиск. Второй вариант работы с персональным поиском – размещение его формы-виджета на собственной веб-странице. Для этого достаточно просто скопировать предлагаемый системой код формы на свою страничку. Настройка этого режима ведется с помощью все той же боковой панели инструментов. На сей раз задействуются разделы Внешний вид и Получить код.

Первый из названных разделов позволяет определиться со структурой и оформлением виджета, предназначенного для размещения на внешнем сайте. Предлагается три варианта демонстрации результатов поиска: на одной странице с формой поиска, на отдельной странице результатов, находящейся на вашем сайте, и на домашней странице поисковика Google. Наиболее гибким является первый вариант.

Доступны несколько макетов разметки виджета, а также готовых вариантов его цветового оформления. Поскольку за оформление отвечает технология CSS, можно самостоятельно изменить внешний вид виджета в соответствии с дизайном вашего сайта. Полученный в результате этих операций код виджета можно скопировать в разделе Получить код.

Форму персонального поиска также можно экспортировать в виде гаджета для сервиса iGoogle. В отличие от обычных виджетов, он содержит не только форму поиска, но и предоставляет быстрый доступ к настройке персонального поисковика.

Отслеживать использование готового и открытого для доступа персонального поисковика можно с помощью раздела Статистика. Здесь демонстрируется количество запросов к поисковику за день, неделю и месяц. Если этого недостаточно, можно перейти на отдельную страницу статистики, где доступны сведения о количестве запросов в диапазоне от одного часа до недели, а также выводится список наиболее популярных запросов к вашей системе поиска. Если система Google Custom Search Engine внедрена на внешнем сайте, для сбора статистики рекомендуется использовать инструменты Google Analytics.

Кроме рассмотренных инструментов, ориентированных на применение визуального интерфейса в системе Google CSE, есть ряд инструментов для опытных пользователей, ориентированных на прямую правку файлов системы, в том числе с помощью внешних редакторов.

Прежде чем вести речь о таких инструментах, необходимо сказать пару слов о внутреннем устройстве поисковика на базе Google CSE. Вся информация и параметры персональной системы хранятся в двух настроечных XML-файлах. Файл контекста содержит общие параметры поисковика. В файле аннотаций хранится перечень сайтов, включенных в индекс вашей системы, а также индивидуальные варианты настройки каждого из них. Работая с инструментами панели управления Google CSE, мы, по сути, занимаемся редактированием этих файлов.

Получить прямой доступ к XML-файлам персонального поисковика можно на вкладке. Дополнительно. Непосредственная правка настроечных файлов системы предоставляет заманчивые возможности, дающие полный контроль над поведением поисковика, однако требует хотя бы минимальных познаний в языке XML. Эти файлы можно скачать на свой компьютер, а после внесения правок загрузить на сервер Google, изменив тем самым индекс и настройку персональной системы.

Итак, файл контекста описывает базовые варианты настройки персонального поисковика, а файл аннотаций содержит полный список ссылок, включенных в персональную систему, а также их параметры. Таким образом, ручная настройка персонального поисковика состоит из двух этапов: сначала в «контекстном» файле мы определяем необходимые варианты настройки, а затем применяем их к конкретным адресам в файле аннотаций.

В настоящее время список поддерживаемых тегов не очень велик, однако результаты их применения весьма интересны. Наиболее востребованными командами при редактировании свойств персонального поисковика являются команды FILTER, ELIMINATE и BOOST.

При использовании команды FILTER в результаты поиска включаются только те адреса из общего списка доступных сайтов, к которым был применен данный тег. Команда ELIMINATE работает прямо противоположным образом и выбрасывает указанные адреса из результатов поиска. Данные теги стоит воспринимать как мощные, но достаточно грубые средства, подразумевающие аккуратное применение.

Тег BOOST гораздо интересней – он позволяет вмешаться в процесс ранжирования результатов поиска. Другими словами, с его помощью можно управлять позицией определенного сайта на странице выдачи результатов поиска. По умолчанию при персональном поиске применяются стандартные алгоритмы ранжирования Google, однако они не всегда удобны для тематического поиска. Тег BOOST как раз и позволяет поднять результаты, полученные с таких ресурсов, на первые позиции в списке выдачи.

Для этого сначала в XML-файле контекста необходимо найти раздел <Background Labels> и с помощью контейнера <Label></Label> создать новую метку с именем, допустим, Лучшие сайты. Следующий шаг – правка файла аннотаций. Здесь необходимо добавить созданную нами метку к тем сайтам, результаты с которых должны попасть на первые места списка выдачи Для этого к описанию нужных сайтов добавляется тег с именем нашей метки (Лучшие сайты) в качестве параметра.

После применения команды BOOST отмеченные данным тегом ресурсы в ходе отработки запроса будут получать преимущество по сравнению с теми сайтами, которые находились бы на первых строчках при обычном поиске в Google. В ее параметрах в виде численного значения устанавливается «вес» результатов из источника, к которому будет применена эта метка. Диапазон допустимых значений – от -1 до 1. Максимальное значение 1 означает, что результаты с определенного сайта всегда будут на первой позиции в списке выдачи Поскольку допускается применение дробных значений, данный инструмент обладает очень большой гибкостью. Применяя различные значения к определенным сайтам из списка ссылок нашего поисковика, мы можем гибко управлять его списком выдачи Эта возможность особенно удобна, если в ходе тестирования выясняется, что серьезный, но малоизвестный специализированный ресурс уступает место в первых строчках результатов стандартного поиска сборной «солянке» из популярного сетевого справочника или энциклопедии.

Возможность непосредственного манипулирования настроечными файлами открывает хорошие перспективы автоматизации работы с персональным поисковиком. Дело в том, что такие файлы можно готовить самостоятельно в удобных пользователю редакторах и загружать на сервер. Таким образом, например, можно не набирать весь список сайтов в онлайновой форме, а заранее подготовить и загрузить на сервер файл аннотаций с перечнем нужных сайтов и их свойствами. Кроме того, разработчики Google реализовали уникальный режим «связанного» поиска. В данном режиме настроечные файлы поиска импортируются из указанного вами внешнего источника. Это значит, что они, например, могут храниться на вашем собственном сайте или даже генерироваться любыми удобными вам средствами и динамически подгружаться на сервер Google при каждой отправке запроса с помощью формы поиска. В системе Google Custom Search Engine ставится ссылка на такие внешние файлы, и они подгружаются непосредственно при обращении пользователя к поисковику. В руках опытного разработчика такие внешние настроечные файлы становятся очень мощным средством работы с персональным поиском на базе Google, поскольку обрабатывать их можно любым удобным способом. В результате с их помощью можно решать самые сложные задачи по поддержке системы персонального поиска, вплоть до автоматизированной генерации вариантов настройки «на лету» (при обращении пользователя к поисковику). Кроме того, такой вариант будет полезен при создании и поддержке большого количества персональных поисковиков, а также при необходимости пополнения базы из нестандартных источников информации, например RSS-лент.

Для запуска системы связанного поиска требуется выполнить минимум операций. Сообщить системе Google CSE о необходимости использования внешних файлов аннотаций можно правкой расположенного на сервере Google XML-файла контекста своего поисковика. Для этих целей служит тег <Include>, в котором прописывается путь доступа к внешнему настроечному файлу. В настоящее время таким способом можно подключать к поисковику до 50 внешних файлов аннотаций. Протестировать работу системы можно с помощью мастера, расположенного по адресу . Если расположить форму поиска Google Custom Search на своем сайте, то в ее код потребуется добавить параметр cref и указать путь к внешнему XML-файлу аннотаций. При отправке запроса данный параметр будет передан системе Google CSE, и она загрузит нужные варианты настройки.

В разделе Индексирование доступна еще одна возможность для непосредственной работы с файлами персонального поисковика. Здесь вебмастера, желающие использовать систему Google CSE для организации поиска на собственных сайтах, могут загрузить в систему поиска предварительно созданный Sitemap-файл для своего сайта, который сделает индексирование сайта более точным. Можно загрузить до 50 таких файлов. Кроме того, можно указать отдельные страницы своего сайта, которые должны быть проиндексированы Google.

Flexum

Российский проект персонального поиска Flexum стал достойным ответом разработке Google. Как и любой другой персональный поисковик, Flexum предлагает набор инструментов для создания собственной индексной базы, что позволяет повысить качество тематического поиска за счет ручного отбора включаемых в нее ресурсов.

Главное и принципиальное отличие Flexum от Google Custom Search Engine заключается в принятом подходе к индексированию сайтов персонального поиска. Если Google использует сведения, уже находящиеся в главной базе поисковика, то Flexum индексирует указанные пользователем сайты «с нуля», причем владелец персонального поисковика получает полный контроль над этим процессом. Дело в том, что у пользователя Flexum есть контроль над роботом-«пауком». Указанные сайты просто скачиваются и индексируются, а не берутся из уже существующей индексной базы, как это происходит в случае Google CSE.

Такой подход имеет свои достоинства и недостатки. К достоинствам отнесем гибкость настройки индексации и отсутствие привязки к уже существующим базам какого-либо поисковика. Это очень удобно при работе с малозаметными для крупных поисковых машин ресурсами. В то же время создание своего поиска средствами Flexum занимает гораздо больше времени, поскольку обязательно требует составления полного списка индексируемых сайтов. Кроме того, системе требуется определенное время на проведение индексации, так что мгновенного результата здесь ждать не стоит.

Поскольку наличие собственных индексов предусматривает расход дискового пространства на сервере, стоит упомянуть о наличии у Flexum соответствующих квот. При бесплатной регистрации начальный размер базы определен в 200. Мбайт. По мере расходования квоты ее можно увеличивать, отправляя соответствующие запросы с помощью панели настройки поисковика. Максимальный объем бесплатной базы – 5. Гбайт. Даже если учесть, что квота тратится не просто на описание ресурсов, а на скачиваемые для индексации веб-страницы, ее размер, в принципе, можно считать приемлемым для частных проектов и не самых крупных сайтов.

Кроме базовой бесплатной версии на сайте Flexum предлагаются коммерческие аккаунты с расширенными возможностями. Кроме того, Flexum предлагает специальные условия для тематических порталов, желающих построить свой поиск на технологиях его персонального поиска.

Создание собственного поисковика на платформе Flexum начинается с регистрации на сайте проекта. Процедура стандартная, каких-либо необычных вопросов в ее ходе не задают, подтверждение регистрации и пароль на указанный при регистрации электронный адрес приходят довольно быстро. Свежеиспеченная система получает собственный адрес типа имя. fLexum.ru.

Дальнейшая настройка и наполнение поисковика ведется с помощью специальной панели инструментов, содержащей ряд тематических вкладок. Начнем с основного инструмента, предназначенного для управления списком включаемых в поиск сайтов и менеджером скачивания их веб-страниц.

Flexum предлагает два режима построения персонального поиска: простой и экспертный. Первый из них, как и положено, предлагает совершить минимум действий при добавлении сайтов в список для последующего индексирования. Для этого достаточно заполнить единственную форму из двух вкладок. Вкладка Основные предлагает указать такие сведения, как название сохраняемого сайта, которое впоследствии будет отображаться в заголовке результата поиска, URL-адрес сайта, его краткое описание, а также список присваиваемых тегов. Интересно, что Flexum, кроме собственно сайтов, предлагает добавлять в систему и сведения об их RSS-каналах. Вкладка Выкачка позволяет управлять параметрами скачивания страниц и расходом дисковой квоты. По умолчанию на сайт выделяется 100. Мбайт. Параметр. Глубина выкачки определяет количество переходов робота-«паука» по найденным на скачиваемых страницах ссылкам. Гибкое управление скачиванием обеспечивает поддержка масок. С их помощью можно скачивать только необходимые веб-страницы. Правила составления масок стандартные. Кроме того, Flexum предлагает справку на русском языке по их составлению.

Экспертный режим подтверждает свой статус и предлагает достаточно серьезный набор инструментов. Интерфейс «экспертного» редактора разделен на два фрейма, в которых выводится список элементов персонального индекса (сайтов и отдельных веб-страниц), а также параметры выбираемых в этом списке позиций. Заметим, что набор этих отображаемых параметров можно настроить (рис. 6.3).

Рис. 6.3. Экспертный режим добавления сайтов в системе Flexum

Добавление новых сайтов производится вручную, по одному сайту за операцию. Как и в простом режиме, допускается применение масок адресов, что позволяет индексировать только нужные вам разделы сайтов. В экспертном режиме также возможна загрузка заранее подготовленного списка сайтов и веб-страниц. Поддерживается работа с XML– и CSV-файлами. Справка по формату таких файлов, равно как и их образцы, приведены на сайте проекта.

Для каждого включаемого в базу сайта обязательно необходимо указать ключевые слова, которые будут использованы для группировки ссылок по тематическим рубрикам. Кроме того, доступна гибкая регулировка глубины индексирования сайта. Данная опция отвечает за автоматическое индексирование не только указанной вами стартовой страницы, но и всех страниц, на которые она ссылается. Числовое значение показывает, сколько таких переходов может сделать робот-индексатор. При значении больше двух количество таких автоматически обнаруженных ссылок может резко возрасти, что необходимо учитывать при задании следующего параметра – квоты на каждый сайт. По умолчанию такая квота равна 20. Мбайт, однако это значение можно вручную изменить в пределах общей квоты аккаунта.

Как и Google Custom Search Engine, система Flexum дает возможность тонкой настройки позиций выдачи с определенного сайта. Любому сайту в индексе можно присвоить рейтинг от единицы до пятерки. Для этого служит специальное выпадающее меню.

После включения сайта в список он ставится в очередь на индексирование. Скачивание и индексация включенных в базу ресурсов при работе под бесплатным аккаунтом может потребовать несколько дней, а то и неделю, что не очень удобно. Владельцы коммерческих аккаунтов имеют возможность самостоятельно определять частоту обновления индекса персонального поисковика.

Особенностью персонального поиска Flexum является его сильная социальная составляющая. Сама концепция проекта, ориентированная на «ручную» работу с поисковиком, подталкивает пользователей к взаимодействию. Совместная работа позволяет облегчить наиболее сложный этап настройки поисковика – заполнение списка сайтов, подлежащих индексированию. Работа идет в двух направлениях. Любой пользователь может предложить свою помощь автору понравившегося поисковика прямо на домашней странице такой машины – в стандартном интерфейсе всех поисковиков Flexum предусмотрена соответствующая ссылка, отправляющая сообщение владельцу поисковика. После получения от него подтверждения такой доброволец получает права на пополнение списка поиска. Второй вариант привлечения помощников – отправка владельцем поисковика приглашений через внутреннюю систему обмена сообщениями Flexum. Для этого предусмотрен специальный инструмент под названием. Коммуникатор. Его можно найти в личном кабинете – особом разделе персонального поисковика, где также можно составить свою личную анкету-визитку, которая будет видна другим пользователям ресурса.

Другой способ пополнения собственной базы – использование наработок других поисковиков Flexum. Если зайти в систему под своим именем и выполнить любой вариант поиска, рядом с каждой найденной ссылкой можно найти кнопку. Копирование сайта в свой поиск, позволяющую быстро пополнить собственную базу уже проиндексированным Flexum сайтом.

Каждому автору персонального поисковика Flexum в качестве еще одного «социального» бонуса предоставляет собственный блог и систему публикации тематических статей, сообщения о которых попадают на ленту новостей домашней страницы Flexum. Эти инструменты можно и нужно использовать для продвижения своего проекта.

Воспользоваться персональным поиском можно на его домашней страничке с адресом имя_персонального_поисковика. fLexum.ru. В этом случае предлагается несколько готовых вариантов ее внешнего оформления, различающихся цветовой гаммой интерфейсов поиска и выдачи Стандартный интерфейс поиска состоит из трех разделов и содержит список выдачи результатов поиска, блок тематических разделов поисковика, сформированный на основе присвоенных тегов, а также «социальный» раздел со ссылками на блог поисковика, анкету автора поиска и его контактные данные. За счет наличия блока тегов готовый проект может работать не только как поисковик, но и как своеобразный веб-каталог. Дело в том, что тематические разделы поисковика можно просто просматривать, не отправляя запрос в форме поиска. Стандартный веб-интерфейс выдачи поисковика на основе Flexum кроме обычной строки поиска предлагает ряд «социальных» инструментов, позволяющих оценить и прокомментировать результаты работы владельца ресурса.

Форму поиска Flexum можно разместить и на внешнем сайте. В соответствующем разделе панели управления. Экспорт предлагается для копирования необходимый JavaScript-код, который достаточно установить в нужном месте своей веб-страницы или блога. Возможна организация зеркала проекта, другими словами, можно перенаправлять запросы с внешнего веб-сайта на страницу поиска Flexum. Кроме того, предлагается платная возможность экспорта данных из Flexum в формате XML.

Еще одна отличительная черта Flexum – наличие ряда социальных инструментов. Контроль над ними осуществляется в разделе Кабинет панели управления поисковика. Пользователям предлагают заполнить персональные анкеты, содержащие общие данные о них. Эти анкеты впоследствии будут служить визитными карточками авторов системы поиска для других пользователей ресурса. Главным средством общения пользователей Flexum между собой является коммуникатор, с помощью которого можно обмениваться личными сообщениями. Для поддержки своего поискового ресурса можно публиковать статьи и вести блог. Эти материалы попадают в радел новостей на главной странице Flexum и могут быть использованы для продвижения проекта.

К работе над поисковиком можно привлекать и других пользователей. Собрать такую команду можно отправкой приглашений, благо соответствующая ссылка Пригласи друга вынесена на главную страницу персонального поисковика. Кроме рассылки приглашений, можно разместить на странице поисковика ссылку Стать соавтором. Это позволит любому пользователю Flexum отправить вам заявку на участие в наполнении поисковика. Это весьма полезное решение, поскольку, как мы уже выяснили, объем работ по заполнению базы Flexum достаточно велик. Еще один способ пополнения базы – размещение на странице персонального поисковика ссылки Предложить сайт. С ее помощью посетители вашего проекта смогут сообщать о тематических сайтах, отсутствующих в индексе.

Несмотря на свои недостатки – большой объем ручной работы и значительный временной промежуток в индексации внесенных в поиск проектов, – система Flexum способна стать мощной платформой для организации персонального тематического интернет-поиска. Предлагаемые Flexum «честное» скачивание и индексация дают автору полный и гибкий контроль над наполнением индексной базы. Такой вариант индексации особенно хорош для работы с «нераскрученными» проектами, которые зачастую недостаточно качественно индексируются крупными универсальными интернет-поисковиками.

Выводы и рекомендации

Главные достоинства средств персонального поиска – это уменьшение информационного шума в результатах поиска, а также возможность быстрого создания специализированных тематических поисковиков. Можно только порадоваться тому факту, что технологиями собственного интернет-поиска, каких-то несколько лет назад доступными только достаточно богатым корпорациям, теперь могут воспользоваться практически все желающие.

Персональный поиск – это замечательный инструмент, однако не стоит переоценивать его возможности. Как и у любых средств интернет-поиска, у него есть свои недостатки. Если сравнивать персональные поисковики со специализированными вертикальными поисковыми машинами, нетрудно заметить, что последние обладают рядом преимуществ. Для них, как правило, разрабатывают специализированные алгоритмы индексации и сортировки ресурсов, а зачастую предлагают и специализированные удобные интерфейсы, недоступные владельцам персональных поисковиков, в которых используются универсальные алгоритмы и типовые интерфейсы, что, безусловно, ограничивает их возможности.

Оба рассмотренных нами сервиса позволяют построить хороший персональный поисковик. В умелых руках они способны стать мощным средством тематического интернет-поиска. Различие их возможностей напрямую зависит от выбранной разработчиками данных систем модели индексирования ресурсов. Однозначно определить, который из предложенных подходов лучше, довольно сложно, поскольку каждый из них имеет свои достоинства и недостатки. Важно хорошо их представлять и выбирать систему персонального поиска, исходя из собственных потребностей.

При использовании Google CSE в нашем распоряжении – крупнейшая на сегодня индексная база интернет-страниц, плюс возможность добавлять к ней для индексирования собственные ресурсы. Благодаря этому обстоятельству персональный поиск можно начинать немедленно, затрат времени на предварительную индексацию выбранных сайтов здесь нет. Недостатки собственно системы Google Custom Search Engine, как это обычно водится, во многом являются продолжением ее достоинств. Ценой такого «быстрого старта» стала жесткая привязка к базе Google. Ограничивая круг поиска одной базой, мы автоматически отсекаем от результатов ресурсы, в силу тех или иных причин в нее не попавшие. Персональный поисковик оказывается полностью зависимым от качества работы индексирующего робота Google. Если определенный сайт не включается в базу либо индексируется поверхностно, мы ничего с этим поделать не можем, и в такой ситуации персональный поиск от Google бессилен.

Создание поисковика средствами Flexum занимает гораздо больше времени, поскольку, во-первых, обязательно потребуется составить полный список индексируемых сайтов, а во-вторых, системе нужно некоторое время на проведение индексации. Предлагаемая Flexum «честная» индексация дает пользователю полный и гибкий контроль над этим процессом, что может быть очень кстати, если вы планируете использовать какой-либо специфический набор сайтов. Для работы с небольшими и «малозаметными» веб-проектами система Flexum предпочтительней, чем Google. Кроме того, Flexum предлагает специальную льготную программу для тематических порталов, решивших построить свою систему поиска на этой платформе.

Глава 7 Поиск изображений

Интернет-поиск уже давно не ограничивается только текстовыми документами. Пожалуй, следующий по популярности тип контента – изображения. Сейчас можно насчитать три основных направления в развитии технологий интернет-поиска изображений – это индексация по косвенным признакам, построение разнообразных каталогов и контентный поиск изображений.

Индексация по косвенным признакам остается наиболее популярным способом поиска изображений. Этот способ широко представлен в вертикальных базах изображений универсальных интернет-поисковиков, благо практически все крупные машины предлагают такие возможности поиска. В данном варианте интернет-поиск изображений концептуально не отличается от поиска веб-страниц и других текстовых документов. Поисковик при индексации работает не с самим изображением, а с его косвенными признаками: именами графических файлов и тегами, присвоенными в HTML-разметке. Кроме того, анализируются подписи и текст, расположенный рядом с изображением на веб-странице, изучается текст гиперссылок, ведущих к той или иной картинке. Именно такие косвенные признаки изображения и заносятся в индексную базу, по которой затем ведется поиск при поступлении запросов от пользователей.

Подобные поисковики принимают запрос от пользователя в виде привычной текстовой строки, содержащей ключевые слова. Как правило, к характеристикам собственно изображений относятся только поля расширенного поиска, определяющие формат файла, размер изображения и другие подобные признаки.

Преимущества такого подхода понятны: его относительно проще реализовать. Кроме того, задействуются огромные индексные базы, что обеспечивает хороший охват поиска. Недостатки также очевидны: поскольку поиск идет по косвенным признакам, причем исключительно в автоматическом режиме, неизбежны информационный шум и ошибки.

Избавиться от неточностей и шума, свойственных автоматическому индексированию по косвенным признакам, можно несколькими способами. Один из них – включить в работу системы человека. Подробное описание картинок по заданной заранее схеме обычно имеет место в тематических галереях изображений. Перед включением изображения в базу данных на него заполняется своеобразная анкета, в которой содержится заранее отобранный список важных для поиска признаков и характеристик изображения. Такой способ позволяет качественно обработать как формальные свойства изображения, так и отразить его тематику. Благодаря четкой структуре описания обеспечивается достаточно высокая точность поиска. Если вам повезет найти по интересующей вас теме подобную специализированную галерею, эффективность поиска изображений вырастет в разы по сравнению с обычным универсальным поиском.

Не стоит забывать и про специализированные фотобанки. Профиль таких ресурсов может быть самым разным: от коллекций «обоев» для рабочего стола до коммерческих баз высококачественных фото, которые можно применять в полиграфии. Как правило, там используются стандартные режимы поиска, кроме того, для работы с такими базами существуют специальные поисковики.

Один из главных недостатков такой «каталожной» технологии – серьезные трудозатраты на описание ресурсов. Эпоха Web 2.0 дала новый толчок развитию данной модели. На социальных проектах задача описания загружаемых на сервер изображений полностью возлагается на их авторов. Кроме того, схема самого описания радикально упрощается. Вместо заполнения развернутой, но сложной анкеты предлагается схема свободного присваивания картинкам простых тегов. На некоторых ресурсах добавлять теги к изображениям могут не только их владельцы, но и другие пользователи сервиса Примерами ресурсов, где практикуется такой подход (его еще называют «фолксономией») при индексации изображений, могут служить Flickr, Photobucket и огромное количество других социальных фотохостингов.

Социальное индексирование изображений – способ хороший, однако не лишенный недостатков. Если в случае автоматического индексирования мы зависим от алгоритмов универсального поисковика, то здесь мы вынуждены полагаться на мастерство и добросовестность авторов. А индексаторская квалификация у владельцев картинок разная. У кого-то получается лучше, у кого-то хуже. Не надо забывать, что для описания близких по содержанию картинок разные авторы могут использовать различные ключевые слова. Кроме того, совершенно не факт, что автор картинки посчитает достойными индексирования именно интересные вам признаки. Свою роль может сыграть и фактор времени. Хорошо если человек загружает за один сеанс несколько фотографий – можно спокойно подумать над хорошим подбором тегов. А если таких снимков сотня? Скорее всего, всякий нормальный человек сэкономит время, в результате чего вся подборка будет описана всего несколькими общими тегами, и только некоторые фото удостоятся подробного описания. Такое сокращение поисковых признаков неизбежно сказывается на качестве будущего поиска.

Третья «генеральная» технология поиска, так называемая технология CBIR (Content Based Image Retrieval – поиск изображений по содержанию), делает ставку на системы автоматического распознавания изображений, которые работают напрямую с картинкой и индексируют такие ее параметры, как цвет, очертания изображенных объектов, их взаимное расположение.

Далее мы рассмотрим возможности поиска изображений с помощью вертикальных баз крупнейших универсальных поисковиков, попробуем определиться с качеством их поиска, а затем познакомимся с лучшими представителями семейства современных CBIR-поисковиков.

Для оценки качества работы универсальных поисковиков мы прибегнем к тестовому поиску по одинаковым запросам. Конечно, абсолютно исчерпывающим результат такого исследования не будет, однако предлагаемый подход хорош тем, что максимально приближен к повседневной работе и может быть легко воспроизведен: вам останется только подобрать собственные запросы из хорошо известной тематической области. Работать мы будем только с русским языком, а «семейные» фильтры отключим. Кроме того, тестовые запросы будут выполняться без входа в персональные аккаунты – в Google эта операция способна заметно повлиять на результаты выдачи.

Google Картинки

Google Картинки – один из основных сервисов Google, ориентированный на поиск изображений, находящийся в постоянном развитии. В последнее время он заметно изменился и усовершенствовался, продолжая оставаться одним из самых популярных и мощных средств поиска изображений, обеспечивая широкий охват за счет больших объемов индексных баз. Доступно две версии такого поиска: усовершенствованная, которая сейчас является стандартной, и упрощенная. Отличаются они в основном внешним видом страницы выдачи, возможности формулирования запроса у них одинаковые.

Изображения в Google можно искать в режимах простого и расширенного поиска. При вводе запроса в режиме простого поиска действуют инструменты, привычные по обычному текстовому веб-поиску: предложения по дополнению запроса и виртуальная клавиатура.

Форма расширенного поиска состоит из двух блоков: стандартного для всех поисковых продуктов Google и специфического блока, содержащего инструменты, необходимые именно для поиска изображений. Стандартный блок предлагает поля поиска по всем словам, по любым указанным словам, по точной фразе, а также поле исключения определенных слов. Специфический блок содержит большее количество инструментов. Кроме привычного фильтра поиска по конкретному сайту или домену, остальные инструменты позволяют описать различные характеристики нужных изображений.

Фильтр Типы картинок позволяет искать изображения, содержащиеся только в новостных сообщениях. Помимо этого, здесь можно увидеть работу новых инструментов Google, проводящих определенный контентный анализ изображения. С их помощью можно отбирать только цветные или только черно-белые изображения, фотографии или клипарт. Кроме того, в системе реализован механизм распознавания лиц, соответственно, возможен отбор таких изображений.

Google предлагает неплохой выбор фильтров, ориентирующихся на формальные характеристики изображения. С помощью фильтра. Размер можно отбирать картинки фиксированных размеров, причем кроме привычных вариантов. Большие, Средние и Маленькие, предлагаются различные варианты разрешения изображений в мегапикселях. Шаг списка довольно подробный, можно выбирать в списке значения от двух до семидесяти мегапикселей. Фильтр Точный размер, в свою очередь, позволяет вручную указать точное значение размеров нужной картинки в пикселях. Дополнительная опция этого фильтра. Использовать разрешение моего рабочего стола включает режим автоматического определения этого параметра и ограничивает поиск картинками данного размера. Фильтр Соотношение сторон дает возможность выбирать изображения, подходящие под один из четырех вариантов этой характеристики: квадратные, широкие, узкие и панорамные. Отдельный фильтр. Права использования позволяет вести поиск только тех изображений, которые распространяются в соответствии с определенным типом лицензии и правами на изменение. Фильтр Безопасный поиск дает возможность управлять «семейным» фильтром поисковика.

Страница выдачи усовершенствованной версии поисковика состоит из двух частей: области просмотра результатов и боковой панели, содержащей инструменты быстрого уточнения запроса. Вся область просмотра отдана миниатюрам найденных изображений. Они располагаются тесной мозаикой. При наведении указателя мыши на миниатюру она увеличивается, кроме того, появляется краткая текстовая характеристика картинки, содержащая имя файла, адрес сайта, на котором она была найдена, размеры в пикселях (рис. 7.1). Для некоторых картинок демонстрируется ссылка. Похожие, которая открывает список визуально и тематически похожих результатов поиска.

Рис. 7.1. Страница выдачи сервиса Google Картинки

За счет отказа от текстового сопровождения миниатюр Google удалось заметно увеличить количество изображений на одной странице выдачи Теперь на ней размещается до трех десятков миниатюр. Для просмотра выводится только первая страница выдачи Для того чтобы увидеть все результаты, понадобится воспользоваться кнопкой. Еще результаты, расположенной под списком выдачи Она позволяет вывести все результаты поиска на одной странице в виде бесконечной вертикальной ленты. Для ускорения работы миниатюры в этом случае подгружаются постепенно.

Боковая панель страницы выдачи содержит три блока быстрой фильтрации. Первый из них предлагает отбор изображений по размеру. Доступные варианты здесь повторяют форму расширенного поиска. То же можно сказать о блоке фильтра типа изображения. Здесь также можно отбирать фотографии, рисунки или изображения, содержащие портреты. Функционально от расширенного поиска отличается только блок фильтров по цвету. В отличие от расширенного поиска здесь предлагается палитра, запускающая контентный анализ найденных изображений и позволяющая отбирать их по признаку преобладающего в цветовой гамме оттенка. Заметим, что работает данный инструмент вполне корректно и его применение дает действительно хорошие результаты.

После щелчка на миниатюре открывается страница просмотра. Она содержит три фрейма: в левом выводится веб-страница, на которой было найдено изображение, в правом, боковом, информация Google – размер, тип и условия распространения картинки. Сама картинка целиком выводится в индивидуальном фрейме, расположенном поверх самой страницы просмотра.

Упрощенная версия поиска изображений функционально соответствует более современной версии, однако страница выдачи здесь решена в более привычном и традиционном стиле. Результаты поиска представлены не единым списком, а разбиты на отдельные страницы. Кроме того, миниатюры снабжены текстовой характеристикой. На каждой странице выдачи по умолчанию содержится не более двух десятков миниатюр. Внешний вид страницы просмотра найденного изображения не отличается от усовершенствованной версии поисковика.

Яндекс.Картинки

Развитие системы поиска изображений одного из крупнейших российских интернет-поисковиков также не стоит на месте. В настоящее время система использует собственную индексную базу, а также задействует базу системы Picsearch.

В системе Яндекс.Картинки предусмотрены режимы простого и расширенного поиска. В ходе простого поиска работает механизм автодополнения вводимых в поле поиска ключевых слов. Поскольку этот механизм оптимизирован с учетом особенностей русского языка, его работа весьма полезна.

Форма расширенного поиска предлагает четыре блока фильтров, работающих с различными признаками изображения, как формальными, так и визуальными. Фильтр Искать слова учитывает косвенные признаки и позволяет искать изображения по окружающему их на веб-странице тексту, а также описанию изображения в HTML-разметке. Поддерживаются поиск по фразе и поиск с учетом различных словоформ. С помощью фильтра. Формат можно указать желаемый графический формат изображений. Поддерживается ограничение поиска указанным сайтом или доменом.

Фильтры Размер и Ориентация позволяют указать формальные характеристики нужного изображения. Предлагается список из пяти вариантов размера: от «иконок» до «очень больших» изображений. Поддерживается выбор в перечне стандартных разрешений мониторов с целью поиска «обоев» для рабочего стола, а также ручное указание нужного размера изображения в пикселях.

Фильтр Цвет позволяет указать желаемую цветовую гамму изображения. Работает этот фильтр достойно, но в то же время не стоит забывать, что он анализирует общую гамму изображения, иногда не делая различий между тем, что, собственно, изображено на картинке, и фоном.

Фильтр Тип дает возможность не только разделить фотографии, клипарт и графику, но и находить изображения людей, для чего служит переключатель Портреты.

Очень удобной особенностью расширенного поиска в системе Яндекс.Картинки является блок в нижней части формы, где все условия поиска приводятся в виде осмысленного текстового запроса. Такой инструмент позволяет увидеть недочеты запроса, да и просто оценить его возможный результат.

Результаты поиска выводятся постранично. По умолчанию на одной странице выдачи располагаются двадцать миниатюр. Миниатюры сопровождаются краткой текстовой характеристикой, которая содержит фрагмент текста исходной веб-страницы, размер изображения и адрес сайта, на котором картинка была найдена.

Инструменты уточнения запроса собраны под строкой запроса. Они немногочисленны, но полезны. С их помощью можно фильтровать картинки определенного размера. Поддерживается отбор только по заранее заданным группам: большие, средние, маленькие и обои. На эту панель также вынесены инструменты контентного анализа изображений. Это уже знакомый нам по форме расширенного поиска переключатель. Портреты, который включает режим распознания лиц на изображениях, а также палитра, с помощью которой можно быстро отбирать в списке выдачи картинки определенной цветовой гаммы (рис. 7.2).

Рис. 7.2. Страница выдачи системы Яндекс.Картинки с включенным фильтром Портреты

Щелчок на миниатюре открывает страницу просмотра. Яндекс.Картинки, в отличие от многих других поисковиков, не открывает сразу страницу, на которой было найдено изображение. Страница просмотра, кроме собственно выбранного изображения, предлагает список копий картинки, найденных на разных сайтах. Список отсортирован по размерам изображений, что позволяет быстро найти наиболее качественный вариант. Следует заметить, что это весьма удобный инструмент, действительно облегчающий поиск. На странице просмотра появляется также ссылка на веб-страницу, на которой была размещена найденная картинка. В нижней части экрана в виде ленты выводятся остальные результаты поиска изображений по заданному пользователем запросу. Это решение также стоит признать удачным, поскольку можно быстро вернуться к результатам поиска и просмотреть другие изображения, не уходя со страницы просмотра.

Яндекс предлагает также отдельный экспериментальный проект. Визуальный поиск. Строго говоря, это не поиск изображений по запросу, а своеобразная рекомендательная система. Пользователю предлагается выбирать среди демонстрируемых фотоснимков ландшафтов и достопримечательностей наиболее понравившиеся картинки. Собрав статистику (может потребоваться от десяти до пятидесяти выборов), система рекомендует посетить определенную страну, а также предлагает варианты поиска дополнительных изображений понравившихся достопримечательностей.

Нельзя не отметить наличие сервиса поиска изображений, оптимизированного для смартфонов и телефонов. Этот сервис доступен в общем пакете сервисов Яндекса для мобильных устройств.

Рассказ о вертикальных базах универсальных поисковиков мы завершим анонсированным во вступлении к этой главе тестом качества их поиска. Сначала попробуем оценить охват поисковых сервисов Google Картинки и Яндекс.Картинки. Для этого достаточно будет посмотреть на общее количество результатов каждого поисковика по одинаковым запросам. В качестве тестового задания выступит фраза «космонавт Юрий Гагарин». Этот запрос, на момент написания данных строк, принес на Google 2510 результатов, на Яндексе – 780. Налицо более чем трехкратное преимущество Google.

Поскольку поиск картинок идет по косвенным признакам, посмотрим, насколько высок уровень информационного шума. На. Яндексе первое изображение, не относящееся напрямую к первому космонавту. Земли и названному в его честь кораблю (это был портрет космонавта № 4, Павла. Поповича), появилось на шестой странице выдачи В Google это событие произошло гораздо раньше, уже на шестнадцатой позиции списка выдачи появилось фото неизвестного спортсмена-воднолыжника. Значительный информационный шум, при котором количество релевантных результатов практически сравнялось с мусором, у Google возник уже на седьмой странице. Яндекс продержался до девятой страницы.

После включения режима распознавания лиц выяснилось, что на обоих поисковиках он работает отменно, сбоев не было. Яндекс нашел 102 портрета, Google – 282. Что же касается точности, то оба поисковика опростоволосились уже на первых страницах выдачи Яндекс показал Павла Поповича на 18-й позиции, а Google – неизвестную даму на 11-й. Информационно-мусорный «полураспад» наступил в Яндексе на четвертой странице (6 из 20 изображений не относились к теме). Заметим, что численное превосходство релевантных результатов на сервисе Яндекс.Картинки сохранилось до последней страницы выдачи Google в аналогичных условиях сдался уже на четвертой странице. Перелом был достаточно резкий: начиная с шестой-седьмой страницы в результатах можно было найти практически кого угодно, но только не космонавта Гагарина.

В случае использования цветовых фильтров при отборе портретов количество результатов предсказуемо и резко сокращается. Максимум результатов на Яндексе дала белая гамма. Правда, там было немало ложных срабатываний на картинки с белым фоном и обводками. Что касается остальных цветов, то Яндекс оказался достаточно требовательным: искомый цвет для прохождения фильтра должен быть преобладающим в изображении. Как и прежде, Google превосходил Яндекс в количестве результатов каждого цвета – у Google список выдачи после применения фильтра измерялся сотнями картинок. Однако нельзя не заметить, что Google демонстрирует другой, гораздо более либеральный подход к фильтрации: для прохождения фильтра на изображении достаточно простого присутствия объекта искомого цвета.

Flickr

В качестве примера системы поиска изображений рассмотрим принадлежащий Yahoo! проект фотохостинга Flickr – один из крупнейших в мире ресурсов такого плана. Количество изображений в его базе исчисляется многими миллионами. Данный проект предлагает практически все типичные для данного класса ресурсов инструменты поиска.

Поиск ведется только в собственной базе Flickr, изображения в которую загружаются пользователями ресурса. Необходимо помнить, что снимки на ресурсе могут быть как публичными, так и приватными. В последнем случае они доступны только владельцам и приглашенным пользователям.

На Flickr доступны простой и расширенный режимы поиска. Простой режим поиска, кроме поля ввода запроса, предлагает несколько фильтров. Область поиска определяется переключателями, расположенными над полем ввода запроса. При выборе одного из трех доступных вариантов (Photos, Groups, People) меняется содержимое расположенного рядом меню Search. Переключатель Photos позволяет вести поиск среди всех публичных изображений базы Flickr, в архивах персональных профилей, в загрузках пользователей из адресной книги вашего аккаунта или же в базе Getty Images, в которую попадают наиболее удачные снимки. При желании можно воспользоваться опциями, ограничивающими поиск введенного текста только описаниями фото или же присвоенными им тегами. Переключатель Groups позволяет найти тематические группы пользователей Flickr. Необходимо отметить, что последующий поиск в архивах таких тематических групп достаточно эффективен и позволяет добиться хороших результатов. Переключатель People предлагает поиск имен пользователей (рис. 7.3).

Рис. 7.3. Интерфейс простого поиска фотохостинга Flickr

Режим расширенного поиска предлагает поиск с использованием логических операторов и поиск по точной фразе. Присутствуют и дополнительные фильтры, позволяющие указывать тип нужного контента (фото, видео, рисунки), вести поиск по дате создания или загрузки изображения, включать «семейный фильтр», а также отбирать фотоработы, предоставленные по лицензии Creative Commons.

Страница результатов поиска предлагает просмотреть расположенные мозаикой миниатюры изображений. Предлагаются три режима отображения миниатюр, отличающиеся размером каждой миниатюры и подробностью текстового описания. Боковая панель страницы выдачи содержит список групп, изображения из архивов которых попали в результаты поиска, список фотографов, а также перечень географических местоположений, где были сделаны найденные снимки. Расширить или уточнить свой запрос можно с помощью инструмента Tag Clusters, в котором демонстрируется перечень тегов, отмечающих изображения текущей страницы выдачи.

CBIR-системы

Аббревиатура CBIR обозначает технологии поиска картинок, основанные на анализе характеристик изображенных на них объектов. Другими словами, CBIR-система пытается «рассмотреть» содержимое самой картинки.

Контентный анализ изображения нельзя назвать «горячей новинкой» – подобные технологии давно и активно используются в системах видеонаблюдения, более того, они давно работают за кулисами универсальных поисковиков в качестве части так называемых «семейных» фильтров. Экспериментальные машины просто дают пользователям контроль над таким режимом поиска и предлагают новые, оригинальные интерфейсы.

В общем виде CBIR-система, как и обычный поисковик, работает в два этапа: индексирование и собственно поиск по запросу пользователя. На первом этапе каждое изображение описывается и заносится в базу данных. Как мы уже выяснили, обычные интернет-поисковики ориентируются на тексты содержащих изображения веб-страниц, имена графических файлов и другие косвенные признаки. В отличие от них CBIR-система с помощью специальных алгоритмов анализирует характеристики самого изображения – его цветовую гамму, композицию, очертания предметов и другие подобные признаки. Есть принципиальные отличия и на этапе поиска картинок. Поскольку индексируемые признаки у CBIR-поисковиков не совсем обычные, то и предлагаемые пользователям инструменты составления запросов заметно отличаются от привычных форм с полями ввода ключевых слов.

В настоящее время различают несколько основных типов CBIR-систем, которые отличаются способом составления поискового запроса.

Первый вариант – уточнение запроса путем отбора похожих изображений пользователем. Сначала в базе системы по ключевым словам находится некоторое подмножество картинок нужной тематики, после чего пользователь выбирает среди них похожие на то, что он хотел бы увидеть в итоге. Ориентируясь на эти указания, поисковик предлагает новый набор картинок, отобранный по образцу одобренных пользователем изображений.

Второй тип CBIR-систем позволяет вести поиск изображений по точно заданными визуальным параметрам. В этом случае пользователь указывает точные значения различных характеристик необходимого изображения, которые затем сравниваются с имеющимися в базе поисковика.

Третий тип CBIR-систем работает с графическим запросом. Системе предъявляется некий образец, она производит его анализ, после чего проводит в своей индексной базе поиск изображений со сходными параметрами.

Tiltomo

Финский экспериментальный поисковик Tiltomo является примером реализации технологии уточнения запроса с помощью похожих изображений. Разработчики Tiltomo решили не тратить ресурсы на формирование самостоятельной базы изображений, а предпочли работать с готовой базой фотохостинга Flickr. Здесь действует ограничение – поиск идет не во всей многомиллионной базе Flickr, а в тестовой выборке, объем которой постоянно увеличивается и в настоящее время составляет несколько сотен тысяч фото.

Поиск начинается вводом ключевого слова-тега, которое нужно для формирования первоначальной выборки снимков с различными визуальными характеристиками. Начинать поиск можно также со случайного набора снимков, предлагаемого системой.

Интерфейс выдачи Tiltomo максимально прост. Пользователь работает со страницей, содержащей пару десятков миниатюр фотоснимков, сопровожденных несколькими ссылками-переключателями (рис. 7.4). Далее доступны два варианта действий: уточнение темы запроса и поиск по характеристикам изображения. Для уточнения темы достаточно выбрать понравившийся снимок-пример и щелкнуть на ссылке Find Similar by Theme, которая находится под каждой миниатюрой. Допустим, вам требуются фотоснимки обычных съедобных яблок – никаких проблем, выбирайте соответствующий образец и получайте новую страницу результатов, на которой все снимки будут содержать изображения яблок в различных ситуациях и ракурсах.

Рис. 7.4. Поисковик Tiltomo позволяет подбирать визуально похожие изображения

Другой инструмент поиска, запускаемый ссылкой Find Similar by Color/Texture, призван искать изображения, схожие по характеристикам цвета и очертаний. Получив такую обратную связь, поисковик ищет в своей базе картинки, визуальные индексы которых близки к отобранным изображениям. В результате пользователь получает новый список выдачи, картинки в котором визуально похожи на указанный им пример. Цикл может повторяться несколько раз, напоминая обычное уточнение запроса на универсальном поисковике, только инструментами здесь выступают не дополнительные ключевые слова, а содержимое изображения. Попадания могут быть достаточно точными – если, допустим, на снимке-образце была лужайка, мы получим набор фотоснимков с изображением различных зеленых растений. Справедливости ради заметим, что «тематический» фильтр при этом начинает давать сбои, поэтому для получения максимально точного результата приходится повторять поиск несколько раз.

Использование переключателей позволяет Tiltomo достойно справляться со словами-синонимами. Для примера: в списке выдачи по запросу «apple» система позволяет уточнить, что имеется в виду: продукция компьютерной компании Apple, яблоки и яблони разных сортов или же фотографии. Нью-Йорка, известного также как «Big Apple».

Retrievr

Поисковик Retrievr, разработанный австрийской фирмой System One, реализует режим поиска по графическому запросу. Любопытно, что движок сервиса полностью написан на языке Python. Как и Tiltomo, Retrievr работает с фотоснимками, размещенными на сервисе Flickr, однако использует другой способ составления запросов. Здесь предлагается сделать ручной набросок искомого изображения или вести поиск по представленному пользователем образцу.

Интерфейс Retrievr разделен на две части. Слева располагается боковая панель, содержащая инструменты составления запроса. Справа выводятся результаты поиска – миниатюры подходящих под условия запроса изображений (рис. 7.5).

Рис. 7.5. Система Retrievr позволяет искать по наброску

Retrievr работает с двумя типами графических запросов: наброском, который можно нарисовать от руки, и загружаемой на сервер картинкой-примером. Переключаются режимы кнопками Sketch Search и Image Search.

Для рисования применяется специальная Flash-панель. Она содержит небольшую рабочую область, на которой и предлагается подготовить графический запрос. Кроме того, на ней находится набор круглых кистей разного размера, а также палитра, с помощью которой выбираются нужные оттенки. Анализ рисунка происходит практически в режиме реального времени. Прямо в ходе рисования на страницу подгружаются результаты поиска, позволяя немедленно корректировать набросок.

Результаты такого поиска пока неоднозначны. Простейшая «рожица» позволяет исправно получать галерею портретов, белый круг на черном фоне – фотоснимки Луны. В то же время попытки изобразить деревце или еще что-нибудь более детальное ведут пока к серьезному разброду в результатах. Для получения хорошего результата нужно рисовать крупными мазками, не пытаться изображать мелкие детали, а постараться передать общий колорит.

Что интересно, пользовательские наброски сохраняются и им присваиваются собственные URL-адреса, которые можно сохранить или отправить по электронной почте. Кроме того, на сайте имеется галерея набросков, уже сохраненных в системе, причем при желании можно проголосовать за понравившиеся. Эта информация используется для совершенствования алгоритмов системы.

Второй режим поиска Retrievr – по представленной пользователем фотографии, которая и исполняет в данном случае роль запроса. В настоящее время принимаются только файлы в формате JPEG. Снимок можно загрузить со своего компьютера или же указать его URL-адрес, если он находится в сети. Качество такого поиска сейчас мало чем отличается от поиска по наброску – основное внимание уделяется цветовой гамме при заметном пренебрежении к деталям изображения. Поработать в данном режиме также можно, не загружая свой фотоснимок, а взяв за образец любую миниатюру со страницы результатов поиска. Если задержать на такой миниатюре указатель мыши, появляется значок с лупой, при щелчке на котором Retrievr начинает искать похожие на миниатюру изображения.

Выводы и рекомендации

Основными системами поиска изображений в Сети остаются универсальные поисковики и специализированные фотохостинги. Универсальный поиск силен широким охватом, но страдает от информационного шума. Наилучшие результаты он дает тогда, когда изображение можно явно и однозначно описать в текстовом виде, после чего остается надеяться, что веб-мастера не упустили этот момент при верстке своих страниц. Каталоги обеспечивают высокое качество тематического поиска, но «закрывают» далеко не все тематические ниши. Поскольку индексные базы изображений у крупных поисковиков отличаются, при серьезном поиске желательно задействовать несколько машин.

Экспериментальные контентные поисковики сейчас в основном работают с «низкоуровневыми» характеристиками изображений – цветом, формой, текстурой, в то время как человек, глядя на картинку, воспринимает цельные образы, причем способность к такому восприятию во многом опирается на приобретенный жизненный опыт. У машины такой школы нет, и это является причиной многих неточностей при поиске. Пользователю при составлении запроса, так или иначе, приходится учитывать специфику «машинного» восприятия изображения и переводить искомые образы на язык характеристик понятого машине уровня. Ориентация на словесное описание изображений в «традиционных» поисковиках при всех своих недостатках позволяет «зацепить» эти тонкие аспекты за счет прямого или косвенного участия человека в распознании содержимого картинки.

Пользовательский CBIR-поиск еще в самом начале пути. Большинство поисковиков открытого доступа находятся в стадии бета-версий. Экспериментальные машины поиска изображений занимают нишу специфических запросов и вряд ли готовы полностью заменить обычные поисковики и каталоги, ориентированные на использование ключевых слов. В то же время новейшие «контентные» технологии становятся прекрасным дополнением к «традиционным» способам индексации и поиска. Действительно: наиболее гибкими и удобными оказываются сервисы, объединяющие различные подходы к поиску: по ключевым словам, по тегам, по визуальным характеристикам изображений. Это, скорее всего, будет ведущей тенденцией ближайшего будущего. Возможности поиска изображений по косвенным признакам и проставленным пользователями тегам на универсальных поисковиках и фотохостингах все активнее дополняются технологиями контентного поиска.

Примерами могут служить рассмотренные в этой главе сервисы Google Картинки и Яндекс.Картинки. Возможности составления запросов у этих проектов сопоставимы, разве что Google распознает больше оттенков, в то время как. Яндекс предлагает более совершенные инструменты для работы с текстом запроса. Новые инструменты поиска и фильтрации изображений у обоих проектов достигли хорошего уровня. Механизмы распознавания лиц и поиска изображений по цветовой гамме функционируют четко и приносят реальную пользу. По количеству результатов выигрывает Google, однако результаты выдачи Яндекса, обычно уступая в разы количественно, дольше остаются релевантными. Поэтому выбор поисковика зависит от выбора приоритетов: «не упустить, даже ценой шума» или же «пусть меньше, да лучше».

Что касается интерфейсов просмотра, то здесь однозначного лидера выделить трудно. На стороне Google – удобная боковая панель с быстрым доступом к фильтрам и «бесконечная лента» выдачи. В активе Яндекса – чрезвычайно удобная опция группировки одинаковых изображений, а также информативная страница просмотра, позволяющая увидеть изображение без перехода на исходную веб-страницу.

Глава 8 Поиск видео

Интернет-поиск видеофайлов, как и поиск изображений, можно вести различными способами. Значительная часть видеоконтента в современной. Сети сохраняется на многочисленных видеохостингах, наиболее крупным и известным из которых остается YouTube. Среди таких ресурсов можно найти как универсальные по своему содержанию хостинги, так и тематические хранилища, например, специализирующиеся на документальном и образовательном видео или же сугубо развлекательном контенте. Соответственно, первый доступный вариант поиска нужного видеофайла – использование собственных поисковых систем соответствующих видеохостингов.

Поскольку таких ресурсов достаточно много, возникает уже знакомая нам ситуация: если пользоваться для поиска только каким-либо одним ресурсом, неизбежны потери, поскольку не существует ресурса, содержащего сведения обо всем сетевом видео. Решение данной проблемы также известно: создание систем поиска, способных работать с различными видеоресурсами.

Многие универсальные поисковики предлагают собственные вертикальные индексные базы видео. Как правило, в первую очередь они охватывают принадлежащие поисковикам видеохостинги или же несколько крупных видеоресурсов. Кроме того, существует группа специализированных видеопоисковиков как универсального, так и тематического характера. Такие поисковики зачастую обладают оригинальными интерфейсами и хорошим выбором специализированных инструментов составления запросов и просмотра результатов. Именно такие машины – вертикальные базы универсальных поисковиков и специализированные поисковые машины – являются главными героями данной главы.

Вертикальные базы универсальных поисковиков

Вертикальные видеобазы крупных универсальных поисковиков являются одним из наиболее популярных инструментов поиска сетевого видео. На руку таким базам играет и сам факт интеграции видеопоиска с другими инструментами крупных машин. Все-таки шансы выше на то, что пользователь, обратившийся к Google для поиска видео, просто переключится на другую вкладку, чем шансы его перехода к внешнему видеопоисковику.

Возможности универсальных поисковиков в части поиска видео примерно одинаковы, поэтому мы расскажем об их общих чертах, а также остановимся на различиях некоторых конкретных реализаций. Сервисы Google Видео и Яндекс Видео выбраны за широкий охват источников и хорошие результаты поиска русскоязычных видеофайлов. Проект Bing Видео интересен, в первую очередь, своим интерфейсом, который может оказаться весьма удобным для многих пользователей. Это, конечно, не единственные универсальные поисковики, предлагающие поиск видео, однако именно они способны, в основном, удовлетворить повседневные требования к такому поиску.

Как и в предыдущей главе, посвященной поиску изображений, мы проведем сравнительное тестирование вертикальных баз универсальных поисковиков. Тестировать видеопоиск мы будем примерно по аналогичной методике: в качестве теста будет использован одинаковый запрос на русском языке. Все поисковики будут работать в «чистом» режиме, без входа в персональные аккаунты и с отключенными «семейными» фильтрами.

Упомянем еще одну популярную возможность поиска видео: с помощью торрент-трекеров и всевозможных ресурсов, хранящих видеофайлы на файловых хостингах. Поскольку поиск видео на таких ресурсах принципиально не отличается от поиска файлов других типов, данный способ подробно рассматривается в главе 9.

Google Видео

Видеопоиск, предложенный Google, в свое время стал одним из пионеров подобных сервисов на страницах универсальных поисковиков. Свое значение он сохраняет и в настоящее время. Причин этому немало. Первая – это хороший охват источников. Google индексирует как крупные видеохостинги, так и большое количество проектов поменьше. Это обеспечивает приличную широту поиска. Сервис Google Видео предлагает как простой, так и расширенные режимы поиска, причем их интерфейсы выдержаны в привычном для пользователей Google стиле, что упрощает работу с ними.

Скорость индексирования Google Видео достаточно высока: ролики, размещаемые на принадлежащем Google видеохостинге YouTube, могут попасть в результаты поиска уже через несколько минут после публикации.

Интерфейс простого режима поиска Google Видео предлагает минимум вариантов настройки. Кроме самого поля поиска, это расположенная справа от него кнопка вызова виртуальной клавиатуры и меню выбора режима работы «семейного фильтра». Данный фильтр предлагает три уровня фильтрации: строгая, умеренная и отключение фильтра.

Форма расширенного поиска в основном аналогична форме расширенного поиска веб-страниц и изображений Google. Стандартный блок формы предлагает доступ к логическим операторам и поиск по фразе. Возможно ограничение поиска сайтом или доменом, доступен также языковой фильтр. Язык видео определяется путем анализа текстовой информации: тегов и описаний файла.

Собственно к характеристикам видео в форме расширенного поиска относятся только две опции. Длительность ролика можно выбрать в предлагаемом меню. Доступно четыре варианта: любая длительность; короткие, продолжительностью до четырех минут; средние – до двадцати минут, и длинные, превышающие двадцатиминутный барьер. Кроме того, можно вести поиск видео с субтитрами (рис. 8.1).

Рис. 8.1. Инструменты уточнения запроса в системе Google Видео вынесены на боковую панель страницы выдачи

Дополнительные инструменты уточнения запроса в Google Видео вынесены на боковую панель страницы поисковой выдачи Здесь доступны как стандартные фильтры современного поисковика Google (языковой фильтр, фильтр даты добавления ресурса в индексную базу, переключатель способа сортировки результатов), так и несколько специфичных для работы с видео инструментов, к которым относятся уже рассмотренные нами фильтры длительности видеофайлов и наличия субтитров. Кроме того, появляется возможность отбора видео в высоком разрешении. За это отвечает переключатель. Любое качество/Высокое качество. Еще один специфический фильтр – перечень видеохостингов, на которых были найдены файлы по вашему запросу. Щелкая на соответствующих ссылках, можно быстро перейти к результатам какого-либо одного источника. К сожалению, Google Видео не предоставляет возможности одновременного выбора нескольких источников. Поэтому здесь не получится одновременно увидеть все результаты, полученные, например, с YouTube и Metacafe, – только по отдельности.

Страница выдачи предлагает только один режим просмотра результатов – простым списком. Задать можно только количество ссылок на одной странице. Каждый результат содержит графическую миниатюру ролика, его название, сведения о его продолжительности, краткую текстовую выдержку, обычно взятую из описания ролика на видеохостинге, название сайта-источника и ссылку. Похожие видеоролики, которая открывает список файлов, помеченных на видеохостингах одинаковыми или близкими по смыслу тегами. Надо заметить, что за счет ориентации на теги данный механизм работает гораздо лучше, чем в случае обычного веб-поиска с помощью Google.

Яндекс Видео

Широта поиска сервиса Яндекс Видео достаточно хороша. Особенно это заметно при поиске по запросам на русском языке. Зачастую. Яндекс Видео выигрывает по количеству найденных русскоязычных роликов у зарубежных конкурентов. Ситуация меняется на противоположную при попытке поиска на английском или другом иностранном языке. Скорость добавления файлов из крупных источников в индекс системы достаточно высока, ролики попадают в результаты поиска не позднее, чем через несколько часов.

При вводе запроса на русском языке полноценно работает автодополнение. Доступен только режим простого поиска. Дополнительные фильтры собраны на боковой панели результатов поиска. Фильтр Источники позволяет отобрать для просмотра результаты, найденные на собственном видеохостинге «Я.Видео» или же на сторонних ресурсах. Точной фильтрации по конкретному сайту не предусмотрено. Фильтр Ролики позволяет отбирать видеофайлы по их продолжительности. К коротким здесь относятся видеоролики длительностью до десяти минут, к средним – 10–65 минут, к длинным – файлы продолжительностью более часа (рис. 8.2).

Рис. 8.2. Система поиска Яндекс Видео

Страница выдачи Яндекс Видео имеет единственный режим просмотра, предлагая пользователю «плитку» из двух десятков результатов на странице Каждая найденная ссылка сопровождается перечнем тегов или фрагментом текстовой аннотации. Приводятся длительность ролика, название видеохостинга, на котором был найден ролик, и дата его появления на этом хостинге. Удобное свойство. Яндекс Видео, выгодно отличающее этот сервис от Google Видео, – возможность автоматической фильтрации роликов-дублей. Не секрет, что на разных видеохостингах имеются многочисленные копии популярных видеофайлов, загруженные разными пользователями. Яндекс Видео собирает все такие дубли в один результат, который сопровождается ссылкой Копии. Щелчок на ней открывает список хостингов, на которых системой были найдены копии одного ролика.

Найденное видео можно просмотреть, не покидая страницы результатов Яндекс Видео. Щелчок на графической миниатюре открывает ролик в собственном онлайновом плеере системы.

Bing Видео

Своеобразной подсистемой поиска видео обладает принадлежащий корпорации Microsoft поисковик Bing. Однако по широте поиска сервис Bing Видео проигрывает рассмотренным нами конкурентам. Недостатком данного поисковика для наших пользователей является тот факт, что в настоящее время он не работает со многими национальными, в том числе российскими, видеохостингами, сосредотачиваясь на индексировании относительно небольшой группы крупных ресурсов. Среди них – MSN, YouTube, AOL, CNN, MTV, MySpace, Dailymotion и Metacafe. В то же время скорость индексирования таких ресурсов достаточно высока: ролики попадают в список выдачи в течение считанных минут.

Пользовательский интерфейс Bing Видео достаточно удобен и выдержан в подчеркнуто упрощенном стиле. В отличие от многих «универсальных» конкурентов, на странице выдачи демонстрируются не просто графические миниатюры, а полноценные видеопревью, выполненные в виде Flash-элементов. Фрагменты исходного видеоролика начинают воспроизводиться при наведении на них указателя мыши (рис. 8.3).

Рис. 8.3. Страница выдачи с инструментами уточнения запроса поисковика Bing Видео

Возможно переключение между двумя стилями просмотра результатов: «плиткой» видеопревью и простым линейным списком найденного. В обоих случаях количество дополнительной информации о видеороликах сведено к минимуму: название, продолжительность и дата добавления ролика, не более одной строки текста аннотации и ссылка на сайт-источник.

Режима расширенного поиска в Bing Видео пока не предусмотрено. Инструменты уточнения запроса вынесены на боковую панель страницы выдачи Фильтр Длина позволяет отобрать в результатах поиска короткие (до пяти минут), средние (5-20 минут) и длинные (более 20 минут) ролики. Фильтр Тип экрана дает возможность искать видеозаписи с разным соотношением сторон кадра: обычные или широкоэкранные. Фильтр Разрешение позволяет выбирать три уровня качества роликов (надо заметить, что он не всегда работает корректно). Фильтр Источник позволяет быстро перейти к просмотру результатов конкретного видеосервиса Отсортировать результаты можно по релевантности и дате индексирования.

Английская версия Bing Videos предлагает расширенный набор функций по сравнению с русской версией. В частности, видеоролики могут быть просмотрены в режиме каталога с полутора десятками тематических категорий (News, Sports, Music и др.). Отдельно выделена категория HD-видео.

В качестве тестового запроса мы использовали фразу «группа русские витязи». «Русские витязи» – это в первую очередь известная пилотажная группа, которую охотно и довольно много снимают профессионалы и любители. Записи их выступлений они размещают как на крупных ресурсах, так и на не очень известных узкотематических веб-сайтах, поэтому такой запрос позволяет оценить широту поиска различных машин. Для проверки возможностей уточнения запроса мы используем поиск по фразе.

Начнем с общих цифр. «Золото» по количеству результатов берет сервис Bing, сообщивший о 2820 результатах. Поисковик Google Видео нашел 550 роликов. На третьем месте оказался. Яндекс – 255 результатов. Однако при анализе качества поиска выяснилось следующее. Лидер общего зачета – Bing – достаточно вольно обращается с ключевыми словами. Не все результаты даже на первой странице выдачи содержат все три слова из тестового запроса. Список выдачи объединяет в основном ролики, содержащие в названии и описании слово «группа». Слова же «русские» и «витязи» практически не учитывались, что самым негативным образом сказалось на количестве шума в результатах. Более того, даже включение режима поиска по фразе практически не дало никакого положительного эффекта, в то время как в Google этот режим позволил сократить количество результатов до 400, а в Яндекс – до 246.

Итак, информационный шум в системе Bing Видео оказался самым большим, а вот. Яндекс Видео и Google Видео продемонстрировали свои лучшие стороны: учитывались все ключевые слова, и шума в результатах было совсем не много. При хорошей общей точности количество нерелевантных результатов не превышало одного-двух десятков, располагавшихся на последних позициях в списке выдачи Однако в Google было больше дублирующихся роликов, отличавшихся, разве что, датой добавления.

Проанализируем удобство использования тестируемых систем видеопоиска. Поскольку универсальные системы опираются на четкие текстовые характеристики роликов – теги и описания, – точность поиска при конкретно составленном запросе высока. Здесь есть интересное следствие: в более выигрышном положении оказываются поисковики, предлагающие большее количество инструментов для работы с текстом запроса. В то же время, если автор ролика не проставил достаточное количество ключевых слов в его название или описание, найти нужный видеоряд можно разве что случайно. По возможностям составления запроса лидирует Google – только этот сервис предлагает полноценный режим расширенного поиска. В случае. Яндекс Видео приходится полагаться на использование поисковых операторов в строке поиска.

Возможности уточнения запроса у рассмотренных универсальных поисковиков сопоставимы: это отбор роликов по длительности, формату экрана и качеству ролика. В лучшую сторону немного выделяются Google и Bing, позволяющие фильтровать ролики по признаку хостинга.

Если же говорить об удобстве страницы просмотра результатов, то по этому показателю рассмотренные поисковики близки. Преимуществом обладает, разве что, сервис. Яндекс Видео, предлагающий полезную опцию группировки одинаковых роликов и умеющий открывать найденные видеофайлы в собственном плеере. В свою очередь, Bing предлагает функцию предпросмотра кадров ролика. А вот Google пока может похвастаться только возможностью подписки на RSS-канал по теме вашего запроса, в который будут попадать все новые ролики, включаемые в его базу.

Специализированный видеопоиск

Сфера специализированного видеопоиска достаточно обширна. Мы сосредоточимся на поисковиках, работающих с русскоязычными видеоресурсами и предлагающих пользовательский интерфейс на русском языке. Среди таких систем есть как локализованные версии зарубежных поисковиков, так и собственные разработки.

Заметим, что подходы к построению систем интернет-видеопоиска в настоящее время разные. Некоторые разработчики сосредотачиваются на индексировании как можно большего количества ключевых видеохостингов. Другие делают ставку на предоставление оригинального, часто платного контента, лицензированного у различных поставщиков.

Специализированные видеопоисковики позволяют одновременно расширить круг поиска и повысить качество результатов. Это достигается за счет фильтрации дублирующихся результатов, индексирования метаданных (комментариев, рейтингов, оценок), на которые так богаты современные социальные ресурсы.

Характерной особенностью современных специализированных видеопоисковиков является их интеграция с каталогами. Большинство ресурсов предлагает не только возможность прямого поиска, но и просмотр ресурсов в виде каталога, разделенного на различные категории.

Truveo

На сегодняшний день система видеопоиска Truveo является одной из крупнейших специализированных систем. Запущенная в 2005 году, она приобрела заметную популярность и в следующем 2006 году была приобретена корпорацией AOL.

Поисковая база Truveo весьма обширна и пополняется как за счет индексирования видеороликов, размещенных на общедоступных видеохостингах, так и за счет лицензирования коммерческого контента. В настоящее время Truveo работает с несколькими тысячами ресурсов, а общее количество проиндексированных видеороликов благополучно перевалило за триста миллионов.

Владельцы Truveo предлагают для сторонних разработчиков собственный прикладной программный интерфейс, что позволяет использовать возможности Truveo на внешних ресурсах. В результате основанный на Truveo поиск можно найти на многих других видеоресурсах, среди которых такие крупные проекты, как AOL Video, Flock, Kosmix, Pageflakes и многие другие.

Русскоязычная версия сервиса Truveo объединяет систему поиска видео и тематический каталог роликов. Рассмотрим по порядку предлагаемые этим сервисом возможности.

В поисковой системе Truveo доступен только режим простого поиска. Пользователю предлагается строка ввода запроса и кнопка перехода от поиска роликов к поиску на отдельных сайтах и в тематических категориях. При наборе ключевых слов в поле работает система автоматического предложения похожих запросов, правда, только для запросов на латинице. В отличие от большинства поисковиков автодополнение здесь не ограничивается простым предложением похожих слов, а сразу же предлагается небольшая справка. Например, если у персоны из запроса есть однофамильцы, система сразу же предложит выбрать, кого именно вы имели в виду, автоматически подставив в предложении подсказки типа «музыкант», «политик» или «актер». Аналогичным образом выводятся подсказки и для слов-синонимов. Отметим, что данная опция срабатывает и для некоторых широких запросов на русском языке, хотя для англоязычных запросов она действует гораздо лучше Truveo запоминает проведенные пользователем поиски и выводит их список непосредственно под полем ввода запроса. При анонимной работе этот список сохраняется только в рамках текущего сеанса. После регистрации бесплатного аккаунта Truveo данный перечень можно хранить столько, сколько понадобится. В любой момент этот перечень можно очистить вручную.

Собственно результаты поиска довольно хороши, в том числе и для русскоязычных запросов. Достигается это в том числе за счет индексирования крупнейших российских видеохостингов. Фильтрация результатов и уточнение запроса осуществляются с помощью боковой панели Truveo. Она разделена на три части: Сайты, Телепередачи и Категории.

В разделе Сайты выводится список всех видеохостингов и других источников, на которых были найдены ролики по заданному запросу. Над общим списком сайтов выводится панель рекомендуемых каналов. Устанавливая или сбрасывая флажки, можно быстро управлять списком ресурсов, результаты с которых вы хотите видеть в списке выдачи Таким способом можно ограничить выдачу каким-либо одним ресурсом. Рядом с наименованием ресурса выводится количество найденных на нем по вашему запросу роликов (рис. 8.4).

Рис. 8.4. Система видеопоиска Truveo

Панель Телепередачи содержит результаты, найденные в архивах телевизионных записей. Это могут быть новостные сюжеты, репортажи, фрагменты телешоу, телесериалы или другой подобный контент, связанный с вашим запросом. Ссылки на соответствующие ресурсы в данном разделе сортируются по количеству найденных на них видеофайлов.

Панель Категории является тематическим фильтром, работающим с тегами, которыми были помечены видеоролики. Категории достаточно четкие и качество распределения роликов по ним также достойное. Общее количество демонстрируемых в данном разделе категорий зависит от заданного пользователем запроса и может достигать нескольких десятков.

Страница выдачи результатов поиска состоит из четырех вкладок, позволяющих сортировать найденные ролики. При сортировке по релевантности учитывается степень соответствия ключевых слов и описания ролика заданному пользователем запросу. Сортировка по дате позволяет просматривать список в хронологическом порядке появления роликов в индексной базе Truveo. По умолчанию последние видеозаписи выводятся на первых позициях. При сортировке по просмотрам найденные видеофайлы располагаются по степени их популярности – количеству просмотров за день, неделю, месяц или за все время существования Truveo.

Список результатов можно просматривать в одном из двух режимов отображения: мозаикой миниатюр с минимумом текста или обычным списком с миниатюрами и текстовыми аннотациями, в которых, кроме названий роликов, содержатся их теги, рейтинги, названия источников записей и даты их добавления в базу.

Просмотр видео ведется в двух режимах. Для телевизионного и другого лицензированного Truveo-контента щелчок на миниатюре ролика, как правило, ведет на сайт компании-владельца. Такие результаты помечаются в списке небольшим значком, расположенным в нижнем левом углу графической миниатюры ролика.

Для роликов, найденных на общедоступных видеохостингах, доступен режим непосредственного просмотра во встроенном видеоплеере Truveo. Он запускается в специальном фрейме, который, кроме самого воспроизводимого ролика, содержит ряд дополнительных инструментов: коды для внедрения ролика на сайт или блог, ссылки на быстрое сохранение страницы просмотра с помощью популярных онлайновых социальных сервисов хранения закладок.

Как и многие другие видеопоисковики, данная система предлагает собственный каталог видеороликов, ориентированный на телевизионный контент, в первую очередь, – сериалы. Каталог довольно большой, в нем есть как полнометражные ролики, так и трейлеры. К сожалению, в данной базе Truveo хранится только зарубежное видео.

Доступ к каталогу осуществляется с помощью строки поиска. После выбора в расположенном рядом с полем поиска меню пункта. Телепередачи система автодополнения запроса будет предлагать только предложения, основанные на названиях сериалов. Заметим, что при работе в таком режиме немного изменяется состав боковой панели страницы результатов Truveo. Там, например, появляется специфический фильтр, распределяющий сериалы по сезонам. К сожалению, работает он тоже только при поиске по зарубежному контенту. Даже название этого фильтра на русском Truveo осталось без перевода: Seasons/Episodes.

Fooooo

Еще один крупный зарубежный проект видеопоиска, обладающий русскоязычным пользовательским интерфейсом и индексирующим русскоязычные же видеохостинги, – это система Fooooo. Данный ресурс индексирует немногим более сотни видеохостингов, однако, как и Truveo, заявляет о сотнях миллионов проиндексированных видеофайлов. Среди поддерживаемых видеохостингов можно найти не только общеизвестные ресурсы в духе вездесущего YouTube, сервисов Yahoo! Google и Dailymotion, но и большое количество видеохостингов поскромнее, а также, что представляет особенный интерес, ряд национальных проектов, в том числе европейских и азиатских, которые обычно выпадают из поля зрения основной массы интернет-поисковиков. Объясняется этот интерес, по всей видимости, японским происхождением данного проекта Источниками русскоязычного видеоконтента в системе Fooooo являются сайты RuTube, Veon, Myspacetv и Mail.ru.

Сервис Fooooo предлагает формы простого и расширенного поиска. Простой поиск Fooooo по русскоязычным запросам работает весьма незамысловато: система просто проверяет на точное совпадение с введенным ключевым словом названий и тегов роликов, даже не пытаясь провести дополнительную обработку запроса. Это значит, что пользователь должен быть готов к тому, что по запросу «Иран» в списке выдачи окажутся видеофайлы о «пираньях» и «вымирании».

Режим расширенного поиска Fooooo предлагает привычные по многим другим поисковикам возможности: поиск по точной фразе, по отдельным словам из запроса, а также фильтр, исключающий результаты с указанными словами. Кроме того, сферу поиска можно ограничить каким-либо конкретным сайтом. Отдельно вынесено поле поиска по тегам видеороликов. Отметим наличие опции фильтрации роликов по их длительности, причем интервалов здесь предлагается более десятка: от 15 секунд до 120 минут.

На основе сформированного запроса можно создать RSS-ленту, которая будет оперативно оповещать вас о новых видеоматериалах, подпадающих под указанные условия.

Страница поисковой выдачи Fooooo состоит из двух вкладок, которые разделяют результаты по хронологическому признаку: Видео: Недавние и Видео: Архив. Доступно два режима просмотра результатов: подробным списком и мозаикой миниатюр. Для каждого найденного ролика предлагаются графическая миниатюра, его длительность, значок сервиса, на котором он был найден, ссылка на оригинальную страницу. Просматривать ролики можно непосредственно на Fooooo, однако открываться они будут в собственных видеоплеерах внешних видеохостингов, поэтому параметры просмотра и инструменты управления плеерами могут различаться.

Над списком результатов поиска расположена небольшая панель уточнения запроса, инструменты которой те же, что и на форме расширенного поиска. К ним добавлена только любопытная опция. Без YouTube, которая убирает из списка выдачи результаты, полученные с этого видеохостинга. На этой же панели выводятся рекомендации по уточнению запроса в виде перечня близких по тематике поисковых запросов.

Кроме прямого поиска, Fooooo предлагает воспользоваться тематическим каталогом роликов. На сервисе выделено около двух десятков категорий, ссылки на которые собраны на боковой панели Fooooo. Перечень разделов достаточно стандартен: новости, спорт, развлечения и другие разделы, привычные по большинству видеохостингов.

Hi2All

Сервис Hi2All является российской разработкой. В отличие от рассмотренных ранее проектов, он предлагает поиск не только на онлайновых видеохостингах, но и на специализированных видеоресурсах других типов, в том числе торрент-трекерах. Точное количество проиндексированных ресурсов и видеофайлов разработчиками не называется, однако по субъективному впечатлению оно достаточно велико, поскольку с помощью данного ресурса нередко удается найти видеофайлы, пропущенные другими видеопоисковиками.

В пользовательском интерфейсе Hi2All активно применяется Flash-технология. Стартовая страница ресурса встречает посетителей симпатичным объемным облаком тегов. Его можно вращать в двух плоскостях с помощью мыши, в остальном это облако аналогично более привычным «плоским» аналогам. На главную страницу сервиса также вынесены переключатели типов видеоконтента, в которых можно вести поиск. Это может быть онлайновое потоковое видео, ссылки на видеофайлы для скачивания, торрент-ресурсы или же любой доступный контент (рис. 8.5).

Рис. 8.1. Инструменты уточнения запроса в системе Google Видео вынесены на боковую панель страницы выдачи

Страница выдачи заметно отличается от конкурентов. Здесь нет графических миниатюр видеофайлов, только изображения обложек фильмов. Остальное пространство отдано текстовым ссылкам, разделенным на группы: файлы для скачивания, ссылки на онлайновый просмотр и ссылки на торрент-трекеры. Внутри этих разделов ссылки группируются по сайтам, на которых они были найдены. В разделе файлов для скачивания прямых ссылок на файлы нет, эти ссылки ведут на страницы тех ресурсов, где они были выложены.

Данная система не утруждает себя тщательной обработкой результатов, К сожалению, какой-либо проверки работоспособности найденных ссылок система не проводит, поэтому «битые» ссылки в результатах встречаются регулярно.

Tagoo

Примером системы тематического видеопоиска может служить развлекательный проект Tagoo. Данный проект специализируется на музыке и музыкальном видео. Полного списка индексируемых сайтов система не предлагает, однако, если судить по ссылкам в результатах поиска, она обеспечивает неплохой охват, индексируя не только крупные ресурсы, но и гораздо менее известные. Предпочтение явно отдается российским интернет-ресурсам и русскоязычному контенту.

При вводе запроса включается механизм автодополнения. Поддерживается режим расширенного поиска, который позволяет указать размер и длительность ролика, а также вести поиск только по конкретным признакам видео: тегам, именам файлов или сайтам-источникам. Результаты поиска довольно неплохи. К сожалению, никаких инструментов сортировки или изменения режима просмотра результатов здесь не предусмотрено.

Для каждого найденного ролика предлагается небольшое контекстное меню, с помощью которого можно получить код для добавления ролика на собственную веб-страницу. Все найденные ролики можно просмотреть прямо на странице Tagoo. Обязательно присутствуют и ссылки для непосредственного скачивания роликов, что, можно предположить, понравится многим пользователям.

Сервис позиционируется как «Медиа-навигатор», поэтому кроме собственно поиска здесь есть каталог, разделенный по музыкальным жанрам и алфавиту. Для каждого исполнителя составлена собственная информационная страница, которая содержит краткую биографию, а также ссылки на медийный контент: фото, альбомы, музыкальные треки и видеоклипы. Есть у Tagoo и признаки социального сервиса: система комментариев и «друзей», а также возможность вести блоги. Предлагается панель для браузера Firefox. С ее помощью можно не только вести поиск в базе, но и прослушивать музыку из базы Tagoo в потоковом режиме.

UniverTV

Проект UniverTV занимает особое место среди специализированных видеопоисковиков. Он четко ориентирован на образование, причем именно российское. Значительная часть контента UniverTV уникальна, поскольку представляет собой материалы, снятые командой проекта в ведущих российских вузах, а также на различных научных конференциях. Дополняют индексную базу свободно доступные образовательные материалы, находящиеся на общедоступных видеохостингах. Среди них немало иностранных материалов, переведенных или снабженных русскими субтитрами.

Стартовая страница UniverTV встречает нас лентой рекомендуемых видеолекций, На главной странице также можно быстро перейти к разделам новых поступлений, просмотреть наиболее популярные ролики или ограничить просмотр только собственным контентом UniverTV.

На боковой панели расположены ссылки на тематические категории: два десятка научных дисциплин. Отрадно, что подбор категорий сделан весьма грамотно, место нашлось как естественным, так и гуманитарным наукам. Среди относительно редко встречающихся на образовательных видеохостингах дисциплин отметим культурологию, геологию, философию, педагогику и филологию.

Внутри разделов находятся подборки соответствующих видеолекций. Как правило, целостными курсами представлены только материалы, снятые в рамках самого проекта UniverTV. Внутри основных категорий выделение разделов идет уже по пользовательскому назначению: Студентам, Специалистам, Школьникам, Любознательным. Предусмотрена сортировка видео по дате добавления и популярности, а также ряд фильтров, которые позволяют отбирать видео на русском языке, с русскоязычными субтитрами либо просматривать только оригинальные, еще не переведенные ролики.

Просмотр видеоматериалов на сайте ведется с помощью собственного онлайнового плеера. Его экран разделяется на несколько зон. Основная зона отводится самому видеоролику, который при просмотре можно развернуть на весь экран. Кроме того, плеер содержит панели с дополнительным материалом к просматриваемой видеолекции. Это может быть презентация, состоящая из слайдов, иллюстрирующих ключевые тезисы лекции. В качестве дополнения может также выступать текстовый конспект лекции, который можно просматривать во время воспроизведения видео или же скачать в виде файла формата DOC. К сожалению, конспекты пока являются экспериментальной функцией и доступны только для нескольких тестовых лекций.

Отдельный проект «Школа на UniverTV» ориентирован на предметы школьной программы и предназначен для школьников, их родителей и учителей. В отличие от рассмотренного «родительского» сервиса, школьная часть видеопортала UniverTV четко ориентирована на дисциплины школьной программы. В настоящее время охвачены алгебра, геометрия, физика, история, русский язык и литература за 7-11 классы. Все видеоролики собраны в виртуальные учебники, в которых учебный материал излагается последовательно.

LearnersTV

Видеопоисковик LearnersTV является специализированным образовательным ресурсом, ориентированным на свободно доступный контент. Основу фонда проекта составляют почти десять тысяч видеолекций. База проекта пополняется за счет индексирования видеоматериалов десятков высших учебных заведений Америки, Европы и Азии. Таким образом, у посетителей данного проекта появляется любопытная возможность сравнить уровень изложения материала по одной тематике, например, в индийских университетах и вузах Соединенных Штатов.

Замечательное свойство LearnersTV состоит в том, что значительная часть доступных материалов сведена в видеокурсы, что позволяет составить целостное впечатление о той или иной теме. Видеолекции в курсе представлены последовательно, однако доступ к ним никак не ограничен, поэтому можно как изучать их последовательно, так и просматривать выборочно, не привязываясь напрямую к логике изложения курса.

Предлагаемые видеокурсы сведены в шестнадцать тематических блоков. Среди них информационные технологии, физика, химия, математика, медицина, биология, психология. Страница блока предлагает перечень доступных курсов видеолекций с указанием количества видеофайлов. Предлагается подписка на обновления курсов с помощью RSS. Каждая видеолекция снабжена кратким описанием. Все материалы LearnersTV представлены на английском языке.

Просмотр видео возможен непосредственно на сайте проекта, причем LearnersTV не поддерживает хостинг видео, а размещает ролики на сервисе Blip.tv. Весьма полезна возможность загрузки видео на компьютер пользователя. При сохранении роликов предлагаются форматы FLV, MP4 и 3GP, причем в различных вариантах качества.

«Анимационный» раздел LearnersTV содержит интерактивные Flash-ролики, в которых демонстрируются различные физические, химические и биологические опыты. Как правило, такой ролик предлагает схематическое изображение процесса и несколько кнопок-инструментов, с помощью которых пользователь может изменять условия виртуального эксперимента. Изменение картинки сопровождается звуковой дорожкой с подробным разъяснением происходящих на экране процессов.

Выводы и рекомендации

Универсальные поисковики хороши в качестве начального средства поиска видео – хотя бы за счет быстрого перехода от простого веб-поиска к поиску в видеобазах. Они предлагают достойный охват источников, быструю индексацию новых поступлений крупнейших видеохостингов. Набор инструментов составления запросов и фильтрации результатов у них сопоставим. К стандартным функциям относятся отбор видео по продолжительности, качеству, дате публикации. Поддерживается отбор результатов по признаку источника, однако реализована данная опция на самом элементарном уровне.

Специализированные поисковики – хороший выбор для ситуаций, когда требуется именно поиск видео и ничего более. Они предлагают качественный и тщательный отбор источников контента и ряд дополнительных инструментов, отсутствующих на универсальных поисковиках. Пожалуй, наиболее интересен в данной группе сервис Truveo. Он предлагает неплохую подборку телевизионного контента, а также достойные результаты видеопоиска. Кроме того, он обладает одним из самых удобных пользовательских интерфейсов. Поисковик Fooooo любопытен большой индексной базой. Он хорош, в первую очередь, для поиска оперативного актуального контента на большом количестве хостингов. В то же время, если вы ищете, где бы скачать полнометражное видео или фильм, данный сервис вряд ли будет эффективен.

На поисковике Hi2All со скачиванием файлов нет никаких проблем – это его стандартная функция. Несмотря на некоторые недоработки, Hi2All хорошо подходит для поиска полнометражного видео. Короткие же и актуальные ролики, например новостного плана, лучше искать с помощью других средств.

В качестве примеров многочисленных тематических видеопоисковиков мы рассмотрели образовательные ресурсы. Бесспорным лидером среди российских проектов образовательного видеопоиска является проект UniverTV. Собственный контент и ориентация на требования российской системы образования делают его весьма ценным ресурсом. Для знакомства с зарубежными ресурсами такой тематики весьма хорош сервис LearnersTV. Если языковой барьер для вас не проблема, то вы получите доступ к большому количеству хорошо структурированных видеокурсов по широкому спектру дисциплин. Нельзя не отметить и возможность удобного скачивания найденных видеоматериалов, чего не предлагают конкуренты.

Глава 9 Поиск «скрытого» контента

Контент глобальных сетей никогда не ограничивался общедоступными сайтами и ресурсами. Значительное количество ресурсов были и остаются в большей или меньшей степени закрытыми. Причины такого ограничения доступа могут быть самыми разными. Современные универсальные поисковики не отличаются выдающимися способностями в плане индексирования и поиска такой информации, поэтому ресурсы, скрытые от интернет-поисковиков, автоматически становятся невидимы пользователям. Для поиска скрытого контента требуются специализированные инструменты, речь о которых и идет в данной главе. Ее начало посвящено поиску FTP-ресурсов, которые изначально являлись скрытыми от поисковиков ресурсами в Сети и которые продолжают сохранять свое значение в наше время. Поиск необходимых файлов через FTP-поисковики в общем случае реализуется проще поиска веб-документов в Сети, однако имеет свои особенности, о которых и идет речь. При этом основное внимание уделено общим для всех таких ресурсов инструментам и приемам работы.

Крупным источником скрытого для обычных поисковиков контента являются различные торрент-ресурсы. О лучших представителях метапоисковиков, работающих одновременно со многими торрент-трекерами, также рассказывается в этой главе. Еще один источник скрытого контента – многочисленные сервисы хранения файлов. Как правило, непосредственный поиск в их архивах запрещен, однако существует ряд поисковых инструментов, позволяющих обойти это ограничение.

Кроме подобных ресурсов к скрытому контенту можно отнести данные, представленные в ряде современных форматов, с которыми популярные универсальные поисковики напрямую не работают или работают в ограниченном объеме. Сюда, в частности, можно отнести данные, представленные в форматах «семантического веба», приложения которого часто относят к поколению Web 3.0. Не забыты и специализированные инструменты поиска информации в более привычном современному пользователю формате RSS.

Поиск FTP-ресурсов

Протокол FTP (File Transfer Protocol) предназначен для передачи файлов между компьютерами. По компьютерным меркам эта технология имеет весьма почтенный возраст. Сильные стороны этого протокола – простота и надежность. С точки зрения пользователя, FTP-сервер – это архив файлов самого различного плана. Важной характеристикой FTP-сервера является возможность доступа к нему. Значительная часть FTP-серверов предлагают пользователям лишь ограниченный доступ. В то же время существует большое количество публичных FTP-серверов, доступ к которым открыт для всех желающих. Именно такие ресурсы представляют интерес в плане интернет-поиска.

Специализированные FTP-поисковики индексируют большое количество FTP-серверов, поэтому обращение к ним позволит провести одновременный поиск файла в нескольких источниках, в данном случае – в FTP-архивах, что значительно сокращает затраты времени.

Получением списка ссылок на серверы, которые располагают подходящими файлами, FTP-поиск не заканчивается. Такие системы обычно предлагают ряд дополнительных услуг. Они позволяют сравнивать размеры найденных файлов с одинаковыми именами, проверяют доступность и скорость работы серверов, а также оценивают работоспособность ссылок на конкретные файлы. «Мертвые» ссылки в базе поисковика появляются, когда владельцы FTP-сервера их удаляют или закрывают к ним доступ, кроме того, сам сервер может быть временно недоступен. В идеале, проведя такой поиск, пользователь должен получить рабочую ссылку на нужный файл, находящийся на максимально быстром сервере, с которого этот файл можно свободно и без лишнего беспокойства скачать.

Хранящиеся на FTP-серверах файлы обладают гораздо меньшим количеством поисковых признаков, чем веб-страницы, с которыми работают универсальные интернет-поисковики. По большому счету, доступные признаки сводятся к имени файла или каталога. Это обуславливает специфику FTP-поиска. В его ходе основной акцент делается на использование в запросе спецсимволов и масок. С одной стороны, это упрощает составление запроса, с другой – повышает требования к его корректности.

Составляя запрос на FTP-поисковике, не стоит слишком увлекаться. Обычно чем он проще, тем надежнее результаты поиска. Длинные и сложные запросы лучше приберечь для особых случаев, когда ничего другое не помогает, либо когда вы очень хорошо представляете, что хотите найти.

Современные FTP-поисковики обладают весьма схожими интерфейсами составления запросов. Это означает, что освоив работу с одним таким ресурсом, пользователь впоследствии сможет разобраться в большинстве других систем, даже если их интерфейсы выполнены на незнакомом языке. К таким типовым элементам относятся. Тип поиска (Search Type), Сортировка (Sort by) и количество показываемых результатов на одной странице. Обычной также является опция показа либо скрытия файлов для *nix-систем. Это средство позволяет убрать из результатов поиска архивы дистрибутивов, в которых могут быть многие тысячи файлов, не очень-то полезных, если вы ищете что-нибудь для Windows.

FileSearch.ru

Одним из крупнейших FTP-поисковиков в русском сегменте интернета является проект FileSearch.ru. Он индексирует большинство российских FTP-серверов и несколько тысяч зарубежных проектов. В базу включаются только серверы с анонимным доступом и DNS-именем. Индексная база FileSearch.ru насчитывает около восьми миллионов файлов. Обновление индекса для каждого FTP-сервера, как правило, производится каждые пять дней. Если какой-либо включенный в базу FTP-сервер перестает откликаться на запросы робота-индексатора, то через три недели молчания он исключается из базы данных, что сокращает количество «мертвых» ссылок в результатах поиска.

Данный поисковик обладает всеми необходимыми для успешного поиска инструментами FileSearch предлагает режимы простого и расширенного поиска файлов. При простом поиске предлагаются два фильтра, выполненных в виде выпадающих меню рядом с полем ввода запроса. Первый фильтр позволяет указать тип контента: файл, каталог, музыку, видео, изображения, а также сервер. Последний вариант дает возможность поиска имен FTP-серверов. Второй фильтр предназначен для ограничения поиска определенным доменом, список которых представлен в меню фильтра.

Расширенный поиск, кроме фильтра доменов, предлагает усложненный фильтр типа контента (рис. 9.1). Кроме доступных при простом поиске вариантов, здесь добавлены режимы поиска по регулярным выражениям и по точной фразе. Дополнительными признаками файла в ходе расширенного поиска может выступать его размер, который разрешается указать в виде диапазона, выраженного в байтах. Сферу поиска можно ограничить не только доменом, но и конкретным каталогом FTP-сервера. В режиме расширенного поиска FileSEarch.ru также доступны фильтры, позволяющие исключить из списка выдачи файлы, предназначенные для операционных систем семейства *nix.

Рис. 9.1. Инструменты расширенного поиска Filesearch.ru

Доступны здесь и некоторые опции настройки просмотра результатов поиска. Можно выбрать способ сортировки найденных файлов: по имени, дате добавления или размеру. Кроме того, можно включить режим вывода в результатах поиска размера файла в байтах, а также даты его добавления в индекс.

Отдельно выделен режим поиска драйверов. После выбора конкретного устройства в каталоге оборудования различных производителей начинается стандартный поиск FileSearch по имени файла. К сожалению, объем этого каталога совсем невелик и в нем немало ошибок.

FileSearch.ru поддерживает несколько типов запросов. Первый и самый простой – поиск на включение. При таком запросе ведется поиск ссылок, содержащих указанную последовательность символов, которая может быть частью имени нужного файла или каталога.

Второй тип запросов – поиск по маске. Он во многом напоминает поиск файлов на дисках локального компьютера. Подстановочные спецсимволы? и * в запросе соответственно означают, что вместо них в искомом слове может быть любой символ или несколько любых символов.

Третий тип запросов – поиск с использованием регулярных выражений. Такие запросы позволяют максимально подробно указать свои требования к имени файла или каталога. Среди языка запросов FTP-поисковиков не наблюдается такого разнообразия, как в языках универсальных интернет-поисковиков, что несколько облегчает жизнь пользователя. В приложении А вы найдете описание синтаксиса регулярных выражений FileSearch.ru, которыми можно с успехом пользоваться и при работе с другими поисковиками.

Страница поисковой выдачи FileSEarch.ru достаточно проста и предоставляет только необходимый минимум информации о найденных файлах. Каждому файлу выделена ровно одна строка. Тип найденного ресурса обозначается графическим значком. Демонстрируется размер файла в килобайтах, а также полный адрес файла. Если по запросу ничего не было найдено, система предлагает повторить поиск на внешних поисковых системах.

Веб-мастера могут установить на своем сайте форму поиска FileSearch, код которой можно найти на странице Вопросы/ответы.

Поиск на файловом хостинге Rapidshare

На множестве интернет-ресурсов для хранения файлов используются внешние сервисы. Как результат, файлообменники содержат большое количество полезного контента. Однако встроенные системы поиска в архивах таких ресурсов – скорее редкое исключение из правил. Непосредственный поиск файлов требует применения специализированных инструментов.

На универсальных машинах исторически первым средством извлечения ссылок на файлы из архивов файлообменников были сложные поисковые выражения. В Google с помощью операторов intitle и inurl можно было найти немало таких файлов. Правда, для этого надо было озаботиться изучением операторов и располагать временем на эксперименты. Инструменты автоматизации такого поиска не заставили себя долго ждать.

Некоторые поисковики для Rapidshare продолжают использовать такой подход, реализованный на новом уровне: добавление дополнительных операторов и фильтров происходит автоматически и прозрачно для пользователя. Недостатки подобных поисковиков достаточно очевидны. Во-первых, поиск идет в основном в тексте ссылок. Это значит, что формируя поисковый запрос, приходится в первую очередь угадывать имя нужного файла, в результате страдает полнота поиска. Кроме того, полезные результаты сопровождаются значительным информационным шумом.

Второе дыхание поисковиков для файлообменников открылось с распространением технологий персонального поиска. Действительно: куда перспективней сосредоточиться на поиске по страницам ресурсов, точно содержащих ссылки на «рапидовские» файлы, чем изощряться в составлении сложных запросов, работающих «по площадям». Поскольку такие веб-страницы, как правило, содержат описания выложенных файлов, их можно использовать как дополнительный источник поисковых признаков. Достоинство такого подхода – он действительно работает и не слишком сложен в реализации. От создателя поисковика, по большому счету, требуется только собрать достойный список ресурсов, публикующих файлы на Rapidshare или на других файлообменниках.

Поскольку подборки ресурсов на разных поисковых машинах различаются, пробуйте искать на нескольких поисковиках – вполне возможно, что нужная ссылка найдется на одном из сайтов из уникального списка определенного поисковика.

Среди множества таких ресурсов упоминания заслуживает несколько проектов. Проект Torosso (torosso.com) предлагает поиск среди ссылок на файлы, хранящиеся на файлообменниках Rapidshare и Depositfiles. Поддерживается и поиск на нескольких крупных торрент-трекерах. Доступен фильтр типов файлов. Достаточно интересные результаты выдает поисковик RapidExplorer (). Он поддерживает поиск ссылок на серверах Rapidshare и Megaupload. Доступны тематические переключатели Web, Software, Music и Video. Результаты поиска неплохие, задания обрабатываются на среднем уровне, без провалов и особых успехов: чуть хуже по книгам, чуть лучше по мультимедиа-файлам и программам. Вот только не стоит при таком поиске включать опцию Software, предусмотренную в интерфейсе RapidExplorer – вы не получите ничего кроме ссылок на весьма подозрительные сайты. Работа с ними – занятие на любителя.

Немало современных поисковиков, работающих с торрентами, построено на базе «персональной» платформы Google Custom Search Engine. Назовем несколько примеров таких поисковых машин.

Ресурс CompleTorrent, по заявлению разработчиков, обрабатывает добрых четыре сотни трекеров, среди которых есть как общеизвестные универсальные ресурсы, так и небольшие тематические проекты. Ахиллесова пята подобного подхода – зависимость от качества работы «пауков» Google. Если в силу каких-либо причин робот Google не сможет проиндексировать сайт, CompleTorrent просто потеряет такой ресурс. Кроме того, CompleTorrent предлагает только самые простые средства составления запроса и не обладает какими-либо полезными дополнениями.

Практически теми же плюсами и минусами обладает поисковик Toorgle. Он представляет собой типичную CSE-машину Google, простую в создании и способную обрабатывать большое количество ресурсов. Данный проект работает с двумя сотнями сайтов.

Необходимо отметить, что стандартные инструменты Google CSE не самым лучшим образом подходят для поиска торрентов. Например, ни на Toorgle, ни на CompleTorrent не приводится сведений о состоянии того или иного торрента, не выявляются «мертвые» релизы, что ведет к большому количеству бесполезных ссылок в результатах поиска.

Среди поисковиков для файлообменников особого внимания заслуживает Rapidoogle (rapidoogLe.com). Он является, пожалуй, лучшим решением в своем классе, построенном на базе технологии Google Custom Search Engine. В его активе – весьма обширная подборка индексируемых ресурсов. Среди них есть как самостоятельные сайты, так и форумы, а также блоги. В списке выдачи присутствуют как ссылки с достаточно известных ресурсов, так и с большого количества мелких сайтов. Нельзя не отметить неплохой охват азиатских ресурсов, которые обычно выпадают из поля зрения не только пользователей, но и многих специализированных поисковиков, а ведь там можно отыскать достаточно редкие вещи, в том числе повторно размещаемые файлы, ссылки на которые по тем или иным причинам удалены из «наших» сегментов интернета. Это положительно сказывается на качестве результатов поиска. Кроме того, данная система рассылает запросы на некоторые другие поисковые системы, индексирующие файлообменники. Таким образом, Rapidoogle можно рассматривать в качестве своеобразного метапоисковика.

Rapid Search Engine

Поскольку создание собственной базы – процесс достаточно длительный и ресурсоемкий, несколько «рапидовских» поисковиков решили задействовать для этой цели социальные методы. Они предлагают пользователям, которые размещают файлы на обменных ресурсах, сообщать об этом поисковику. Дополнительное преимущество данного решения состоит в том, что при добавлении файла в индексную базу владелец файла составляет его детальное описание, что значительно облегчает его поиск в будущем. Если говорить о минусах такого подхода, то они достаточно очевидны: меньшее по сравнению с автоматически собираемыми базами количество доступных ссылок в индексе проекта, а также более медленное пополнение индексной базы.

Лучшая на сегодняшний день реализация социального поиска в файлообменниках – это проект Rapid Search Engine. Данный поисковик работает только с файлами, размещенными на файлообменнике Rapidshare. Для поиска используются две базы: индекс сайтов, размещающих файлы на Rapidshare, и индексная база прямых ссылок на файлы, генерируемая с помощью пользователей проекта. Разработчики этого поисковика сообщают о почти пятнадцати миллионах проиндексированных файлов. Темпы пополнения индексной базы достаточно стабильны.

На данном ресурсе действуют простой и расширенный режимы поиска. Панель расширенного поиска вызывается щелчком на кнопке Advanced, расположенной под полем ввода запроса. Запрос можно уточнить с помощью фильтра типа файла (аудио, видео, архивный, образ CD/DVD и др.). Здесь же можно ограничить поиск одной из баз Rapid Search Engine с помощью переключателя Web search/Database search (рис. 9.2). В режиме Database Search в списке выдачи будут присутствовать прямые ссылки на файлы, а в режиме Web Search – веб-страницы, содержащие ссылки на файлы. Опция Use ajax включает режим использования интерфейса страницы выдачи, построенного на технологии AJAX.

Рис. 9.2. Rapid Search Engine является в настоящее время лучшим социальным поисковиком для Rapidshare

Страница выдачи в режиме веб-поиска предлагает минимум информации о найденных ресурсах: заголовок найденной веб-страницы, ее адрес, а также текстовую выдержку, обычно содержащую текст, находящийся рядом со ссылкой на файл, размещенный на Rapidshare. Предлагается и несколько вспомогательных инструментов для просмотра кэшированной версии веб-страницы и для автоматического извлечения ссылок на файлы из текста веб-страницы. Обратиться к этой функции можно с помощью ссылки Get RS Links, находящейся справа от каждого найденного результата.

При поиске в базе прямых ссылок на файлы страница выдачи выглядит иначе. Для каждого результата приводятся имя файла, в котором выделены найденные ключевые слова из поискового запроса пользователя, его размер, а также прямая ссылка на страницу скачивания этого файла на сервисе Rapidshare.

Кроме инструментов поиска Rapidshare Search Engine предлагает несколько дополнительных инструментов, полезных для работы с результатами поиска. Это уже упомянутый инструмент автоматического извлечения ссылок на Rapidshare с указанных веб-страниц, а также инструмент Check rapidshare links, который проверяет указанные пользователем или же полученные в ходе поиска на данном ресурсе ссылки на файлы. Если какие-либо из найденных файлов были удалены, появится соответствующее предупреждение. В результате достигается заметная экономия времени поиска нужной рабочей ссылки.

Любой поисковый запрос можно сохранить и создать на его основе оповещение. Как только в базе Rapidshare Search Engine появятся новые ссылки, подходящие под условия запроса, на указанный при создании оповещения электронный адрес будет отправлено сообщение.

Пополнить базу ресурса своими ссылками можно с помощью формы Add rapidshare links. Для описания своих ресурсов используются привычные ключевые слова – полезно, если имя файла не характеризует его содержание. Необходимо обратить внимание на то, что ссылки на защищенные паролями файлы принимаются только в случае, если автор сообщает ссылку на веб-страницу, содержащую пароль.

Rapidshare Search Engine располагает собственным поисковым плагином, выполненном в формате OpenSearch и работающим на всех поддерживающих этот стандарт браузерах. Кроме того, для браузера Firefox предлагается дополнение RSE Tools. С его помощью можно вести поиск на Rapidshare Search Engine, быстро находить в тексте открытой веб-страницы ссылки на файлы Rapidshare, а также проверять их работоспособность.

Метапоиск торрент-ресурсов

Технологии Peer to Peer (P2P) прочно вошли в практику современной Сети. Торрент-сети содержат значительные объемы контента и пользуются заслуженной популярностью. Одним из центральных звеньев торрент-сетей являются трекеры – сайты, на которых собирается информация о доступных релизах и где можно найти ссылки на сами торренты. Однако ни один трекер, даже самый крупный, не может похвастаться абсолютно полным охватом ресурсов. В такой ситуации вполне естественным стало появление поисковых систем, которые объединяют результаты поиска на нескольких торрент-трекерах. Другими словами – специализированных поисковиков.

С точки зрения организации процесса поиска современные торрент-поисковики можно разделить на две условные группы: машины, интерфейс которых построен на фреймах, и поисковики, проводящие дополнительную обработку получаемых с разных трекеров результатов поиска.

Фреймовые торрент-поисковики являются простейшим средством организации такого поиска. В подобных проектах результаты с нескольких трекеров выводятся во фреймах или на вкладках страницы поиска. С одной стороны, это нельзя назвать полноценным метапоиском, поскольку запрос приходится повторять для каждого трекера, результаты не объединяются, а их дополнительная обработка не проводится. С другой стороны, при таком поиске список выдачи сразу нескольких трекеров доступен для просмотра на одной странице, что удобно не только при поиске, но и простом просмотре каталогов.

«Настоящие», если можно так сказать, торрент-поисковики близки по особенностям своей работы к метапоисковикам, применяемым при обычном веб-поиске. Такие машины не ограничиваются простым перенаправлением пользователей на страницу внешнего ресурса. Здесь полученные с нескольких трекеров результаты поиска объединяются в общий список, который затем подвергается дополнительной обработке. Некоторые поисковики предлагают прямые ссылки на файлы торрентов, другие направляют пользователей за ссылками на оригинальные страницы задействованных в поиске трекеров.

TorrentScan

Один из наиболее показательных примеров фреймового торрент-поиска – ресурс TorrentScan. Данный проект по умолчанию работает с полутора десятками крупных трекеров, в числе которых такие известные проекты, как isoHunt и Demonoid. Список поддерживаемых ресурсов можно менять и дополнять при настройке поиска. Интерфейс проекта переведен на дюжину языков, среди которых есть и русский.

Собственно, к метапоиску здесь относятся только две панели инструментов: боковая со списком доступных трекеров и верхняя, на которой перечислены тематические разделы активного в данный момент трекера. Все остальное пространство страницы TorrentScan занимает фрейм, в который загружается страница просматриваемого трекера с результатами поиска по запросу пользователя. При смене трекера состав инструментов на панели поиска меняется – там отображаются только средства настройки активного в данный момент ресурса.

Меню Настройки содержит три раздела Раздел Глобальные настройки отвечает за внешний вид поисковика. Здесь можно выбрать цветовую схему оформления и расположение списка трекеров (вертикальное или горизонтальное). В разделе Настройки списка сайтов можно упорядочить состав списка трекеров панели поиска. Допускается изменение их порядка, удаление и добавление ресурсов. В последнем случае можно добавлять трекеры из предлагаемого в этом же разделе списка. Доступно более пятидесяти вариантов. Для работы с частными трекерами, естественно, понадобится располагать собственными аккаунтами на таких проектах. По умолчанию все параметры TorrentScan сохраняются в куки-файлах браузера. Если вас не устраивает подобный подход, можно воспользоваться разделом. Настройки закладок. Здесь можно сгенерировать ссылку, которая будет содержать все заданные параметры, и передать ее поисковику в виде параметров URL-адреса.

TorrentScan также предлагает вспомогательные разделы Облако поиска, Статистика и Trends. Первый из них демонстрирует пользователю облако с перечнем наиболее популярных в данный момент торрентов. Раздел Статистика предлагает ознакомиться со статистикой работы некоторых крупных трекеров. Этот раздел использует инструмент Google Analytics для построения единой диаграммы подсчета посещаемости крупнейших торрент-трекеров. Раздел Trends предлагает информацию о тридцати наиболее популярных запросах недели.

TorrentScan располагает полным набором поисковых плагинов. В отличие от большинства поисковиков, этот список не ограничивается поисковыми плагинами для браузеров Firefox и Internet Explorer. Здесь есть решения и для Google Chrome, а также плагины для клиентов BitTorrent и uTorrent. Кроме того, предлагаются поисковые гаджеты для Google Desktop, Google Toolbar и боковой панели Windows.

PlentyOfTorrents

Похожие возможности предлагает фреймовый поисковик PlentyOfTorrents. Как и TorrentScan, проект выводит построенную на фреймах страницу и меню быстрого выбора целевого трекера.

Никакого объединения результатов поиска, полученных из различных источников, в данном случае, конечно же, не происходит. После отправки запроса открывается страница целевого торрента, а в верхней части окна сохраняется панель инструментов PlentyOfTorrents. Она содержит несколько тематических списков торрентов. Каждая категория выполнена в виде выпадающего меню. При выборе какого-либо трекера его страница с результатами поиска автоматически загружается в основной фрейм. Каждый раз набирать свой запрос заново при этом не нужно, что экономит время пользователя. Проект PlentyOfTorrents интересен также собственным каталогом трекеров.

Torrent Finder

Апофеоз развития фреймовой технологии, пожалуй, можно наблюдать на сервисе Torrent Finder. Пользователю предлагается самостоятельно скомпоновать поисковую страницу, выбрав нужные ресурсы из полутора сотен предлагаемых трекеров. Список доступных трекеров выполнен в виде каталога, снабженного набором фильтров для быстрого отбора ресурсов. Трекеры отображаются в виде значков. Отмечая трекеры флажками, можно добавлять их в список поиска. Среди предлагаемых фильтров – все трекеры, приватные трекеры, аниме. В отдельную категорию вынесены так называемые неанглийские трекеры (Non-English Trackers). Среди них можно найти довольно экзотичные ресурсы, например арабские.

На вкладке Private Torrents предлагается указать логины и пароли для приватных трекеров, что позволит работать с ними через интерфейс TorrentFinder. Правда, прежде чем оставлять на каком бы то ни было ресурсе добытые с трудом пароли на доступ к частным ресурсам, стоит хорошенько подумать.

При желании можно помочь разработчикам в наполнении списка трекеров. Для этого предусмотрен раздел Add Torrent Site. Понадобится сообщить адрес сайта и формат его строки поиска, сведения о котором нужны для подключения сайта к системе Для закрытых трекеров нужно также оставить логин и пароль.

Настроив параметры поиска и отправив запрос, пользователь получит в итоге страницу выдачи, состоящую из нескольких вкладок – по числу отобранных для поиска трекеров. Именно на этих вкладках и будут открываться страницы результатов поиска на задействованных в поиске торрент-ресурсах. Среди полезных дополнений Torrent Finder назовем поисковые плагины для Firefox и Internet Explorer, панель для браузера Firefox и виджет для пакета Yahoo! Widget Engine. Эти программы позволяют составлять запросы и выбирать в списке трекеров нужные ресурсы для поиска.

YouTorrent

В отличие от рассмотренных ресурсов, YouTorrent стремится самостоятельно строить свою индексную базу. Это благоприятно сказывается на скорости поиска. Для пополнения базы используются каталоги десятка крупных торрент-трекеров. К сожалению, индексная база YouTorent не очень велика по сравнению с другими торрент-поисковиками. Она содержит информацию немногим более чем о ста тысячах торрентов. Ее особенностью является большое количество легального и свободно распространяемого контента.

На данном ресурсе доступен только режим простого поиска. При вводе запроса латиницей действует автоматическое дополнение. Рядом с полем ввода запроса находятся фильтры, с помощью которых можно ограничить поиск тематическими разделами Music, Movies, TV и Games.

Система YouTorrent способна работать в качестве каталога. При переходе к поиску в тематических базах над общим списком выдачи доступны перечни тегов, которые дают возможность отбора контента по специфическим признакам. Так, для игрового раздела это список компьютерных платформ, в музыкальном разделе аналогичную роль исполняет перечень музыкальных жанров.

Список выдачи YouTorrent можно сортировать по различным признакам: релевантности результатов, размеру файлов, популярности, количеству сидов и пиров. Страница выдачи содержит перечень найденных торрентов, для которых приводятся их название, дата добавления в базу, количество загрузок и краткая аннотация. В разделах Movies и Games также часто можно найти изображения обложек соответствующих изданий или скриншоты программ. Обязательно приводятся прямые ссылки на торренты, поэтому переходить на оригинальный трекер для начала скачивания совершенно не обязательно, что здорово экономит время.

В качестве дополнительного бонуса предлагается поисковый плагин для браузера Mozilla Firefox.

ScrapeTorrent

Метапоисковик ScrapeTorrent объединяет результаты поиска, полученные с десяти крупных универсальных трекеров. Среди поддерживаемых трекеров такие известные ресурсы, как Mininova, isoHunt, SumoTorrent, BTJunkie и Demonoid.

Предлагаются два режима поиска: простой (Basic)и специализированный поиск телевизионного контента. В режиме простого поиска с помощью выпадающего меню можно выбрать тематический раздел для поиска. Доступно восемь вариантов, в том числе поиск игр, аниме, фильмов и музыки. Можно также задать параметры сортировки результатов поиска. Весьма полезны фильтры отсеивания дублирующихся торрентов и торрентов, у которых в данный момент нет сидов.

В режиме «телевизионного поиска» система ведет поиск видеозаписей телесериалов. В форме поиска предлагается указать название сериала, а также выбрать в расположенных рядом меню номера сезона и эпизода.

Страница выдачи поисковика содержит ссылки на страницы трекеров, где можно скачать сам торрент-файл. Есть и небольшое количество служебной информации: тип и размер файла, количество сидеров и личеров.

Кроме поисковой системы, ScrapeTorrent предлагает собственный инструмент Tracker Checker, предназначенный для проверки работоспособности популярных торрент-трекеров. Список трекеров, сопровождаемый информацией об их доступности и загрузке, по умолчанию рассортирован по тематике трекеров. При необходимости список можно фильтровать и сортировать по различным признакам: тематике, статусу ресурса, языку. Для этого предназначена панель инструментов, расположенная над списком трекеров.

Инструменты для общей настройки поиска собраны на вкладке Prefs. Здесь мы можем определиться со способом сортировки, выбрать демонстрируемые вместе с формой поиска фильтры.

Torrentz

Интерфейс ресурса Torrentz сделан очень просто и работает весьма быстро. Что касается фронта поиска, то здесь ситуация достаточно стандартная: Torrentz работает с крупнейшими открытыми универсальными трекерами.

Поиск разделен на отдельные тематические разделы для музыки, игр, видео и телесериалов. На стартовой странице поисковика доступно облако тегов с наиболее популярными в данный момент файлами. В ходе дополнительной обработки полученных результатов система удаляет «мертвые» торренты и дублирующиеся на разных трекерах файлы. Для поиска только таких проверенных ресурсов выделена отдельная вкладка Verified.

Страница выдачи содержит до нескольких десятков результатов. Для каждого результата приводятся названия торрента и трекера, на котором был найден ресурс, тематический тег, а также дата последней проверки работоспособности ссылки. Для каждого найденного торрента предлагается достаточно подробная информационная страница.

Особо отметим, что на странице результатов поиска есть опции, отсутствующие у конкурентов. К ним, в частности, относится раздел User Feedback, в котором пользователи проекта могут оставлять оценки и сообщения о конкретном торренте. Кроме того, здесь содержится полный перечень трекеров, на которых был найден торрент, а также список ссылок на варианты найденного файла, различающиеся качеством или полнотой. Действует система обратной связи, с помощью которой пользователи Torrentz могут предупредить сообщество о fake-ссылках или других неприятностях или же наоборот, отметить качественный и проверенный торрент.

Удобно, что свой поисковый запрос можно сохранить в виде RSS-ленты. Это позволяет оперативно отслеживать новинки по своей любимой теме на торрент-трекерах, даже не заходя на поисковик.

NowTorrents

Поисковик NowTorrents работает с двумя десятками крупных торрент-трекеров, среди которых есть как общеизвестные сервисы, так и менее «раскрученные» проекты в духе IdealTorrents или TorrentHound. NowTorrents позволяет вручную отбирать трекеры, на которые будут уходить ваши запросы. Соответствующие параметры доступны на странице настройки поиска. Среди других доступных параметров – количество результатов, демонстрируемых на одной странице, а также параметры их сортировки.

Для создания запроса доступен только режим простого поиска. Весьма интересен и оригинален инструмент Real Time Filter. Внося в него дополнительные ключевые слова, можно быстро уточнить свой запрос, причем страница с результатами нового поиска загружается буквально «на лету» (рис. 9.3).

Рис. 9.3. Система NowTorrents способна обновлять список выдачи в режиме реального времени

Похвально, что создатели NowTorrents уделили внимание качеству поиска. В частности, машина автоматически опознает и удаляет из результатов поиска «мертвые» торренты. Качество торрента визуально интерпретируется диаграммой рядом с каждой позицией в результатах поиска. Зеленая полоска указывает на потенциально качественный релиз, а вот с ресурсами, удостоившимися красной полоски, лучше не связываться.

RSS-поиск

Пополнять список своего RSS-агрегатора можно различными способами. Первый и наиболее распространенный – простой поиск сайтов по интересующим темам, а затем подписка на их RSS-ленты, если, конечно таковые имеются. Способ несложный, однако на редкость медленный и трудоемкий. Другой распространенный вариант – воспользоваться различными рекомендательными сервисами и каталогами. Правда, логика деления таких каталогов может быть просто фееричной, да и обновляются каталоги не так часто, как хотелось бы. В последнее время появилась любопытная альтернатива – интернет-машины, предназначенные для поиска RSS-каналов. Одним из наиболее интересных проектов такого типа является система RSSMicro.

В настоящее время RSSMicro индексирует более чем двенадцать тысяч RSS-каналов. Если же говорить об индексации отдельных сообщений, то счет идет на миллионы. Анализируются новостные сайты, форумы, блоги и другие источники, предлагающие данные в формате RSS. Обновление индекса происходит с периодичностью в несколько часов. Для пополнения индекса используются различные источники, в том числе сервис DMOZ, а также собственные роботы, ведущие поиск веб-сайтов с RSS-каналами. Система поддерживает режим автоматического поиска RSS-источников на сайтах.

Основа поисковика – технология FeedRank. Это собственная разработка владельцев поисковика. Основным параметром оценки канала служит так называемый алгоритм Feed Delta, который выбирает в анализируемом RSS-канале уникальную информацию и определяет ее процент по отношению к общему количеству сообщений ленты. Далее учитывается наличие в сообщениях ленты полных текстов новых материалов и разнообразного дополнительного контента, например изображений. Задействуются и другие параметры. Например, учитывается «жизнеспособность» ленты: количество опубликованных за определенный промежуток времени постов. Анализируется и популярность ленты. В результате формируется численная оценка «дельты» той или иной RSS-ленты.

Кроме оценки качества источника, необходимого для объективного определения позиции той или иной ленты в списке выдачи поисковика, данный показатель используется для отсеивания информационного шума. Дело в том, что по утверждению разработчиков FeedRank автоматически генерируемые источники, не содержащие оригинального контента, а также спам-ленты имеют очень мало шансов получить хорошее значение «дельты». В результате на первых позициях должны оказаться RSS-каналы, содержащие оригинальный контент, который, к тому же, максимально раскрывается в сообщениях ленты. Работа над совершенствованием алгоритма продолжается, и разработчики призывают пользователей быть активными, не стесняясь сообщать свои оценки и предложения.

FeedRank измеряется в диапазоне значений от нуля до десяти. Нулевой рейтинг получают давно не обновляющиеся ленты, ленты без текста в постах, большинство лент, автоматически полученных с других ресурсов и не прошедших дополнительную обработку, а также ленты с ошибками, которые роботу банально не удалось открыть. Таковых среди поступающих в систему порядка 6 %. Подавляющее большинство лент – почти 70 % – получают рейтинг, равный единице. Это значит, что звезд с неба они не хватают, имеют ошибки в форматировании либо неполный контент в постах, однако предлагают интересную информацию. Рейтинги 2 и 3 отражают повышающееся качество и оригинальность контента, а вот для получения рейтинга от 4 до 6 от канала потребуется еще и регулярное обновление. Действительно высокие рейтинги получают ленты популярных веб-ресурсов с большим количеством подписчиков и новостные агентства, располагающие собственным оригинальным контентом. Интересно, что лент с рейтингом 8-10 в индексе RSSMicro всего около 1,3 %, так что подход к оценкам у системы достаточно жесткий. Заметим, что RSSMicro отслеживает и индексирует только ленты с положительным рейтингом. Любопытный факт: с особенным вниманием рассматриваются каналы с рейтингами 4–5, поскольку именно в этой зоне, по мнению разработчиков FeedRank, должно находиться большинство качественных ресурсов, которые пока просто не имеют достаточной известности и финансовых возможностей для конкуренции с раскрученными и активно продвигаемыми проектами.

Возможно и самостоятельное добавление RSS-ленты своего веб-сайта в базу RSSMicro. Для этого даже не потребуется регистрировать аккаунт и сообщать какие-либо персональные сведения. Достаточно указать в специально отведенном для этой задачи разделе сайта RSSMicro URL-адрес предлагаемого канала, отнести его к одной из имеющихся тематических категорий и пройти капча-тест. Как только все нужные сведения будут указаны, система сразу же проанализирует предложенный канал и рассчитает его рейтинг. Кроме формы предложения новой RSS-ленты, этот раздел поисковика содержит достаточно толковые комментарии с примерами правильно отформатированного кода и советами по подготовке RSS-лент.

На главной странице RSSMicro предлагается четыре варианта поиска в вертикальных базах. Кроме поиска каналов (Feeds), это поиск отдельных сообщений (Posts), а также поиск изображений и видео. Выбирать режим можно с помощью вкладок рядом с полем ввода запроса (рис. 9.4).

Рис. 9.4. Система поиска RSSMicro

При настройке поиска можно определить предпочитаемый язык RSS-каналов и сообщений, включить режим поиска во всем контенте сообщений. Кроме того, здесь есть флажок ALL Time Search, который определяет, будет ли поиск производиться во всей индексной базе RSSMicro или же только в свежих обновлениях RSS-лент.

Результаты поиска в RSSMicro вполне адекватные и достаточно полезные. При вводе запроса работает механизм автодополнения, предлагающий похожие запросы. К сожалению, RSSMicro не лучшим образом подходит для поиска небольших, узкотематических каналов. Дело в том, что по объективным причинам по таким тематикам обеспечить постоянный поток новостей бывает достаточно затруднительно. В результате подобные ленты получают рейтинг не выше «тройки» и индексируются по остаточному принципу, если вообще попадают в базу.

Элементы списка на странице выдачи содержат название канала, значение рейтинга, аннотацию канала, а также ссылки, открывающие предварительный просмотр ленты и список ее последних сообщений. Кроме того, имеется прямая ссылка на канал, которую можно использовать для подписки. Если тема достаточно популярна, на странице выдачи появится также панель с перечнем автоматически найденных кластеров, с помощью которой можно быстро уточнить свой запрос.

Раздел RSS Feed Directory основан на анализе базы DMOZ, в которой выбирались сайты, располагающие RSS-каналами. Всего в каталоге порядка ста пятидесяти тысяч источников, разбитых на пятнадцать основных категорий. Есть в нем и около трех тысяч лент на русском языке. Картину дополняют списки рекомендуемых RSS-каналов и свежих поступлений в базу проекта.

RSSMicro предлагает также ряд собственных RSS-каналов, основанных на результатах работы алгоритма FeedRank. На странице RSSMicro News имеются разделы с перечнем наиболее популярных и «трендовых» тем в анализируемых RSS-каналах. Отдельно предлагаются наиболее популярные изображения и видеофайлы, проходившие в RSS-лентах. Пожалуй, здесь наиболее любопытен раздел Authentic & Original News, посвященный исходным текстам активно перепечатываемых статей, а также сообщениям из малоизвестных, но ценных тематических RSS-лент. Для всех названных разделов созданы собственные RSS-каналы, поэтому система RSSMicro вполне может рассматриваться и в качестве «рекомендательной машины».

Раздел Tools содержит различные вспомогательные инструменты. Среди них – форма самостоятельного добавления RSS-ленты в индекс и средство расчета ее рейтинга в режиме реального времени. Кроме того, предлагается инструмент для создания поискового виджета RSSMicro. У него достаточно гибкие возможности настройки, относящиеся как к контенту, так и к внешнему оформлению. Во-первых, предлагается задать перечень ключевых слов, по которым будет вестись поиск, предпочитаемый язык сообщений, область поиска (вся база или только обновления RSSMicro), способ сортировки и количество выводимых в виджете сообщений. Также можно выбирать демонстрируемые элементы RSS-сообщения. Можно также настроить параметры, касающиеся внешнего вида виджета, такие как шрифт заголовка новости и ее текста, размер и цвет блока самого виджета. Рядом с редактором виджета генерируется превью будущего виджета, которое наглядно демонстрирует будущий результат ваших усилий. Далее остается только получить код и поместить его на своем ресурсе. Надо сказать, это хорошая заготовка для автоматического новостного блока. Создание аналогичного виджета с помощью мэшап-редакторов займет гораздо больше времени, даже если вывести за скобки собственно весьма трудоемкий процесс поиска сайтов с тематическими RSS-лентами.

Выводы и рекомендации

Скрытые ресурсы – серьезный источник информации самого различного плана и назначения. В основном объектом поиска выступают файлы, что обуславливает специфические требования к поисковикам и приемам работы с запросами.

При поиске FTP-ресурсов основное внимание приходится уделять языку запросов, благо поисковые операторы на различных ресурсах в основном повторяются.

Поиск ресурсов на файлообменных сервисах, как правило, ведется по косвенным признакам: поисковики индексируют различные веб-ресурсы, размещающие ссылки на таких сайтах. В то же время, есть и сервисы, пытающиеся работать с файлами напрямую. Рассмотренные поисковые машины не всемогущи, но действительно существенно упрощают поиск файлов, размещенных на Rapidshare. Максимальной эффективности поиска можно добиться, используя несколько машин, желательно работающих на разных принципах.

Не секрет, что Rapidshare и другие подобные файлообменные ресурсы зачастую используются для распространения контента в условиях брутального надругательства над авторскими правами. Обзор поисковиков, облегчающих работу с ними, может быть истолкован двояко. Поэтому в заключение хотелось бы расставить точки над «i». Это просто инструменты поиска, которые каждый применяет в соответствии с велениями собственной совести. Не будем также забывать, что рассмотренные поисковики – оружие обоюдоострое и вполне могут служить для поиска и удаления нелегально размещенных в Сети материалов, благо возможности подачи жалоб на содержимое сохраненных файлов есть на всех крупных современных файлообменниках.

Весьма полезным дополнением к арсеналу средств поиска файлов стали ресурсы, индексирующие торрент-трекеры. Фреймовые торрент-поисковики, строго говоря, нельзя отнести к «полноценным» метапоисковикам, поскольку они просто организуют более-менее удобный доступ к внешним ресурсам. Пользователь экономит рабочее пространство на экране и избавляется от необходимости открывать в браузере лишние окна или вкладки. По мере развития более сложных торрент-поисковиков роль подобных ресурсов будет неуклонно снижаться.

Если же говорить о «настоящих» метапоисковиках торрентов, опирающихся на собственные базы, то ситуация здесь неоднозначная. С одной стороны, существующие решения, позволяющие охватить сразу несколько крупных трекеров, действительно способны повысить эффективность поиска торрентов и заслуживают самого серьезного внимания. С другой – невооруженным глазом заметно, что простор для дальнейшего роста у них еще весьма и весьма солидный. При этом речь не идет о каких-то сверхсложных экспериментах, достаточно присмотреться к эволюции «обычных» метапоисковиков, предназначенных для работы с веб-документами. Многие функции, ставшие для них стандартными, в торрент-машинах еще не реализованы.

Типичный современный торрент-поисковик, как правило, работает с пятью-десятью крупнейшими универсальными трекерами. Поскольку их список на большинстве метапоисковиков совпадает, на первый план выходят возможности составления сложных запросов и фильтрации результатов по различным признакам. По данному критерию, пожалуй, наиболее интересно выглядят метапоисковики Torrentz и ScrapeTorrent. Система NowTorrents полезна своей функцией обновления результатов в режиме реального времени.

Еще один важный аспект применения метапоисковой технологии – это работа с многочисленными относительно небольшими тематическими трекерами, счет которым в Сети идет на тысячи. Ручной перебор таких ресурсов при поиске редких файлов занимает массу времени и просто-таки требует автоматизации. Метапоисковики как раз и способны ввести такие редкие трекеры в поисковый оборот. Лидерами по количественному охвату торрент-ресурсов сейчас являются поисковики, использующие базу Google, однако стандартные интерфейсы и инструменты уточнения запросов Google CSE мало подходят для реального поиска торрентов, что неблагоприятно сказывается на качестве результатов.

Глава 10 Поиск для Web 3.0

Технологии «семантического веба» – главного претендента на роль следующего поколения развития. Сети, которое уже окрестили Web 3.0, неторопливо, но верно обосновываются на все большем количестве интернет-сервисов. Появление новых проектов связано с актуальной и серьезной проблемой извлечения полезной информации из огромного объема представленных в современной. Сети данных. Сбор, обработка и сведение воедино данных из множества источников остается весьма трудоемким занятием, которое было бы весьма заманчиво переложить на плечи компьютеров. Однако интернет в его современном состоянии не самым лучшим образом приспособлен для решения этой задачи. Причины этого довольно глубоки, можно сказать, концептуальны. При всем своем многообразии подавляющее большинство современных веб-проектов объединяет то, что они ориентированы исключительно на человеческое восприятие. Под это понятное и естественное требование изначально подгонялись форма и технологии создания веб-ресурсов. В конце концов, их же должен просматривать Homo Sapiens, который способен самостоятельно выделить смысл содержимого страницы.

Проанализировать смысл такой веб-страницы в автоматическом режиме – сложная задача. Что скрывается за текстом веб-страницы – ценные сведения и выводы, сделанные знатоками темы, просто бесполезная в данный момент информация или откровенная ерунда, компьютеру не ведомо. Попытка преодолеть данный семантический барьер «в лоб», на базе технологий современной сети, требует приложений, приближенных по уровню к искусственному интеллекту, что отодвигает их перспективы в неясное будущее, по крайней мере, для обычных пользователей Сети.

На этом этапе и возникает идея «семантического веба», позволяющая решить названные проблемы и во многом изменить само представление о способах работы в интернете. Она была сформулирована известнейшим специалистом. Тимом. Бернесом-Ли почти два десятка лет тому назад. Кратко ее можно изложить так: «Если создание программ, способных автоматически обрабатывать сведения из интернета, является слишком сложной задачей, то имеет смысл создать надстройку к. Сети в виде технологий, приводящих сетевую информацию в дружественный для программ-агентов вид». На основе соответствующей разметки сетевых документов, которая будет отражать смысл опубликованных данных, такие программы смогут самостоятельно собирать разрозненную информацию, сопоставлять данные, принимать решение об их достоверности и даже делать некоторые логические выводы, предоставляя на выходе пользователю готовый информационный продукт.

Сильной стороной семантического веба должен стать учет не только прямого содержания опубликованных в Сети документов, но и контекста использования информации. Различные фрагменты веб-страниц могут быть полезны при решении различных задач, надо только скомбинировать имеющиеся данные нужным образом.

Комплекс технологий, необходимых для реализации семантического веба, часто представляют в виде схемы, напоминающей слоеный пирог. Ключевые элементы данного пирога: универсальные идентификаторы ресурсов (Universal Resource Identifier, URI), основанные на XML языки семантической разметки сетевых документов и язык онтологий, позволяющий устанавливать связи и отношения между объектами. Важную роль в семантическом вебе играют технологии проверки достоверности найденных программами-агентами данных. Результатом развития таких технологий должна стать возможность простой автоматической проверки степени достоверности отдельных положений. Тим. Бернес-Ли в шутку назвал такой идеальный инструмент кнопкой «Да ну?», после щелчка на которой должен появиться либо перечень заслуживающих доверия положений, либо сообщение об ошибке (куда же без него?), говорящее о неправильной записи или о том, что системе не удалось найти в документе ничего, заслуживающего доверия.

Развитием семантических технологий в настоящее время достаточно активно занимается организация World Wide Web Consortium. Среди успехов отметим стандартизацию двух ключевых технологий: формата семантических данных (RDF) и языка веб-онтологий OWL.

Семантические технологии изящны в теории, однако воспринимать их как действительно перспективное и серьезное направление развития. Сети ранее мешало два обстоятельства. Первое – сдержанное поначалу восприятие новых технологий действительно крупными универсальными интернет-поисковиками, что сказывалось на популярности семантический разметки контента разработчиками веб-ресурсов, поскольку внедрение семантической разметки не несло каких-либо немедленных дивидендов. Второе – недостаток простых в использовании и полезных в повседневной работе приложений, способных стать популярными не только среди фанатов, но и в широких кругах пользователей. Сейчас можно наблюдать серьезные подвижки в обоих направлениях.

Отрадно, что такая тенденция не прошла мимо. Рунета. Поисковая система. Яндекс не так давно научилась работать с данными в семантических форматах. Правда, их поддержка пока ограничивается только поиском в блогах. Для индексации профилей и выявления социальных связей используется формат FOAF. Более того, Яндекс разработал собственное расширение FOAF, позволяющее точнее описывать персональные данные пользователей своих социальных сервисов. Добавлять FOAF-разметку к веб-страницам предлагают самим пользователям блогов. Конкретные рекомендации можно найти в справке по прикладному программному интерфейсу (API) поиска в блогах Яндекса.

Постепенный рост объема данных в семантических форматах выявил потребность в своеобразных «точках доступа» – сервисах, аккумулирующих сведения о свободно доступных данных в семантических форматах, к которым могли бы обращаться как приложения-агенты, так и пользователи-люди. В «обычном» вебе эту роль играют поисковые системы и каталоги. Аналогичным путем пошла эволюция и в современном семантическом вебе. Такие поисковые системы иногда даже называют «семантическими приложениями второго поколения». Этим подчеркивается значительное улучшение удобства работы с информацией в новых форматах, в том числе для широких кругов пользователей. Данная глава посвящена лучшим и наиболее показательным представителям семейства поисковиков для семантического веба.

Требования к представленным в этой главе поисковым машинам были следующие. Все предлагаемые сервисы должны быть общедоступными. Поисковики обязательно должны были уметь работать с документами в основных форматах семантического веба. Поскольку такие ресурсы претендуют на роль универсальных точек доступа к семантическим данным, поисковики должны обладать удобным пользовательским интерфейсом, предназначенным для пользователя-человека, а также предусматривать возможность подключения к поисковику внешних приложений – программ-агентов, ориентированных на автоматические сбор и систематизацию данных.

Семантическая разметка веб-документов предлагает широкие возможности по составлению сложных запросов, во многом отличающиеся от привычных опций «обычных» интернет-поисковиков. Эффективные поисковики должны обладать соответствующими инструментами составления сложных запросов, а также различными вспомогательными средствами последующего уточнения запросов и фильтрации результатов.

Swoogle

Ведущие роли в разработке инструментов для поиска в семантической сети играют исследовательские проекты различных научных и учебных заведений. Сейчас это настоящие локомотивы семантического веба. Выбор и возможности академических проектов пока заметно превосходят общедоступные предложения коммерческих разработчиков. Обзор поисковиков для Web 3 0 начнем рассказом о сервисе Swoogle, разработанном специалистами университета. Мэриленда (США).

Swoogle индексирует документы в форматах N-Triples, RDF/XML и N3 (RDF). Обрабатываются как полностью составленные с помощью этих языков документы, так и «обычные» веб-страницы, содержащие фрагменты семантического кода. Индексная база у Swoogle собственная, построенная на информации из открытых сетевых источников, и на сегодняшний день содержит сведения примерно о трех миллионах документов, о миллиарде отдельных высказываний-триплетов, а также десяти тысячах онтологий. Это достаточно серьезные цифры.

Воспользоваться поисковиком может любой желающий. На сервисе предусмотрена бесплатная регистрация. Без регистрации по запросу демонстрируется только первая сотня результатов. По всей видимости, это призвано несколько снизить нагрузку на серверы проекта, поскольку основное преимущество обладателей аккаунта – получение именно полных результатов поиска. Это немаловажно, поскольку Swoogle поддерживает подключение программ-агентов. Данные им выдаются в формате RDF.

Предназначенный для просмотра человеком интерфейс Swoogle весьма прост и лишен каких-либо излишеств. Доступно несколько специфических режимов поиска. Наиболее строгим является режим Ontology. При поиске в этом режиме в результаты попадают только документы, содержащие определения свойств семантических объектов. Пожалуй, наиболее удобным при личном обращении пользователя к ресурсу является режим Document, в котором поиск ведется среди всех проиндексированных документов. Третий режим – Term – предлагает поиск отдельных триплетов. Он выдает максимальное количество результатов, однако удобен скорее для машинной обработки. Swoogle обладает собственным языком составления сложных запросов, который состоит из собственных операторов, а также поддерживает синтаксис запросов Apache Lucene. Перечень операторов Swoogle можно найти в приложении А. По умолчанию поисковый оператор и его значение разделяются двоеточием. Поддерживается поиск по фразе с использованием кавычек.

Страница выдачи Swoogle максимально проста (рис. 10.1). В списке предоставляются только ссылки на ресурсы и краткие комментарии. Каких-либо дополнительных инструментов просмотра или фильтров не предусмотрено. Компенсацией может служить достаточно высокая скорость работы сервиса.

Рис. 10.1. Страница выдачи поисковой системы Swoogle

VisiNav

VisiNav – это еще один университетский проект поиска в семантическом вебе. У данного сервиса ирландские корни. Принадлежит он институту Digital Enterprise Research Institute (DERI). Размер индексной базы заявлен в объеме примерно двух миллионов документов и тринадцати с половиной миллионов высказываний-триплетов. Собирается база собственными роботами VisiNav. Главный недостаток VisiNav – редкое обновление базы.

Начинается поиск указанием ключевого слова, после чего система выводит начальный набор объектов, подходящих под условия запроса. Данные в VisiNav представлены в виде объектов-ссылок, которые обладают атрибутами и связями с другими объектами. Щелчками на связях или перетаскиванием объектов (такие ссылки подчеркиваются красным) можно уточнять свой запрос. Поскольку семантическая разметка довольно подробна, одним движением мыши можно найти, например, всех партнеров или подрядчиков какой-либо фирмы. Разработчики старались сделать этот процесс наглядным, однако это обусловило и некоторые требования к браузерам. Пользователи Firefox и Opera последних версий могут не опасаться ошибок, а вот в отношении браузеров Internet Explorer и Chrome их отсутствие не гарантировано.

Поисковик предлагает несколько режимов просмотра результатов поиска. В режиме List найденные ссылки выводятся в виде простейшего списка. Отметим возможность экспорта результата в RSS-канал. В режиме просмотра Detail экран делится на две области. Справа выводятся теги и текстовые выдержки, а слева – свойства и ссылки. Заметим, что набор данных при этом на панелях одинаковый, это просто два варианта просмотра найденного. Система умеет находить тематические изображения и выводить их в виде миниатюр. Здесь также доступен экспорт данных в семантический формат RDF.

Кроме этих режимов, VisiNav предлагает еще два варианта просмотра списка выдачи, причем они у конкурентов не повторяются. Режим Timeline выстраивает все найденные ресурсы на интерактивной «линии времени», что позволяет отследить развитие той или иной темы. Интересно, что при щелчках на объектах, располагающихся на линии времени, вызываются не исходные ресурсы, а окошки с конкретными текстовыми выдержками. При желании результаты поиска можно сразу же загрузить в формате iCal. В режиме Table результаты выводятся в виде таблицы. Ее колонки – теги семантической разметки, строки – найденные ресурсы. Такой режим просмотра, как и любая таблица, хорош для сравнения похожих значений у различных объектов. Результаты также можно загрузить в виде CSV-файла.

К сожалению, система VisiNav плохо работает с запросами, набранными кириллицей, хотя в результатах поиска попадаются и русскоязычные ресурсы.

Watson

Проект Watson разработан в Великобритании. Заметную долю в его финансировании занимают гранты. Евросоюза. Особенность данного поисковика – ориентация на достижение максимального качества поиска за счет отбора включаемых в индекс ресурсов. Особое внимание в данном проекте уделяется установлению смысловых отношений различных онтологий: поиску дублирующихся записей, работе с различными версиями, обработке значений похожих онтологий и другим приемам анализа.

Поскольку количество данных в семантических форматах в Сети растет, все более заметным становится разница в качестве таких ресурсов. Если рассмотренные ранее поисковики стремятся охватить как можно больше документов, то целью Watson являются в первую очередь наиболее качественно представленные ресурсы. Это проявляется в наличии системы рейтингов, которые выставляются системой тем или иным ресурсам в ходе анализа проиндексированных источников данных. Предполагается, что это позволит улучшить релевантность поиска. Нельзя не отметить, что подобный подход вполне соответствует классическим теоретическим подходам к созданию семантического веба. Пусть это еще не знаменитая кнопка «Да ну?» Бернеса-Ли, но определенно шаг в нужном направлении.

Предполагается, что данной системой будут пользоваться как программы-агенты, так и люди. Для подключения первых предлагается собственный прикладной программный интерфейс, для вторых – довольно простой, но любопытный визуальный интерфейс. Он состоит из поля поиска и небольшого набора дополнительных фильтров, вызываемого кнопкой Search Options. Здесь предлагают включить поиск по фразе, а также некоторые специфические фильтры. Так, например, фильтр Entities позволяет искать только среди классов или свойств объектов. Фильтр Scope дает возможность ограничить выдачу значениями конкретных свойств объекта (URI, заголовок, комментарий).

Заметим, что список выдачи у системы Watson меньше по объему, чем у других поисковиков для семантического веба, однако это компенсируется обязательными ссылками на соответствующие онтологии (рис. 10.2). Каждая найденная ссылка ведет к своеобразному «паспорту» исходного ресурса, который содержит сведения о количестве элементов в онтологии, использованном для описания языке, а также комментарии пользователей.

Рис. 10.2. Страница выдачи поисковой системы Watson

Кроме того, предлагается ссылка для загрузки файла онтологии. Очень интересна возможность сразу же составить и отправить запрос к найденному ресурсу на языке SPARQL.

Falcons

Интерес к семантическому поиску проявляют не только американские и европейские разработчики. Проект Falcons – это пример азиатского ресурса. Название поисковика представляет собой сокращение слов «Finding, Aligning and Learning ONtologies». Разработан поисковик в Юго-Восточном университете Китая (точнее, в институте Institute of Web Science). Любопытно, что даже сайт-«визитка» самого института широко использует RDF-разметку.

Поисковик в настоящее время умеет работать только с документами, использующими формат RDF/XML. Технологическая база Falcons полностью построена на программном обеспечении с открытым исходным кодом. Задействованы технологии MySQL, Apache Lucene и Jena – специализированная платформа для Java, предназначенная для работы с данными в семантических форматах. Для взаимодействия внешних приложений с Falcons предлагается достаточно простой прикладной программный интерфейс REST. Все соответствующие рекомендации и примеры уместились всего на одну веб-страницу справки Falcons.

Пользовательский интерфейс Falcons выдержан в строгом стиле. Начинать поиск можно только с помощью ключевых слов. Собственного языка запросов система не предлагает, ограничиваясь поддержкой поиска по взятой в кавычки точной фразе, а также стандартных логических операторов. Доступны несколько режимов поиска: объектов (Object), классов и свойств (Concepts), а также всех проиндексированных документов с семантической разметкой (Document).

Найденные объекты демонстрируются в виде простого списка сниппетов. Каждый сниппет содержит заголовок, URI, присвоенный системой тематический ярлык и краткую аннотацию, которая генерируется на основе RDF-описания найденного объекта. Щелкая на ссылках, можно перейти к более подробным описаниям.

Интересная находка Falcons – боковая панель с иерархическим деревом классов, к которым относятся найденные объекты. Она позволяет быстро уточнить запрос и упрощает навигацию в больших списках результатов. Данный инструмент напоминает панели кластерных интернет-поисковиков, однако шума здесь гораздо меньше, а структурирование информации выглядит весьма качественно. Достигается это за счет анализа семантической разметки документов.

Semantic Web Search

Коммерческих предложений в области поиска в семантическом вебе пока немного. Упоминания заслуживает проект Semantic Web Search. Основной бизнес фирмы-разработчика Semantic Web Search – внедрение собственного коммерческого программного обеспечения для хранения и обработки данных в формате RDF. Свободно доступный сервис Semantic Web Search носит демонстрационно-рекламный характер.

Сведений о размере индексной базы проекта на сайте Semantic Web Search не приводится, однако если судить по результатам тестовых запросов, она заметно уступает индексам некоммерческих академических поисковиков, о которых шла речь ранее.

В отличие от обычных поисковиков, на данном ресурсе можно составлять запросы, позволяющие, к примеру, найти все статьи человека с определенным именем и фамилией. Для создания сложных запросов применяется собственный язык запросов, использующий FOAF-разметку ресурсов.

Данный проект интересен в первую очередь своими дополнительными инструментами. Начнем с того, что на сайте есть аналог «расширенного поиска» – приложение Search Agent, которое помогает в составлении сложных запросов. Более того, на сайте предлагается простой онлайновый редактор Agent Developer, с помощью которого можно создать собственную программу-агента. Для этого понадобятся только самые общие представления о составлении поисковых запросов, остальные операции выполняются простым выбором тех или иных пунктов в предлагаемом списке. Правда, данный любопытный инструмент, как сообщают разработчики Semantic Web Search, в скором времени будет убран, а на смену ему придет машинный интерфейс, поддерживающий SPARQL-запросы, что даст возможность пользователям подключать к нему собственные программы-агенты.

К сожалению, данному проекту присущ ряд недостатков, обусловленных его демонстрационным характером. Сайт поисковика частенько перегружен, что приводит к ошибкам при обработке запросов. Скорость его работы также оставляет желать лучшего.

Sindice/Sig.ma

Довольно интересной и полезной для широкого круга пользователей попыткой объединить технологии поиска в семантическом вебе со средствами создания мэшапов предпринята системами Sindice и Sig.ma. Эти проекты предлагают весьма удобные комбинированные средства поиска и просмотра семантических данных. Разработчиком обеих систем является уже известный нам ирландский институт DERI. Поисковик Sindice обладает действительно дружественным интерфейсом и предлагает ряд полезных инструментов для непосредственного просмотра результатов поиска человеком. Достигается это во многом за счет совместной работы поисковика с еще одним проектом тех же разработчиков – мэшап-системой Sig.ma.

Как утверждают разработчики, собственная индексная база проекта является крупнейшим индексом документов в семантических форматах в современном интернете. Поскольку конкретных цифр не приводится, оставим это утверждение на совести авторов. Как бы то ни было, заметим, что результаты поиска здесь действительно достойные. Поисковик умеет взаимодействовать с программами-агентами. Выдача данных осуществляется в форматах JSON и RDF.

Sindice предлагает три режима работы. Собственно поиск является только одним из них. Кроме него доступны инструменты ручного добавления собственных семантических ресурсов в базу проекта, а также инструмент поиска семантических данных на указанной пользователем веб-странице.

Предлагается только режим простого поиска. Страница выдачи представляет собой простой список найденных ресурсов. Из дополнительной информации приводятся сведения о формате найденного документа и его размере. Однако это нельзя назвать серьезным недостатком, поскольку результаты Sindice рекомендуется просматривать с помощью сервиса Sig.ma. Для этого предусмотрена кнопка Go to Full Search Version.

Аббревиатура Sig.ma расшифровывается как «Semantic Integrated Mashup». Разработчики также называют этот сервис «браузером для семантического веба». Интерфейс ресурса состоит из двух панелей (рис. 10.3). На левой панели выводится обзорная сводка о предмете поиска, автоматически скомпонованная из различных источников. Сводка состоит из разделов, связанных с наиболее важными для заданного объекта тегами семантической разметки. Система пытается автоматически выделить основные аспекты темы. Для них выводится перечень семантических тегов, за которыми идет подборка соответствующих текстовых фрагментов, изображений или видео. Это еще одна особенность Sig.ma – остальные семантические поисковики пока неохотно работают с мультимедиа. Справедливости ради заметим, что просмотр мультимедиа здесь не самый удобный. Так, изображения выводятся только перед основными текстовыми блоками и в полном размере, а не миниатюрами. Если по теме поиска таких картинок найдено много, просмотр страницы оказывается довольно неудобным. Видео пока также не выделяется в отдельный блок и демонстрируется простыми гиперссылками на соответствующие ресурсы.

Рис. 10.3. Система Sig.ma объединяет технологии поиска и мэшапов

На правой панели выводится список всех задействованных в поиске ресурсов. При наведении указателя мыши на отдельные фрагменты сводки на панели ресурсов подсвечиваются ссылки на источники, из которых были взяты данные сведения. Список ссылок можно сортировать по различным признакам. Кроме того, действует система фильтров, с помощью которой можно удалять из списка ссылок ненужные документы. После этой операции и списки ресурсов, и сводка автоматически перестраиваются. Результаты поиска Sig.ma можно не только просмотреть на сайте проекта, но и экспортировать на собственную веб-страницу в виде виджета.

Выводы и рекомендации

Семантический веб действительно имеет право называться «поколением Web 3.0», поскольку предлагаемые изменения носят принципиальный характер. В первую очередь это относится к ориентации ресурсов на поисковые агенты – программы, которые исполняют роль посредников между опубликованными в интернете разрозненными данными и пользователями. Однако период массового внедрения семантических технологий, скорее всего, будет еще достаточно продолжительным по времени. В таких условиях заслуживают внимания ресурсы, предлагающие удобные с точки зрения людей интерфейсы для работы с данными в семантических форматах. Большинство общедоступных поисковиков, способных стать «окнами» в Web 3.0, – это экспериментальные проекты. Многие проекты поддерживают подключение программ-агентов пользователей, и именно такой режим работы с ними является предпочтительным. Если же ориентироваться на самостоятельную работу пользователя, то практически вне конкуренции в настоящее время оказывается связка проектов Sindice/Sig.ma. Благодаря одним из самых удобных на сегодня интерфейсов просмотра семантических данных эти проекты можно рекомендовать широкому кругу пользователей, заинтересованных в работе с данными в форматах Web 3.0. Другие «герои» этой главы хоть и не могут похвастаться сопоставимыми интерфейсами, за счет охвата широкого спектра источников данных способны стать ценными средствами поиска.

Глава 11 Программы-помощники

Интернет-поиск – это одно из средств получения информации, необходимой для выполнения той или иной деятельности. Именно это является его главной целью. Поэтому в данный процесс входит не только обращение к поисковым интернет-машинам. Найдя с помощью таких поисковиков нужные ресурсы, приходится заниматься их анализом, сохранением и управлением созданным архивом. Эти задачи глобальны, и при активной работе с интернетом решать их приходится практически ежедневно. Поэтому вполне логичным стало появление специализированных приложений, облегчающих эту работу. Даная глава посвящена именно таким программам.

Среди всего многообразия программ-помощников в деле поиска и последующей обработки найденной информации можно выделить две основные группы: инструменты, помогающие непосредственно в поиске информации в Сети, и группа приложений, предназначенных для сохранения и обработки найденных данных.

Идея задействовать «настольное» приложение в качестве посредника между пользователем и интернет-поисковиками далеко не нова. Преимущества такого решения по сравнению со стандартным веб-поиском сводятся к двум аспектам. Первый – это возможность одновременного обращения к большому количеству интернет-поисковиков из единой формы запроса локальной программы. Второй – наличие дополнительных инструментов обработки и анализа найденных ссылок, а также сохранения результатов поиска в удобном формате.

При серьезном целенаправленном сборе информации в Сети часто возникает необходимость сохранения полезных ссылок или веб-страниц для дальнейшей работы. Результатом, кроме собственно полезного эффекта, становится стремительно растущий размер архивов на жестком диске. И если емкости современных дисков позволяют несколько свысока смотреть на проблему нехватки пространства, сортировка такого беспорядочного архива и поиск в нем стандартными средствами становятся настоящей головной болью.

Решать данную проблему можно различными способами. Все современные браузеры предлагают встроенные средства для работы с закладками, однако их функциональности хватает только для обслуживания относительно небольших архивов. Задачу поиска среди сохраненных веб-страниц можно возложить на всевозможные «настольные» индексаторы в духе Google Desktop Search и тому подобных. Со своей основной задачей – поиском – они справятся хорошо, однако упорядочить крупный архив с их помощью не получится, равно как, например, составить на основе использованных страниц библиографию к своей письменной работе или выполнить иное полезное, но не относящееся к собственно поиску действие. Наиболее эффективным средством обработки найденных данных являются специализированные менеджеры закладок и сохраненных веб-страниц.

Программы для метапоиска в интернете

Несмотря на кажущееся разнообразие выбора, пик популярности подобных приложений, похоже, позади. Большинство представленных в Сети локальных программ для интернет-поиска было создано в начале двухтысячных годов, многие не обновлялись с 2003–2005 года. Учитывая постоянные изменения поискового «ландшафта», польза от применения таких «старичков» представляется весьма сомнительной. Далее мы уделим внимание только последним решениям, которых не так много.

Современные программы для поиска в интернете значительно различаются по функциональности. Среди них есть как относительно простые приложения, оснащенные разумным минимумом функций, так и достаточно сложные решения, которые, по большому счету, являются локальными аналогами вертикальных тематических интернет-поисковиков. Такие приложения предлагают метапоиск среди большого количества специализированных поисковиков и интернет-ресурсов. Их ценность состоит именно в наличии больших каталогов ресурсов и возможности точного тематического поиска по узким запросам.

FirstStop WebSearch

Программа FirstStop WebSearch размещает свое поле для быстрого поиска прямо на рабочем столе Windows. Бесплатная версия программы предлагает только два тематических раздела поиска: в Сети в целом и в сервисах социальных закладок. Количество встроенных поисковиков невелико. Это компенсируется тем, что FirstStop WebSearch позволяет добавлять в базу собственные поисковики, причем определять переменные и форматировать строку запроса предлагается вручную – на сайте программы есть даже небольшая шпаргалка о том, как это делать. Предусмотрено автоматическое обновление базы поисковиков в соответствии с заданными пользователем параметрами. Кроме того, списки поисковиков можно импортировать и экспортировать вручную.

Оригинальная особенность данного приложения – кластеризация результатов. Панель Discovery Tree демонстрирует все автоматически выделенные программой ключевые слова, что позволяет быстро перемещаться по результаты поиска. К сожалению, быстрое исключение кластеров из результатов поиска не предусмотрено, что не дает эффективно фильтровать результаты. Для этой задачи служит отдельный инструмент, позволяющий отбирать страницы по заголовку, нашедшему ссылки поисковику и другим признакам (рис. 11.1).

Рис. 11.1. Поисковик FirstStop WebSearch

Результаты поиска можно сохранить и выгрузить в файл. Для дополнительной обработки результатов предлагается использовать сторонние программы – предусмотрена интеграция с пакетами Web Finalist и Monarch Search. Из полезных дополнений в данной программе можно отметить разве что встроенный каталогизатор ссылок на веб-сайты.

Copernic Agent

Copernic Agent остается, пожалуй, самым известным приложением для метапоиска в интернете. Существуют три версии приложения: Basic, Personal и Professional. «Базовая» версия бесплатна, однако обладает урезанной функциональностью. Мы рассмотрим наиболее мощную «профессиональную» версию. Это приложение обладает достаточно серьезными возможностями поиска и дополнительной обработки результатов.

Оценка одной из основных характеристик любого решения для мета-поиска – охват интернет-поисковиков – в Copernic неоднозначна, хотя заявлена поддержка нескольких сотен поисковиков и онлайновых справочников, разбитых на тематические и национальные группы. Каждая категория содержит до нескольких десятков поисковых ресурсов. Категории можно устанавливать и удалять, что напоминает работу с электронными словарями. При установке категории в списке поисковиков можно отобрать только нужные машины (рис. 11.2).

Рис. 11.2. Настройка поисковых категорий в программе Copernic Agent

Хотелось бы остановиться на национальных поисковых категориях Copernic. Предлагается десяток подборок для конкретных стран – от. Австралии до Индии. К сожалению, России здесь нет, наиболее близкое географически местоположение – Польша. Кроме того, предлагаются подборки поисковиков для работы с материалами на испанском, итальянском и французском языках. В этих блоках подобраны полезные поисковики, что делает Copernic хорошим инструментом для работы с некоторыми национальными сегментами Сети. Нельзя не отметить тематический поиск в новостях, блогах и таких полезных для специалистов источниках, как базы патентов. Перед таким массивом источников можно было бы только уважительно снять шляпу, если бы не пара неприятных нюансов, относящихся к наиболее универсальной и востребованной категории – простому веб-поиску.

Дело в том, что среди всех сотен источников и тринадцати поисковиков, включенных в универсальную категорию Web, не нашлось места для Google. Вероятно, для этого у разработчиков были свои причины, однако исключение одной из крупнейших индексных баз из результатов поиска заметно сказывается на качестве поиска и вызывает искреннее недоумение. Из включенных в данную категорию поисковиков более-менее приличные результаты по запросам на русском языке способны выдать только Bing и в меньшей степени Yahoo!. В принципе, если бы в Copernic были предусмотрены инструменты самостоятельного добавления описаний поисковиков, эта проблема не была бы серьезной. Однако программа позволяет только создавать собственные категории, которые можно комплектовать источниками из общей библиотеки Copernic.

Интерфейс Copernic Agent Professional состоит из области просмотра и двух вспомогательных панелей: боковой и верхней. Верхняя панель предназначена для работы с архивом проведенных поисков. Боковая панель содержит три вкладки. Вкладка Quick Search отвечает за работу в режиме простого поиска, а также позволяет выбирать категории для поиска. Вкладка Common Tasks содержит инструменты анализа найденного. Возможна фильтрация найденных материалов по различным признакам, автоматическое удаление дублей и «мертвых» ссылок. Кроме того, Copernic Agent умеет автоматически составлять небольшие рефераты. Правда, нормально работает данная функция только с англоязычным текстом, да и здесь чудес нет: нам предлагают выдержки из текстов найденных веб-страниц, содержащих автоматически найденные ключевые слова.

Copernic Agent поддерживает режимы простого и расширенного поиска. Для простого поиска доступна только одна дополнительная опция – поиск по фразе. В режиме расширенного поиска дополнительных опций составления запроса нет. Взамен предлагается настроить систему автоматического отслеживания появления новых страниц по вашему запросу, а также страниц, изменившихся с момента последнего поиска. Если интересные вам страницы не предлагают RSS-каналов и вы не желаете разбираться с существующими сервисами для самостоятельного создания RSS-каналов, – это действительно хорошее дополнение к основной программе. Copernic также может выступить в качестве менеджера загрузок и скачать все найденные веб-страницы, сохранив их на локальном компьютере.

Результаты поиска отображаются в виде текстового списка. Каждая найденная ссылка сопровождается информацией о нашедших ее поисковиках. Степень релевантности результата демонстрируется в виде цветной полоски и численной оценки в процентах, находящихся рядом с каждой найденной ссылкой.

aSearch.INFO

Приложение aSearch INFO обладает очень простым и понятным интерфейсом, который, к сожалению, не имеет русскоязычной версии. Интересно, что кроме обычной персональной лицензии предлагается лицензия, позволяющая разместить на своем сайте для скачивания полную версию программы без каких-либо ограничений на количество загрузок. Обойдется это удовольствие в три тысячи долларов.

aSearch.INFO предлагает инструмент самостоятельного добавления поисковиков. Называется он Constructor и представляет собой очень гибкий и удобный мастер на пять шагов. Отметим, что параметры строки URL-адреса при поиске программа пытается определить автоматически, для чего на одном из этапов предлагает провести на новом поисковике тестовый поиск. Это серьезно ускоряет работу по анализу параметров нового поисковика. Предусмотрена обработка параметров расширенного поиска и автоматическая перекодировка получаемого текста. При желании вы можете отправить описание нового поисковика в онлайновый каталог aSearch.INFO.

Инструменты составления запроса и управления поиском собраны на боковой панели. Она содержит несколько вкладок, в которых можно выбрать одну из предустановленных тематических категорий. Их состав достаточно привычный: веб, софт, развлечения, покупки, поиск работы. Последние два раздела оптимизированы для работы с зарубежными ресурсами. Здесь же располагается панель фильтров, аналог «поиска в найденном» онлайновых сервисов. С ее помощью можно составлять довольно интересные запросы с использованием логических операторов.

Сами результаты отображаются в виде единой ленты, причем каждой ссылке выделена удобная «карточка». Приводятся прямая ссылка на веб-страницу и название поисковика, с помощью которого она была получена. Какой-либо информации о позиции конкретной ссылки в результатах того или иного поисковика нет. Ссылки, по всей видимости, сортируются по релевантности. Как она определяется, разработчики не сообщают. Альтернативных методов сортировки ссылок не предусмотрено. Списки результатов поиска сохраняются в базе данных программы. Опций сортировки или другой обработки для них нет.

Варианты настройки у данной программы довольно скромные. Можно включать и отключать режим очистки списка от дублирующихся ссылок, выбирать браузер, в котором будут открываться найденные ссылки, управлять звуками. Полностью настраивается оформление программы – соответствующие параметры можно исправить вручную, отредактировав прямо в окне настройки стандартную таблицу стилей.

iMetaSearch

Программа-поисковик iMetaSearch предназначена для глубокой обработки и сортировка найденных ссылок с помощью оригинальных алгоритмов. К стилю работы с этим поисковиком понадобится привыкнуть, однако он действительно повышает качество поиска.

Интерфейс iMetaSearch разделен на четыре панели: список найденных ссылок, панель просмотра информации о выделенной ссылке и две боковые панели, с помощью которых можно проводить дополнительный анализ результатов. Первая из них – Search Topics – предлагает список предположительных тем, в которые можно объединить найденные ссылки. Второй раздел – Search Words – наоборот, позволяет максимально детализировать поиск за счет работы не с крупными темами, а со списком всех автоматически выделенных программой ключевых слов. Каждый раздел снабжен ползунком, с помощью которого можно быстро определить демонстрируемое программой количество групп и ключевых слов iMetaSearch позволяет добавлять в список используемых поисковиков свои машины. Для этого служит мастер настройки Build Engine.

Автоматический поиск ключевых слов предполагает наличие достаточно серьезных технологий обработки результатов. Для выделения групп и ключевых слов в iMetaSearch используется технология латентного семантического анализа (Latent Semantic Analysis, LSA). В двух словах ее смысл заключается в следующем. Как правило, пользователи составляют короткие запросы, содержащие одно-два ключевых слова, что ведет к размыванию результатов поиска и появлению информационного шума. LSA-система пытается в автоматизированном режиме расширить полученный запрос на основе обратной связи с пользователем. Проще говоря, отработав оригинальный, полученный от пользователя запрос, LSA-система предлагает пользователю указать лучший с его точки зрения результат, проводит его анализ и перестраивает список выдачи с учетом автоматически выделенных дополнительных условий.

Задача сортировки результатов поиска решена в полном соответствии с идеями технологии LSA. Выделив наиболее полезный результат в списке, пользователь тем самым присваивает ему значение релевантности равное ста процентам. Список выдачи немедленно перестраивается с учетом новых данных, полученных в результате такой обратной связи. Программа выводит на первые позиции за выделенной нами ссылкой наиболее похожие на нее по содержанию веб-страницы, указывая степень смыслового подобия как в цифрах, в процентном значении степени совпадения, так и визуально – цветной полоской. Кроме этого семантического стиля доступны и более привычные режимы сортировки – по заголовкам веб-страниц, задействованным поисковикам, и по рейтингу веб-страниц на использованных поисковиках. Результаты поиска можно выгрузить в HTML– или CSV-файл.

Главный недостаток iMetaSearch – очень плохая работа с поисковыми запросами, набранными кириллицей. Это значительно снижает количество пользователей в наших краях, которым данная программа могла бы приносить практическую пользу.

Менеджеры архивов веб-страниц

Среди приложений для сохранения и обработки найденного в Сети контента есть решения на любой вкус: онлайновые сервисы, самостоятельные локальные приложения и плагины для браузеров Далее мы рассмотрим лучшие инструменты каждой из названных групп. Среди них есть как коммерческие, так и распространяемые бесплатно приложения, в том числе с предоставлением исходного кода.

Основное преимущество онлайновых решений – доступность. Работать со своим архивом можно в любой точке, с любого устройства: был бы браузер и доступ в интернет. Второе их преимущество – социальные инструменты, позволяющие легко обмениваться данными или вести совместную работу над одним проектом.

Локальные программы также обладают рядом весьма привлекательных свойств. Они не требуют постоянного подключения к. Сети и позволяют вдумчиво работать с крупными архивами сохраненных файлов и веб-страниц. Такие программы не зависят от скорости интернет-соединения или неполадок на линиях связи. Для некоторых пользователей немаловажен тот факт, что все архивы хранятся только на локальном компьютере и их приватность не пострадает в случае сбоя на удаленном сервере. Кроме того, локальные приложения могут похвастаться широким выбором различных дополнительных инструментов, который пока могут себе позволить далеко не все онлайновые сервисы.

Встроенные в браузеры инструменты сохранения веб-страниц являются удобным средством, поскольку не требуют приобретения и запуска каких-либо сторонних приложений.

Больше всего повезло пользователям Firefox, поскольку лучшие на сегодняшний день решения такого плана разработаны именно для этого браузера. Менеджеры ScrapBook и Zotero, речь о которых идет далее, распространяются бесплатно, обладают хорошей функциональностью, просты в освоении. Они вполне подходят на роль ежедневно используемых инструментов.

ScrapBook

Распространяется ScrapBook свободно. Устанавливается приложение стандартным для дополнений Firefox образом. Важное для нас обстоятельство – наличие русскоязычной версии программы.

Менеджер ScrapBook весьма прост в освоении и работе. Он интегрируется в интерфейс Firefox в виде боковой панели, которую можно вызвать либо из меню браузера, где появляется новый одноименный пункт, либо, что гораздо удобней, комбинацией клавиш Alt+K. Работа со ScrapBook, как и с другими подобными решениями, четко делится на два этапа: сохранение контента во время серфинга и последующее управление собранным архивом.

Боковая панель ScrapBook содержит список сохраненных страниц и ссылок, которые можно сортировать по различным признакам. В ее верхней части находятся кнопки создания каталогов, поле поиска по архиву и меню с дополнительными опциями. За этой внешней простотой и лаконичностью скрыты достойные возможности.

Доступны два режима просмотра архива. Первый – общим списком сохраненных страниц и каталогов, отсортированных в хронологическом порядке. Во втором режиме панель разделяется на две части, при этом в верхней показываются только каталоги, а в нижней – список страниц активного каталога. В большом архиве такой «разделенный» режим гораздо удобней в использовании. По умолчанию список сортируется по датам сохранения страниц, однако при настройке ScrapBook можно задать режим сортировки по заглавиям страниц или рекурсивной сортировки вложенных каталогов.

ScrapBook умеет сохранять веб-страницы целиком, отдельные фрагменты веб-страниц и отдельные фреймы. Захват отдельных мультимедиаобъектов не поддерживается. Добавление страниц в архив производится либо через стандартное контекстное меню браузера, либо же комбинацией «горячих клавиш» Ctrl+Shift+L. Контекстное меню содержит команды. Захватить веб-страницу, Захватить веб-страницу как и Добавить в закладки. Первый вариант наиболее простой и быстрый – достаточно выбрать необходимый каталог в списке недавно использованных или же создать новый – и страница уже в архиве. Второй вариант предлагает набор дополнительных вариантов настройки: выбор сохраняемых элементов (изображения, JavaScript-код, CSS-стили), а также позволяет автоматически сохранять файлы и страницы, на которые ведут ссылки, найденные на сохраняемой веб-странице. Можно также выделить на странице фрагмент текста и скачать в архив ScrapBook только попавшие в него ссылки. Среди доступных опций настройки – глубина захвата и выбор типа загружаемых файлов, причем, если вы хотите сохранить файлы с какими-либо экзотическими расширениями, достаточно просто перечислить эти расширения через запятую в специальном поле. Если на открытой странице присутствуют фреймы, ScrapBook предлагает возможность сохранения не только целой веб-страницы, но и отдельных фреймов. Соответствующие команды появятся во все том же контекстном меню.

Для импорта в архив ScrapBook уже хранящихся на жестком диске веб-страниц можно воспользоваться инструментом. Сохранение нескольких URL. Одноименное диалоговое окно содержит список выбора каталога архива, куда будут импортированы новые страницы. Возможен экспорт документов из архива ScrapBook в формат HTML, при этом каждая страница и все относящиеся к ней файлы попадают в отдельный каталог. Такую подборку затем можно импортировать в ScrapBook на другом компьютере.

ScrapBook обладает вполне конкурентоспособным набором дополнительных инструментов. Среди них – средства проверки и аварийного восстановления архива, а также встроенный редактор веб-страниц. Кроме того, ScrapBook предлагает полезную функцию объединения нескольких сохраненных веб-страниц в один файл. Она весьма удобна при сохранении обсуждений с форумов или «склейке» крупных статей, разбитых на несколько частей. Соответствующая команда называется. Объединение веб-страниц и вызывается из меню. Инструменты панели ScrapBook. Она выполняется в два этапа: сначала отбираются нужные страницы, затем путем предварительного просмотра происходит знакомство с новым единым файлом и его генерация. При этом доступна команда автоматического удаления исходных страниц из архива.

Система поиска может работать как со всем текстом сохраненных страниц, так и с их отдельными характеристиками, например именем и датой сохранения. Радует, что при поиске поддерживаются стандартные регулярные выражения.

Дальнейшая работа с архивом в основном ведется с помощью боковой панели ScrapBook. Просмотр сохраненных страниц осуществляется в самом браузере и не требует запуска каких-либо дополнительных приложений. О том, что работа идет с локальной копией, свидетельствует только дополнительная панель инструментов в нижней части экрана. Она содержит поле добавления комментария и набор цветных маркеров для выделения особо интересных фрагментов.

Окно настройки ScrapBook состоит из нескольких вкладок, отвечающих за различные аспекты поведения приложения. Важные опции содержит вкладка. Организация. В первую очередь это указание места хранения архива ScrapBook. Здесь также можно включить режим работы с несколькими архивами. Дело в том, что все файлы и веб-страницы ScrapBook по умолчанию сохраняются в каталоге профиля браузера Firefox. Гораздо удобнее и надежнее разделить профиль браузера и архивы ScrapBook. Для этого достаточно включить соответствующий режим и указать путь к новому каталогу архива. Для одновременного использования нескольких архивов ScrapBook с возможностью переключения между ними необходимо установить флажок Multi-ScrapBook, который также находится на вкладке. Организация панели настройки ScrapBook.

Средства обслуживания ScrapBook представлены инструментами проверки целостности и аварийного восстановления архива.

Возможности ScrapBook можно расширять с помощью подключаемых модулей. Подборка таких плагинов представлена на сайте проекта. Стоит обратить внимание на плагин ScrapBook AutoSave, который реализует режим постоянного фонового сохранения просматриваемых страниц, CHM Exporter, добавляющий возможность экспорта в формат CHM, а также CopyPage Info, генерирующий библиографическое описание открытой веб-страницы. Радует то, что формат такой записи можно настраивать, так что привести его в соответствие с собственными правилами оформления не составит большого труда.

Zotero

Zotero – это дополнение для браузера Firefox, основной задачей которого является организация персональной информационной базы пользователя, а также удобное сохранение в ней веб-страниц, ссылок и другого контента. Заметим, что Zotero располагает рядом любопытных инструментов.

В ходе установки Zotero распознает локализацию браузера и устанавливает соответствующую версию своего интерфейса. Вызвать дополнение можно щелчком на соответствующей кнопке в нижней части окна браузера. После запуска Zotero открывает достаточно большую панель, разделенную на три колонки.

В центральной колонке выводится список включенных в коллекцию записей и присоединенных к ним объектов. Левая колонка содержит перечень подразделов архива («библиотек»), представленных в виде дерева. Дополняет его панель поиска использованных тегов. Правая колонка отведена описанию объекта. Она, в свою очередь, разделена на несколько вкладок, на которых можно просмотреть и ввести описание объекта, список тегов, заметки и присоединенные к описанию файлы. Там же находятся кнопки, открывающие сохраненные файлы в сопоставленном приложении, а также открывающие каталог, в котором находятся эти файлы.

Разработчики Zotero подчеркивают, что изначально проект создавался как менеджер библиографической информации, необходимой для последующего корректного цитирования с грамотно выполненными ссылками на источники. Впоследствии функции дополнения были значительно расширены, однако такой подход остается фирменной чертой Zotero и поныне. Основной «единицей хранения» в менеджере остается описание ресурса, к которому могут быть присоединены различные файлы. Предлагается три варианта создания новой записи. Первый – автоматическая генерация записи при захвате файла или веб-страницы. Второй вариант создания записи в базе данных – добавление нового объекта по его идентификатору. В этом качестве может выступить один из поддерживаемых типов кодов: ISBN (международный код книжного издания), DOI (идентификатор цифрового объекта) или PubMed ID (идентификатор, применяемый для статей медицинской и биологической тематики). При использовании любого из этих идентификаторов Zotero обращается к соответствующим онлайновым каталогам и загружает полное библиографическое описание необходимого пользователю объекта. К сожалению, книги на русском языке в таком режиме находятся нечасто, что серьезно снижает ценность этого, безусловно, полезного инструмента.

Наконец, запись можно составить и в полностью ручном режиме, не прибегая к помощи автоматики. Для упрощения этого процесса предлагается подборка встроенных шаблонов описания для различного типа контента (книга, статья, патент, карта и другие).

К такой записи в базе может быть присоединен широкий спектр типов файлов: электронные книги и отдельные документы, веб-страницы, мультимедиа-файлы, изображения и многое другое.

Zotero умеет сохранять как ссылки на веб-страницы, так и страницы целиком. Для сохранения веб-страницы на панели Zotero предназначена кнопка. Создать новый документ с текущей страницы. При щелчке на ней в базе создается новая запись и к ней присоединяется так называемый «снимок» страницы, другими словами – ее локальная копия Zotero также пытается автоматически определить и заполнить как можно больше элементов этой записи: заглавие, автора, время создания и ряд других. При этом используются метаданные сохраняемого файла.

Многие менеджеры сохранения веб-страниц умеют захватывать не только страницы целиком, но и отдельные блоки контента. Обычно пользователю предлагается просто выделить на странице нужный фрагмент, который и сохраняется в базе. Разработчики Zotero пошли другим путем. Дело в том, что Zotero умеет автоматически находить и «подхватывать» как отдельные элементы, так и размещенные на веб-страницах данные в форматах RDF, COinS, а также в специализированных форматах библиографических описаний Dublin Core XML и MARC. Это особенно актуально для онлайновых каталогов, поскольку в данном случае интерес представляют именно отдельные записи, а не содержащие их страницы.

Узнать о возможности захвата таких данных можно по появлению в адресной строке браузера значка Zotero. Если же этот значок приобретает вид папки, это означает, что менеджер способен захватить сразу несколько отдельных объектов на открытой в данный момент веб-странице. Щелчок на значке в данном случае открывает диалоговое окно, в котором можно выбрать сохраняемый контент.

Для автоматического извлечения информации со страниц используются модули, называемые трансляторами (translators). Существует две группы трансляторов: универсальные и специализированные под конкретный сайт. Поскольку менеджер Zotero ориентирован на библиографическую информацию, в списке поддерживаемых сайтов преобладают онлайновые каталоги различных научных библиотек. Кроме того, работу с данным приложением поддерживают некоторые готовые системы. В частности, заявлена поддержка популярного движка WordPress. Для веб-разработчиков предлагаются рекомендации по обеспечению совместимости сайтов с Zotero.

Менеджер Zotero обладает возможностью полнотекстового индексирования сохраненных с его помощью PDF-файлов. Для этого служат внешние приложения, которые связываются с Zotero. Рекомендуется использование «опенсорсовых» пакетов pdfinfo и pdftotext. При настройке Zotero доступен параметр, отвечающий за скачивание и автоматическую установку этих пакетов, если они не были найдены на компьютере пользователя.

При импорте PDF-файлов Zotero предлагает провести поиск информации о сохраняемом файле в базе Google Scholar. Если такой поиск завершится успешно, все необходимые поля описания будут заполнены автоматически.

Следующая важная функция Zotero – автоматическое формирование библиографических описаний и списков использованных источников. По умолчанию приложение содержит полтора десятка стилей библиографического описания. Практически все они ориентированы на североамериканские правила и, соответственно, не слишком полезны подавляющему большинству наших пользователей. Однако это только стартовый пакет – Zotero поддерживает установку дополнительных стилей описания. На странице Zotero Styles Repository () можно найти несколько сотен стилей описания, составленных с учетом требований к оформлению многочисленных научных периодических изданий множества стран мира. Есть в этом списке и стиль «Russian GOST R 7.0.5-2008 (Российский. ГОСТ. Р 7.0.5-2008)». После его установки вы закроете большинство требований к оформлению списков литературы в студенческих и школьных работах. К тому же на форуме поддержки Zotero имется специализированный раздел, где можно оставить запрос на создание нового стиля описания.

Инструменты Zotero можно интегрировать в текстовые редакторы Microsoft Word и OpenOffice Writer. После их установки на панелях редакторов появляется кнопка Zotero, с помощью которой можно вызвать базу данных Zotero и быстро вставить ссылку на соответствующий пункт списка литературы. Поддерживаются различные варианты таких ссылок: подстраничные сноски и ссылки на список в конце документа. Возможна генерация списка использованной литературы на основе проставленных в тексте ссылок. При желании список источников можно сделать вручную, вставив описания из окна Zotero перетаскиванием или же копированием через буфер обмена. Удобно, что стиль описания и цитирования использованных источников можно менять «на лету» сразу во всем документе. Если учесть, что возможности Zotero по сбору и упорядочиванию источников заметно превосходят встроенные инструменты текстовых редакторов, эти дополнения становятся весьма полезным инструментом.

Для организации архива используются тематические подкаталоги – «коллекции». Поскольку коллекции являются виртуальными объектами, одни и те же объекты можно добавлять в несколько коллекций в виде ссылок. Это не приведет к дублированию самих файлов. Кроме коллекций для сортировки контента можно использовать теги. Присваивать их удобнее с помощью панели в правой колонке интерфейса. Аналогичный инструмент доступен и в списке заполненных полей на левой панели.

В Zotero можно переключаться между несколькими библиотеками. Для этого в окне настройки приложения на вкладке. Расширенные достаточно указать путь к нужному каталогу с библиотекой. По умолчанию библиотеки Zotero сохраняются в пользовательском каталоге профиля браузера Firefox.

Любопытный способ просмотра коллекции Zotero – режим Шкала времени. Его назначение – визуализация истории процесса пополнения вашей библиотеки. На экране отображаются три шкалы: одна для грубой настройки и две для тонкого выбора нужного периода, кроме того, есть небольшая панель настройки, где можно выбрать шаг делений этих шкал, а также типы контента, который должен на них отображаться.

Система простого поиска Zotero в соответствии со своим названием позволяет искать простые совпадения с введенной ключевой фразой во всех полях описания, а также в содержимом проиндексированных текстовых документов и веб-страниц. Поиск ведется по мере набора текста, что ускоряет процесс, однако может заметно затормозить работу программы в случае действительно объемной базы с тысячами записей. Чтобы временно отключить эту функцию, достаточно начинать свой запрос открывающими кавычками, как при поиске по фразе.

Поддерживается сортировка списка найденного практически по любому указанному в записях признаку. Для этого достаточно просто щелкнуть на заголовке соответствующей колонки списка. Настроить перечень демонстрируемых колонок можно с помощью кнопки в правой части линейки заголовков.

Расширенный поиск может содержать несколько условий. Поддерживаются различные условия (включение, исключение, совпадение), возможно также наложение дополнительных фильтров. Например, поиск можно ограничить только родительскими описаниями или расширить на все файлы, включенные в базу Zotero. К сожалению, логические операторы нельзя индивидуально расставить между нужными условиями, можно только выбрать общие для всех связки «И», «ИЛИ», что снижает гибкость поиска. Поисковое выражение может содержать маски, создаваемые с помощью символа %. Условия расширенного поиска можно сохранять. Это удобно, если определенные запросы вы повторяете регулярно.

Zotero поддерживает онлайновую синхронизацию баз и совместную работу группы пользователей над их наполнением. Синхронизация позволяет поддерживать в актуальном состоянии базы Zotero на нескольких компьютерах. Для синхронизации библиографических сведений используется собственный сервер Zotero. Для хранения включенных в базу файлов также можно воспользоваться сервисами Zotero. 100-мегабайтное хранилище предоставляется бесплатно. Возможно применение собственного сервиса WebDAV, параметры доступа к которому задаются при настройке Zotero.

Для организации совместной работы с сохраненной на сервере базой участникам группы понадобится зарегистрировать аккаунты на сайте Zotero. После этого участники группы могут дополнять базу с помощью как онлайновых форм, так и локальных клиентов Zotero, установленных в браузерах. После синхронизации все собранные данные становятся доступны участникам группы.

Расширить возможности Zotero можно с помощью плагинов. Они устанавливаются как дополнения Firefox, однако работают в тесной интеграции с Zotero: даже их элементы управления выводятся как новые вкладки на основной панели настройки Zotero. В настоящее время доступно около двух десятков таких дополнений. Просмотреть их список можно на странице Zotero Plugins ().

MetaProducts Inquiry

Пакет MetaProducts Inquiry состоит из программы-менеджера архива и дополнений для популярных браузеров, предназначенных для быстрого сохранения страниц в ходе серфинга. Серьезным достоинством Inquiry является наличие русскоязычной версии этой программы, а также справки на русском языке. Предлагается две версии Inquiry: стандартная и профессиональная. Для русскоязычных пользователей предусмотрена специальная цена при покупке стандартной версии приложения.

Штатный режим пополнения архива – работа с помощью встраиваемых в браузер инструментов Inquiry. Поддерживаются браузеры Internet Explorer, Firefox, Opera и Maxton. Лучше всего поддержка реализована в браузере Internet Explorer, который получает полноценную боковую панель с инструментами Inquiry. В случае же Firefox и Opera поддержка Inquiry ограничивается добавлением новых пунктов в контекстное меню. При работе с Inquiry в связке с браузером Firefox выявился неприятный момент. По всей видимости, архивы пополняются не из кэша браузера, как при работе с Internet Explorer, а закачиваются заново, что вдвое увеличивает трафик и заметно замедляет работу.

Сохранить веб-страницу можно, щелкнув на нужной кнопке панели браузера или же простым перетаскиванием ссылок на панель Inquiry. При этом их можно сразу помещать в нужную тематическую папку архива. Аналогичные команды доступны и в контекстном меню браузера. Полезная функция Inquiry – сохранение всех страниц и файлов, на которые ведут ссылки из фрагмента текста, выделенного указателем мыши на открытой веб-странице. Поддерживается отдельное сохранение картинок и флэш-роликов с открытых в браузере веб-страниц.

Еще один интересный режим работы Inquiry – автоматическое фоновое сохранение абсолютно всех открываемых в браузере веб-страниц. Они помещаются в папки, отсортированные по дате посещения. Включить режим можно в меню. Сервис, выбрав команду. Режим автосохранения. Для данного режима доступны дополнительные варианты настройки, в частности можно создать с помощью масок список страниц, которые не должны сохраняться, а также проверять сохраняемые страницы на наличие копий. Эти и другие параметры Inquiry можно задать в окне. Параметры, открываемом через меню. Сервис (рис. 11.3).

Рис. 11.3. Панель настройки менеджера Inquiry

Inquiry поддерживает импорт в свою базу уже сохраненных на локальном компьютере веб-страниц. Выполнен этот инструмент достаточно удобно. Допускается как импорт отдельных конкретных страниц, так и массовый импорт всех страниц из указанных пользователем каталогов. Если такие каталоги содержат вложенные папки, то Inquiry полностью сохранит эту структуру каталогов в своем архиве, что радикально сокращает время их дальнейшей сортировки.

Экспорт данных из базы Inquiry возможен в форматах HTML, CHM, MXT и XBEL. Кроме того, экспортируемые веб-страницы могут быть запакованы в EXE-файл, содержащий средство их просмотра.

Интерфейс основной программы-менеджера архива состоит из основной области просмотра, боковой панели со списком каталогов и нижней панели комментариев.

Предлагается три варианта просмотра базы сохраненных страниц: в виде графических миниатюр страниц, в виде текстового списка и комбинированный режим, предлагающий и миниатюры, и подписи к ним. Для просмотра страниц используется движок Internet Explorer. При желании можно переключиться в полноэкранный режим «киоска», включать и отключать отображение определенных элементов сохраненных веб-страниц, например Flash-роликов или скриптов.

Боковая панель предназначена для навигации по архиву и содержит список папок архива. Корневые папки генерируются автоматически. Это общая папка для сохраняемых веб-страниц, в которой пользователь может создавать собственные тематические каталоги, папка режима автосохранения, а также папка результатов поиска, в которой можно просматривать веб-страницы после завершения поиска в архиве.

Под областью просмотра находится панель комментариев. Она содержит несколько вкладок, на которых находятся инструменты просмотра и редактирования сведений о веб-странице, а также текстовых комментариев к ней. Особенно интересна вкладка. Библиография, с помощью которой можно генерировать и просматривать библиографическое описание сохраненной страницы. Это достаточно полезная функция, поскольку при подготовке многих учебных или рабочих текстов грамотное оформление списка источников играет важную роль. По умолчанию Inquiry предлагает несколько наиболее распространенных зарубежных форматов библиографической записи, не имеющих практически ничего общего с нашими. ГОСТами. Здесь на помощь приходит редактор форматов, доступный в окне. Параметры. Он позволяет самостоятельно составить шаблон библиографической записи. В результате, потратив некоторое время на его настройку, можно получить вполне приличное описание, которое не стыдно будет поставить даже в официальный документ. К сожалению, данный инструмент доступен только в профессиональной версии Inquiry.

Встроенные средства поиска Inquiry позволяет искать как среди отдельных элементов сохраненных документов, так и в их полном тексте. Кроме того, поиск можно ограничить определенной папкой архива. Результаты поиска выводятся в виде миниатюр страниц с некоторой вспомогательной текстовой информацией.

Inquiry содержит встроенный редактор сохраненных страниц, с помощью которого можно работать с их текстом, использовать инструменты цветного выделения и выполнять другие несложные операции с текстом и другими объектами документов архива.

Macropool WebResearch

Пакет WebResearch способен сохранять как обычные веб-страницы, так и любые документы, не относящиеся к HTML, – лишь бы они могли отображаться браузером. Актуальная на сегодняшний день версия приложения имеет третий номер. Она поддерживает работу с операционной системой Windows 7, а также последними версиями популярных браузеров. Более ранние версии WebResearch не способны работать с Firefox 3.

Предлагаются версии Personal и Professional пакета WebResearch. Последняя отличается некоторыми дополнительными функциями, например возможностью захвата снимков целого экрана, его выделенной области или активного окна. В нее также включен собственный HTML-редактор, с помощью которого можно создавать и редактировать не слишком сложные страницы, а также создавать и сохранять небольшие заметки к сохраненным в архиве файлам. К сожалению, в настоящее время русскоязычной локализации у данного приложения нет.

Основные режимы работы WebResearch – захват контента во время просмотра веб-страниц и последующая работа с архивом. Для сохранения информации штатным режимом является работа WebResearch в связке с браузером Internet Explorer. Также возможна совместная работа с Opera и Firefox – для последнего предлагается соответствующий плагин.

Наиболее функциональна панель инструментов для Internet Explorer. Она состоит из двух частей: Web Research Toolbar и Web Editing Toolbar. Первая повторяет панель для Firefox, а вторая позволяет переключиться в режим редактирования сохраняемой веб-страницы. В данном режиме можно изменять шрифты, помечать важные места цветным маркером, менять форматирование текста, удалять со страницы ненужные элементы. Такой редактор удобен, если вы планируете использовать контент сохраненных страниц в своих документах, и серьезно экономит время при написании текстов на основе сетевых источников. Панель для Firefox предлагает только опции сохранения страницы. В этой части она функционально аналогична панели для Internet Explorer.

Для сохранения веб-страницы предлагается несколько возможностей. Доступно быстрое сохранение страницы одним щелчком на кнопке Save. В этом случае программа не задает никаких вопросов и сохраняет страницу в корневом каталоге своего архива. Если же раскрыть выпадающее меню Save, то доступным станет достаточно подробный перечень команд сохранения. Можно указать конкретный каталог для сохранения документа, присвоить ему одну или несколько тематических категорий, сохранить страницу в ее исходном и нетронутом виде или с выборочным удалением картинок, рекламы, флэш-роликов или скриптов. Полезной опцией является фоновая закачка и сохранение веб-страниц, ссылки на которые содержатся на открытой странице. При необходимости в соответствующем диалоговом окне можно отметить для сохранения только нужные ссылки.

Возможно также сохранение отдельных элементов веб-страниц. Эти операции доступны в контекстных меню браузера при выборе изображений или других объектов и фрагментов текста на открытой веб-странице.

Следующий этап работы с WebResearch – управление архивом собранных материалов. Основная программа-менеджер архива позволяет просматривать сохраненные объекты и управлять коллекцией. При просмотре архива окно WebResearch делится на три части: иерархический список каталогов архива, перечень объектов в активной папке и область просмотра собственно сохраненной веб-страницы. Возможно переключение в полноэкранный режим чтения веб-страницы.

Для сортировки архива используются каталоги, стартовый набор которых по умолчанию создается самой программой. Он включает отдельные папки для вкладок и веб-страниц. Пользователю предлагается дополнять этот список собственными тематическими каталогами. Дополнительный инструмент сортировки – категории-теги, которые предлагается присваивать веб-страницам. Интересно, что в комплект WebResearch уже входит хороший набор категорий, представленный в виде иерархического дерева. Это полезно для начала, однако если учесть отсутствие перевода на русский язык, не так полезно для нас.

Просматривать архив можно как списком, так и мозаикой графических миниатюр, которые генерируются на основе внешнего вида сохраненных страниц WebResearch обладает встроенным планировщиком, который напомнит о необходимости прочтения указанных пользователем документов.

WebResearch обладает хорошим выбором инструментов для работы с сохраненным материалом. Есть система присвоения рейтинга сохраненным документам, возможности добавлять комментарии и править текст веб-страниц.

Система поиска в архиве работает в нескольких режимах: простом, расширенном и «быстром». Наибольший интерес представляет расширенный поиск, который ведется по именам категорий, дате сохранения, типу файла, а также полным текстам документов. При освоении программы полезным будет встроенный мастер составления запросов. Режим «быстрого» поиска предлагает набор готовых шаблонов часто используемых запросов. Кроме того, такие запросы можно сконструировать самостоятельно и сохранить их для последующего использования. Поиск можно вести как во всем архиве, так и в конкретном каталоге. Поддерживается сохранение результатов поиска отдельным самостоятельным списком, пригодным для дальнейшей работы.

WebResearch может импортировать в свой архив уже сохраненные на диске файлы и веб-страницы. Для этого можно воспользоваться диалоговым окном Import. Параметры импорта можно детально настраивать: указывать конкретные файлы для сохранения или же импортировать целые папки своего компьютера. Поддерживается импорт ссылок с указанной веб-страницы или RSS-канала. Импортируемые документы можно сохранять в указанных тематических каталогах WebResearch может также провести автоматическое переименование импортируемых страниц по указанному пользователем шаблону.

Если говорить о возможностях экспорта архива, здесь тоже все на высоте. Документ можно сохранить в виде обычного HTML-фaйла, в форматах MHT и CHM, а также в собственном формате системы, который позволяет обмениваться информацией с другими пользователями WebResearch. В CHM-файл можно экспортировать даже целую подборку веб-страниц, что весьма удобно при экспорте целых сайтов или тематических подборок. Поддерживается экспорт данных в пакет Microsoft Word. Интересна функция создания презентаций, состоящих из слайдов, созданных на основе сохраненных веб-страниц.

Разработчики WebResearch предлагают для своей программы некоторые дополнительные модули, например, предназначенные для совместной работы с Outlook или реализующие совместную сетевую работу нескольких пользователей над одним архивом, а также позволяющие сканировать документы и сохранять их в архиве WebResearch.

Выводы и рекомендации

Расцвет локальных метапоисковых программ пришелся на начало текущего десятилетия. Практически все лучшие приложения в этой области были созданы именно в это время. Последние же годы не внесли в эту сферу новых заметных имен. С точки зрения технологий и, что самое важное, результата поиска русскоязычных ресурсов онлайновые сервисы в настоящее время уверенно превосходят специализированные локальные поисковые программы. Разработчики последних, к сожалению, совсем не спешат развивать сильные стороны своих решений, у которых есть свои козыри и свое пространство для развития. Так что локальный интернет-метапоиск все еще ждет своих героев.

В то же время локальные программы могут быть весьма полезны при решении специфических задач. Проект FirstStop WebSearch интересен кластеризацией и возможностью добавления собственных поисковиков, iMetaSearch – возможностями семантического анализа результатов.

Наиболее функциональным решением для локального метапоиска является пакет Copernic Agent. Несмотря на свои недостатки, он может служить мощным инструментом метапоиска для национальных сегментов интернета и тематических ресурсов. В то же время он плохо подходит для поиска русскоязычных ресурсов, не работает с Google и не дает возможности самостоятельно добавлять новые поисковики. Находящийся в одной «весовой категории» с Copernic Agent пакет aSearch INFO позволяет самостоятельно добавлять поисковики, однако проигрывает Copernic Agent в качестве инструментов анализа и обработки данных.

Сохранение веб-страниц – это одно из обычных действий, совершаемых в ходе веб-поиска, поэтому при серьезной работе с сетевыми источниками предназначенная для этого программа является совершенно обязательным инструментом.

Если у вас нет необходимости обмениваться ссылками и документами по сети, а также если вы работаете преимущественно на одном компьютере, то локальные менеджеры архивов веб-страниц выглядят явно предпочтительней аналогичных онлайновых решений. Из коммерческих программ наиболее привлекательным (особенно благодаря русской локализации) на сегодняшний день решением можно признать пакет Inquiry. Пакет WebResearch предлагает хороший набор инструментов, однако не может похвастаться русскоязычным интерфейсом.

Наиболее доступные средства для решения данной задачи – дополнения для браузеров Лучшие дополнения для Firefox по богатству функциональных возможностей практически не уступают коммерческим пакетам. Для повседневной деятельности лучше подходит менеджер ScrapBook, который располагает всеми основными инструментами для работы с архивом, прост в освоении и поддерживает установку дополнений. Ключевые преимущества Zotero – это возможность подробного описания ресурсов, функция автоматического поиска метаданных для сохраняемых объектов, а также опция генерации библиографических списков. Что касается загрузки метаданных, то для русскоязычных источников данная возможность практически не поддерживается. А вот возможность составления списков литературы будет востребована многими пользователями.

Приложение А Основные поисковые операторы

Google

Современные операторы в системе Google (define, info, movie) наилучшим образом приспособлены для быстрого нахождения прямых ответов на поставленные пользователем вопросы. В то же время при их внимательном применении можно извлечь из Сети немало скрытой информации.

Некоторое время тому назад, до появления специализированных поисковиков, одним из средств поиска ссылок на материалы, загруженные на файловые хостинги, было использование в Google оператора inurl:

ключевое_слово inurl:rapidshare

Оператор Intitle нередко используют для быстрого поиска скрытых ресурсов Сети. При этом опираются на сведения, находящиеся на служебных страницах, генерируемых веб-серверами. Например, при стандартной настройке популярных веб-серверов при обращении к каталогу с файлами генерируется их список в HTML-формате. Стандартный заголовок такой страницы содержит слова Index of. Зная эту информацию, можно найти файлы, на которые нет ссылок на страницах веб-сайта. Иногда таким образом авторы хранят контент, который по тем или иным причинам они не хотят афишировать. Применив оператор intitle для поиска по точной фразе можно составить следующий запрос:

Intitle":"Index of /"" ключевое_слово «„.mp3“»

Такой запрос вернет список всех скрытых музыкальных файлов, в именах которых присутствует указанное ключевое слово. При необходимости запрос можно уточнить, ограничив сферу поиска конкретным сайтом, для чего служит оператор site: Может также пригодится оператор filetype, хотя обычно хорошие результаты дает простой поиск нужного расширения файла в тексте ссылок на служебных веб-страницах.

Яндекс

Основная особенность поисковых операторов Яндекса состоит в том, что с их помощью можно составлять очень гибкие запросы благодаря таким параметрам, как дистанция между словами, учет морфологии. Примерами использования этих операторов для быстрого и простого (а эффективный запрос не обязательно должен быть сложным) нахождения нужных сведений могут служить некоторые «тренировочные» вопросы кубка Яндекса по поиску в интернете. Главную роль здесь играет выделение ключевых слов, другими словами – формализация вопроса.

Попробуем выполнить следующее задание: «Как называлась команда, выбившая львовские «Карпаты» в 1970 году из розыгрыша. Кубка кубков?». Нам известен год (1970), название команды («Карпаты») и соревнования (Кубок кубков). Можно предположить, что на каком-либо из околофутбольных сайтов содержится таблица турнира или же просто сообщение о таком знаменательном событии в истории клуба. Логичным будет поискать фразу, в которой встречаются все выделенные нами ключевые слова:

карпаты&1970&кубок кубков

Ответ на свой вопрос мы получаем на первой же позиции результатов поиска системы Яндекс. Непосредственно в текстовой аннотации к ссылке сообщается, что львовский клуб «Карпаты» потерпел поражение от румынского клуба «Стяуа» в 1/16. Кубка кубков в 1970 году.

Filesearch

Swoogle

Приложение Б Краткие сведения о проектах

Академия Google

Сайт: scholar.google.com

Язык интерфейса: русский

Тип поиска: вертикальный научный

Удобство использования: хорошо

Качество поиска: хорошо

Разработчик: Google Inc

Поиск по научным сайтам

Сайт: science.flexum.ru

Язык интерфейса: русский

Тип поиска: вертикальный научный

Удобство использования: удовлетворительно

Качество поиска: хорошо

Разработчик: mv

Яндекс

Сайт:

Язык интерфейса: русский

Тип поиска: универсальный поиск

Удобство использования: отлично

Качество поиска: отлично

Разработчик: Яндекс

Яндекс Видео

Сайт: video.yandex.ru

Язык интерфейса: русский

Тип поиска: поиск видео

Удобство использования: хорошо

Качество поиска: отлично

Разработчик: Яндекс

Яндекс.Картинки

Сайт: yandex.ru

Язык интерфейса: русский

Тип поиска: поиск изображений

Удобство использования: отлично

Качество поиска: хорошо

Разработчик: Яндекс

AllPlus

Сайт:

Язык интерфейса: английский

Тип поиска: визуальный поиск

Удобство использования: отлично

Качество поиска: отлично

Разработчик: WebLib

aSearch.INFO

Сайт:

Язык интерфейса: английский

Тип поиска: локальный клиент для интернет-поиска

Удобство использования: хорошо

Качество поиска: удовлетворительно

Разработчик: Aida Good Will

AskNet

Сайт: asknet.ru

Язык интерфейса: русский

Тип поиска: семантический поиск

Удобство использования: удовлетворительно

Качество поиска: хорошо

Разработчик: ОАО «Интелл Сервис»

BASE

Сайт: -search.net

Язык интерфейса: английский, немецкий, испанский, польский

Тип поиска: вертикальный научный

Удобство использования: хорошо

Качество поиска: хорошо

Разработчик: Bielefeld University Library

Biblio

Сайт: biblio.redaktor.biz

Язык интерфейса: русский

Тип поиска: вертикальный поиск электронных книг

Удобство использования: удовлетворительно

Качество поиска: удовлетворительно

Разработчик: Biblio

Bing

Сайт:

Язык интерфейса: русский

Тип поиска: универсальный поиск

Удобство использования: отлично

Качество поиска: удовлетворительно

Разработчик: Microsoft Corp

Bing Видео

Сайт:

Язык интерфейса: русский

Тип поиска: поиск видео

Удобство использования: хорошо

Качество поиска: удовлетворительно

Разработчик: Microsoft Corp

Copernic Agent

Сайт:

Язык интерфейса: английский

Тип поиска: локальный клиент для интернет-поиска

Удобство использования: отлично

Качество поиска: хорошо

Разработчик: Copernic Inc

Dialogus

Сайт: dialogus.ru

Язык интерфейса: русский

Тип поиска: семантический поиск

Удобство использования: удовлетворительно

Качество поиска: хорошо

Разработчик: ОАО «Корпорация новых технологий»

eBdb

Сайт: ebdb.ru

Язык интерфейса: русский

Тип поиска: вертикальный поиск электронных книг

Удобство использования: хорошо

Качество поиска: отлично

Разработчик: eBdb

Exalead

Сайт:

Язык интерфейса: английский, французский

Тип поиска: универсальный поиск

Удобство использования: отлично

Качество поиска: отлично

Разработчик: Exalead & Dassault Systemes

Exefind

Сайт: exefind.com

Язык интерфейса: английский

Тип поиска: вертикальный поиск компьютерных программ

Удобство использования: удовлетворительно

Качество поиска: хорошо

Разработчик: Exefind

Falcons

Сайт: iws.seu.edu.cn/services/falcons/

Язык интерфейса: английский

Тип поиска: поиск по Semantic Web

Удобство использования: хорошо

Качество поиска: удовлетворительно

Разработчик: Institute of Web Science/Southeast University P. R. China

Flickr

Сайт:

Язык интерфейса: английский

Тип поиска: поиск изображений

Удобство использования: хорошо

Качество поиска: хорошо

Разработчик: Yahoo! Inc

Flexum

Сайт: flexum.ru

Язык интерфейса: русский

Тип поиска: персональный поиск

Удобство использования: отлично

Качество поиска: отлично

Разработчик: «Поисковые технологии»

Filesearch

Сайт:

Язык интерфейса: русский

Тип поиска: поиск по FTP-ресурсам

Удобство использования: хорошо

Качество поиска: удовлетворительно

Разработчик: Chertovy Kulichki Inc

FirstStop Web Search

Сайт:

Язык интерфейса: английский

Тип поиска: локальный клиент для интернет-поиска

Удобство использования: удовлетворительно

Качество поиска: удовлетворительно

Разработчик: FirstStop LLC

Fooooo

Сайт: ru.fooooo.com

Язык интерфейса: русский

Тип поиска: поиск видео

Удобство использования: хорошо

Качество поиска: хорошо

Разработчик: Bank of Innovation Inc

Google

Сайт:

Язык интерфейса: русский

Тип поиска: универсальный поиск

Удобство использования: отлично

Качество поиска: отлично

Разработчик: Google Inc

Google Видео

Сайт:

Язык интерфейса: русский

Тип поиска: поиск видео

Удобство использования: хорошо

Качество поиска: отлично

Разработчик: Google

Google Картинки

Сайт:

Язык интерфейса: русский

Тип поиска: поиск изображений

Удобство использования: отлично

Качество поиска: хорошо

Разработчик: Google Inc

Google Книги

Сайт: books.google.com

Язык интерфейса: русский

Тип поиска: вертикальный поиск по содержимому электронных книг

Удобство использования: хорошо

Качество поиска: хорошо

Разработчик: Google

Google Custom Search Engine

Сайт: /

Язык интерфейса: русский

Тип поиска: персональный поиск

Удобство использования: отлично

Качество поиска: отлично

Разработчик: Google

Hi2All

Сайт: hi2all.ru

Язык интерфейса: русский

Тип поиска: поиск видео

Удобство использования: хорошо

Качество поиска: хорошо

Разработчик: Hi2All

iMetaSearch

Сайт:

Язык интерфейса: английский

Тип поиска: локальный клиент для интернет-поиска

Удобство использования: хорошо

Качество поиска: удовлетворительно

Разработчик: Puffinware LLC

Imhonet

Сайт: imhonet.ru

Язык интерфейса: русский

Тип поиска: универсальный рекомендательный поиск

Удобство использования: отлично

Качество поиска: хорошо

Разработчик: ЗАО «Рекомендата»

Ixquick

Сайт: ixquick.com

Язык интерфейса: английский

Тип поиска: универсальный метапоиск с улучшенной приватностью просмотра

Удобство использования: хорошо

Качество поиска: хорошо

Разработчик: Ixquick

Jinni

Сайт:

Язык интерфейса: английский

Тип поиска: рекомендательный поиск видео

Удобство использования: отлично

Качество поиска: отлично

Разработчик: Jinni Inc

Last.fm

Сайт: lastfm.ru

Язык интерфейса: русский

Тип поиска: рекомендательный поиск музыки

Удобство использования: отлично

Качество поиска: отлично

Разработчик: Last.fm Ltd

LearnersTV

Сайт:

Язык интерфейса: английский

Тип поиска: поиск видео

Удобство использования: хорошо

Качество поиска: отлично

Разработчик: LearnersTV

LiveLib

Сайт:

Язык интерфейса: русский

Тип поиска: рекомендательный поиск книг

Удобство использования: хорошо

Качество поиска: хорошо

Разработчик: команда LiveLib

Macropool Web Research

Сайт:

Язык интерфейса: английский, немецкий

Тип поиска: менеджер архива веб-страниц

Удобство использования: хорошо

Качество поиска: отлично

Разработчик: Macropool GmbH

MetaProducts Inquiry

Сайт:

Язык интерфейса: русский

Тип поиска: менеджер архива веб-страниц

Удобство использования: отлично

Качество поиска: отлично

Разработчик: MetaProducts

Nigma

Сайт: nigma.ru

Язык интерфейса: русский

Тип поиска: универсальный метапоиск

Удобство использования: отлично

Качество поиска: отлично

Разработчик: «Интеллектуальная поисковая система Нигма. РФ»

Nigma Поиск книг

Сайт: nigma.ru/index.php?t=lib

Язык интерфейса: русский

Тип поиска: вертикальный поиск электронных книг

Удобство использования: хорошо

Качество поиска: удовлетворительно

Разработчик: «Интеллектуальная поисковая система Нигма. РФ»

NowTorrents

Сайт:

Язык интерфейса: английский

Тип поиска: поиск торрентов

Удобство использования: хорошо

Качество поиска: хорошо

Разработчик: NowTorrents

PlentyOfTorrents

Сайт: plentyoftorrents.com

Язык интерфейса: английский

Тип поиска: поиск торрентов

Удобство использования: удовлетворительно

Качество поиска: хорошо

Разработчик: PlentyOfTorrents

Quintura

Сайт: quintura.ru

Язык интерфейса: русский

Тип поиска: визуальный поиск

Удобство использования: отлично

Качество поиска: отлично

Разработчик: Qintura Inc

Qweas

Сайт: qweas.com

Язык интерфейса: английский

Тип поиска: вертикальный поиск компьютерных программ

Удобство использования: удовлетворительно

Качество поиска: хорошо

Разработчик: Qweas

Rapid Search Engine

Сайт: rapid-search-engine.com

Язык интерфейса: английский

Тип поиска: поиск по файловым хостингам

Удобство использования: хорошо

Качество поиска:

Разработчик: Rapid-search-engine

Retrievr

Сайт: labs.systemone.at/retrievr/

Язык интерфейса: английский

Тип поиска: поиск изображений

Удобство использования: хорошо

Качество поиска: хорошо

Разработчик: System One

RSSMicro

Сайт:

Язык интерфейса: английский

Тип поиска: поиск RSS-лент

Удобство использования: отлично

Качество поиска: отлично

Разработчик: RSSMicro.com

ScrapBook

Сайт: amb.vis.ne.jp/mozilla/scrapbook/

Язык интерфейса: русский

Тип поиска: менеджер архива веб-страниц

Удобство использования: отлично

Качество поиска: отлично

Разработчик: Gomita

ScrapeTorrent

Сайт: scrapetorrent.com

Язык интерфейса: английский

Тип поиска: поиск торрентов

Удобство использования: хорошо

Качество поиска: хорошо

Разработчик: ScrapeTorrent

ScienceResearch

Сайт:

Язык интерфейса: английский

Тип поиска: вертикальный научный

Удобство использования: отлично

Качество поиска: хорошо

Разработчик: Deep Web Technologies

Scirus

Сайт:

Язык интерфейса: английский

Тип поиска: вертикальный научный

Удобство использования: хорошо

Качество поиска: отлично

Разработчик: команда Elsevier

Scholar.ru

Сайт:

Язык интерфейса: русский

Тип поиска: вертикальный научный

Удобство использования: удовлетворительно

Качество поиска: удовлетворительно

Разработчик: команда Scholar.ru

Semantic Web Search

Сайт:

Язык интерфейса: английский

Тип поиска: поиск по Semantic Web

Удобство использования: удовлетворительно

Качество поиска: удовлетворительно

Разработчик: Intellidimension

Sig.ma

Сайт: sig.ma

Язык интерфейса: английский

Тип поиска: поиск по Semantic Web

Удобство использования: отлично

Качество поиска: хорошо

Разработчик: DERI

Sindice

Сайт:

Язык интерфейса: английский

Тип поиска: поиск по Semantic Web

Удобство использования: отлично

Качество поиска: хорошо

Разработчик: DERI

SoftSearch

Сайт: softsearch.ru

Язык интерфейса: русский

Тип поиска: вертикальный поиск компьютерных программ

Удобство использования: хорошо

Качество поиска: хорошо

Разработчик: SoftSearch

Spurl

Сайт: spurl.com

Язык интерфейса: английский

Тип поиска: рекомендательный поиск сайтов

Удобство использования: хорошо

Качество поиска: удовлетворительно

Разработчик: Spurl ehf

Swoogle

Сайт: swoogle.umbc.edu

Язык интерфейса: английский

Тип поиска: поиск по Semantic Web

Удобство использования: удовлетворительно

Качество поиска: хорошо

Разработчик: Ebiquity group/UMBC

Tagoo

Сайт: tagoo.ru

Язык интерфейса: русский

Тип поиска: поиск видео

Удобство использования: хорошо

Качество поиска: хорошо

Разработчик: Tagoo

Tiltomo

Сайт: tiltomo.com

Язык интерфейса: английский

Тип поиска: поиск изображений

Удобство использования: хорошо

Качество поиска: удовлетворительно

Разработчик: Tiltomo Team

Torrent Finder

Сайт: torrent-finder.com

Язык интерфейса: английский

Тип поиска: поиск торрентов

Удобство использования: хорошо

Качество поиска: хорошо

Разработчик: Torrent Finder

TorrentScan

Сайт: torrentscan.com/ru/

Язык интерфейса: русский

Тип поиска: поиск торрентов

Удобство использования: удовлетворительно

Качество поиска: хорошо

Разработчик: TorrentScan

Torrentz

Сайт:

Язык интерфейса: английский

Тип поиска: поиск торрентов

Удобство использования: хорошо

Качество поиска: хорошо

Разработчик: Torrentz

TouchGraph Google Browser

Сайт:

Язык интерфейса: английский

Тип поиска: визуальный поиск

Удобство использования: хорошо

Качество поиска: хорошо

Разработчик: TouchGraph LLC

Truveo

Сайт: ru.truveo.com

Язык интерфейса: русский

Тип поиска: поиск видео

Удобство использования: отлично

Качество поиска: отлично

Разработчик: Truveo Inc

Universe

Сайт: universe.daylife.com

Язык интерфейса: английский

Тип поиска: визуальный поиск

Удобство использования: удовлетворительно

Качество поиска: удовлетворительно

Разработчик: Daylife Inc

UniverTV

Сайт: univertv.ru

Язык интерфейса: русский

Тип поиска: поиск видео

Удобство использования: отлично

Качество поиска: отлично

Разработчик: UniverTV

VisiNav

Сайт: visinav.deri.org

Язык интерфейса: английский

Тип поиска: поиск по Semantic Web

Удобство использования: хорошо

Качество поиска: удовлетворительно

Разработчик: DERI

Watson

Сайт: watson.kmi.open.ac.uk

Язык интерфейса: английский

Тип поиска: поиск по Semantic Web

Удобство использования: удовлетворительно

Качество поиска: удовлетворительно

Разработчик: Knowledge Media Institute/The Open University

WikiMindMap

Сайт:

Язык интерфейса: английский

Тип поиска: визуальный поиск

Удобство использования: хорошо

Качество поиска: удовлетворительно

Разработчик: Felix Nyffenegger

Yippy

Сайт: search.yippy.com

Язык интерфейса: английский

Тип поиска: универсальный метапоиск

Удобство использования: хорошо

Качество поиска: хорошо

Разработчик: Yippy Inc

YouTorrent

Сайт:

Язык интерфейса: английский

Тип поиска: поиск торрентов

Удобство использования: удовлетворительно

Качество поиска: удовлетворительно

Разработчик: YouTorrent

Zotero

Сайт:

Язык интерфейса: русский

Тип поиска: менеджер архива веб-страниц

Удобство использования: отлично

Качество поиска: отлично

Разработчик: Center for History and New Media

Zuula

Сайт: zuula.com

Язык интерфейса: английский

Тип поиска: визуальный поиск

Удобство использования: удовлетворительно

Качество поиска: удовлетворительно

Разработчик: Zuula LLC

Оглавление

Введение

Глава 1 Универсальные интернет-поисковики

  Google

  Яндекс

  Bing

  Exalead

  Выводы и рекомендации

Глава 2 Вертикальный поиск

  Научный интернет-поиск

    Академия Google

    Scholar.ru

    Поиск на научных сайтах с использованием платформы Flexum «Поиск по научным сайтам»

    Scirus

    ScienceResearch

    BASE

  Поиск книг

    Сервис Google Книги

    eBdb

    Nigma

    Biblio

  Поиск программ

    SoftSearch

    Exefind

    Qweas

  Выводы и рекомендации

Глава 3 Метапоиск

  Nigma

  Yippy

  Системы «классического» метапоиска

  Ixquick

  Выводы и рекомендации

Глава 4 Семантические и визуальные интернет-поисковики

  Dialogus

  AskNet

  Экспериментальные интерфейсы интернет-поисковиков

    Zuula

    Quintura

  AllPlus

  TouchGraph Google Browser

  WikiMindMap

  Universe

  Выводы и рекомендации

Глава 5 Рекомендательные машины

  Imhonet

  Spurl

  LiveLib

  Last.fm

  Jinni

  Выводы и рекомендации

Глава 6 Персональные поисковики

  Google Custom Search Engine

  Flexum

  Выводы и рекомендации

Глава 7 Поиск изображений

  Google Картинки

  Яндекс.Картинки

  Flickr

  CBIR-системы

    Tiltomo

    Retrievr

  Выводы и рекомендации

Глава 8 Поиск видео

  Вертикальные базы универсальных поисковиков

    Google Видео

    Яндекс Видео

    Bing Видео

  Специализированный видеопоиск

    Truveo

    Fooooo

    Hi2All

    Tagoo

    UniverTV

    LearnersTV

  Выводы и рекомендации

Глава 9 Поиск «скрытого» контента

  Поиск FTP-ресурсов

    FileSearch.ru

  Поиск на файловом хостинге Rapidshare

    Rapid Search Engine

  Метапоиск торрент-ресурсов

    TorrentScan

    PlentyOfTorrents

    Torrent Finder

    YouTorrent

    ScrapeTorrent

    Torrentz

    NowTorrents

  RSS-поиск

  Выводы и рекомендации

Глава 10 Поиск для Web 3.0

  Swoogle

  VisiNav

  Watson

  Falcons

  Semantic Web Search

  Sindice/Sig.ma

  Выводы и рекомендации

Глава 11 Программы-помощники

  Программы для метапоиска в интернете

    FirstStop WebSearch

    Copernic Agent

    aSearch.INFO

    iMetaSearch

  Менеджеры архивов веб-страниц

    ScrapBook

    Zotero

    MetaProducts Inquiry

    Macropool WebResearch

  Выводы и рекомендации

Приложение А Основные поисковые операторы

  Google

  Яндекс

  Filesearch

  Swoogle

Приложение Б Краткие сведения о проектах Fueled by Johannes Gensfleisch zur Laden zum Gutenberg