Почему крайне необходим новый (и лучший) Google

3 января 2011 Вайвик Вадхва

Спам

В этом семестре мои студенты на факультете информатики Калифорнийского университета изучали систему венчурного капитала с точки зрения основателей компании. Мы подготовили подробное исследование, в рамках которого выбрали 500 компаний из венчурной базы данных и начали связываться с основателями. Благодаря Риду Хоффману мы смогли получить премиум-доступ к LinkedIn, что дало нам огромное количество ценной информации. Однако у одних основателей компаний не было учетной записи в LinkedIn, другие просто не отвечали на наши внутренние сообщения. Поэтому я попросил студентов поискать информацию о карьере основателей год за годом с помощью Google, и таким образом получить представление об их трудовой деятельности.

Оказалось, что сегодня сделать такой поиск в Google уже нельзя. Google превратился в джунгли – тропический рай для спаммеров и маркетологов. Почти каждый результат поиска ведет либо на сайт, где от вас требуется нажимать на ссылки и делать ему деньги, либо это спонсорские сайты, которые делают деньги для Google. Сделать какой-то осмысленный хронологический поиск просто невозможно.

В итоге мы воспользовались поисковым инструментом под названием Blekko. Это новая технология, и пока она еще далека от совершенства. Однако она инновационна и хорошо заполняет вакуум конкуренции против Google (и Bing).

Blekko был создан в 2007 году Ричем Скрентой, Томом Аннау, Майком Марксоном и несколькими бывшими инженерами из Google и Yahoo. До этого Скрента отметился проектами Topix и Open Directory Project для Netscape. Для Blekko его команда создала новую распределенную платформу, производящую мониторинг Веба и формирование поисковых индексов. За Blekko стоят известные ангелы, такие как Рон Конвей, Марк Андриссен, Джефф Клавье и Майк Мэйплз. Проект получил венчурных средств на $24 млн, включая $14 млн от компаний U.S. Venture Partners и CMEA.

Blekko позволяет искать традиционным способом, как у Google, и плюс к этому есть возможность уточнить запрос с помощью так называемого «слештега» в виде косой черты. Таким образом можно отфильтровать информацию по какому-то критерию. Слештеги представляют собой списки сайтов на определенную тему, обычно их отбирают вручную. Темы могут быть, например, здоровье, финансы, спорт, технологии или колледжи. Если вы ищете информацию о свином гриппе, вы можете добавить к запросу «/health», и тогда поиск будет производиться только среди примерно 70 самых релевантных сайтов, а не десятков тысяч спам-сайтов. В формировании списков участвуют сторонние редакторы, примерно как в Википедии. Один пользователь Blekko создал слештег из 2100 сайтов колледжей, и теперь любой желающий может делать целенаправленный поиск по всем институтам, где преподается, скажем, молекулярная биология. И большинство поисковых запросов именно такие – их можно ограничить несколькими тысячами релевантных сайтов. Если отфильтровать горы мусора, результаты становятся гораздо релевантнее и достовернее.

В моем конкретном случае самой полезной функцией оказалась сортировка результатов. Например, если поиск делается по дате, как у моих студентов, то в Blekko можно просто добавить слештег «/date» к концу запроса и получить замечательный список результатов в хронологическом порядке. В Google тоже есть опция поиска в заданном временном промежутке, но там учитывается дата индексации, а не создания сайта, что делает эту опцию практически бесполезной. В Blekko же стремятся индексировать страницы именно по дате их создания (путем анализа HTML-кода). Если, скажем, я ищу статьи, где упоминается мое имя, я могу сделать стандартный поиск; отсортировать результаты в хронологическом порядке; искать только в технических блогах; искать в любых блогах, но за определенный год; искать только в области экономики. Попробуйте сделать что-то подобное в Google или Bing.

Проблема в том, что объем интернет-контента растет в экспоненциальной прогрессии, но подавляющее большинство этого контента представляет собой спам. Такая ситуация создана беспринципными фирмами, умеющими манипулировать системой рейтинга Google для выведения своих сайтов в верхние результаты поиска. Когда вы посещаете такие сайты, вас переводят на сайты других компаний, которые хотят продавать вам свои товары. (А спаммеры получают деньги за каждый щелчок.) Об этом занимательно рассказал блоггер Пол Кедроски в истории о том, как он покупал посудомоечную машину. Он искал одним способом, другим, третьим, но так ничего и не добился. В итоге Пол пришел к грустному выводу: «В том, что касается обзоров основной бытовой техники, весь Веб представляет собой один сплошной спам».

Компания MBT-retail:
техника для кухни,интернет-магазин.
Большой ассортимент, доставка.

И эта проблема, к сожалению, касается далеко не только обзоров бытовой техники. Почти любой популярный поисковый запрос ведет в темный бандитский переулок.

Создание контента – это крупный бизнес, в котором участвуют крупные игроки. Например, компания Associated Content, выпускающая в месяц 10 тыс. новых статей, в 2010 году была куплена Yahoo за $100 млн. В 2009 году эта компания получила свыше $200 млн выручки и планировала размещение акций на сумму в $1,5 млрд. Весь этот контент вы и читаете на мусорных сайтах, заполонивших Интернет, – тех самых, которые выходят на первых строчках поиска в Google.

Идет война за Веб, и мы ее проигрываем. Нам нужны альтернативные способы поиска нужной нам информации. Я очень надеюсь, что эту задачу смогут решить Blekko и новое поколение стартапов, которые сделают с Google то, что Google сделала с Вебом в конце 1990-х годов – уберут весь спам и мусор.

Print Friendly

Об авторе

Вайвик ВадхваВайвик Вадхва (Vivek Wadhwa) – бывший предприниматель, создатель двух компаний, сейчас профессор, вице-президент Singularity University, преподаватель факультета информатики Калифорнийского университета, старший научный сотрудник юридического факультета Гарвардского университета, директор по исследованиям Центра предпринимательства при Дьюкском университете.
  1. Дмитрий
    3 января 2011 в 18:24 | #1

    +100500

    (тут это уместно ИМХО)

  2. MediaTarget
    4 января 2011 в 00:46 | #2

    Слештеги от спама никак не защищают.

    Ручное ограничение числа сайтов только популярными так же имеет немало недостатков, не уверен, что хуже — найти акуальную информацию на 10-й странице поиска или не найти её вообще. Бывает, что второе хуже. Так же, нельзя гарантировать, что ограничение выдачи трастовыми сайтами избавит от спама, ведь среди них многие содержать UGC, а некоотрые состоят из него целиком (при этом, это сайты разных типов, социальные сети, фотохостинги, видеохостинги, сайты социальных новостей и т.д.). В целом, можно сказать, что и у Гугла сейчас достаточный приоритерт для трастовых сайтов, а уж поднять его совершенно не проблема.

    В общем и целом, у Blekko нет принципиальных преимуществ перед Гулом или кем-либо ещё. А главное, он не заспамлен лишь потому что пока, как неуловимый Джо, никому не нужен. На продвижение в Гугле тратятся миллиарды долларов, а кто заказывает продвижение в Blekko? И есть ли у него защита от спамеров, кроме как ограничение выдачи сайтами, отобранными вручную?

  3. Jorg
    4 января 2011 в 10:41 | #3

    Ну естественно, сейчас прибегут сеошники и будут с жаром доказывать, что их работа крайне важна и востребована человечеством, без гуглов и яндексов всем наступит каюк, а блекко и им подобные — порождения дьявола.

  4. MediaTarget
    4 января 2011 в 16:56 | #4

    Jorg, кажется, моё сообщение говорило не о важности для человечества SEO, а о том, что сделать хорошую выдачу, когда её не пытаются заспамить десятки тысяч оптимизиторов, гораздо проще. Будете спорить?

Spam protection by WP Captcha-Free