Поисковая система Google (www.google.com) предоставляет множество возможностей для поиска. Все эти возможности – неоценимый инструмент поиска для пользователя впервые попавшего в Интернет и в то же время еще более мощное оружие вторжения и разрушения в руках людей с злыми намерениями, включая не только хакеров, но и некомпьютерных преступников и даже террористов.
(9475 просмотров за 1 неделю)

Денис Батранков
denisNOSPAMixi.ru

Внимание: Эта статья не руководство к действию. Эта статья написана для Вас, администраторы WEB серверов, чтобы у Вас пропало ложное ощущение, что Вы в безопасности, и Вы, наконец, поняли коварность этого метода получения информации и взялись за защиту своего сайта.

Введение

Я, например, за 0.14 секунд нашел 1670 страниц!

2. Введем другую строку, например:

немного меньше, но этого уже достаточно для свободного скачивания и для подбора паролей (при помощи того же John The Ripper). Ниже я приведу еще ряд примеров.

Итак, Вам надо осознать, что поисковая машина Google посетила большинство из сайтов Интернет и сохранила в кэше информацию, содержащуюся на них. Эта кэшированная информация позволяет получить информацию о сайте и о содержимом сайта без прямого подключения к сайту, лишь копаясь в той информации, которая хранится внутри Google. Причем, если информация на сайте уже недоступна, то информация в кэше еще, возможно, сохранилась. Все что нужно для этого метода: знать некоторые ключевые слова Google. Этот технический прием называется Google Hacking.

Впервые информация о Google Hacking появилась на рассылке Bugtruck еще 3 года назад. В 2001 году эта тема была поднята одним французским студентом. Вот ссылка на это письмо http://www.cotse.com/mailing-lists/bugtraq/2001/Nov/0129.html . В нем приведены первые примеры таких запросов:

1) Index of /admin
2) Index of /password
3) Index of /mail
4) Index of / +banques +filetype:xls (for france...)
5) Index of / +passwd
6) Index of / password.txt

Нашумела эта тема в англо-читающей части Интернета совершенно недавно: после статьи Johnny Long вышедшей 7 мая 2004 года. Для более полного изучения Google Hacking советую зайти на сайт этого автора http://johnny.ihackstuff.com . В этой статье я лишь хочу ввести вас в курс дела.

Кем это может быть использовано:
- Журналисты, шпионы и все те люди, кто любит совать нос не в свои дела, могут использовать это для поиска компромата.
- Хакеры, разыскивающие подходящие цели для взлома.

Как работает Google.

Для продолжения разговора напомню некоторые из ключевых слов, используемых в запросах Google.

Поиск при помощи знака +

Google исключает из поиска неважные, по его мнению, слова. Например вопросительные слова, предлоги и артикли в английском языке: например are, of, where. В русском языке Google, похоже, все слова считает важными. Если слово исключается из поиска, то Google пишет об этом. Чтобы Google начал искать страницы с этими словами перед ними нужно добавить знак + без пробела перед словом. Например:

ace +of base

Поиск при помощи знака –

Если Google находит большое количество станиц, из которых необходимо исключить страницы с определенной тематикой, то можно заставить Google искать только страницы, на которых нет определенных слов. Для этого надо указать эти слова, поставив перед каждым знак – без пробела перед словом. Например:

рыбалка -водка

Поиск при помощи знака ~

Возможно, что вы захотите найти не только указанное слово, но также и его синонимы. Для этого перед словом укажите символ ~.

Поиск точной фразы при помощи двойных кавычек

Google ищет на каждой странице все вхождения слов, которые вы написали в строке запроса, причем ему неважно взаимное расположение слов, главное чтобы все указанные слова были на странице одновременно (это действие по умолчанию). Чтобы найти точную фразу – ее нужно взять в кавычки. Например:

"подставка для книг"

Чтобы было хоть одно из указанных слов нужно указать логическую операцию явно: OR. Например:

книга безопасность OR защита

Кроме того в строке поиска можно использовать знак * для обозначения любого слова и. для обозначения любого символа.

Поиск слов при помощи дополнительных операторов

Существуют поисковые операторы, которые указываются в строке поиска в формате:

operator:search_term

Пробелы рядом с двоеточием не нужны. Если вы вставите пробел после двоеточия, то увидите сообщение об ошибке, а перед ним, то Google будет использовать их как обычную строку для поиска.
Существуют группы дополнительных операторов поиска: языки - указывают на каком языке вы хотите увидеть результат, дата - ограничивают результаты за прошедшие три, шесть или 12 месяцев, вхождения - указывают в каком месте документа нужно искать строку: везде, в заголовке, в URL, домены - производить поиск по указанному сайту или наоборот исключить его из поиска, безопасный поиск - блокируют сайты содержащие указанный тип информации и удаляют их со страниц результатов поиска.
При этом некоторые операторы не нуждаются в дополнительном параметре, например запрос "cache:www.google.com " может быть вызван, как полноценная строка для поиска, а некоторые ключевые слова, наоборот, требуют наличия слова для поиска, например " site:www.google.com help ". В свете нашей тематики посмотрим на следующие операторы:

Оператор site: ограничивает поиск только по указанному сайту, причем можно указать не только доменное имя, но и IP адрес. Например, введите:

Оператор filetype: ограничивает поиск в файлах определенного типа. Например:

На дату выхода статьи Googlе может искать внутри 13 различных форматов файлов:

• Adobe Portable Document Format (pdf)
• Adobe PostScript (ps)
• Lotus 1-2-3 (wk1, wk2, wk3, wk4, wk5, wki, wks, wku)
• Lotus WordPro (lwp)
• MacWrite (mw)
• Microsoft Excel (xls)
• Microsoft PowerPoint (ppt)
• Microsoft Word (doc)
• Microsoft Works (wks, wps, wdb)
• Microsoft Write (wri)
• Rich Text Format (rtf)
• Shockwave Flash (swf)
• Text (ans, txt)

Оператор link: показывает все страницы, которые указывают на указанную страницу.
Наверно всегда интересно посмотреть, как много мест в Интернете знают о тебе. Пробуем:

Оператор cache: показывает версию сайта в кеше Google, как она выглядела, когда Google последний раз посещал эту страницу. Берем любой, часто меняющийся сайт и смотрим:

Оператор intitle: ищет указанное слово в заголовке страницы. Оператор allintitle: является расширением – он ищет все указанные несколько слов в заголовке страницы. Сравните:

intitle:полет на марс
intitle:полет intitle:на intitle:марс
allintitle:полет на марс

Оператор inurl: заставляет Google показать все страницы содержащие в URL указанную строку. Оператор allinurl: ищет все слова в URL. Например:

allinurl:acid acid_stat_alerts.php

Эта команда особенно полезна для тех, у кого нет SNORT – хоть смогут посмотреть, как он работает на реальной системе.

Методы взлома при помощи Google

Итак, мы выяснили что, используя комбинацию вышеперечисленных операторов и ключевых слов, любой человек может заняться сбором нужной информации и поиском уязвимостей. Эти технические приемы часто называют Google Hacking.

Карта сайта

Можно использовать оператор site: для просмотра всех ссылок, которые Google нашел на сайте. Обычно страницы, которые динамически создаются скриптами, при помощи параметров не индексируются, поэтому некоторые сайты используют ISAPI фильтры, чтобы ссылки были не в виде /article.asp?num=10&dst=5 , а со слешами /article/abc/num/10/dst/5 . Это сделано для того, чтобы сайт вообще индексировался поисковиками.

Попробуем:

site:www.whitehouse.gov whitehouse

Google думает, что каждая страница сайта содержит слово whitehouse. Этим мы и пользуемся, чтобы получить все страницы.
Есть и упрощенный вариант:

site:whitehouse.gov

И что самое приятное - товарищи с whitehouse.gov даже не узнали, что мы посмотрели на структуру их сайта и даже заглянули в кэшированные странички, которые скачал себе Google. Это может быть использовано для изучения структуры сайтов и просмотра содержимого, оставаясь незамеченным до поры до времени.

Просмотр списка файлов в директориях

WEB серверы могут показывать списки директорий сервера вместо обычных HTML страниц. Обычно это делается для того, чтобы пользователи выбирали и скачивали определенные файлы. Однако во многих случаях у администраторов нет цели показать содержимое директории. Это возникает вследствие неправильной конфигурации сервера или отсутствия главной страницы в директории. В результате у хакера появляется шанс найти что-нибудь интересное в директории и воспользоваться этим для своих целей. Чтобы найти все такие страницы, достаточно заметить, что все они содержат в своем заголовке слова: index of. Но поскольку слова index of содержат не только такие страницы, то нужно уточнить запрос и учесть ключевые слова на самой странице, поэтому нам подойдут запросы вида:

intitle:index.of parent directory
intitle:index.of name size

Поскольку в основном листинги директорий сделаны намеренно, то вам, возможно, трудно будет найти ошибочно выведенные листинги с первого раза. Но, по крайней мере, вы уже сможете использовать листинги для определения версии WEB сервера, как описано ниже.

Получение версии WEB сервера.

Знание версии WEB сервера всегда полезно перед началом любой атака хакера. Опять же благодаря Google можно получить эту информацию без подключения к серверу. Если внимательно посмотреть на листинг директории, то можно увидеть, что там выводится имя WEB сервера и его версия.

Apache1.3.29 - ProXad Server at trf296.free.fr Port 80

Опытный администратор может подменить эту информацию, но, как правило, она соответствует истине. Таким образом, чтобы получить эту информацию достаточно послать запрос:

intitle:index.of server.at

Чтобы получить информацию для конкретного сервера уточняем запрос:

intitle:index.of server.at site:ibm.com

Или наоборот ищем сервера работающие на определенной версии сервера:

intitle:index.of Apache/2.0.40 Server at

Эта техника может быть использована хакером для поиска жертвы. Если у него, к примеру, есть эксплойт для определенной версии WEB сервера, то он может найти его и попробовать имеющийся эксплойт.

Также можно получить версию сервера, просматривая страницы, которые по умолчанию устанавливаются при установке свежей версии WEB сервера. Например, чтобы увидеть тестовую страницу Apache 1.2.6 достаточно набрать

intitle:Test.Page.for.Apache it.worked!

Мало того, некоторые операционные системы при установке сразу ставят и запускают WEB сервер. При этом некоторые пользователи даже об этом не подозревают. Естественно если вы увидите, что кто-то не удалил страницу по умолчанию, то логично предположить, что компьютер вообще не подвергался какой-либо настройке и, вероятно, уязвим для атак.

Попробуйте найти страницы IIS 5.0

allintitle:Welcome to Windows 2000 Internet Services

В случае с IIS можно определить не только версию сервера, но и версию Windows и Service Pack.

Еще одним способом определения версии WEB сервера является поиск руководств (страниц подсказок) и примеров, которые могут быть установлены на сайте по умолчанию. Хакеры нашли достаточно много способов использовать эти компоненты, чтобы получить привилегированный доступ к сайту. Именно поэтому нужно на боевом сайте удалить эти компоненты. Не говоря уже о том, что по наличию этих компонентов можно получить информацию о типе сервера и его версии. Например, найдем руководство по apache:

inurl:manual apache directives modules

Использование Google как CGI сканера.

CGI сканер или WEB сканер – утилита для поиска уязвимых скриптов и программ на сервере жертвы. Эти утилиты должны знать что искать, для этого у них есть целый список уязвимых файлов, например:

/cgi-bin/cgiemail/uargg.txt
/random_banner/index.cgi
/random_banner/index.cgi
/cgi-bin/mailview.cgi
/cgi-bin/maillist.cgi
/cgi-bin/userreg.cgi

/iissamples/ISSamples/SQLQHit.asp
/SiteServer/admin/findvserver.asp
/scripts/cphost.dll
/cgi-bin/finger.cgi

Мы может найти каждый из этих файлов с помощью Google, используя дополнительно с именем файла в строке поиска слова index of или inurl: мы можем найти сайты с уязвимыми скриптами, например:

allinurl:/random_banner/index.cgi

Пользуясь дополнительными знаниями, хакер может использовать уязвимость скрипта и с помощью этой уязвимости заставить скрипт выдать любой файл, хранящийся на сервере. Например файл паролей.

Как защитить себя от взлома через Google.

1. Не выкладывайте важные данные на WEB сервер.

Даже если вы выложили данные временно, то вы можете забыть об этом или кто-то успеет найти и забрать эти данные пока вы их не стерли. Не делайте так. Есть много других способов передачи данных, защищающих их от кражи.

2. Проверьте свой сайт.

Используйте описанные методы, для исследования своего сайта. Проверяйте периодически свой сайт новыми методами, которые появляются на сайте http://johnny.ihackstuff.com . Помните, что если вы хотите автоматизировать свои действия, то нужно получить специальное разрешение от Google. Если внимательно прочитать http://www.google.com/terms_of_service.html , то вы увидите фразу: You may not send automated queries of any sort to Google"s system without express permission in advance from Google.

3. Возможно, вам не нужно чтобы Google индексировал ваш сайт или его часть.

Google позволяет удалить ссылку на свой сайт или его часть из своей базы, а также удалить страницы из кэша. Кроме того вы можете запретить поиск изображений на вашем сайте, запретить показывать короткие фрагменты страниц в результатах поиска Все возможности по удалению сайта описаны на сранице http://www.google.com/remove.html . Для этого вы должны подтвердить, что вы действительно владелец этого сайта или вставить на страницу теги или

4. Используйте robots.txt

Известно, что поисковые машины заглядывают в файл robots.txt лежащий в корне сайта и не индексируют те части, которые помечены словом Disallow . Вы можете воспользоваться этим, для того чтобы часть сайта не индексировалась. Например, чтобы не индексировался весь сайт, создайте файл robots.txt содержащий две строчки:

User-agent: *
Disallow: /

Что еще бывает

Чтобы жизнь вам медом не казалась, скажу напоследок, что существуют сайты, которые следят за теми людьми, которые, используя вышеизложенные выше методы, разыскивают дыры в скриптах и WEB серверах. Примером такой страницы является

Приложение.

Немного сладкого. Попробуйте сами что-нибудь из следующего списка:

1. #mysql dump filetype:sql - поиск дампов баз данных mySQL
2. Host Vulnerability Summary Report - покажет вам какие уязвимости нашли другие люди
3. phpMyAdmin running on inurl:main.php - это заставит закрыть управление через панель phpmyadmin
4. not for distribution confidential
5. Request Details Control Tree Server Variables
6. Running in Child mode
7. This report was generated by WebLog
8. intitle:index.of cgiirc.config
9. filetype:conf inurl:firewall -intitle:cvs – может кому нужны кофигурационные файлы файрволов? :)
10. intitle:index.of finances.xls – мда....
11. intitle:Index of dbconvert.exe chats – логи icq чата
12. intext:Tobias Oetiker traffic analysis
13. intitle:Usage Statistics for Generated by Webalizer
14. intitle:statistics of advanced web statistics
15. intitle:index.of ws_ftp.ini – конфиг ws ftp
16. inurl:ipsec.secrets holds shared secrets – секретный ключ – хорошая находка
17. inurl:main.php Welcome to phpMyAdmin
18. inurl:server-info Apache Server Information
19. site:edu admin grades
20. ORA-00921: unexpected end of SQL command – получаем пути
21. intitle:index.of trillian.ini
22. intitle:Index of pwd.db
23. intitle:index.of people.lst
24. intitle:index.of master.passwd
25. inurl:passlist.txt
26. intitle:Index of .mysql_history
27. intitle:index of intext:globals.inc
28. intitle:index.of administrators.pwd
29. intitle:Index.of etc shadow
30. intitle:index.of secring.pgp
31. inurl:config.php dbuname dbpass
32. inurl:perform filetype:ini

Каждая статья опубликованная нами на сайте сделанного на WordPress имеет набор стандартных реквизитов, которыми являются авторство поста и дата публикации. В данном уроке мы научимся убирать дату публикации, ссылку на автора или же имя самого автора. Тема важна тем что помогает избежать дублирования страниц и контента что значительно поможет нам в поисковом продвижении.

Редактирования отображения даты и удаление ссылки на автора статьи это процессы оптимизации сайта, чем больше вы проделаете подобных изменений тем больше выхлоп вы получите в итоге.

Навигация по статье:

Чем плохо иметь ссылку на автора публикации?

Сначала давайте выясним зачем нам это нужно и нужно ли вообще. Ссылка на автора статьи бывает полезной когда авторов много, но когда мы являемся единственным владельцем и автором статей тогда это не только не приносит пользы, но и наносит вред нашему сайту.

Представьте себе ситуацию, которая кстати очень часто встречается у новичков при работе с WordPress, на нашем блоге есть 100 статей одного и того же автора. И естественно все 100 статей имеют свою страницу с уникальным контентом. Что же произойдет когда мы перейдем по ссылке на автора статьи? Нам откроется информация имеющаяся о нем и… все его статьи в виде анонсов. Выходит что у нас есть 100 уникальных постов и одна страница автора которая дублирует все наши страницы и их текст.

С точки зрения поисковых роботов это будет считаться копированием контента на страницах сайта, что вызовет у поисковика недоверие к вашим текстам так как они очень не любят одинаковый текст. Ваши статьи могут полностью выпасть из их индекса, что категорически нам не нужно.

Как убрать ссылку на автора статьи и дату публикации WordPress?

Все приведенные ниже процедуры мы можем так же посмотреть в видео уроке по данной теме:

Наши сайты на WordPress формируются с учетом выбранного нами шаблона. мы изучали в другом уроке. Наши страницы формируются «на лету» и состоят из мелких частей программного кода. Как же нам найти интересующий нас участок для его дальнейшего изменения?

Для начала откроем нашу страницу с публикацией. Затем наведем курсор на интересующий нас элемент и посмотрим его код.

В зависимости каким браузером вы пользуетесь, вам откроется исходник страницы для просмотра и выделенный в том месте который мы искали.

Итак, разберем все по порядку:

1. Главный блок в котором размещено название статьи, дата, автор и ссылка на его статьи.
2. Div class=»entry-meta» это именно тот слой который нас интересует на данном этапе.
3. Span class=»author vcard» так же является блочным элементом более низкого уровня в котором размещается наша ссылка.
4. Непосредственно сама ссылка.

Выяснив названия классов нужных нам блоков кода приступаем к следующему шагу.

Убираем ссылку на автора статьи и дату публикации WordPress

Для того что бы убрать ссылку автора статьи , открываем редактор нашей темы с , которую мы разбирали ранее. А еще лучше скачать файл index.php и content.php из нашего хостинга, что бы можно было восстановить при необходимости нашу тему.

Открываем с редактора файл index.php и ищем нужные нам div-ы, если таких мы не обнаружили, открываем файл content.php и находим их там. Все зависит от того как разработчики темы настроили ее.

Файлы могут называться и по другому по этому нужно знать как найти то что нужно, заходим в редактор нажимаем комбинацию клавиш Ctrl + F и вводим в поиск искомое название.

После того как нашли нужный нам класс блока анализируем запись внутри его.

Когда мы нашли интересующий нас div, в нашем случае это div class=»entry-meta» в котором и размещается наши дата и автор статьи нам нужно определиться что мы конкретно хотим. Если мы хотим полностью убрать дату и автора при публикации тогда просто удаляем выделенный в квадрат фрагмент кода, сохраняем наш файл и забываем о данной проблеме.

Так же существует альтернативный, более , о котором написано в отдельной статье. В случае возникновения проблем с поиском рекомендую попробовать именно поиск через редактор.

Как мы можем видеть нашу дату и автора выводит функция php generate_posted_on() которую нам следует найти в другом файле, в моем случае это template-tags.php в вашем это может быть другой файл и вам придется перебрать все файлы в поиске описания функции, таким же способом как мы искали класс дива.

Нашли? Молодцы, теперь нас интересует сама функция. Если мы хотим удалить дату публикации тогда удаляем фрагмент выделенный под номером один, если дата нас не интересует тогда переходим ко второму фрагменту и разбираем код.

Если вы хорошо разбираетесь в коде тогда вы можете изменять и саму функцию, но это крайне не рекомендуется.

Часто задаваемые вопросы:

Стоит ли полностью удалять дату публикации и автора на блоге WordPress?

Ответ однозначный, НЕТ. Все дело в том что дата и автор статьи участвует в формировании структуры страницы. Другими словами убрав полностью дату и автора вы лишитесь двух необходимых элементов структурирования данных, так необходимых вашему сайту. Это не слова из воздуха, за наличием этих данных следят поисковые системы, и предупреждают вас о необходимости их присутствия.

Зачем убирать ссылку на автора в WordPress?

Убирая ссылку вы «убиваете» сразу несколько зайцев одним выстрелом. Во первых удаляете ненужную вам страницу, которая однозначно создаст дублирование контента, второе это лишаетесь лишнего перемещения веса с одной страницы на совершенно ненужную страницу автора.

Вот и все что я хотел рассказать в этом , возникнут вопросы пишите, обязательно поможем.

Имеет ужасную привычку напоминать вам о всем, что вы когда-то публиковали. Cкорее всего, в темных закоулках вашей Хроники есть немало записей, о которых вы уже и не помните. Настало время удалить их раз и навсегда.

Проверка Хроники

В первую очередь, убедитесь, что вы знаете, какой вашу Хронику видят обычные пользователи (те, кто не является вашим другом в Facebook). Для этого перейдите в свою Хронику, нажмите на иконку с замком, в пункте «Кто может видеть мои материалы?» выберите «Просмотреть как», и вы увидите следующее:

Хорошо все просмотрите, и если вам что-то не понравится, нажмите на дату под вашим именем, затем на иконку глобуса, и смените пункт «Доступно всем» на «Друзья», «Только я» или «Настройки пользователя». Кроме того, можно полностью удалить запись, выбрав соответствующий пункт после нажатия на стрелку в правом верхнем углу.

Скрыть старые публичные записи

Если вы хотите скрыть сразу много публичных записей, то вы удивитесь, что в Facebook есть специальный инструмент для этого.

Нажмите на замок настроек конфиденциальности в правом верхнем углу страницы, выберите «Смотрите другие настройки» и нажмите «Ограничьте доступ к прежним публикациям». Прочитайте появившееся сообщение и нажмите «Применить данные ограничения к прошлым публикациям», если хотите, чтобы все ваши старые публикации могли видеть только друзья.

Изменить настройки Хроники

Далее давайте убедимся, что настройки Хроники соответствуют вашим предпочтениям. Снова нажмите на замок настроек конфиденциальности в правом верхнем углу, выберите «Смотрите другие настройки» и нажмите на вкладку «Хроника и метки» на панели слева.

Проверьте, чтобы в первом, четвертом, пятом и седьмом пунктах было установлено «Друзья» или то, что вы выберете сами:

Более тщательная очистка Facebook

Если этих советов вам недостаточно, можно воспользоваться одним из расширений для браузера Chrome, например Facebook Post Manager . Тем не менее, такие программы могут вести себя чересчур агрессивно, поэтому будьте внимательнее при их использовании.

Готово! Вы очистили свою Хронику от старых забытых публикаций. Теперь вы можете жить спокойно и не волноваться, что кто-то наткнется на компрометирующее вас изображение или статус, который вы опубликовали в 2009 году.

Представьте, что вы получили возможность собирать и анализировать маркетинговые идеи конкурентов, не проводя полноценный аудит их сайтов. Разве не здорово? Просто подумайте, какие возможности это откроет для вашего интернет-маркетинга и продвижения в сети. Зная «козыри» в рукавах конкурентов, вы сможете создавать более релевантный контент, получать больше органического трафика и повышать конверсии.

Звучит неплохо, не так ли? Тогда внимание — предлагаем секретное оружие, позволяющее подсмотреть идеи конкурентов за считанные секунды. Это оружие на 100% бесплатно — любой игрок на рынке может его применить. Вы наверняка знаете, о чем речь. И наверняка используете эту платформу каждый день. Потому, что секретное оружие, о котором мы говорим — это операторы .

Что такое операторы поиска?

Операторы поиска Google — это команды и символы, которые ограничивают или расширяют пространство вашего поиска. Они могут использоваться практически для любых целей, включая исследования конкурентов. Если ваши конкуренты не настолько известны, чтобы сразу появляться наверху выдачи, то традиционный поиск будет не слишком полезен — много времени уйдет на скроллинг результатов.

Когда пространство поиска нужно ограничить, вам помогут поисковые операторы. Они пригодятся для SEO, контент-маркетинга и многих других сфер. И, в отличие от специализированных программ и утилит, поисковые операторы доступны каждому прямо в строке поисковой системы.

Представим, что вы — небольшая веб-студия, которая помогает маркетологам и планирует оказывать услуги по работе с дешевыми или бесплатными DIY-сервисами, наподобие Canva. Как быстро изучить их контент, маркетинговые стратегии и аудиторию?

Анализ всего сайта — неподъемная задача. Конечно, можно просто ввести в поиск «конкуренты Canva». Но объем выдачи по такому запросу невозможно проанализировать тщательно:

Вы получите слишком много результатов — 221 000 ссылок, если быть точным. Вам предстоит часами скроллить их ряды, чтобы найти нужную вам информацию. Как сразу получить выжимку самых релевантных сайтов по запросу? Здесь вам и помогут операторы поиска.

Если сомневаетесь — используйте цепи команд

Поисковые операторы могут быть сложными в использовании. Иногда, чтобы прийти к цели, проще добавить один или два дополнительных оператора.

Цепи команд позволяют использовать несколько поисковых операторов для улучшения результатов выдачи. Каким бы способом вы их ни применяли, цепочки поисковых операторов помогут вам быстрее получить нужные данные.

А теперь — поехали.

Команда 1: site:

site: — это базовая команда, которая запустит поиск по сайту конкурента. Команда ограничивает результаты поиска пределами одного сайта, что сделает выдачу релевантнее. Скажем, мы исследуем сайт инструмента Canva и хотим проанализировать его страницы. Мы можем пойти прямо на ресурс и изучать его вручную, но это займет время.

Другой вариант — ввести в Google команду «site:canva.com/ru_ru». Вот, что вы получите в результате:

Обратите внимание, что все результаты — только с нужного нам сайта. Вам не придется скроллить рекламу, статьи, ветки на форумах и прочую информацию на сторонних ресурсах. Вы получили краткий перечень страниц одного сайта. Быстро просмотрев этот список, вы сможете найти идеи для собственных проектов.

Но в примере выше есть один недостаток: мы сузили поиск до одного сайта, но выдача все еще довольно объемная. Нужно добавить к запросу еще несколько условий. Представим, что ваша компания делает особенный акцент на создании инфографики. В таком случае, просто добавьте запрос «создать инфографику» после оператора site: и адреса сайта. Вот как это выглядит: «site:canva.com создать инфографику».

В результате, вы получите куда меньше ссылок. В нашем примере, поисковая система выдала всего 21 страницу. Теперь вы сможете изучить материалы, релевантные вашим бизнес-интересам.

Строго говоря, задав поисковый запрос «Canva» и «инфографику», вы пришли бы к тем же результатам. Но вам пришлось бы преодолеть десятки и десятки нерелевантных страниц. Вот почему так полезен оператор site:. Он значительно сужает поиск и помогает быстрее получить нужную информацию.

Команда 2: intitle: или allintitle:

Рассмотрим две команды, которые выполняют примерно одну функцию. Поисковые операторы intitle: и allintitle: выполняют поиск по страницам, в поле «title» которых указаны выбранные вами условия поиска. Эти операторы отлично подходят для поиска точных фраз в заголовках страниц, статей или лендингов.

Предположим, вы запускаете поиск по фразе «шаблоны для инфографики»:

Так-то лучше — всего 52 700 страниц. Но проблема в том, что и такая выдача недостаточно узка. И, если вы заметили, сейчас команда воспринимает только первое слово запроса — «шаблоны». Слегка переформулируем и включим весь запрос в поиск.

Теперь мы имеем 3300 страниц — большой прогресс! Тот же результат мы получили бы, задав команду «allintitle:шаблоны инфографики» вместо громоздкого «intitle:шаблоны intitle:инфографики». Оператор allintitle: ищет по заголовкам страниц всю фразу целиком.

Итак, мы отмели 99% нерелевантных сайтов и теперь можем спокойно изучить наиболее интересные нам результаты. Но выдачу можно сузить еще больше — если добавить оператор site:. Например: «allintitle:шаблоны инфографики site:canva.com/ru_ru». Совмещение двух операторов позволит сузить объем выдачи буквально до нескольких ссылок.

Это позволит получить предельно конкретные и релевантные материалы на интересующую вас тему.

Команда 3: intext: или allintext:

Операторы intext: или allintext: также позволяют найти слово или фразу, но только в основном тексте страницы, а не в заголовке. Оператор allintext:, как и оператор allintitle:, ищет фразы целиком, избавляя нас от необходимости предварять каждое слово командой intext:.

Эти команды дают еще более глубокое видение контента конкурентов. Это особенно полезно в исследовании SEO-стратегии их сайтов и изучении того, как поисковики классифицируют их страницы.

Теперь результаты поиска полностью основаны на конкретных словах и фразах. Но мы продолжаем сужать поле поиска и возвращаемся к оператору site:, так как нас интересует контент определенного сайта:

Мы снова получили небольшую выдачу — всего 34 результата. Теперь все, что от вас требуется — выбрать лучшие статьи, прочесть их и позаимствовать у конкурента наиболее прибыльные идеи.

Команда 4: Точный поиск с кавычками

Еще один метод поиска точных совпадений по слову или фразе. Эта команда особенно полезна для исследования ключевых выражений на сайте конкурента.

Заключая запрос в кавычки, вы найдете точные совпадения — в отличие от обычной выдачи. Посмотрим, как это работает, на примере фразы «инфографика маркетологам».

Итак, сервис не продвигается непосредственно по данному ключевому слову. С одной стороны, это плохо — мы не сможем узнать, как Canva работает с этой аудиторией. С другой стороны, у нас появляется шанс предложить аудитории, не охваченной маркетингом Canva, собственное решение. Как думаете, вы пришли бы к такой бизнес-идее, не владея техниками «умного» поиска?

Команда 5: исключить слова (-) или добавить слова (+)

Иногда в процессе конкурентного анализа вам потребуется исключить или добавить определенные выражения, чтобы получить нужные результаты. В таких случаях используйте символы (-) или (+) для добавления или удаления определенных слов из поиска.

Например, вам нужно найти информацию об инфографике, но вы не хотите видеть слишком много примеров. Тогда исключим из выдачи слово «примеры» и вот, что получим:

Мы получили множество ссылок на ресурсы об инфографике, с конкретными советами и руководствами, но без надоедливых примеров.

Как вы уже догадались, знак (+), напротив, включает слово в поиск. Используем его, чтобы найти инфографику о контент-маркетинге. Вот основной поиск:

Команда 6: Related:

Последний поисковой оператор в этой подборке выдает сайты, похожие на домен заданного ресурса. После того как вы изучили сайт основного конкурента, вы можете проверить, кто еще проявляет активность на вашем рынке. Так проще будет избежать совпадений и выделиться среди похожих офферов. Вернемся к инструменту Canva и посмотрим, сможет ли Google найти сайты со схожей моделью?

Всего 9 результатов! Так вы получили дополнительный список ресурсов, которые стоит исследовать в будущем.

Заключение

Если вы встали в тупик, разрабатывая стратегию digital-маркетинга, просто подсмотрите, что делают ваши конкуренты. Но традиционные методы поиска могут не дать быстрых результатов. Поэтому научитесь «гуглить» как профессионал — с помощью поисковых операторов. Эти команды позволят фильтровать выдачу по сайту, заголовку, тексту и даже находить сайты, похожие на ресурс конкурента. Так вы сократите область поиска от миллионов ссылок до нескольких десятков наиболее важных страниц.

Что делать, когда вы проанализировали конкурентов, составили «семантическое ядро» из наиболее перспективных ключевых слов и готовы запустить капманию? Не забудьте , чтобы принять на него целевой поток входящего трафика.

За последние несколько лет появилось множество статей, которые предупреждают о том, что хакеры (или cracker"ы, если хотите) используют поисковую систему google для получения доступа к файлам, к которым, по идее, они доступа иметь не должны. То, что я расскажу вам, возможно, кто-то уже давно использует в своих целях, но мне всегда было интересно самому узнать, как это работает. В 2001 году, James Middleton написал статью для vnunet.com, в которой шла речь об использовании хакерами специальных слов в поисковой машине google, для нахождения важной банковской информации:

"В сообщении, находившемся в одной из security конференций было сказано, что введя "Index of / +banques +filetype:xls" в строку поиска, в конечном счете можно было заполучить важные / секретные таблицы Excel из Французских банков. Та же самая технология может быть использована для поиска файлов с паролями"

В другой статье, которая появилась на wired.com, рассказывается, как Adrian Lamo, хакер часто попадающий в сводки компьютерных преступлений, использовал Google, чтобы получить доступ к web сайтам крупных корпораций.

"Например, введя фразу "Select a database to view" - обычная фраза, используемая в FileMaker Pro database interface" - Google выдает примерно 200 ссылок, большинство из которых ведут на страницу с доступом к FileMaker для всех пользователей."

Подобные статьи продолжали и продолжали появляться в internet. Правительственные и Военные сайты Соединенных Штатов были тоже уязвимы, потому что скрипты используемые админами, можно было легко найти с помощью google. Медицинские карты, личные записи - все могло неожиданно оказаться в руках пользователей этой поисковой системы. Но в статьях никогда не было описано, как можно использовать Google в "таких" целях. Даже пример строки, которую вводил хакер не предоставлялся широкой аудитории. После того, как я последний раз прочитал подобную статью, я решил, что пора самому во всем разобраться - действительно ли google позволяет делать все то, о чем так много раз упоминалось в различных докладах. Следующий текст является результатом моих исследований.

Теория

На самом деле, теория очень проста. Чтобы получить интересующую вас информацию, вам нужно попробовать представить, в каких файлах эта информация может находиться, а затем просто попытаться их найти. (Например, попробуйте поискать *.xls файлы). Или же вы можете избрать более интересный подход - подумать, какой софт установленный на атакуемой машине, предоставляет возможность выполнять нужные вам задачи, затем ввести критические/опасные файлы этого программного обеспечения в строку поиска. Примером может послужить система управления содержанием сайта (content management system). Вам нужно исследовать эту систему, выяснить, какие файлы она в себя включает, а затем воспользоваться google. Но вернемся к примеру о базе данных, рассмотренном чуть выше. Вы знаете, что строка "view database" находится на тех web страницах, которые не должны быть вам доступны. Следовательно, вам остается только найти страницы, в которых содержится данная строка или же узнать, что, например, опция "view database" ссылается на страницу "viewdbase.htm", то есть ее и надо будет ввести в строку поиска.

Самое главное - четко поставить перед собой цель и знать, что вы хотите найти. Только после этого вы можете воспользоваться Google.

Опции поиска Google

Google позволяет искать специальные типы файлов, то есть, как результат поиска, вы получаете не html-страницы (web сайты), а, например, файл Microsoft Excel. Вот что нужно ввести в строку поиска:

Filetype:xls (для файлов excel) или filetype:doc для файлов Word.

Наверное, будет интереснее найти файлы *.db и *.mdb. Можно поискать и другие типы файлов. Первое, что приходит на ум - *.cfg или *.pwd, *.dat файлы и т. п. Сначала подумайте, какие файлы могут содержать ценную информацию.

Еще одна полезная опция при поиске - inurl: опция, которая позволяет искать заданные слова в url. Это дает вам возможность искать нужные каталоги.

Пример: inurl:admin Результатом поиска станут web-сайты, у которых в url имеется слово "admin".

Index of

Опция "index of" тоже не до конца продумана разработчиками google, но нам она очень пригодится. Если вы используете опцию "index of", то как результат, google вам покажет листинг директории на сервере. Вот пример:

"index of" admin или index.of.admin

В результате вы получите листинг множества директорий "admin".

Опция "site" позволяет показывать результаты поиска только по определенному домену или сайту. Например, вы можете искать как на всех.com или.box.sk или.nl сайтах, так и только на одном сайте. Будет очень интересно поискать на военных и правительственных сайтах. Вот пример строки поиска:

Site:mil или site:gov

Site:neworder.box.sk "board"

Intitle - еще одна интересная опция. Она позволяет вам искать html файлы, в заголовке которых присутствует нужное вам слово или комбинация слов. Строка поиска при этом будет выглядеть так: intitle:здесь_слово. Вы можете узнать, какие слова присутствуют в заголовке, скажем, той же системы управления содержанием сайта, а затем искать эти слова в google, используя при этом опцию Intitle. В результате, вы получите доступ к подобным системам на других сайтах.

Опция Link позволяет вам узнать, на каких web страницах есть ссылка на указанный вами сайт. Как описано в книге "Hacking Exposed Third Edition" (Секреты Хакеров Третье Издание), эту опцию мы также можем использовать в своих целях.

Комбинируем опции при поиске

Все вышеупомянутые опции могли быть, а могли и не быть вам известны. В любом случае, используя их, мы получим интересный результат. Факт остается фактом - свою магическую силу google проявляет тогда, когда мы начинаем комбинировать друг с другом эти опции. Например, можете попробовать поискать это:

inurl:nasa.gov filetype:xls "restricted" или это: site:mil filetype:xls "password" или может быть это: site:mil "index of" admin

(Эти примеры я взял из головы и не знаю, выдаст ли google что-нибудь интересное. Вам необходимо найти такое сочетание опций, чтобы получить ожидаемый результат).

Примеры; Практический Материал

Специальные типы файлов: *.xls, *.doc, *.pdf *.ps *.ppt *.rtf

Для начала, попробуйте поискать те файлы, в которых, вы думаете, находится интересующая вас информация. Для меня очевидным выбором стали следующие вещи:

Password, passwords, pwd, account, accounts, userid, uid, login, logins, secret, secrets. Конечно, все эти слова я искал с расширением *.doc, *.xls и *.db

Вот и появились первые интересные результаты, особенно, если искать файлы с расширением *.db. Правда, пароли я также находил и в *.doc файлах.

http://www.doc.state.ok.us/Spreadsheets/private%20prison%20survey%20for%20web.xls
http://www.bmo.com/investorrelations/current/current/suppnew/private.xls
http://www.nescaum.org/Greenhouse/Private/Participant_List.xls
http://www.dscr.dla.mil/aviationinvest/attendance_5Apr01.xls
http://web.nps.navy.mil/~drdolk/is3301/PART_IS3301.XLS

Admin.cfg

Admin.cfg, в большинстве случаев, конфигурационный файл админа. Многие разработчики софта также используют имена типа "config", "admin" или "setup". Часто такие файлы содержат чувствительную информацию и поэтому они не должны быть доступны большинству людей. Я попытался поискать файл admin.cfg, используя следующую строку поиска:

inurl:admin.cfg "index of"

В результате, google выдала множество файлов, среди которых были очень интересные;). Я, например, нашел файл: http://www.alternetwebdesign.com/cgi-bin/directimi/admin.cfg, в котором находились пароли Один пароль был от базы данных, которая находилась по адресу: http://www.alternetwebdesign.com/cgi-bin/directimi/database.cgi?admin.cfg. В базе данных находилась конфиденциальная информация клиентов этой компании. Я решил связаться с этой компанией и рассказать об уязвимости. Люди там оказались дружелюбные и сказали, что в ближайшее время постараются залатать брешь.

Webadmin

Некоторое время назад, когда я работал над этой статьей, я зашел на web сайт:

http://wacker-welt.de/webadmin/

Там было написано, что "webadmin" позволяет удаленно редактировать содержимое web сайта, загружать файлы и т.д. Главная страничка центра управления (control center) webadmin называется "webeditor.php". Очевидно, что следующим моим шагом стало посещение google и использование опции "inurl", чтобы найти страницы webeditor.php. Вот, что я ввел в строке поиска:

inurl:webeditor.php

и вот, что я нашел:

http://orbyonline.com/php/webeditor.php
http://www-user.tu-chemnitz.de/~hkri/Neuer%20Ordner/webeditor.php
http://artematrix.org/webeditor/webeditor.php
http://www.directinfo.hu/kapu/webeditor.php

Ко всем этим файлам доступ был неограничен, а все потому, что владельцы сайтов не потрудились поставить (правильно) защиту, используя.htaccess. Подобная ошибка позволяет абсолютно любому пользователю интернета заменять web страницы на сервере, а, следовательно, и дефейсить сайт. Возможность загружать свои файлы дает возможность получить полный доступ к серверу.

Походив по этим сайтам, я заметил, что файл, позволяющий загружать файлы, называется "file_upload.php". Затем в дело вступает google.

http://www.hvcc.edu/~kantopet/ciss_225/examples/begphp/ch10/file_upload.php

Вот хороший пример:

http://www.pelicandecals.com/admin/webeditor.php

Данный скрипт позволяет вам изменять файлы, как и в предыдущих примерах, включая index.php. По идее, любой заинтересованный человек может изменить существующий или загрузить свой скрипт на сервер и выполнить его. О последствиях, думаю, упоминать не стоит.

http://www.pelicandecals.com/admin/administration.html

Тут была доступна информация о покупателях, возможность менять цены на товары и т.д.

Системы управления содержанием сайта

Системы управления содержанием сайта - это программы, позволяющие web мастерам редактировать, изменять содержимое web сайта. Тоже относится и к панелям управления web сайтов. Суть заключается в том, что вам надо определить, какие файлы являются ключевыми в данном продукте. Таким файлом может быть "cms.html", "panel.html" или "control.cfg".

Frontpage Server Extensions HTML Administration Forms

"Вы можете удаленно администрировать FrontPage Server Extensions с любого компьютера, подключенного к internet, используя FrontPage Server Extension HTML Administration Forms."
Вот, что говорит об этом документация Microsoft. Это значит, пользователи, имеющие доступ к этим формам, могут выполнять некоторые функции администратора, удаленно. А это значит, что формы должны быть хорошо защищены от неавторизованных пользователей. Ну что, как насчет поискать такие формы в интернете? Первое, что нам нужно сделать - выяснить, какие файлы использует этот софт Краткий визит на web сайт Microsoft или беглый взгляд в документацию FrontPage покажет, что главной страницей всех форм администратора является "fpadmin.htm". Именно этот файл мы и будем искать. Но, сначала, мы должно правильно подобрать те опции, которые будут использоваться в строке поиска, чтобы получить нужный нам результат. Если проводится установка по умолчанию, то все файлы помещаются в директорию "admin". Вспомнив все, что мы узнали об опциях google и теории поиска, ожидаемый результат может выдать строка поиска типа:

inurl:fpadmin.htm "index of" admin или inurl:admin/fpadmin.htm

А вот и полученные при поиске результаты:

http://www.lehigh.edu/~ineduc/degree_programs/tbte/admin/
http://blackadder.eng.monash.edu.au/frontpage/admin/
http://www.lehigh.edu/collegeofeducation/degree_programs/tbte/admin/
http://www.vsl.gifu-u.ac.jp/freeman/frontpage4/admin/
http://www.tech-geeks.org/contrib/loveless/e-smith-fp-2002/frontpage/version5.0/admin/1033/fpadmin.htm
http://fp.nsk.fio.ru/admin/1033/fpadmin.htm

Вот что еще написано в документации к FrontPage:

"Из соображений безопасности, HTML Administration Forms сразу после установки не активны, что не позволит удаленно администрировать FrontPage из web браузера."

Это означает только одно - некоторые ссылки, которые выдала нам поисковая система google, могут оказаться бесполезными и есть только один способ проверить их работоспособность - попробовать воспользоваться некоторыми функциями администратора и посмотреть на результат. Я решил не заходить так далеко, чтобы не нарушать закон. Но я здесь не для того, чтобы учить вас хорошим манерам, по крайней мере сегодня.

Freesco Router

Программное обеспечение Freesco router для Linux по умолчанию устанавливает маленький браузер, который позволяет владельцам контролировать работу роутера через http протокол. По умолчанию, логин и пароль для панели управления - "admin". Очень многие пользователи freesco не знают об этом. Вы можете поискать панель управления Freesco роутеров, использую следующую строку:

intitle:"freesco control panel" или "check the connection" эти слова находятся либо в заголовках страниц, либо на самих страницах. Все сводится к одному - вы должны изучить софт найти те его части, которые отвечают за что-то важное (та же страница администратора) и составить такую строку, воспользовавшись которой, вы получите доступ к этим самым частям.

Дополнительные советы

• Запомните, Английский, самый распространенный в интренете язык, но он не единственный. Пробуйте искать слова или строки из вашего родного языка или Французского или Немецкого и т.д. Например, "beeheer" по-немецки означает "администрация".
• Вы можете использовать строки из списка уязвимостей любого сканера безопасности (security scanner). За примерами можно обратиться сюда: http://paris2k.at.box.sk/listings/
• Пробуйте искать файлы "config.inc.php" или "mysql.cfg" - они могут содержать комбинации логин-пароль от базы данных MySQL Попробуйте в строке поиска использовать слова PHP SQL, mySQL и т.д.
• Попробуйте следующие комбинации: inurl:admin "index of" "database" или inurl:phpmyadmin "index of" или inurl:mysql "index of" site:neworder.box.sk intitle:index.of или intitle:index.of.private(= intitle:"index of private")

Заключение

Internet - это сеть, к которой подключены сотни тысяч, а то и миллионов web серверов и по идее, можно получить доступ к любым данным, конечно, если они не защищены подобающим образом. Как разработчики программного обеспечения, так и конечные пользователи должны уделять больше внимания конфигурации защиты, устанавливаемой по умолчанию и политике безопасности. В конце концов, всегда найдутся люди, которые допускают ошибки, устанавливают все по умолчанию, используют плохо защищенное программное обеспечение и совсем об этом не беспокоятся или все еще верят, что ничего не произойдет если они поместят все это в таком виде в интернет. Но все же находятся любопытные личности, которым нравится находить интересную информацию не для посторонних глаз. Google может вам значительно помочь в таких делах, к тому же это совсем не трудно.