Интернет, о котором мы не знаем

Поисковики Google, Yandex, Mail и другие не способны отыскать всю информацию, содержащуюся в Интернете. Данные, которые хранятся в так называемом «темном вебе» для них не доступны. Это большое пространство, известное далеко не всем, может быть как полезным, так и опасным.

Рядовой пользователь вводит свой запрос в одной из поисковых систем, таких как Google или Яндекс. Результаты поиска выводятся на нескольких десятках или даже сотнях страниц, которые не в силах просмотреть ни один человек. Нужная информация обычно выбирается с первых ссылок, и мало кто доходит в поисковой выдаче до десятой страницы. Однако, даже если бы пользователь просмотрел все выведенные для него ссылки, он все равно не увидел бы всей информации, потому что есть масса способов утаить или скрыть от поисковиков какие-то данные.

 

«Темный веб» и тайные сообщества

«Темный веб» — это часть всемирной сети, где можно спрятать информацию от посторонних. Им пользуются как владельцы обычных сайтов, так и организаторы анонимных сетей. Основу таких сетей составляет идея, схожая с концепцией тайных сообществ реального мира, как, например, масонские ложи. Ничего незаконного в этом нет, если, конечно, анонимная сеть не организована для достижения каких-либо криминальных целей. Принцип работы подобных лож прост: личное знакомство с хотя бы одним членом сообщества даёт возможность принимать участие в общих встречах всех членов. Такие встречи обычно проводятся в общедоступном месте, однако только участники сообщества знают, для чего организовано мероприятие, когда и где оно состоится.

Анонимные сети в Интернете, как и другие онлайн-службы, пользуются веб-страницами, электронной почтой, файлообменниками и т.д. По сути, это под силу каждому человеку, только необходимо применять специальное программное обеспечение и знать, кого и что нужно найти.

Правообладатели и власти всегда чрезмерно стремились ограничить распространение цифрового контента и информации. В ответ на это в конце 90-х годов компьютерное сообщество придумало анонимные сети, чтобы обходить всякого рода ограничения. С момента создания сети постоянно развиваются и совершенствуются. После того как под внимание правоохранительных органов попали файлообменные ресурсы и началось преследование самых активных участников, владельцы этих сервисов нашли способ скрыть свою деятельность от властей, разработав невидимый аналог децентрализованных пиринговых сетей (P2P, или Peer-to-Peer – «равный-к-равному») – Napster, Edonkey или BitTorrent.

Файлообменники типа P2P обычно используют центральные серверы, которые называются трекерами. С помощью них все пользователи могут найти друг друга и обменяться различными файлами (музыкой, фото, программами, фильмами и т. д.). Обмен файлами, правообладателем или автором которых вы не являетесь, — это есть прямое нарушение закона об авторском праве. Отличие анонимных сетей – это отсутствие центрального сервера, там все данные хранятся разрозненно на жестких дисках пользователей.

 

Специальное программное обеспечение

В пространстве «темного веба» находится информация, к которой зачастую нельзя добраться через Интернет, так как данный сегмент всемирной сети может попросту не иметь к нему подключения. Для доступа здесь необходимо использовать специальное программное обеспечение, о котором мы сейчас расскажем.

Bitmessage – программа, из названия которой видно, что она предназначена для обмена надежно зашифрованными сообщениями. Была создана как альтернативный вариант электронной почте, ICQ и другим обменникам незащищенных сообщений, которые могут быть доступны спецслужбам или просто злоумышленникам. Эта P2P система имеет открытый исходный код и опирается на криптографию, жертвуя некоторыми удобствами ради безопасности. Большую популярность сеть получила после того, как Эдвард Сноуден поведал миру о системе тайного слежения за пользователями интернета. Сегодня через Bitmessage отправляются тысячи сообщений в день.

В работе сети используется принцип шифрования всех исходящих (входящих) сообщений каждого пользователя с применением сильных алгоритмов шифрования. Сообщение может расшифровать только получатель. Анонимность обеспечивается следующим образом:

 

1. Программа отправляет все сообщения всем доступным участникам сети, перемешивая таким образом зашифрованное исходящее сообщение конкретного пользователя с остальными зашифрованными сообщениями других пользователей.
2. Почтовый адрес Bitmessage имеет длинный бессмысленный вид, например BM-KjhDewNNBMccFDSbvCXhiFa45Zoth. Это необходимо для обеспечения надежности алгоритмов шифрования, а также чтобы нельзя было восстановить настоящее имя пользователя из адреса.
3. Системой используются алгоритмы шифрования с открытым ключом, поэтому расшифровать сообщение сможет только получатель. Особенностью такого метода является то, что сам отправитель не сможет расшифровать своё собственное сообщение обратно, так как ключ шифрования отличается от ключа, предназначенного для расшифровки.
4. В отправляемом сообщении не содержится адреса получателя. Каждый пользователь Bitmessage пробует расшифровать все блуждающие в сети сообщения, даже те, которые предназначены другим участникам. Но так как пользователь может расшифровать только предназначенные ему сообщения, то становится понятно, что если сообщение не расшифровалось, значит, оно предназначалось не ему.
5. О том, доставлено ли сообщение получателю, отправитель сможет легко узнать, однако, определить, какой именно компьютер- участник сети получил и расшифровал сообщение, невозможно, так как это сообщение хранится у всех участников сети не зависимо, кому оно предназначалось изначально.
6. Сообщения хранятся у пользователей два дня, после чего их можно спокойно удалять.
7. Для защиты от спама применяется Proof-of-work
8. Есть возможность привязки Bitmessage-адреса к домену Namecoin

Анонимные группы в Bitmassege

Bitmessage, начиная с версии 0.3.5, имеет поддержку децентрализованных анонимных групп общения, которые называются chan. Они отличаются от стандартных электронных рассылок по электронной почте следующим:

• Внутри группы сообщения пользователей анонимны так, что не известен ни BM-адрес отправителя, ни получателя.
• Благодаря тому, что сеть является полностью децентрализованной, chan невозможно отключить, убрав один из центральных серверов или даже их группу.
• Chan не подвергается цензуре, так как для получения криптографических ключей к chan, достаточно знать только лишь имя анонимной группы. Поэтому любой участник Bitmessage, знающий имя chan, может читать и отправлять любые сообщения в chan, причем совершенно анонимно.
• Каждый участник сети может создать свой собственный chan. Для этого нужно всего лишь придумать ему имя и поделиться им с приглашенными пользователями.

Стоит отметить, что существует список наиболее популярных общеизвестных анонимных групп, которые посвящены различным тематикам, начиная от политических и заканчивая анонимным обсуждением какой-либо азартной игры.

Bitcoinпредставляет собой пиринговую электронную платежную систему, которая использует для оборота собственную валюту – так называемые «биткоины». Зачастую bitcoin называют «криптовалютой» или «виртуальной валютой». Так же как и Bitmessage, это полностью децентрализованная сеть, не имеющая центрального администратора.

«Биткоины» могут быть использованы для электронной оплаты товаров или услуг в тех магазинах, где их принимают. Кроме того, их можно обменять на обычные деньги (рубли, доллары или евро) посредством специальных обменников или торговых площадок.

Для функционирования данной платежной системы используется программа-клиент с открытым исходным кодом. Применяя сетевой протокол прикладного уровня, все запущенные на разных компьютерах клиенты соединяются между собой в одноранговую сеть. Систему защиты обеспечивают криптографические методы.

Особенностью Bitcoinявляется то, что любой желающий может воспользоваться децентрализованной эмиссией новыхbitcoin. Однако такая возможность дается в ограниченном количестве и только при использовании вычислительных мощностей техники, которые используются для того, чтобы защитить платежную систему от повторного расходования средств.

BitTorrent – одна из разновидностей пиринговых сетевых протоколов (P2P), предназначенная для обмена файлами через Интернет. Файлы передаются не целиком, а частями. Пользователь скачивает файл с помощью torrent-клиента и одновременно с этим раздаёт имеющиеся у него части другим пользователям. Такой способ передачи файлов значительно снижает нагрузку и зависимость от каждого клиента-источника, а также обеспечивает избыточность данных.

Создателем первого torrent-клиента «BitTorrent», написанного на языке Python 4, является Брэм Коэн. Запуск программы состоялся в начале июля 2001 года.

Принцип работы сети BitTorrent

Чтобы начать скачивать какой-либо файл, клиенту нужно присоединиться к трекеру – специальному серверу, работающему по протоколу HTTP, здесь хранятся адреса клиентов, участвующих в раздаче (пиры). Клиент соединяется с трекером по адресу, указанному в торрент-файле, сообщает ему свой адрес и хеш-сумму торрент-файла. В ответ на это клиенту становятся доступны адреса других клиентов, скачивающих и раздающих тот же файл. Трекер не принимает непосредственного участия во взаимодействии клиентов. Здесь лишь хранится информация, полученная от подключенных клиентов, список самих клиентов и другие статистические данные.

Стоит отметить, что в нашей стране БитТоррент пользуется большим спросом. Сеть ориентируется в первую очередь на передачу больших объемов информации. Файлы хранятся на компьютерах пользователей, а трекеры координируют их соединение между собой. Таким образом, структура сети полностью децентрализована, а нагрузка на раздающий сервер снижена.

Обмен «друг-к-другу» — F2F

Анонимные сети от того и называются анонимными, чтобы оставить своих пользователей скрытыми. Их создатели преследовали главную цель: избежать надзора со стороны спецслужб, которые следят за гражданами, нарушая при этом частные права каждого. Скрытые сети, созданные внутри Интернета, по аналогии с P2P стали называть F2F – friend-to-friend («друг-к-другу». Впервые мы сталкиваемся с этим понятием в 2000 году. В обиход его ввёл программист Даниэль Бриклин, известный как разработчик первой электронной таблицы для компьютеров. От сетей P2P «дружеские сети» отличаются тем, что не имеют центральных серверов, а пользователи могут обмениваться файлами только со своими друзьями, для взаимодействия с которыми необходимо знать их адреса и иметь их сертификаты – цифровые визитные карточки. Если друзья не имеют интересующую вас информацию, то можно воспользоваться анонимным режимом функционирования, который поддерживается практически всеми F2F сетями. В данном режиме возможно соединение с незнакомыми пользователями, а адреса компьютеров и личные данные пользователей при этом остаются скрытыми.

Freenet

Freenet – это одна из наиболее популярных сетей типа F2F. Сеть применяет специальное программное обеспечение, позволяющее использовать уже существующую инфраструктуру глобальной сети и обычных Интернет-операторов. Однако,Freenetв корне отличается от традиционных сетей.

Данная сеть не просто предназначена для обмена файлами между отдельными пользователями. Внутри неё есть и обычные сайты, только без URL-адресов в их привычном понимании. Также, здесь есть изолированная от Всемирной паутины электронная почта, дискуссионные форумы и даже своя социальная сеть (Sone). Вся информация распределена по жестким дискам пользователей сети и хранится в зашифрованном виде. Для доступа к ней используется система маршрутизации. Всем этим обеспечивается полная анонимность, однако есть и ряд ограничений. Во-первых, скорость работы Freenetзначительно медленнее обычного Интернета. Здесь пока нельзя использовать современные технологии, например, такие как динамическая генерация контента с использованием баз данных и скриптов. Создатели проекта Freenetставили перед собой задачу сделать такую сеть, в которой все пользователи могли бы оставаться анонимными, и никто бы не смог решать, что является приемлемым, а что нет. Здесь царит дух свободы слова и обмена информацией, и даже сами разработчики не имеют полного контроля над системой.

Сайты, находящиеся во Freenet, не видимы для обычных поисковиков, таких как Гугл или Яндекс. Они не связаны напрямую с Глобальной сетью. Зайти на такой сайт можно, только установив на своем компьютере специальное программное обеспечение, являющееся бесплатным, и став пользователем Freenet. Личные данные и IP-адреса компьютеров создателей сайтов остаются полностью анонимными.

Сегодня существует уже целый каталог сайтов Freenetсо свободным доступом. Называется он Linkageddon. Функция поиска тут отсутствует, поэтому пользователям приходится постоянно пользоваться полосой прокрутки, чтобы найти нужную информацию. Во время просмотра неотсортированного списка можно увидеть самую разнообразную информацию, даже запрещенный контент и предложения скачать пиратскую копию того или иного продукта. Кроме того, рядом с правдивыми достоверными страничками могут находиться и совершенно несуразные вещи, излагающие ложные, псевдонаучные факты. Отсутствие цензуры в сети подчас используется злоумышленниками и нарушителями закона. 

InvisibleInternetProject – этоальтернативаFreenet, еёсвоеобразныйклон.Сокращенное название I2P – «невидимый Интернет». Сеть обеспечивает анонимный доступ к разнообразным сервисам: блогам, чатам, электронной почте, сайтам, файлообменникам и т. д. Главной целью авторов было создание анонимной сети, способной функционировать в жестких условиях и под любым давлением влиятельных организаций и структур. I2P, как и Freenet, — это децентрализованная сеть, а все данные, передаваемые по ней, шифруются. Невидимый Интернет доступен не только для персональных компьютеров, но и для планшетов и смертфонов на базе Android.

Ещё один вариант децентрализованной сети – Hyperboria. Это экспериментальная сеть, основанная на протоколе cjdns. Передавать данные можно, как и с использованием Интернета, так и напрямую между маршрутизаторами. За счет этого возможно создание полностью независимой от Интернета глобальной сети с ячеистой топологией. Файлы и сообщения, передаваемые с помощью Hiperboria, шифруются, но сама сеть не является анонимной, так как легко можно установить адреса отправителей и получателей.

«Глубокий веб» и как его найти

«Глубокий веб» или «темный Интернет» является невидимым для традиционных поисковых систем, однако от анонимных сетей он тоже отличается своей организацией. Он состоит из огромных баз данных с самой разнообразной информацией. В него входят и обычные Интернет-странички, по разным причинам не попавшие в поле зрения поисковиков. Пользователь может получить доступ к подобным данным, если отправит специальный запрос или сами введут адрес страницы.

Сегодня создатели сайтов сами вольны выбирать, какой контент должен быть проиндексирован, а какой стоит скрыть от роботов поисковых систем. Если закрыть доступ на свой сайт для поисковых ботов, запретить незарегистрированным пользователям просматривать страницы или же просто неправильно оптимизировать настройки, то информация с ресурса не появится в результатах поиска, даже если на неё ссылаются другие сайты.

Информацией, хранящейся в «глубоком вебе», являются, например, базы данных авиарейсов, специальные медицинские материалы, различная производственная документация, социальные сети и т. д. Случается, что владельцы ресурсов, информация на которых не должна быть общедоступной, совершают технические ошибки, из-за которых конфиденциальные данные попадают в поисковые системы. Так случилось в июле 2011 года: часть смс-сообщений, отправленных с сайта «Мегафона» абонентам, была проиндексирована «Яндексом». Как выяснилось, в тот момент, когда робот индексировал страницу отправки смс сайта «Мегафон», у неё отсутствовал файл robots.txt, который содержит команды для поисковых роботов. В этом файле должен быть прописан запрет на индексацию конфиденциальных разделов сайта. Конечно, впоследствии всю просочившуюся информацию из поисковика изъяли, но все же нашлись «добрые люди», которые успели её сохранить и выложить в файлообменниках.

Как же все-таки добраться до «глубокого веба»?Для этого существуют специальные поисковые системы, которые отличаются от привычных нам «Яндекса» и Google, и позволяют находить информацию даже в закрытых базах данных. Примерами таких программ являются CompletePlanetи Scirus. Создатели первой утверждают, что система может предоставить доступ сложноиндексируемым базам, которых порядка 70 000. Scirus же позволит отыскать информацию в научных работах и архивах.

Данные программы работают за счет использования передовых поисковых роботов, которые «умеют» создавать вполне осмысленные запросы к базам данных и поддерживают специфичные языки, благодаря чему они могут заполнять формы за пользователя.

Привычные поисковики также ведут работу по усовершенствованию, чтобы научиться добывать информацию из глубокого Интернета, в котором, по оценке экспертов, её содержится в сотни раз больше. Например, Googleприменяет особый формат для карт сайтов, и его роботы могут индексировать даже те страницы, на которые ни одна другая страница не ссылается. Дело остается за владельцем сайта, который сначала должен создать такую карту. Со временем поисковые системы научатся извлекать много информации, сокрытой в недрах Интернета. Но все же какая-то часть данных всё же останется недоступной, например, платный контент, предоставляемый только по подписке.

Помимо специализированного программного обеспечения, существуют специальные порталы, позволяющие окунуться в мир «темного» веба. 

OAIster– проект, созданный посредством Мичиганского университета. Сервис позволяет найти документы в метаданных серверов более 400 организаций всего мира – библиотек, редакций журналов, научных организаций и т. д. Проект пользуется популярностью в научных кругах, так как предоставляет доступ к около 18 миллионам групп данных. (oaister.worldcat.org)/

Deepwebresearch.info – информационный ресурс, автор которого Маркус П. Зилман собрал обширную коллекцию ссылок на различные статьи, форумы, изображения и видео, официальные документы, хранящиеся в «глубоком Интернете».

Pipl – поисковая система, которая позволяет находить данные о пользователях в открытых сервисах, таких как социальные сети, форумы, блоги и т. д. Искать можно не только по имени и фамилии, но и никнейму,  e-mail адресу, номеру телефона и другим ключевым словам. (www.pipl.com)

 

CompletePlanet – поисковик, способный отыскать гораздо больше информации, чем«Яндекс» или Google. Данная поисковая система открывает  пользователям более 70 000 баз данных «темного веба». (www.completeplanet.com)

Служба анонимизации Tor– это полезное дополнение к вашемуweb-браузеру. Tor делает так, чтобы пользователи оставались незамеченными в сети и сохраняли свою анонимность. Утилита использует технологию OnionRouting– «луковая маршрутизация». Все данные, передаваемые через Интернет, шифруются и проходят через множество постоянно меняющихся прокси-серверов. Программа служит для анонимной работы в Интернете, причем как с TCP-приложениями, так и со скрытыми сервисами, находящимися в «глубоком Интернете». Принцип работы Tor, на первый взгляд, довольно прост. Но это только видимость. Не стоит забывать, что «темный веб» не имеет привычных URL-адресов. Адреса страниц здесь  представлены в виде криптографических комбинаций букв и чисел с доменом “onion”. Эти комбинации постоянно меняются, поэтому их каждый раз нужно заново искать. (torproject.org)