Большая часть времени, проводимая пользователем в интернете, тратится на поиск интересующей его информации. При этом существует масса способов добыть эти данные - можно заглянуть в онлайновую энциклопедию и попробовать отыскать ответ там, можно подписаться на рассылку по интересующей теме и внимательно изучать приходящую корреспонденцию, а можно посоветоваться с компетентными людьми на форуме, задав им вопрос. Но самый универсальный способ найти что-то в интернете - воспользоваться одной из многочисленных поисковых систем. Сервисы для осуществления поиска на миллионах и миллионах web-сайтов - это, пожалуй, основополагающее звено всемирной Сети. Без Google, Yahoo, Yandex и многих других привычных сегодня поисковых систем пребывание пользователя в Сети скорее напоминало бы хождение слепого по лесу. Значимость поисковых систем для работы в интернете трудно переоценить - у многих пользователей в качестве стартовых страниц указаны адреса поисковых систем, и именно с них для многих начинается бесконечное путешествие по различным ресурсам сети. Однако эффективность интернет-раскопок у всех разная - один человек находит информацию мгновенно, у другого на это уходит очень много времени, ну а третий может и вовсе не найти для себя ничего полезного. В чем же причина? Ответ прост: поиск в интернете сродни рыбалке - нужно знать, где ловить и на что ловить, т.е. где искать и как искать. В сегодняшней статье мы расскажем о том, как лучше всего проводить поиск в интернете, и поведаем, какие для этого существуют поисковые системы, кроме тех, которые "у всех на устах".

Однако начнем мы именно с тех систем, которые вы знаете. Если пользователь знает адрес поисковой системы, это еще не означает, что он умеет ею пользоваться. Давайте проверим, насколько вы хорошо разбираетесь в технологии поисковых запросов. То, насколько точные результаты вы получите, прежде всего, зависит от того, насколько умело вы сформировали поисковый запрос. Например, если вы ищете информацию для написания курсовой работы, не нужно вводить ее тему дословно, особенно если работа имеет узкую специализацию. Гораздо больше ценных сведений вы найдете, если попробуете подобрать ключевые слова, то есть те слова, которые обязательно будут встречаться в вашей работе. Если вы ищете утерянную инструкцию для автомагнитолы, то введя номер модели, наверняка получите огромное количество сайтов, предлагающих ее приобрести. Чтобы отсеять ненужные ссылки, можно использовать функцию поиска в найденном или исключить из поиска некоторые слова. Практически в каждом поисковике вы найдете функцию расширенного поиска. Это - еще один хороший способ отсеять ненужные результаты. Среди таких функций может пригодиться поиск страниц, которые недавно обновлялись, поиск страниц только на определенном языке или на сайтах, расположенных в указанной вами доменной зоне. Время, которое тратится на поиск, можно существенно сэкономить, если знать и использовать синтаксис языка запросов. Каждый поисковик имеет тут свои особенности. Например, когда вы ищете что-нибудь на Яндексе, то не лишним будет использовать следующие приемы:

• Для поиска слов, которые должны встретиться на странице в одном предложении, поставьте между ними символ &
• Чтобы исключить определенное слово из результатов поиска, добавьте его к своему запросу, поставив перед ним символы ~~
• Чтобы найти страницы, в которых содержится хотя бы одно из слов, указанных в поисковом запросе, разделите их символом |
• Для поиска слова в указанной форме поставьте перед ним восклицательный знак

Свои секреты есть и у поисковой системы Google. Вот лишь некоторые из них:

• Для поиска информации на определенном сайте (и только на нем) введите в поле запроса его адрес, предварив словом site и двоеточием (например, site:http://www.сайт)
• Для поиска фразы, которая должна встретиться на странице полностью, возьмите ее в кавычки
• Для исключения из результатов поиска страниц, на которых встречается определенное слово, добавьте его к своему запросу, поставив перед ним знак минус

Это - лишь несколько штрихов, которые могут помочь сделать поиск в интернете эффективнее. Если же вы хотите добиться оптимального результата, мы советуем вам подробнее ознакомиться с синтаксисом языка запросов, который подробно описан в справочной системе вашего любимого поисковика. В том, что Google и Yandex - это незаменимые инструменты для поиска в сети, сомневаться не приходится - поиск в этих системах удобен, гибок и очень точен. Но, тем не менее, это не означает, что альтернативные поисковые системы не имеют права на существование. Да - они индексируют меньшее количество страниц, да - их методы подбора ресурсов во многом спорны. Но у таких поисковых систем есть одно неоспоримое преимущество - они предлагают что-то новое, отличное от принятых стандартов. Поскольку альтернативные поисковые сервисы используют иной подход к подбору ресурсов, соответствующих запросу, результат поиска будет совершенно иной, чем в случае с привычными поисковыми системами. Так что, если долгие поиски по известным сервисам ни к чему не привели, это означает одно - нужно сменить тактику и попробовать другие методы поиска информации, с помощью альтернативных поисковых систем. Зачастую альтернативные поисковики используют для сбора результатов один или несколько списков с ресурсами, которые были найдены Google, Yahoo и другими крупными системами. Эти результаты фильтруются, отбираются лучшие и часто для лучшего восприятия визуализируются при помощи диаграммы, карты сайтов, облака тегов и т.д. Разработчики альтернативных поисковых систем порой так далеко заходят в своих поисках нового универсального интерфейса, что, иногда трудно признать в web-странице поисковую машину. И тем не менее, это - поисковые системы. Необычные и странные, на первый взгляд...

FindSounds.com - ищет звуки

Этот ресурс предназначен для тех пользователей, которые находятся в творческом поиске. Ресурс позволяет искать звуковые файлы разных форматов - wav, mp3, aiff, au. В базе данных ресурса есть самые разнообразные звуки - крики животных, скрежет машин, звон, стук, сирены, жужжание насекомых, грохот взрывов и стрельбы, всплеск воды и т.д. Звуковые файлы могут искаться по разным критериям, например, по размеру, наличию двух или одного каналов звучания (стерео/моно), частоте дискретизации и разрядности звучания. В результатах поиска ресурс показывает не только ссылки на найденные файлы, но и их основные характеристики, а также показывает график амплитуды звука, по которой можно судить о характере звучания данного семпла.

База звуковых эффектов FindSounds может найти применение в самых разных областях - от разработки компьютерных игр и прочих приложений, до создания презентаций и всевозможных клипов. Поисковик может пригодиться, например тем, кто создает интерактивную web-графику и желает внести разнообразие на сайт, сопроводив нажатие элементов навигации страниц различными звуками.

Gnod.net - подберет музыку, книги и фильмы по вкусу

Когда у человека возникает желание почитать новую книгу, послушать какую-нибудь новую музыку или посмотреть фильм, он, как правило, обращается за советом к своему другу или знакомому, который в его глазах имеет авторитет. Однако найти того, кто согласился бы высказать свое мнение по данному вопросу, не так просто. Во-первых, не все любят давать советы, ведь рекомендуя что-то другому, человек берет на себя долю ответственности, и многих останавливает вопрос "А вдруг фильм, который я посоветую, ему не понравится?" Во-вторых, человек, который дает совет, должен понимать, что именно понравится собеседнику, а что - будет совершенно неинтересно. Ведь на вкус и цвет, как говорится… Но есть более простой способ получить хороший совет - воспользоваться особым поисковиком, который сделан именно для этой цели. Итак, вы захотели послушать новую группу, но нет времени и желания искать хорошую музыку. Ресурс gnod.net поинтересуется у вас несколькими именами музыкальных исполнителей, которые вам нравятся, проведет анализ результатов и предложит свой вариант певца или группы, которая тоже должна вам понравиться. Сервис имеет несколько баз данных - по музыкальным исполнителям, по фильмам, книгам и людям. Таким образом, ресурс вобрал в себя четыре сервиса: Gnod Music, Gnod Books, Gnod Movies и Flork. Последний сервис, Flork - это социальный эксперимент по обнаружению людей, которым интересно общаться друг с другом. Мы с удовольствием протестировали музыкальный раздел этого сервиса и ввели трех исполнителей - Gerry and the Pacemakers, The Beatles и Hollies. Наша подборка не была случайной - эти три группы принадлежат к эпохе шестидесятых, к интересному явлению, которое носит название Британское вторжение (British Invasion). Все эти группы играли бит, и поисковик должен был предложить группу или исполнителя в том же стиле. Так и случилось. Результат, предложенный нам - это группа Archies, которая в конце шестидесятых была на устах у всех американцев со своей веселой песенкой Sugar Sugar. Поиграв с поисковиком какое-то время, мы пришли к выводу, что gnod.net чаще дает правильный совет, а ошибается не очень часто. Для наглядности, результаты своего "совета" поисковик может предоставить в виде анимированного облака с названиями групп, авторов или фильмов. Базу данных можно пополнять самостоятельно, проводя "беседы" с поисковиком и отвечая на его вопросы в стиле "это мне нравится" или "это мне не нравится".

Alldll.net - найдет файлы библиотек

Этот поисковик мы рекомендуем вам сразу занести в закладки, так как рано или поздно он обязательно пригодится. Вероятно, каждому доводилось хотя бы раз столкнуться с проблемой отсутствия в системе какой-то библиотеки dll. Обычно это приводит к тому, что программы или игры отказываются запускаться, и на экране появляется сообщение "Couldn"t find *****.dll". Причин тому может быть много, например, отсутствие файла может быть вызвано некорректным удалением ранее установленного приложения, случайным повреждением файла и т.д. Кроме того, разработчик мог просто не включить в дистрибутив своего продукта эту библиотеку.

Исправить ситуацию очень просто - достаточно найти в интернете недостающий файл, загрузить его и скопировать в директорию той программы, которая отказывается запускаться, либо в папку..WINDOWSsystem32... Найти и скачать отсутствующий файл можно легко и быстро с помощью данного сервиса. Ресурс www.alldll.net представляет собой поисковую базу данных по наиболее популярным библиотекам dll. Файлы рассортированы по алфавиту, присутствует функция поиска. Искомый файл можно искать, даже если вам известно только приблизительное название библиотеки. Достаточно в поле запроса начать вводить текст, и в нижней части страницы появится огромный список файлов, которые начинаются с тех букв, которые были набраны.

Medpoisk.ru - поиск медицинской информации

Несмотря на то, что данная поисковая система использует движок поиска от Google, это ни в коей мере не снижает ее ценность. Medpoisk.ru - это универсальный поисковик, который предназначен для поиска исключительно на медицинских сайтах. Этот сайт - отличный инструмент для каждого медика и всех, кто желает получить ответ на любой вопрос из области медицины. Как лечить ту или иную болезнь, какие противопоказания у того или иного лекарства, к какому врачу обратиться - все это и многое другое можно узнать, "спросив" у поисковика. Поисковик включает в себя биржу труда и может использоваться для поиска работы среди медицинских работников. Ресурс также содержит каталог медицинских учреждений, рассортированных по регионам. Среди этих учреждений адреса клиник, медицинских центров разной направленности, родильные дома, диагностические центры, косметологические салоны и пр. Мы вам искренне желаем, чтобы этим поисковым сервисом вы пользовались исключительно из любопытства, а не по необходимости.

Taggalaxy.de - поиск картинок и фотографий

Возможно, вы слышали о популярном сервисе для обмена графическими файлами Flickr.com ? Это тот самый сервис, который в 2007 году был заблокирован китайскими властями, после того как на его страницах появились фотографии печальных событий 1989 года на площади Тяньаньмэнь, расположенной в столице Китая Пекине. Flickr.com является одним из первых Web 2.0 сервисов, а число изображений, загружаемых на него пользователями, исчисляется миллиардами. Количество картинок, загружаемых на серверы этого сервиса столь велико, что для того чтобы найти какое-то конкретное изображение в этом океане снимков и картин, необходима отдельная поисковая система. Сервис предлагает услугу поиска по изображениям, однако есть более интересный способ искать картинки - используя необычный поисковик taggalaxy.de. Этот поисковый сервис представляет собой средство для поиска изображений на Flickr.com, с предварительным просмотром. А необычным его делает интерфейс поиска, который полностью сделан трехмерным. Процесс поиска по ключевому слову напоминает какую-то компьютерную игру - в космическом пространстве летают разные небесные тела, между которыми можно перемещаться в виртуальном мире.

После того, как будет выполнен запрос по ключевому слову, на экране возникнет система из солнца и планет, которые вращаются вокруг светила. Каждое небесное тело имеет свое предназначение и "подписано" словом. В центре галактики - солнце, ключевой запрос, все остальные тела - это вспомогательные слова, уточнения. Если щелкнуть мышью по солнцу, этот объект приблизится, и со всех сторон на него слетятся и окружат фотографии, содержание которых определено поисковым запросом. Эту трехмерную модель с фотографиями можно поворачивать в виртуальном пространстве, подробно рассматривая и выискивая интересующее изображение. После этого достаточно щелкнуть по картинке, чтобы она увеличилась в размере, и тогда ее можно будет лучше рассмотреть и почитать описание.

В процессе работы с этим поисковиком, можно использовать функцию скроллинга - она позволяет приближать или отдалять трехмерные планеты. Остальные планеты, которые видны в интерфейсе поисковика после запроса - это вспомогательные слова, позволяющие уточнить запрос. Например, если ввести в поле поиска "Sky", то среди уточняющих слов-планет будут слова "сlouds", "sunset", "blue" и другие схожие по смыслу тэги, которые пользователи указали при использовании сервиса Flickr.com. Недостатком поисковой системы можно считать то, что taggalaxy.de не поддерживает русский язык, поэтому запросы можно вводить только латиницей.

Nigma.ru - фильтрует результаты других поисковых систем

Среди всех поисковых систем, которые можно встретить в интернете, существует особая группа поисковиков. Она отличается от всех остальных тем, что в них реализована функция мультипоиска, то есть одновременного поиска по нескольким поисковым системам. Одной из таких мультипоисковых систем является российский сервис Nigma.ru.

Nigma содержит собственную базу ресурсов, но помимо этого позволяет выполнять поиск сразу по всем наиболее популярным поисковым системам, в числе которых - Google, MSN, Yandex, Rambler, AltaVista, Yahoo и Aport. Механизм отбора результатов в этой поисковой машине отличается от большинства принятых методов обнаружения сайтов. Дело в том, что движок этого сервиса использует кластеризацию результатов. Что это означает? Представьте себе, что вы решили для себя выяснить, что такое "рендеринг". Сопоставив результаты в разных поисковых системах, движок Nigma.ru отобрал наиболее вероятные результаты и при этом в левой части окна, рядом со списком результатов поиска, отобразил так называемые кластеры - "визуализация", "создание", "система", "rendering", "процесс", "studio max", "компьютерной графики" и другие слова и словосочетания. Эти кластеры представляют собой тематическую группу найденных документов. Таким образом, можно быстро сузить круг поиска или конкретизировать поисковый запрос. В Nigma.ru можно также использовать рубрики, чтобы ограничить область, из которой будут выбираться результаты - например, выполнять поиск только с учетом музыкальных ресурсов или вывести результаты только для изображений. Еще одна возможность этого сервиса может быть интересна школьникам и студентам. Nigma.ru предлагает сервисы Nigma-математика и Nigma-химия. Первый предназначен для быстрого решения простых уравнений и различных арифметических операций, второй позволяет работать с формулами химических реакций. Поисковый сервис распознает более тысячи физических, математических констант и единиц измерения, позволяя быстро выполнять преобразование из одной размерности в другую.

Searchme.com - поисковик с предпросмотром

Всем известно, что для того чтобы найти конкретную информацию в сети, необходимо потратить немало времени. Просматривая результаты поиска, пользователь, в основном, открывает ресурсы наугад, не зная наверняка, найдет ли он на новой странице то, что его интересует, или это будет пустой тратой времени. Создатели поискового сервиса searchme.com задумались над этой проблемой и придумали ее оригинальное решение. Суть этого решения состояла в том, чтобы создать такую поисковую систему, в которой пользователь мог бы посмотреть на приблизительный эскиз страницы еще до ее загрузки. Это позволило бы составить дополнительное мнение о серьезности ресурса и о его содержании.

Реализация этой идеи была просто великолепной - созданный поисковик имеет красивый анимированный трехмерный интерфейс и показывает результаты поиска в виде анимированной ленты эскизов, уменьшенных скриншотов web-страниц, включающих в себя ключевое слово поиска. Ленту с результатами, подобно пленке со старыми негативами, можно прокручивать в окне браузера, используя специальный ползунок, расположенный под вереницей изображений. Эскизы мгновенно подгружаются, поэтому никаких "тормозов" с прорисовкой результатов не наблюдается. Особенно удобно работать с результатами поиска в полноэкранном режиме - тогда вполне можно разобрать даже текст статей на эскизах результатов. Чтобы оценить удобство этой системы, достаточно попробовать просмотреть новостные ресурсы. Фотографии к главным новостям на титульной странице web-издания, тут же дадут понять, какую новость на данном ресурсе считают наиболее важной.

Выход - специализированный поисковик торрентов. Сайтов, которые ищут по торрент-ресурсам, в сети немало. Однако torrent-finder.com имеет перед остальными поисковыми системами неоспоримое преимущество - этот сервис позволяет искать файлы на огромном числе трекеров одновременно.

Поиск файлов на FTP-серверах

ногие пользователи Интернета при поиске необходимых файлов и программ ищут html-страницы по их содержимому, не зная о существовании поисковых средств, которые позволяют искать файлы на FTP-серверах по именам самих файлов и каталогов. Действительно, в случае если вы ищете описание какой-либо программы, то следует это делать на Web-серверах. В случае если же вы знаете имя программы и ищете сервер, с которого ее можно скачать, то удобнее воспользоваться именно поисковиком FTP-ресурсов. Одним из популярных систем для поиска файлов является ресурс http://www.filesearch.ru/

На рис. 6 представлен результат поиска FTP-серверов, с которых можно скачать программу CuteFTP.

На сайте http://www.filesearch.ru/ можно также найти список крупнейших FTP-серверов. Первое место в рейтинге, естественно, принадлежит ресурсу, хранящему MP3-файлы, и его объём просто поражает – более 2 тыс. гигабайт!

Заключение

FTP имеет свои достоинства и недостатки. Главный недостаток состоит в том, что в отличие от Web-службы на FTP-сервере вы получаете минимум дополнительной информации о ресурсах – вся информация представлена в виде списка файлов на удаленном компьютере.

В случае если вы скачиваете файлы непосредственно с Web-страниц, используя протокол HTTP (и не прибегаете к специальным программам докачки), то при медленной связи скачать большой файл достаточно трудно. Дело в том, что процедура передачи файлов в HTTP имеет большой минус в виде отсутствия такой полезной функции, как reget (функция докачки). Это означает, что если при использовании протокола HTTP произойдет обрыв связи, то вам придется скачивать файл с самого начала. При использовании FTP-протокола вы можете воспользоваться функцией Reget и продолжить скачивание с того места͵ на котором остановились. Τᴀᴋᴎᴍ ᴏϬᴩᴀᴈᴏᴍ, крайне важно учитывать достоинства и недостатки каждого из протоколов.

Поиск файлов на FTP-серверах - понятие и виды. Классификация и особенности категории "Поиск файлов на FTP-серверах" 2014, 2015.

- Программа пересылки файлов Ftp.

Перемещает копии файлов с одного узла Интернет на другой в соответствии с протоколом FTP (File Transfer Protocol - "протокол передачи файлов"). При этом не имеет значения, где эти узлы расположены и как соединены между собой. Компьютеры, на которых есть файлы для общего... .

- Тривиальный протокол передачи файлов (TFTP)

Протоколы файлового обмена В Internet используются следующие протоколы передачи файлов: · FTP (File Transfer Protocol) -Протокол передачи файлов · TFTP. (Trivial File Transfer Protocol) тривиальный протокол передачи файлов. · SFTP. (Simple File Transfer Protocol) –простой протокол передачи файлов,...

Протокол передачи файлов File Transfer Protocol (FTP) позволяет пересылать файлы с одного компьютера на другой. С помощью этого протокола можно осуществлять процессы обмена массивами данных – текстовыми и программными файлами. Посредством FTP-соединения компьютер... .

- Глобальные сети: протоколы (http, ftp).

Эта служба использует протокол, специально предназначенный для передачи файлов между любыми компьютерами, работающими в сетях TCP/IP. С помощью этого протокола компьютер получает прямой доступ к файлам, находящимся на сервере и занимает канал до тех... .

- Служба FTP (File Transfer Protocol)

- Служба FTP (File Transfer Protocol)

FTP - протокол передачі файлів, який дозволяє отримувати та передавати текстові та двійкові файли. FTP-сервери містять останні версії програмного забезпечення, драйвери підтримки апаратних засобів тощо. З FTP-серверами можна працювати за допомогою програми FTP, яка... .

- Протокол FTP

Запит Рис. 9.3. Модель OSI. Отримане повідомлення передається вниз до сеансового рівня, який у свою чергу додає свій заголовок, і т.д. Деякі засоби рівнів поміщають службову інформацію не лише на початку повідомлення у вигляді заголовка, але і в кінці. Нарешті,... .

Преимущественно медиафайлы. На полном серьезе, без шуток.

Введение

Бывает, случается так, что вы хотите скачать альбом 2007 года исполнителя, который кроме вас известен 3.5 людям, какой-нибудь испанский ска-панк или малопопулярный спидкор европейского происхождения. Находите BitTorrent-раздачу, ставите на закачку, быстро скачиваете 14.7%, и… все. Проходит день, неделя, месяц, а процент скачанного не увеличивается. Вы ищете этот альбом в поисковике, натыкаетесь на форумы, показывающие ссылки только после регистрации и 5 написанных сообщений, регистрируетесь, флудите в мертвых темах, вам открываются ссылки на файлообменники вроде rapidshare и megaupload, которые уже сто лет как умерли.

Увы, частая ситуация в попытке хоть что-то скачать

Такое случается. В последнее время, к сожалению, случается чаще: правообладатели и правоохранительные органы всерьез взялись за файлообмен; в прошлом году закрылись или были закрыты KickassTorrents, BlackCat Games, what.cd, btdigg, torrentz.eu, EX.ua, fs.to, torrents.net.ua, и еще куча других сайтов. И если поиск свежих рипов фильмов, сериалов, музыки, мультиков все еще не представляет большой проблемы, несмотря на многократно участившееся удаления со стороны правообладателей контента из поисковых систем, торрент-трекеров и файлообменников, то поиск и скачивание оригинала (DVD или Blu-Ray) фильмов и сериалов или просто ТВ-рипов 7-летней давности на не-английском и не-русском языке - не такая уж простая задача.

Зачем это нужно?

   Отсутствие некоторых релизов на дисках
В случае с видео, иногда случается так, что картину дублируют и транслируют по телевидению в какой-то стране, а на дисках не выпускают. Капперы выкладывают ТВ-рипы в файлообменные сети или BitTorrent, затем выходят DVD в другой стране, без соответствующей аудиодорожки, например, французской, и люди вынуждены либо качать DVDRip с хорошим качеством видео без французской дорожки, либо ТВ-рип с ней. Проходит время, ТВ-рип раздают все меньше и меньше людей, он удаляется с файлообменников из-за неактивности, и все - французский релиз становится скачать гораздо сложнее.
Проблему можно было бы решить, совместив аудиодорожку из ТВ-рипа с доступным видео из DVD, что не всегда так просто, как кажется. Этим никто не занялся и ТВ-версия умерла.

   Отличие контента ТВ- и DVD-версии
Например, мультсериал «Дарья » лишился почти всей музыки, которая была в ТВ-версии, из-за юридических проблем с перелицензированием. Долгое время люди, желающие посмотреть данный сериал, стояли перед выбором: либо полноценная ТВ-версия с музыкой и плохим качеством видео, либо DVD-версия с хорошим качеством, но без музыки.

   Региональные различия
Справедливы как для видео, так и для музыки. Мультсериал W.I.T.C.H. выпускался с 4 разными опенингами, только один из которых попал на DVD.
Зачастую, музыкальные альбомы, выпускаемые для рынка Японии, содержат бонусные треки, которых нет в других изданиях.

Как вы уже поняли, причин может быть множество. Где искать непопулярные и старые файлы?

Usenet

Usenet - распределенная сеть из серверов, синхронизирующих информацию между собой. Структура Usenet напоминает что-то среднее между форумами и электронной почтой: в «новостных группах» (так называются тематические категории в Usenet) сообщения имеют древовидную структуру, пользователи могут подписываться на конкретные группы, читать и писать в них. Как и в Email, у сообщений есть тема (subject), которая позволяет ориентироваться в содержании дискуссий. Сейчас используется преимущественно для обмена файлами.

История Usenet

Появившаяся в 1979 году, в до-интернетовскую эпоху сеть использовала прямые модемные соединения для передачи информации через UUCP и была инструментом преимущественно текстового общения. В свое время Usenet конкурировал с BBS, существовали специальные шлюзы в и из Fidonet. С приходом интернета, сообщения Usenet начали передаваться по TCP/IP, используя протокол NNTP, который остается относительно используемым и вне Usenet (например, можно читать огромное количество публичных списков рассылок через gmane и RSS-фиды через gwene , причем, в отличие от списков рассылок, вы всегда можете посмотреть всю историю, а не только сообщения с момента вашей подписки).

С увеличением пропускной способности линий, улучшением модемов и их протоколов, к девяностым сеть уже вовсю использовали для передачи бинарных файлов: вареза, музыки, видеофайлов. Делалось это примерно таким же образом, как и в Email: файл разбивается на небольшие части (тома), кодируется печатными символами в 7-битной кодировке с использованием Base64 или uuencode, и отправляется в ньюсгруппу. Кодирование в 7 бит добавляет около 30% накладных расходов на передачу файла. Спецификация позволяет использовать большинство символов из ASCII-таблицы, поэтому в 2001 году появляется алгоритм передачи файлов yEnc, увеличивающий файл всего на 1-2%, экранируя только символы переноса строки, NULL-байты и символ равенства (=). Им пользуются и по сей день.
Для контроля целостности и восстановления поврежденных или отсутствующих данных используется Parchive .

До 2008 года крупнейшие Usenet-провайдеры хранили бинарные файлы около 100-150 дней с момента их загрузки (так называемый retention time, срок хранения файлов). С 2008 года самые крупные провайдеры вообще перестали что-либо удалять, и на текущий момент можно без проблем скачать файлы восьмилетней давности, а провайдеры поменьше выставили retention time в 1000+ дней, что тоже немало. К этому моменту текстовое общение в Usenet сошло на нет и сеть использовалась преимущественно для хранения и передачи файлов.

Начиная где-то с середины 2011 года за сетью начали следить правообладатели, из-за чего Usenet-провайдерам пришлось удалять файлы, что сильно повлияло на целостность релизов. Некоторые провайдеры сделали автоматизированные системы удаления файлов, чтобы правообладатели могли удалять загрузки самостоятельно. Дабы предотвратить или хотя бы замедлить обнаружение файлов правообладателями, энтузиасты начинают загружать файлы с обфусцированными именами, в архивах под паролями, и добавляют их в каталоги систем индексации релизов (indexers), доступ к которым, как правило, осуществляется либо за деньги, либо по приглашениям. Обычными способами ни найти, ни скачать такие релизы не удастся.

В современной России о Usenet почти никому не известно, хотя рунет зарождался именно с него, по протоколу UUCP, и был одним из двух рабочих каналов для связи с Западом во время путча 1991 года (второй - FIDO). Сейчас Usenet наиболее популярен в странах, законы которых позволяют штрафовать пользователей за скачивание или раздачу контента, защищенного авторским правом, например, в Германии. В отличие от BitTorrent, узнать IP-адресы пользователей Usenet сторонней организации невозможно.

Подключение к Usenet

Полноценно пользоваться сетью бесплатно, скорее всего, не получится: либо столкнетесь с низким временем хранения файлов (10-30 дней), либо с низкой скоростью, либо получите доступ только к текстовым группам. Придется купить доступ у какого-нибудь провайдера или их реселлеров. Большинство провайдеров имеют два типа тарифов: месячный абонемент без ограничений по количеству скачанного (unlimited) и пакет трафика без ограничения по времени (block). Если вы собираетесь качать файлы из сети пару раз в месяц, block-доступа вам хватит надолго.
Крупнейшими провайдерами являются Altopia , Giganews , Eweka , NewsHosting , Astraweb .

Теперь нужно каким-то образом получить nzb-файл с метаинформацией, это что-то вроде.torrent-файла. Если у вас его нет, нужно воспользоваться поисковиком-индексатором.

Индексаторы

Общедоступные индексаторы завалены спамом с вирусами и ищут, как правило, плохо, но, тем не менее, подходят для поиска устаревших файлов, загруженных около 5 и более лет назад.
Вот некоторые из них:

Бесплатные индексаторы, требующие регистрацию, больше подходят для файлов посвежее. Они хорошо каталогизированы, релизы имеют не только название, но и описание с картинкой.

Последние два особенно рекомендую, в них можно найти множество обфусцированных релизов.
Существуют и узконаправленные сайты. Например, индексатор аниме anizb и музыки albumsindex .

Скачивание с Usenet

Давайте попробуем скачать фильм The FP 2011 года, достаточно неизвестный и непопулярный, BDRip"а которого в 1080p так просто найти мне не удалось. Для этого вам нужно найти nzb-файл и импортировать его в программу для закачки, например, NZBGet или SABnzbd , предварительно ее установив.
Заходим на nzbking.com , выполняем поиск по «the.fp.2011».

Видим в индексе файл, у которого доступна только одна часть из 3867. Такой файл не скачать, поэтому индексатор отображает этот параметр красным цветом.

Файлы, защищенные паролем, как правило, являются просто фейками.

На второй странице обнаруживается DVDRip, с адекватным размером, в архиве без пароля - хороший знак.

На третьей странице находим BDRip и несколько DVDRip"ов, похожих на настоящие (судя по размеру файла и дате загрузки).
Выбираем файлы, которые хотим скачать, нажимаем кнопку «Download NZB», скачиваем.nzb-файл и импортируем его в NZBGet или SABnzbd, предварительно вписав данные своего Usenet-аккаунта в настройки программы. Начинается скачивание со скоростью канала моего провайдера.

По окончанию скачивания, NZBGet автоматически распакует архивы и удалит их. Файл размером 6.74 ГБ, загруженный 4.5 года назад, скачался за 15 минут!

IRC / DCC / XDCC

Internet Relay Chat - протокол текстового общения, до сих пор пользующийся популярностью у разработчиков свободного ПО, администраторов торрент-трекеров, анимешников и авторов ботнетов из-за своей простоты. Появившийся в 1989 году, IRC стал стандартом групповых чатов в интернете на долгие годы, и начинает терять популярность только к середине 2000-х, с приходом ICQ и Jabber. В IRC существует возможность передачи файлов - DCC , на основе которой в 1994 году был написан первый бот для автоматического распространения доступных боту файлов - Xabi DCC (отсюда и название - XDCC).

На сегодняшний день существуют как отдельные каналы, так и целые серверы, посвященные файлообмену через XDCC. Почти у любой мало-мальски серьезной аниме релиз-группы, у которой даже может не быть веб-сайта, есть свой бот, с которого можно скачать все релизы группы независимо от их возраста. Популярность XDCC обусловлена функциональностью скриптов, легкостью их настройки и администрирования: выкладывающему релиз достаточно загрузить каким-либо образом файл на сервер с ботом, например по FTP, а бот сам добавит его в индекс, оповестит пользователей на канале о появлении нового файла, автоматически отправит его пользователям, подписавшимся на обновления этого бота (например, если это новый эпизод сериала).

В специальных IRC-сетях распространяют варез, свежие и не очень фильмы, музыку, игры, книги. XDCC не наделен вниманием правообладателей, поэтому у ботов можно найти множество вещей, которые сложно найти в других местах.

Индексаторы

Многие (но не все) XDCC-боты индексируются специальными скриптами, предоставляющими веб-интерфейс для эффективного поиска файлов.
Общие индексаторы контента:

Индексаторы аниме:

Скачивание из IRC

Вам потребуется IRC-клиент, подойдет практически любой (подавляющее большинство клиентов поддерживает DCC). Подключаемся к интересующему вас серверу из списка, заходим на канал. Крупнейшие серверы с книгами :

• irc.undernet.org, канал #bookz
• irc.irchighway.net, канал #bookz

Варезом :

• irc.criten.net, канал #elitewarez
• irc.infatech.net, канал #elitewarez
• irc.scenep2p.net, канал #the.source

Фильмами :

• irc.abjects.net, канал #moviegods
• irc.abjects.net, канал #beast-xdcc

Мультфильмами и аниме :

• irc.rizon.net, канал #news
• irc.xertion.org, канал #cartoon-world

Все версии ботов принимают команду!find или @find для поиска файлов, после чего отправляют результаты личным сообщением. Для популярных запросов на каналах с большим количеством ботов вас буквально заспамит ответами, поэтому, если канал поддерживает команду @search , лучше воспользоваться ей - специальный индексатор канала отправит вам результаты одним файлом через DCC.

Попробуем скачать «How Music Got Free» («Как музыка стала свободной» по-русски) - замечательная книга об истории музыкальной индустрии, технологиях обмена музыкой и человеке, который почти в одиночку стащил 2000 альбомов и выложил их в сеть.

Бот присылает результат поиска в виде ZIP-архива с текстовым файлом:

Отправляем боту запрос на скачивание файла:

…и принимаем его!

Конечно, не обязательно искать напрямую на канале. Если вы нашли нужный файл через индексатор, можете сразу запросить его у бота командой, которую вам сгенерирует сайт.

DC++

Direct Connect-сеть представляет собой клиент-серверную архитектуру, где все коммуникации, кроме непосредственно обмена файлами, происходят через сервер. В DC++ есть возможность расшаривания файлов и директорий, поиск файлов с учетом их типа (видео, аудио, архивы, документы, образы дисков), ссылки на файлы, независящие от имени файла и, конечно же, чат, из-за чего DC++-хабы были очень популярны в локальных сетях интернет-провайдеров РФ. Сибирский провайдер GoodLine рекламировал свой внутрисетевой хаб на уличных рекламных щитах, писал ПО для упрощения файлообмена и даже встраивал его в свои Set-top box, чтобы клиенты могли смотреть новинки кинематографа прямо с телевизора. На хабе сидело более 100000 человек - больше, чем в любом другом хабе в мире.

Из-за того, что пользователю достаточно указать путь к файлам, к которым он хочет открыть публичный доступ, в DC++ можно найти жуткое, малоизвестное старьё, которое, по мнению пользователя с этим файлом, уж точно никому не сдалось, но он его все равно расшарил, так, на всякий случай.

3 человека раздают видеоурок 11-летней давности, который ни одному вменяемому человеку смотреть не захочется, поверьте.

Скачивание из DC++

Вам потребуется какой-нибудь DC-клиент. Под Windows рекомендую FlylinkDC++ (который, к тому же, поддерживает BitTorrent), под Linux - и AirDC++ Web . Далее нужно подключиться к популярным хабам, лучше сразу к десятку. Список хабов есть в самих программах, но можно воспользоваться специальной страницей и скопировать адреса оттуда.

Настоятельно рекомендую включить «активный» режим, пробросить порты, ввести ваш внешний IP-адрес в настройках программы и удостовериться, что к вам возможны подключения извне, иначе, в «пассивном» режиме у вас будут ограничения на количество результатов поиска, вы не сможете качать файлы с других пользователей в «пассивном» режиме.

Поиск и скачивание файлов интуитивно понятно: вводите название, опционально выбираете тип контента и фильтр по размеру, нажимаете кнопку поиска, кликаете два раза по результату, файл начинает скачиваться. Также можно посмотреть все файлы пользователя (и, например, скачать папку с найденным файлом целиком), нажав правой кнопкой по конкретному результату и выбрав соответствующий пункт меню.

Если нужного вам файла не нашлось, имеет смысл периодически повторять поиск. Некоторые люди запускают DC-клиент только тогда, когда им нужно что-то скачать, и вам нужно поймать момент, чтобы найти файл у таких пользователей.

Из-за ограничений протокла NMDC , одновременный поиск нескольких файлов затруднен, результаты одного поискового запроса могут перемешиваться и отображаться в соседних окнах поиска, поэтому лучше не искать несколько файлов одновременно. У хабов, работающих по протоколу ADC , таких ограничений нет, но и таких хабов удручающе мало (их URI начинается с adc:// , а не с dchub://).

Индексаторы

Поиск внутри программы может найти только файлы пользователей, находящихся в DC-сети на момент поиска, поэтому индексаторы очень полезны для нахождения и скачивания файлов с редко запускающих программу людей.

Насколько мне известно, полноценный индексатор DC++ есть только один - spacelib.dlinkddns.com (и его второй адрес dcpoisk.no-ip.org). Поиск основан на движке Sphinx и учитывает морфологию (в том числе и русского языка). Поисковик генерирует magnet-ссылки для результатов поиска, которые можно поставить на закачку в клиенте.
Иногда он подолгу недоступен, например, в прошлый раз он не работал два месяца подряд.

eDonkey2000 (ed2k), Kad

ed2k - протокол децентрализованной передачи файлов, требующий сервер-хаб для нахождения пользователей и соединения с ними. Был протоколом №1 для передачи файлов среди всех слоев населения, до закрытия самого популярного сервера Razorback 2 в 2006 году и роста популярности BitTorrent.

EDonkey2000 выжил. Этому поспособствовал протокол полностью децентрализованного обмена Kad, который был внедрен в сторонние клиенты незадолго до закрытия Razorback 2 и главного сервера оригинальной программы, уступающей в функциональности и скорости альтернативным реализациям.

В ed2k можно найти примерно то же самое, что и в DC++ - старые файлы, ТВ-шоу на разных языках, разнообразную музыку, игры, варез, старые книги по программированию, математике, биологии. Новинки, разумеется, тоже в наличии. Хоть протокол и поддерживает чаты и просмотр всех файлов пользователя в открытом доступе, эти функции по умолчанию отключены, и, скорее всего, вам не удастся пообщаться с интересующими вас людьми через программу.

Скачивание в eDonkey2000 / Kad

Как вы уже догадались, потребуется ed2k-клиент. Хороший выбор для Linux - aMule , для Windows, наверное, eMule , хоть он и не обновлялся с 2011. Крайне рекомендую пробросить порты, чтобы иметь возможность скачивать с пользователей за NAT (LowID).

Процесс поиска и скачивания файлов очень похож на таковой в DC++ - вводим поисковой запрос, получаем результаты поиска с пользователей, находящихся онлайн, кликаем на файлы для начала скачивания.
Файл отобразится в результатах даже в том случае, у пользователей, находящихся онлайн, есть только его части, но не файл целиком.

Попробуем найти малоизвестный документальный фильм 2009 года We Live In Public - картину, повествующую о событиях 90-х, которые частично предсказали современный интернет. Часть времени в фильме уделяется сайту pseudo.com - сервису аудио- и видеотрансляций, основанном в 1993 году.

Вводим поисковую фразу, получаем результаты:

Кликаем, начинается скачивание:

Загрузка файла может растянуться на недели и месяцы. По какой-то причине, многие пользователи сети имеют отвратительное интернет-соединение, да еще и появляются раз в неделю на пару часов, а то и меньше.

Soulseek

Soulseek - централизованная сеть обмена музыкальным файлами по принципу P2P, созданная в 2000 году одним из разработчиков Napster. Долгое время была популярна среди слушателей и авторов IDM и прочей электронной музыки, и по сей день сеть развивается и остается хорошим местом для поиска аудиофайлов. Есть групповые и приватные чаты, возможность раздачи файлов только друзьям, удобный поиск музыки с указанием битрейта и других характеристик аудиофайлов. Некоторые поисковые запросы цензурируются.

Существует официальный кроссплатформенный проприетарный клиент SoulseekQt и два развивающихся неофициальных: Nicotine+ и Museek+ .

BitTorrent DHT

Все популярные клиенты BitTorrent могут искать пиров и обмениваться торрент-файлами через распределенную хеш-таблицу (DHT). Этим пользуются не только компании, отслеживающие раздающих файл пользователей, по договору с правообладателями контента, но и индексаторы, которые пытаются получить torrent-файл с infohash из DHT-запроса и сохранить его в своей базе. Индексаторы могут найти нигде не опубликованный или просто редкий торрент по названию директории или файла, а также различные дубликаты интересующего вас торрента с потенциальными сидерами.
Ранее самым популярным индексатором был ныне неработающий сценой . https://ru.wikipedia.org/wiki/Релизная_группа
Сценические релизы очень часто содержат сокращенные или намеренно испорченные имена архивов, которые нельзя найти обычным поиском по имени файла. Чтобы узнать настоящее имя, нужно поискать его в специальных индексаторах сцен-релизов: layer13.net , pre.corrupt-net.org и predb.me .

Попробуем узнать сценическое название архивов с релизом We Live In Public от PUZZLE на Layer13:

NFO-файл называется «puzzle-wlip.nfo». Названия архивов практически всегда, в 99% случаев совпадают с названием NFO, поэтому попробуем поискать это название в Usenet-индексаторе:

Ура, теперь мы можем скачать DVD фильма!

Обычные поисковые системы вроде Google не всегда будут вам помощниками. Во-первых, Google следует букве закона и удаляет (скрывает) результаты с сайтов, о которых сообщают ему правообладатели в рамках DMCA , во-вторых, поиск контента с названием из спецсимволов затруднен: проблемно найти что-либо о W.I.T.C.H. , вам постоянно подсовывают информацию о Witch , The Witch или Blair Witch . Я предпочитаю пользоваться DuckDuckGo , Bing и метапоисковиком SearX - через них можно найти материалы, недоступные в Google.
Если вас интересует релиз на конкретном языке, уместней узнать локализованное название и совершать поиск по нему. Получить подобную информацию можно на Wikipedia, IMDb и других подобных сайтах.

Для аниме есть anidb , хранящий информацию о релизах групп на разных языках. Карточка группы, как правило, содержит ссылку на сайт или IRC-канал, где можно пообщаться с ее членами и скачать файлы через XDCC.

Помимо источника, разрешения видео, языков аудиодорожек и субтитров, на anidb есть TTH-хеш для DC++ и ed2k-ссылка для каждого файла.

Заключение

Примерно так я ищу нужные мне файлы. В посте намеренно не упомянуты очевидные вещи, вроде покупки дисков с Amazon или Ebay и поиска по популярным открытым и закрытым Torrent-трекерам. Все способы применимы для медиаконтента из Европы и США, мне никогда не приходилось искать, например, арабский и индийский контент, поэтому не могу сказать, насколько они эффективны.

Скрытый текст

А еще Usenet можно использовать для дешевого хранения резервных копий: шифруем файлы, покупаем доступ в Usenet за $10, загружаем файлы, через 4 года опять покупаем доступ и скачиваем их за еще одни $10. В отличие от облаков, в Usenet не нужно оплачивать хранение файлов. Но без фанатизма, а то удалят.

Добавить метки

Большинство пользователей используют FTP только для того, чтобы решать какие-то вопросы с сайтом. Не все знают, что при помощи этого протокола можно быстро скачивать данные со специальных серверов. Проблема в том, что мало кто слышал о специальных поисковиках для поиска файлов по FTP. Именно такой FTP поиск и будет рассмотрен в данной статье. Вы узнаете как работает поисковик для FTP-серверов, какие есть сервисы поиска и как ими пользоваться.

Как работает поисковик по FTP

В Интернете есть множество сайтов и большое количество серверов FTP. Не все сервера защищены паролями и логинами, так как не каждый хост используют для хранения какой-то приватной информации или данных сайта. Потому появились специальные сервисы, которые позволяют просматривать файлы внутри серверов с разрешенным анонимным подключением.

Работают поисковики по FTP точно так же, как и обычные поисковые системы, только у них функций гораздо меньше.

Все, что они делают — это сверяют ваш запрос с названиями файлов, которые находятся на серверах. И хоть это весьма ограниченный вид поиска, зато найденные документы и файлы вы сможете скачивать с большой скоростью, чего никогда не позволит стандартный загрузчик браузера.

Использовать поисковики такого плана рекомендуется только в том случае, если вы ищите какой-то файл в Интернете и хотите найти ссылку, чтобы можно бы сразу скачать его. На FTP-серверах нет какой-либо рекламы и обманных ссылок — стопка файлов сразу находится перед вами, остается только подключиться к серверу, зайти в нужный каталог и скинуть данные к себе на компьютер. А сделать это можно либо при помощи специальной программы-клиента, наподобие FileZilla, либо при помощи стандартных возможностей операционной системы через проводник.

Какие есть поисковики для поиска файлов по FTP

Ранее существовал популярный сервис AllTheWeb с возможностью фильтрации данных по FTP. Несколько лет назад он был самым популярным в плане поиска файлов по различным серверам протокола FTP. Но сейчас нет — он превратился в Yahoo, и возможность искать внутри сети серверов FTP убрали.

Но остались многие другие поисковики оп FTP, которые по-прежнему функционируют. Один из таких — это сервис FindFiles. К сожалению, его возможности во многом ухудшились. Теперь вы можете искать через этот сайт приложения без использования FTP-серверов. Но для пользователей ПК, которые ищут определенную программу, сервис будет полезным.

Один из сохранившихся FTP-поисковиков, который до сих пор предоставляет хорошие результаты выдачи во время поиска — это сервис FileSearch. В целом, его функциональность минимальна. Вы сможете выбрать тип файла, который ищите (аудио, папка, музыка, картинка, видео или название сервера), а также поиск по миру или только в России. Потом вводите поисковую фразу и получаете список путей к файлам на разным FTP-серверах планеты. Теперь вам нужно лишь подключиться к ним при помощи анонимного подключения и перенести данные на компьютер.

Другой не менее популярный сервис поиска по FTP мирового масштаба — это Напалм. В нем содержится информация о более чем миллиарде файлов на почти 16 тысячах серверах, что для FTP-поисковика является хорошим показателем! Единственная опция во время поиска — это либо искать по всем словам из поисковой фразы, или по любому слову из нее. Более подробная фильтрация поиска доступна уже после того, как вы введете поисковую фразу в строке. Затем вы сможете отсортировать файлы по дате, по размеру и отыскать тот формат, который вам нужен.

Указанных двух серверов достаточно, чтобы вы могли быстро находить необходимые файлы на серверах. Такой поиск очень понравится любителям игр, потому что поисковик Напалм выдает множество игр и программ, которые сразу после загрузки можно будет установить на компьютер.

На первый взгляд, поиск файла в интернете по нужному файлообменнику тема малоперспективна. Но это только на первый взгляд. Пока не появляется необходимость найти конкретный файл на конкретном файлообменнике. Почему на определенном файлообменнике? Потому, что обычный пользователь чаще всего является счастливым обладателем одного платного голд-аккаунта. Ну и естественно, коль деньги заплачены, надо использовать этот файлообменник на все 200 процентов.

Конечно, можно забить название нужного файла в любом из поисковиков, но результаты поиска в них отображаются без привязки к обменнику. Можно поизголяться и дописать к названию файла название файлообменника. Результаты уже будут лучше, но все равно плохо читаемыми.

Намного проще воспользоваться каким-нибудь из онлайн сервисов. Лично я, потратив полчаса, на сегодняшний день рабочих нашел только три. И очень буду благодарен, если посетители в комментариях добавят свои находки.

Поиск здесь можно вести на Rapidshare, Dfiles, Mega, 4shared, Mediafireи Turbobit. Прописываем или копируем название файла в поле поиска, отмечаем нужный файлообменник (файлообменники) и нажимаем кнопку "SearchFile". Можно отсортировать поиск по размеру файла.

На скриншоте отображена страница с результатами поиска по моему запросу. Проверил все файлообменники по очереди. Работают все. Имеется опция поиска по региону, правда нам это не актуально, России в списке нет.

Заявленных на нем файлообменников уже на много больше, правда про большинство из них я никогда и не слышал: Mega.co.nz, Bitshare.com, Wupload.com, Freakshare.com, Depositfiles.com, Mediafire.com, Filefactory.com, Rapidshare.com, Uploadstation.com и Uploaded.to. Сама процедура поиска аналогична вышеописанной.

Приятное дополнение поиск видео на сервисах YouTube, Dalealplay, Metacafe и Googlevideo. Правда стоит учесть, что сервис испанский, так что некоторое видео имеет статус без показа в России.