Останавливаем Wayback Machine. Методы CounterOSINT
В арсенал опытных OSINT сыщиков входит директива под названием Check WebArchive. Данный кейс предлагает оперативному сотруднику проверить URL сайта (если такой имеется) по базе снимков, сделанных с помощью автоматического сервиса https://web.archive.org/
Веб-архив (Webarchive) — это бесплатная платформа, где собраны все сайты, созданные когда-либо, и на которые не наложен запрет для их сохранения.
Что делает Wayback Machine?
У тебя есть сайт. Wayback Machine посылает своих роботов аналогично поисковым системам, которые индексируют данные. Роботы создают снимки страниц твоего сайта и сохраняют всё найденное в базу в хронологическом порядке. Все снимки твоего сайта доступны любому пользователю. Грубо говоря Wayback Machine клонирует твой сайт и сохраняет в свою базу. И что важно, снимки делаются регулярно.
Чем привлекателен Wayback Machine для OSINT
Допустим вы указали на странице «Контакты», номера сотовых телефонов своих сотрудников. Затем через неделю передумали и удалили персональные данные, почистили кеши google и yandex. Проверили что номера не ищутся в поисковых системах. И вроде все хорошо, но до того как вы произвели зачистку, на ваш сайт зашел робот Wayback Machine и сделал снимок всех страниц, в том числе страницы «Контакты».
Имея в распоряжении URL вашего сайта, оперативный сотрудник согласно директиве Check WebArchive заходит на сайт Wayback Machine и смотрит хронологию изменений. Естественно с легкостью находит номера сотовых телефонов вашего персонала, которые вы давным-давно удалили.
Wayback Machine выступает неким инструментом для бекапа (резервная копия).
Это касается любой информации, которую вы удаляете и изменяете у себя на сайте. Все что публикуется в сеть интернет, остается там навсегда.
Останавливаем Wayback Machine
Во времена динозавров, отлично работал метод остановки через файл robots.txt. Где прописывался запрет на индексацию, конкретно под User-agent.
User-agent: ia_archiver
Disallow: /
User-agent: archive.org_bot
Disallow: /
В наше время данный способ устарел и работает примерно на 30% (судя по статистике), что естественно меня не устраивает. Теперь для остановки роботов, необходимо подготовить и написать специальное письмо на адрес электронной почты info@archive.org
Полезные наблюдения при подаче заявки
Письмо лучше писать с почты, которая привязана к домену.
Шаблон необходимо заполнять на английском языке и указывать достоверные данные.
Нельзя менять структуру шаблона и тему письма. Так как письмо будет обрабатываться в автоматическом режиме. Первый этап обрабатывает робот, второй этап живой менеджер, который может задать дополнительные вопросы. Менеджер так-же постарается вас отговорить от исключения вашего сайта из их системы, не поддавайтесь, стойте на своем и грозите карами и судами.
Собственно рабочий шаблон письма:
тема письма: DMCA Take Down Notice
Sir,
I am owner of domain name and website "blablabla"
I request you to remove the following link from your website
Wayback Machine
web.archive.org
My Address - "Banana street 15, office 24"
Phone No. - "+12345678901"
Email Address — "info@blabla.bla"
I have a good-faith belief that the disputed use is not authorized by the copyright owner, its agent, or the law.
The above information in this notice is accurate, and under penalty of perjury, I am the owner of the copyright interest involved.
Signature — "Vasiliy Pupkin"
Через некоторое время заходим на wayback machine и должно получиться!
В арсенал опытных OSINT сыщиков входит директива под названием Check WebArchive. Данный кейс предлагает оперативному сотруднику проверить URL сайта (если такой имеется) по базе снимков, сделанных с помощью автоматического сервиса https://web.archive.org/
Веб-архив (Webarchive) — это бесплатная платформа, где собраны все сайты, созданные когда-либо, и на которые не наложен запрет для их сохранения.
Что делает Wayback Machine?
У тебя есть сайт. Wayback Machine посылает своих роботов аналогично поисковым системам, которые индексируют данные. Роботы создают снимки страниц твоего сайта и сохраняют всё найденное в базу в хронологическом порядке. Все снимки твоего сайта доступны любому пользователю. Грубо говоря Wayback Machine клонирует твой сайт и сохраняет в свою базу. И что важно, снимки делаются регулярно.
Чем привлекателен Wayback Machine для OSINT
Допустим вы указали на странице «Контакты», номера сотовых телефонов своих сотрудников. Затем через неделю передумали и удалили персональные данные, почистили кеши google и yandex. Проверили что номера не ищутся в поисковых системах. И вроде все хорошо, но до того как вы произвели зачистку, на ваш сайт зашел робот Wayback Machine и сделал снимок всех страниц, в том числе страницы «Контакты».
Имея в распоряжении URL вашего сайта, оперативный сотрудник согласно директиве Check WebArchive заходит на сайт Wayback Machine и смотрит хронологию изменений. Естественно с легкостью находит номера сотовых телефонов вашего персонала, которые вы давным-давно удалили.
Wayback Machine выступает неким инструментом для бекапа (резервная копия).
Это касается любой информации, которую вы удаляете и изменяете у себя на сайте. Все что публикуется в сеть интернет, остается там навсегда.
Останавливаем Wayback Machine
Во времена динозавров, отлично работал метод остановки через файл robots.txt. Где прописывался запрет на индексацию, конкретно под User-agent.
User-agent: ia_archiver
Disallow: /
User-agent: archive.org_bot
Disallow: /
В наше время данный способ устарел и работает примерно на 30% (судя по статистике), что естественно меня не устраивает. Теперь для остановки роботов, необходимо подготовить и написать специальное письмо на адрес электронной почты info@archive.org
Полезные наблюдения при подаче заявки
Письмо лучше писать с почты, которая привязана к домену.
Шаблон необходимо заполнять на английском языке и указывать достоверные данные.
Нельзя менять структуру шаблона и тему письма. Так как письмо будет обрабатываться в автоматическом режиме. Первый этап обрабатывает робот, второй этап живой менеджер, который может задать дополнительные вопросы. Менеджер так-же постарается вас отговорить от исключения вашего сайта из их системы, не поддавайтесь, стойте на своем и грозите карами и судами.
Собственно рабочий шаблон письма:
тема письма: DMCA Take Down Notice
Sir,
I am owner of domain name and website "blablabla"
I request you to remove the following link from your website
Wayback Machine
web.archive.org
My Address - "Banana street 15, office 24"
Phone No. - "+12345678901"
Email Address — "info@blabla.bla"
I have a good-faith belief that the disputed use is not authorized by the copyright owner, its agent, or the law.
The above information in this notice is accurate, and under penalty of perjury, I am the owner of the copyright interest involved.
Signature — "Vasiliy Pupkin"
Через некоторое время заходим на wayback machine и должно получиться!
