Що таке Open Source Intelligence (OSINT)? Інструменти та приклади 2023

Open-Source Intelligence – це метод отримання інформації про будь-яку особу чи організацію. Імовірно, OSINT існував стільки ж, скільки й соціальні мережі. Завершувати головоломку особистих даних дуже забавно, особливо якщо ви любите подібні ігри.

Що таке OSINT? Інструменти розвідки з відкритим кодом 2023 | Gridinsoft

Що таке OSINT?

November 11, 2022

OSINT, або Open-Source Intelligence, є методом отримання інформації про будь-якого підозрюваного. Він часто використовується спеціальними державними службами, але доступний кожному користувачеві.

Значення цієї абревіатури розкриває всю суть цього явища. Розвідка, яка ведеться на основі відкритих джерел, працює виключно добре, коли потрібно зберегти факт стеження в таємниці. Усі порушення або спроби їх можуть бути легко виявлені системними адміністраторами чи іншим кваліфікованим персоналом. Тим часом отримати інформацію про компанію чи особу в Instagram або на веб-сайті з інформацією про місцеві компанії набагато легше та приховано.

Важливо зрозуміти, як це працює. Важко описати, скільки інформації ви залишаєте під час роботи в Інтернеті. І це не ваша провина, якщо ви не параноїки щодо своєї конфіденційності та не думаєте двічі над кожним повідомленням. Ви тут і там згадали своє місцезнаходження та сказали, коли у вас зазвичай закінчується робочий день – і цього вже достатньо, щоб багато сказати про вас.

Instagram data
Instagram містить багато даних для OSINT-операцій

Осягнути розпорошені факти про людину чи компанію – завдання не з легких, особливо коли в OSINT ти покладаєшся на бази даних чи неструктуровану інформацію, а не на повідомлення в соціальних мережах. У цей момент з’являються інструменти OSINT.

Інструменти OSINT

Основне завдання OSINT-інструментів зробити аналіз даних більш доступним шляхом його структурування. Але більшість сучасних інструментів OSINT пропонують можливість сортувати вашу інформацію в бажаний спосіб і готові бази даних для аналізу. Так, це може виглядати як спроба бути розумнішим за користувача, але це лише спосіб зробити ці напівлегальні інструменти менш фрагментованими.

Більшість інструментів OSINT доступна навіть у зовнішній мережі - зокрема на GitHub. Однак деякі з них, особливо ті, які призначені для глибокого аналізу, можна знайти лише в Darknet. Деякі спеціальні інструменти, призначені для дій, які можна легко класифікувати як шпигунське ПЗ, виставляються на продаж на форумах Darknet або торгових платформах.

Ім'я Джерело Опис Мова Ціна
Amass Git Набір інструментів для енумерації DNS і моніторингу мережі: сканування, рекурсивний підбір, сканування веб-архівів, зворотне очищення DNS Golang 🆓​
Asnlookup Git ASN для пошуку IP-адрес (IPv4 та IPv6), що належать певній організації, з метою розвідки та сканування портів Python 🆓​
AttackSurfaceMapper Git Енумератор субдоменів Python 🆓​
AutoRecon Git Багатопотоковий інструмент розвідки мережі, який виконує автоматичну енумерацію сервісів Python 🆓​
badKarma Git Просунутий інструмент для здійснення мережевої розвідки Python 🆓​
Belati Git OSINT-інструмент, що дозволяє збирати дані у пасивному та активному режимі Python 🆓​
Certstream Git Інтелектуальна стрічка, яка надає оновлення в реальному часі з мережі журналу прозорості сертифікатів Elixir 🆓​
Darkshot Git Скрейпер із багатопоточним оптичним розпізнаванням символів і автоматичною категоризацією скріншотів Python 🆓​
dataleaks Git Власна пошукова система з витоку даних PHP 🆓​
datasploit Git OSINT-фреймворк для пошуку, агрегації та експортування даних Python 🆓​
DeadTrap Git Відстежує сліди, що відносяться до номеру телефону Python 🆓​
DNSDumpster Утиліта дослідження доменів, яка може відстежувати хост-машини, що відносяться до обраного домену - 🆓​
dnsenum Git Інструмент DNS-розвідки: здійснює AXFR-операції, енумерацію DNS-записів, брутфорс субдоменів і зворотнього пошуку діапазону Perl 🆓​
dnsenum2 Git Продовження проекту dnsenum Perl 🆓​
DNSRecon Git Інструмент розвідки DNS: здійснює AXFR-операції, енумерацію записів DNS, розширення TLD, розв’язання символів узагальнення, брутфорс субдоменів, пошук записів PTR, перевірка кешованих записів Python 🆓​
dnsx Git Багатозадачний DNS-інструментарій, який дозволяє здійснювати декілька DNS-запитів одночасно Golang 🆓​
EagleEye Git Інструмент для розпізнавання фотографій у Інстаграмі, Фейсбуці та Твіттері Python 🆓​
Espionage Git Збір інформації про домен: whois, історія, dns-записи, веб-технології, записи Python 🆓​
eTools.ch Метапошукова система, здійснює запити до 16 пошукових систем паралельно - 🆓​
Facebook_OSINT_Dump Git OSINT-утиліта, створює дампи профілів у Facebook. Працює лише з Windows та лише з браузером Chrome Shell 🆓​
FinalRecon Git Скрипт веб-розвідки Python 🆓​
Findomain Git Швидкий eнумератор субдоменів Rust 🆓​
FOCA Git Фреймворк OSINT та аналізатор метаданих Csharp 🆓​
GHunt Git Перевіряє облікові записи Google із електронними адресами та знаходить ім’я, імена користувачів, канал Youtube, ймовірне місцезнаходження, відгуки на Картах тощо. Python 🆓​
gitGraber Git Відстежує GitHub для знаходження конфіденційних даних у режимі реального часу для різних онлайн-сервісів, таких як: Google, Amazon, Paypal, Github, Mailgun, Facebook, Twitter, Heroku, Stripe тощо. Python 🆓​
Gorecon Git Інструментарій для розвідки Go 🆓​
GoSeek Git Пошук імені користувача, порівнянний з Мегре/Шерлоком, пошук IP-адреси, номерного знаку, пошук VIN, видаленої інформації та генератор фальшивих ідентифікаторів - 🆓​
gOSINT Git Фреймворк OSINT; знаходить пошту, дампи, отримує історію Telegram та інформацію про хости Go 🆓​
h8mail Git OSINT-утиліта для електронних поштових скриньок; інструмент пошуку зламаних паролів, підтримує відслідковування пов'язаних електронних адрес Python 🆓​
Harpoon Git Інструмент CLI; збирає дані та документувати активно чи пасивно Python 🆓​
holehe Git Перевіряє, чи використовується пошта на різних сайтах, таких як twitter, instagram, і чи буде вона отримувати інформацію на сайтах із функцією забутого пароля Python 🆓​
IVRE Git IVRE (Instrument de veille sur les réseaux extérieurs) або DRUNK (Dynamic Recon of UNKnown networks); структура мережевої розвідки, що включає інструменти пасивної та активної розвідки Python 🆓​
kitphishr Git Шукає вихідний код набору для фішингу, переглядаючи URL-папки та шукаючи файли zip у відкритих каталогах; підтримує список URL-адрес або PhishTank Go 🆓​
Kostebek Git Інструмент для пошуку доменів фірм шляхом пошуку інформації про їхні торгові марки Python 🆓​
LeakDB Git Нормалізація, видалення дублікатів, індексація, сортування та пошук витоку наборів даних у мультитерабайтному масштабі Go 🆓​
LeakIX Git Пошукова система пристроїв і послуг, представлених в Інтернеті - 🆓​
LeakLooker Git Виявляйте, переглядайте та відстежуйте витоки бази даних/вихідного коду Python 🆓​
leakScraper Git Набір інструментів для обробки та візуалізації величезних текстових файлів, що містять облікові дані Python 🆓​
LinEnum Git Системний сценарій для локальної нумерації Linux і перевірки ескалації привілеїв Shell 🆓​
LittleBrother Git Збір інформації (OSINT) про особу (ЄС), перевірка соціальних мереж і Pages Jaunes Python 🆓​
Maigret Git Збирає досьє на людину за логіном з величезної кількості сайтів і витягує з них подробиці Python 🆓​
MassDNS Git Високопродуктивний розпізнавач DNS-заглушок для групового пошуку та розвідки (енумерація субдоменів) C 🆓​
Metabigor Git OSINT-інструмент, для якого не потрібен ключ API Go 🆓​
Netflip Git Збирає конфіденційну інформацію з сайтів для вставлення інформації CSharp 🆓​
NExfil Git Пошук профілів за іменем користувача на понад 350 веб-сайтах Python 🆓​
Nmmapper Інструменти кібербезпеки, які пропонуються як SaaS: nmap, пошук субдоменів (Sublist3r, DNScan, Anubis, Amass, Lepus, Findomain, Censys), theHarvester тощо. - 💰​
nqntnqnqmb Git Отримує інформацію про профілі Linkedin, компанії на Linkedin і шукає компанії/особи Linkedin Python 🆓​
Oblivion Git Перевірка та моніторинг витоку даних Python 🆓​
ODIN Git Спостерігає, виявляє та досліджує мережі, автоматизований інструмент розвідки Python 🆓​
Omnibus Git фреймворк OSINT; колекція інструментів Python 🆓​
OneForAll Git Інструмент енумерації субдоменів Python 🆓​
OnionSearch Git Скрипт, який збирає URL-адреси в різних пошукових системах .onion Python 🆓​
OSINT Framework Git Веб-набір інструментів і ресурсів для OSINT Javascript 🆓​
Osintgram Git Інтерактивна оболонка для аналізу акаунтів Instagram будь-яких користувачів за їх ніком Python 🆓​
Osmedeus Git Автоматизована структура для розвідки та сканування вразливостей Python 🆓​
Photon Git Швидкий сканер, розроблений для OSINT Python 🆓​
PITT Git Веб-браузер із посиланнями та розширеннями для OSINT - 🆓​
ProjectDiscovery Git Відстежує, збирає та постійно запитує дані ассетів за допомогою простого веб-інтерфейсу користувача Go 🆓​
Qualear Git Розвідувальний апарат; Збір інформації, конгломерат інструментів, включаючи спеціальні алгоритми, оболонки API Go 🆓​
ReconDog Git Багатоцільовий інструмент для розвідки, виявлення CMS, зворотнього пошуку IP, сканування портів тощо. Python 🆓​
reconFTW Git Виконує автоматизовану перевірку цільового домену, запустивши набір інструментів для виконання сканування та виявлення вразливостей Shell 🆓​
Recon-ng Git Веб-інструмент розвідки Python 🆓​
Reconnoitre Git Інструмент, створений для автоматизації збору інформації та підрахунку послуг під час зберігання результатів Python 🆓​
ReconScan Git Інструменти розвідки мережі та оцінки вразливостей Python 🆓​
Recsech Git Інструмент веб-розвідки та сканування вразливостей PHP 🆓​
Redscan Git Комбінація інструменту для управління операціями безпеки, управління вразливістю та платформи розвідки Python 🆓​
Red Team Arsenal Git Автоматизований сканер розвідки та перевірки безпеки Python 🆓​
reNgine Git Автоматизована розвідка для веб-додатків; настроювані механізми сканування & пайплайн розвідки Python 🆓​
SearchDNS Інструмент Netcraft; Шукає та знаходить інформацію для доменів і субдоменів - 🆓​
Sherlock Git Шукає облікові записи соціальних мереж за іменем користувача в соціальних мережах Python 🆓​
Shodan Пошук пристроїв, підключених до Інтернету; допомагає знайти інформацію про робочі столи, сервери, пристрої IoT; включаючи метадані, наприклад запущене програмне забезпечення - 🆓​
shosubgo Git Захоплюйте субдомени за допомогою Shodan api Go 🆓​
shuffledns Git Обгортка навколо massdns, яка дозволяє перераховувати дійсні субдомени за допомогою активного брутфорсу, а також розпізнавати субдомени за допомогою обробки символів підстановки та простої підтримки введення-виведення Go 🆓​
SiteBroker Git Інструмент для збору інформації та автоматизації тестів на проникнення Python 🆓​
Sn1per Git Автоматизований розвідувальний сканер Shell 💰​
spiderfoot Git Фреймворк OSINT, збір і керування даними, цільове сканування Python 🆓​
Stalker Git Автоматичне сканування соціальних мереж та інших веб-сайтів за одним ніком Python 🆓​
SubDomainizer Git Знаходить субдомени та цікаві речі, приховані всередині, зовнішні файли Javascript сторінки, папки та Github Python 🆓​
subfinder Git Виявляє дійсні субдомени для веб-сайтів, розроблені як пасивна структура, щоб бути корисною для винагород за помилки та безпечною для тестування на проникнення Go 🆓​
Sublist3r Git Інструмент енумерації субдоменів Python 🆓​
Sudomy Git Інструмент енумерації субдоменів Python 🆓​
Th3inspector Git Багатоцільовий інструмент збору інформації Perl 🆓​
theHarvester Git Багатоцільовий інструмент збору інформації: електронні адреси, імена, субдомени, IP-адреси, URL-адреси Python 🆓​
tinfoleak Git Інструмент аналізу даних Twitter Python 🆓​
Totem Git Отримує інформацію про рекламу сторінки Facebook, отримує кількість цільових людей, вартість реклами та багато іншої інформації Python 🆓​
trape Git Інструмент аналізу та дослідження, який дозволяє відстежувати та виконувати інтелектуальні атаки соціальної інженерії в реальному часі Python 🆓​
TWINT Git Twitter Intelligence Tool; Збирання Twitter & OSINT-інструмент, який не використовує API Twitter, дозволяє отримувати дані про підписників, підписки, твіти тощо, уникаючи більшості обмежень API Python 🆓​

OSINT як вектор атаки

Давайте подивимося, де можна отримати інформацію про особу, яка вас цікавить. Ще раз: усі дані з усіх OSINT-джерел можна збирати й аналізувати вручну, без будь-якого додаткового програмного забезпечення . Щоб зробити цей процес швидшим і простішим, можна сказати – доступним для всіх, потрібні програми.

Електронна пошта

Скільки ви можете отримати, маючи лише адресу електронної пошти вашої цілі? На диво, багато. За допомогою Google можна розкривати різні факти, в тому числі шокуючі. Але лише проаналізувавши точну адресу електронної пошти, ви можете дізнатися ім’я користувача, рік народження (або навіть повну дату) або інші важливі дати. Вимова цієї особи, а також рідна мова та можлива країна, можливо, також там.

Email OSINT
Інформація про відправника, яку ви можете отримати з єдиної електронної адреси

Застосовуючи Google або інші пошукові системи (або навіть спеціальні інструменти), ви можете знайти зв’язки в соціальних мережах для цього конкретного електронного листа. Іноді ви також знайдете пов’язані зображення, домени, зареєстровані з цією електронною поштою, тощо. Якщо ця електронна скринька була помічена у витоку даних, ви, ймовірно, також побачите цю інформацію.

Соціальні мережі (приклади Twitter, Instagram)

Твіттер та Instagram – це місце, де люди не соромляться розкривати подробиці про своє жиння. Що важливіше для OSINT, ці мережі мають багато цінних даних, відкритих за замовчуванням. Отже, усе що треба одразу доступне - просто візьміть і використовуйте. І в обох цих мережах є багато нових користувачів, які досі не знають, як приховати свою особисту інформацію.

Основні цікаві моменти в цих соціальних мережах зосереджені в профілях і публікаціях. Інформація лежить на поверхні, тому вам не потрібно запускати жодних додаткових інструментів, щоб скласти цей пазл. OSINT-поверхня Instagram — це ім’я користувача, підписники та підписані облікові записи, веб-сайти, біографія у верхній частині профілю тощо. У публікаціях ви знайдете достатньо інформації, щоб відстежувати улюблені місця цієї людини або друзів об’єкта вашого інтересу.

Twitter пропонує інші дані для спостереження, але в кінцевому результаті ви матимете майже таку ж повну картину. Ви можете відобразити зображення профілю та відстежувати останні відповіді користувача, побачити дату приєднання та день народження. Деякі користувачі додають локацію в свій профіль - ця дія не обов'язкова, але може багато про що сказати, якщо ціль не робить це для протидії розвідці. Twitter також дозволяє кожному зберігати медіафайли, прикріплені до повідомлення. Це дозволяє зробити аналіз зображення - дивіться наступний пункт.

OSINT через Twitter
OSINT через Twitter

Аналіз зображень

Метадані в зображеннях є яскравим джерелом інформації про те, ким, де та як це було зроблено. Навіть якщо ви маєте справу зі скріншотами, ви можете визначити характеристики екрана, модель телефону, операційну систему та програму камери. Поглиблене вивчення може виявити геолокацію та час, коли було зроблено фото. Однак метадані досить важко проаналізувати без спеціального програмного забезпечення – вони виглядають як ряд сумнівно структурованих цифр і літер.

Вивчення метаданих фотографії
Вивчення метаданих фотографії

Ще одна грань аналізу зображення стосується точного вмісту зображення. Будівлі, особи, краєвиди – усе це допоможе вам визначити місцезнаходження та обставини. Для такого аналізу вам, ймовірно, знадобиться використовувати Google Street View, Google Maps і Google Lens. Всі вони безкоштовні і досить ефективні. Однак люди, які мають пристойні знання про кібербезпеку та конфіденційність, швидше за все, зітруть метадані - вручну або за допомогою спеціальних інструментів.

Аналіз IP

Стара добра словесна погроза з’ясувати місцезнаходження за IP-адресою – не такий дурний жарт, як може виглядати. Звичайно, вам все одно не вдасться визначити точне місцезнаходження, але є багато інших речей, які це компенсують. Цей аналіз виконується переважно за допомогою спеціальних інструментів – веб-сайтів або веб-додатків.

Схема OSINT через IP-адресу
Схема OSINT-атаки через IP-адресу

Перший крок до аналізу IP-адрес — переконатися, що ви маєте справу зі справжньою IP-адресою, а не з IP-адресами VPN-сервера чи вузла виходу Tor. Після з'ясування цього моменту ви можете зробити крок вперед - перевірити властивості IP. Використовуючи певні сайти, ви можете визначити, чи ця IP-адреса є статичною чи динамічною, приватною чи публічною, і перевірити, чи Cloudflare забороняє її. До речі, такі сервіси, як Cloudflare, можуть виявити, чи пов’язана ця IP-адреса з загрозами чи спамом.

Сканування цієї IP-адреси за допомогою основних мережевих інструментів покаже вам відкриті порти на цій адресі, ОС, ім’я хоста та служби, які працюють під цією IP-адресою. Використовуючи деякі конкретні ключові слова та функції торрент-трекерів, ви можете дізнатися, що завантажував користувач, які пошукові системи використовували в як у звичайному Інтернеті, так і Dark Web.

YouTube

Найпопулярніші відеохостинги також погано зберігають секрети. Однак це лише конкретна модель цієї соціальної мережі. Ви можете легко відстежувати коментарі потрібної людини, маючи її нік. На сторінці YouTube ви можете побачити, в які ігри грає цей користувач, які його типові години активності та, можливо, отримати деякі подробиці з його особистого життя. Розташування можна отримати, перевіряючи діяльність або на вкладці «Спільнота».

OSINT-поверхня в YouTube
OSINT-поверхня в YouTube

Інша частина інформації ховається в розділі "Інформація про канал". Тут ви можете побачити підписки цього користувача, канали, які йому подобаються, електронну адресу цього облікового запису, дату приєднання та багато інших цікавих речей. Що ви будете робити з усією цією інформацією - це ваш вибір. Але YouTube пропонує один із найбільших майданчиків для OSINT-атак.

Звичайно, це не повний список можливих векторів розвідки з відкритих джерел. Крім того, немає гарантії, що ви отримаєте хоча б щось про об'єкт спостереження. Користувачі, які знають основні правила онлайн-анонімності, не залишать значних слідів. Ті, хто знає про вектори OSINT, також зрозуміють, як уникнути спостерігання чи навіть ввести спостерігача в оману.

Хто і навіщо використовує OSINT?

Інтелект з відкритим кодом потрібен широкому колу різних користувачів. Не думайте, що якщо в ньому є слово «розвідка», то його вимагають лише СБУ і кіберзлочинці. Звичайно, вони теж ним користуються, але вони мають доступ до більш серйозних і складних інструментів стеження. Тим часом OSINT широко поширений в компаніях і нерідко використовується окремими користувачами. Компанії використовують його для підготовки до переговорів з компанією, з якою вони ніколи не мали угод. Перед переговорами корисно дізнатися більше про свого потенційного партнера чи суперника.

Користувачі, з іншого боку, використовують дані з відкритих джерел, щоб отримати певну інформацію. OSINT може бути надзвичайно корисним, якщо ви хочете дізнатися більше про компанію, в яку намагаєтеся влаштуватися, або дізнатися, хто ця красива дівчина, яку ви зустріли в парку. Це може виглядати дивно та дещо надмірно, але зупинитися до того, як це зайде занадто далеко, можливо.

Якщо ви не використовуєте для цього нелегальне програмне забезпечення – ніхто не покарає вас за це. Однак нелегальні програми для OSINT, які ви можете побачити в продажу в Darknet, є скоріше шпигунським програмним забезпеченням, ніж просто програмою для аналізу даних. Немає нічого поганого в перевірці наявної інформації без будь-яких злих намірів. Однак доброзичливий пошук може легко перетворитися на зловмисний, якщо ви заходите занадто далеко, щоб отримати інформацію. Пошук в Інтернеті — це нормально, а розпочати фішингову кампанію, щоб отримати інформацію від співробітників, — ні.

Однак з моральної точки зору будь-яке спостереження поганий. Якщо хтось не хоче вам щось говорити, швидше за все, у нього є для цього якась мотивація. І пошук інформації на цю тему в соціальних мережах цієї людини може зашкодити вашим стосункам. Звичайно, це не можна назвати незаконним із законодавчої точки зору, але це може заробити вам дурну славу. Розвідка на основі відкритих даних є потужним інструментом, тому використовуйте його з розумом, щоб зберегти свою репутацію чистою.