Що таке OSINT?
April 12, 2023
Значення цієї абревіатури розкриває всю суть цього явища. Розвідка, яка ведеться на основі відкритих джерел, працює виключно добре, коли потрібно зберегти факт стеження в таємниці. Усі порушення або спроби їх можуть бути легко виявлені системними адміністраторами чи іншим кваліфікованим персоналом. Тим часом отримати інформацію про компанію чи особу в Instagram або на веб-сайті з інформацією про місцеві компанії набагато легше та приховано.
Важливо зрозуміти, як це працює. Важко описати, скільки інформації ви залишаєте під час роботи в Інтернеті. І це не ваша провина, якщо ви не параноїки щодо своєї конфіденційності та не думаєте двічі над кожним повідомленням. Ви тут і там згадали своє місцезнаходження та сказали, коли у вас зазвичай закінчується робочий день – і цього вже достатньо, щоб багато сказати про вас.
Осягнути розпорошені факти про людину чи компанію – завдання не з легких, особливо коли в OSINT ти покладаєшся на бази даних чи неструктуровану інформацію, а не на повідомлення в соціальних мережах. У цей момент з’являються інструменти OSINT.
Інструменти OSINT
Основне завдання OSINT-інструментів зробити аналіз даних більш доступним шляхом його структурування. Але більшість сучасних інструментів OSINT пропонують можливість сортувати вашу інформацію в бажаний спосіб і готові бази даних для аналізу. Так, це може виглядати як спроба бути розумнішим за користувача, але це лише спосіб зробити ці напівлегальні інструменти менш фрагментованими.
Більшість інструментів OSINT доступна навіть у зовнішній мережі - зокрема на GitHub. Однак деякі з них, особливо ті, які призначені для глибокого аналізу, можна знайти лише в Darknet. Деякі спеціальні інструменти, призначені для дій, які можна легко класифікувати як шпигунське ПЗ, виставляються на продаж на форумах Darknet або торгових платформах.
| Ім'я | Джерело | Опис | Мова | Ціна |
|---|---|---|---|---|
| Amass | Git | Набір інструментів для енумерації DNS і моніторингу мережі: сканування, рекурсивний підбір, сканування веб-архівів, зворотне очищення DNS | Golang | 🆓 |
| Asnlookup | Git | ASN для пошуку IP-адрес (IPv4 та IPv6), що належать певній організації, з метою розвідки та сканування портів | Python | 🆓 |
| AttackSurfaceMapper | Git | Енумератор субдоменів | Python | 🆓 |
| AutoRecon | Git | Багатопотоковий інструмент розвідки мережі, який виконує автоматичну енумерацію сервісів | Python | 🆓 |
| badKarma | Git | Просунутий інструмент для здійснення мережевої розвідки | Python | 🆓 |
| Belati | Git | OSINT-інструмент, що дозволяє збирати дані у пасивному та активному режимі | Python | 🆓 |
| Certstream | Git | Інтелектуальна стрічка, яка надає оновлення в реальному часі з мережі журналу прозорості сертифікатів | Elixir | 🆓 |
| Darkshot | Git | Скрейпер із багатопоточним оптичним розпізнаванням символів і автоматичною категоризацією скріншотів | Python | 🆓 |
| dataleaks | Git | Власна пошукова система з витоку даних | PHP | 🆓 |
| datasploit | Git | OSINT-фреймворк для пошуку, агрегації та експортування даних | Python | 🆓 |
| DeadTrap | Git | Відстежує сліди, що відносяться до номеру телефону | Python | 🆓 |
| DNSDumpster | Утиліта дослідження доменів, яка може відстежувати хост-машини, що відносяться до обраного домену | - | 🆓 | |
| dnsenum | Git | Інструмент DNS-розвідки: здійснює AXFR-операції, енумерацію DNS-записів, брутфорс субдоменів і зворотнього пошуку діапазону | Perl | 🆓 |
| dnsenum2 | Git | Продовження проекту dnsenum | Perl | 🆓 |
| DNSRecon | Git | Інструмент розвідки DNS: здійснює AXFR-операції, енумерацію записів DNS, розширення TLD, розв’язання символів узагальнення, брутфорс субдоменів, пошук записів PTR, перевірка кешованих записів | Python | 🆓 |
| dnsx | Git | Багатозадачний DNS-інструментарій, який дозволяє здійснювати декілька DNS-запитів одночасно | Golang | 🆓 |
| EagleEye | Git | Інструмент для розпізнавання фотографій у Інстаграмі, Фейсбуці та Твіттері | Python | 🆓 |
| Espionage | Git | Збір інформації про домен: whois, історія, dns-записи, веб-технології, записи | Python | 🆓 |
| eTools.ch | Метапошукова система, здійснює запити до 16 пошукових систем паралельно | - | 🆓 | |
| Facebook_OSINT_Dump | Git | OSINT-утиліта, створює дампи профілів у Facebook. Працює лише з Windows та лише з браузером Chrome | Shell | 🆓 |
| FinalRecon | Git | Скрипт веб-розвідки | Python | 🆓 |
| Findomain | Git | Швидкий eнумератор субдоменів | Rust | 🆓 |
| FOCA | Git | Фреймворк OSINT та аналізатор метаданих | Csharp | 🆓 |
| GHunt | Git | Перевіряє облікові записи Google із електронними адресами та знаходить ім’я, імена користувачів, канал Youtube, ймовірне місцезнаходження, відгуки на Картах тощо. | Python | 🆓 |
| gitGraber | Git | Відстежує GitHub для знаходження конфіденційних даних у режимі реального часу для різних онлайн-сервісів, таких як: Google, Amazon, Paypal, Github, Mailgun, Facebook, Twitter, Heroku, Stripe тощо. | Python | 🆓 |
| Gorecon | Git | Інструментарій для розвідки | Go | 🆓 |
| GoSeek | Git | Пошук імені користувача, порівнянний з Мегре/Шерлоком, пошук IP-адреси, номерного знаку, пошук VIN, видаленої інформації та генератор фальшивих ідентифікаторів | - | 🆓 |
| gOSINT | Git | Фреймворк OSINT; знаходить пошту, дампи, отримує історію Telegram та інформацію про хости | Go | 🆓 |
| h8mail | Git | OSINT-утиліта для електронних поштових скриньок; інструмент пошуку зламаних паролів, підтримує відслідковування пов'язаних електронних адрес | Python | 🆓 |
| Harpoon | Git | Інструмент CLI; збирає дані та документувати активно чи пасивно | Python | 🆓 |
| holehe | Git | Перевіряє, чи використовується пошта на різних сайтах, таких як twitter, instagram, і чи буде вона отримувати інформацію на сайтах із функцією забутого пароля | Python | 🆓 |
| IVRE | Git | IVRE (Instrument de veille sur les réseaux extérieurs) або DRUNK (Dynamic Recon of UNKnown networks); структура мережевої розвідки, що включає інструменти пасивної та активної розвідки | Python | 🆓 |
| kitphishr | Git | Шукає вихідний код набору для фішингу, переглядаючи URL-папки та шукаючи файли zip у відкритих каталогах; підтримує список URL-адрес або PhishTank | Go | 🆓 |
| Kostebek | Git | Інструмент для пошуку доменів фірм шляхом пошуку інформації про їхні торгові марки | Python | 🆓 |
| LeakDB | Git | Нормалізація, видалення дублікатів, індексація, сортування та пошук витоку наборів даних у мультитерабайтному масштабі | Go | 🆓 |
| LeakIX | Git | Пошукова система пристроїв і послуг, представлених в Інтернеті | - | 🆓 |
| LeakLooker | Git | Виявляйте, переглядайте та відстежуйте витоки бази даних/вихідного коду | Python | 🆓 |
| leakScraper | Git | Набір інструментів для обробки та візуалізації величезних текстових файлів, що містять облікові дані | Python | 🆓 |
| LinEnum | Git | Системний сценарій для локальної нумерації Linux і перевірки ескалації привілеїв | Shell | 🆓 |
| LittleBrother | Git | Збір інформації (OSINT) про особу (ЄС), перевірка соціальних мереж і Pages Jaunes | Python | 🆓 |
| Maigret | Git | Збирає досьє на людину за логіном з величезної кількості сайтів і витягує з них подробиці | Python | 🆓 |
| MassDNS | Git | Високопродуктивний розпізнавач DNS-заглушок для групового пошуку та розвідки (енумерація субдоменів) | C | 🆓 |
| Metabigor | Git | OSINT-інструмент, для якого не потрібен ключ API | Go | 🆓 |
| Netflip | Git | Збирає конфіденційну інформацію з сайтів для вставлення інформації | CSharp | 🆓 |
| NExfil | Git | Пошук профілів за іменем користувача на понад 350 веб-сайтах | Python | 🆓 |
| Nmmapper | Інструменти кібербезпеки, які пропонуються як SaaS: nmap, пошук субдоменів (Sublist3r, DNScan, Anubis, Amass, Lepus, Findomain, Censys), theHarvester тощо. | - | 💰 | |
| nqntnqnqmb | Git | Отримує інформацію про профілі Linkedin, компанії на Linkedin і шукає компанії/особи Linkedin | Python | 🆓 |
| Oblivion | Git | Перевірка та моніторинг витоку даних | Python | 🆓 |
| ODIN | Git | Спостерігає, виявляє та досліджує мережі, автоматизований інструмент розвідки | Python | 🆓 |
| Omnibus | Git | фреймворк OSINT; колекція інструментів | Python | 🆓 |
| OneForAll | Git | Інструмент енумерації субдоменів | Python | 🆓 |
| OnionSearch | Git | Скрипт, який збирає URL-адреси в різних пошукових системах .onion | Python | 🆓 |
| OSINT Framework | Git | Веб-набір інструментів і ресурсів для OSINT | Javascript | 🆓 |
| Osintgram | Git | Інтерактивна оболонка для аналізу акаунтів Instagram будь-яких користувачів за їх ніком | Python | 🆓 |
| Osmedeus | Git | Автоматизована структура для розвідки та сканування вразливостей | Python | 🆓 |
| Photon | Git | Швидкий сканер, розроблений для OSINT | Python | 🆓 |
| PITT | Git | Веб-браузер із посиланнями та розширеннями для OSINT | - | 🆓 |
| ProjectDiscovery | Git | Відстежує, збирає та постійно запитує дані ассетів за допомогою простого веб-інтерфейсу користувача | Go | 🆓 |
| Qualear | Git | Розвідувальний апарат; Збір інформації, конгломерат інструментів, включаючи спеціальні алгоритми, оболонки API | Go | 🆓 |
| ReconDog | Git | Багатоцільовий інструмент для розвідки, виявлення CMS, зворотнього пошуку IP, сканування портів тощо. | Python | 🆓 |
| reconFTW | Git | Виконує автоматизовану перевірку цільового домену, запустивши набір інструментів для виконання сканування та виявлення вразливостей | Shell | 🆓 |
| Recon-ng | Git | Веб-інструмент розвідки | Python | 🆓 |
| Reconnoitre | Git | Інструмент, створений для автоматизації збору інформації та підрахунку послуг під час зберігання результатів | Python | 🆓 |
| ReconScan | Git | Інструменти розвідки мережі та оцінки вразливостей | Python | 🆓 |
| Recsech | Git | Інструмент веб-розвідки та сканування вразливостей | PHP | 🆓 |
| Redscan | Git | Комбінація інструменту для управління операціями безпеки, управління вразливістю та платформи розвідки | Python | 🆓 |
| Red Team Arsenal | Git | Автоматизований сканер розвідки та перевірки безпеки | Python | 🆓 |
| reNgine | Git | Автоматизована розвідка для веб-додатків; настроювані механізми сканування & пайплайн розвідки | Python | 🆓 |
| SearchDNS | Інструмент Netcraft; Шукає та знаходить інформацію для доменів і субдоменів | - | 🆓 | |
| Sherlock | Git | Шукає облікові записи соціальних мереж за іменем користувача в соціальних мережах | Python | 🆓 |
| Shodan | Пошук пристроїв, підключених до Інтернету; допомагає знайти інформацію про робочі столи, сервери, пристрої IoT; включаючи метадані, наприклад запущене програмне забезпечення | - | 🆓 | |
| shosubgo | Git | Захоплюйте субдомени за допомогою Shodan api | Go | 🆓 |
| shuffledns | Git | Обгортка навколо massdns, яка дозволяє перераховувати дійсні субдомени за допомогою активного брутфорсу, а також розпізнавати субдомени за допомогою обробки символів підстановки та простої підтримки введення-виведення | Go | 🆓 |
| SiteBroker | Git | Інструмент для збору інформації та автоматизації тестів на проникнення | Python | 🆓 |
| Sn1per | Git | Автоматизований розвідувальний сканер | Shell | 💰 |
| spiderfoot | Git | Фреймворк OSINT, збір і керування даними, цільове сканування | Python | 🆓 |
| Stalker | Git | Автоматичне сканування соціальних мереж та інших веб-сайтів за одним ніком | Python | 🆓 |
| SubDomainizer | Git | Знаходить субдомени та цікаві речі, приховані всередині, зовнішні файли Javascript сторінки, папки та Github | Python | 🆓 |
| subfinder | Git | Виявляє дійсні субдомени для веб-сайтів, розроблені як пасивна структура, щоб бути корисною для винагород за помилки та безпечною для тестування на проникнення | Go | 🆓 |
| Sublist3r | Git | Інструмент енумерації субдоменів | Python | 🆓 |
| Sudomy | Git | Інструмент енумерації субдоменів | Python | 🆓 |
| Th3inspector | Git | Багатоцільовий інструмент збору інформації | Perl | 🆓 |
| theHarvester | Git | Багатоцільовий інструмент збору інформації: електронні адреси, імена, субдомени, IP-адреси, URL-адреси | Python | 🆓 |
| tinfoleak | Git | Інструмент аналізу даних Twitter | Python | 🆓 |
| Totem | Git | Отримує інформацію про рекламу сторінки Facebook, отримує кількість цільових людей, вартість реклами та багато іншої інформації | Python | 🆓 |
| trape | Git | Інструмент аналізу та дослідження, який дозволяє відстежувати та виконувати інтелектуальні атаки соціальної інженерії в реальному часі | Python | 🆓 |
| TWINT | Git | Twitter Intelligence Tool; Збирання Twitter & OSINT-інструмент, який не використовує API Twitter, дозволяє отримувати дані про підписників, підписки, твіти тощо, уникаючи більшості обмежень API | Python | 🆓 |
OSINT як вектор атаки
Давайте подивимося, де можна отримати інформацію про особу, яка вас цікавить. Ще раз: усі дані з усіх OSINT-джерел можна збирати й аналізувати вручну, без будь-якого додаткового програмного забезпечення . Щоб зробити цей процес швидшим і простішим, можна сказати – доступним для всіх, потрібні програми.
Електронна пошта
Скільки ви можете отримати, маючи лише адресу електронної пошти вашої цілі? На диво, багато. За допомогою Google можна розкривати різні факти, в тому числі шокуючі. Але лише проаналізувавши точну адресу електронної пошти, ви можете дізнатися ім’я користувача, рік народження (або навіть повну дату) або інші важливі дати. Вимова цієї особи, а також рідна мова та можлива країна, можливо, також там.
Застосовуючи Google або інші пошукові системи (або навіть спеціальні інструменти), ви можете знайти зв’язки в соціальних мережах для цього конкретного електронного листа. Іноді ви також знайдете пов’язані зображення, домени, зареєстровані з цією електронною поштою, тощо. Якщо ця електронна скринька була помічена у витоку даних, ви, ймовірно, також побачите цю інформацію.
Соціальні мережі (приклади Twitter, Instagram)
Твіттер та Instagram – це місце, де люди не соромляться розкривати подробиці про своє жиння. Що важливіше для OSINT, ці мережі мають багато цінних даних, відкритих за замовчуванням. Отже, усе що треба одразу доступне - просто візьміть і використовуйте. І в обох цих мережах є багато нових користувачів, які досі не знають, як приховати свою особисту інформацію.
Основні цікаві моменти в цих соціальних мережах зосереджені в профілях і публікаціях. Інформація лежить на поверхні, тому вам не потрібно запускати жодних додаткових інструментів, щоб скласти цей пазл. OSINT-поверхня Instagram — це ім’я користувача, підписники та підписані облікові записи, веб-сайти, біографія у верхній частині профілю тощо. У публікаціях ви знайдете достатньо інформації, щоб відстежувати улюблені місця цієї людини або друзів об’єкта вашого інтересу.
Twitter пропонує інші дані для спостереження, але в кінцевому результаті ви матимете майже таку ж повну картину. Ви можете відобразити зображення профілю та відстежувати останні відповіді користувача, побачити дату приєднання та день народження. Деякі користувачі додають локацію в свій профіль - ця дія не обов'язкова, але може багато про що сказати, якщо ціль не робить це для протидії розвідці. Twitter також дозволяє кожному зберігати медіафайли, прикріплені до повідомлення. Це дозволяє зробити аналіз зображення - дивіться наступний пункт.
Аналіз зображень
Метадані в зображеннях є яскравим джерелом інформації про те, ким, де та як це було зроблено. Навіть якщо ви маєте справу зі скріншотами, ви можете визначити характеристики екрана, модель телефону, операційну систему та програму камери. Поглиблене вивчення може виявити геолокацію та час, коли було зроблено фото. Однак метадані досить важко проаналізувати без спеціального програмного забезпечення – вони виглядають як ряд сумнівно структурованих цифр і літер.
Ще одна грань аналізу зображення стосується точного вмісту зображення. Будівлі, особи, краєвиди – усе це допоможе вам визначити місцезнаходження та обставини. Для такого аналізу вам, ймовірно, знадобиться використовувати Google Street View, Google Maps і Google Lens. Всі вони безкоштовні і досить ефективні. Однак люди, які мають пристойні знання про кібербезпеку та конфіденційність, швидше за все, зітруть метадані - вручну або за допомогою спеціальних інструментів.
Аналіз IP
Стара добра словесна погроза з’ясувати місцезнаходження за IP-адресою – не такий дурний жарт, як може виглядати. Звичайно, вам все одно не вдасться визначити точне місцезнаходження, але є багато інших речей, які це компенсують. Цей аналіз виконується переважно за допомогою спеціальних інструментів – веб-сайтів або веб-додатків.
Перший крок до аналізу IP-адрес — переконатися, що ви маєте справу зі справжньою IP-адресою, а не з IP-адресами VPN-сервера чи вузла виходу Tor. Після з'ясування цього моменту ви можете зробити крок вперед - перевірити властивості IP. Використовуючи певні сайти, ви можете визначити, чи ця IP-адреса є статичною чи динамічною, приватною чи публічною, і перевірити, чи Cloudflare забороняє її. До речі, такі сервіси, як Cloudflare, можуть виявити, чи пов’язана ця IP-адреса з загрозами чи спамом.
Сканування цієї IP-адреси за допомогою основних мережевих інструментів покаже вам відкриті порти на цій адресі, ОС, ім’я хоста та служби, які працюють під цією IP-адресою. Використовуючи деякі конкретні ключові слова та функції торрент-трекерів, ви можете дізнатися, що завантажував користувач, які пошукові системи використовували в як у звичайному Інтернеті, так і Dark Web.
YouTube
Найпопулярніші відеохостинги також погано зберігають секрети. Однак це лише конкретна модель цієї соціальної мережі. Ви можете легко відстежувати коментарі потрібної людини, маючи її нік. На сторінці YouTube ви можете побачити, в які ігри грає цей користувач, які його типові години активності та, можливо, отримати деякі подробиці з його особистого життя. Розташування можна отримати, перевіряючи діяльність або на вкладці «Спільнота».
Інша частина інформації ховається в розділі "Інформація про канал". Тут ви можете побачити підписки цього користувача, канали, які йому подобаються, електронну адресу цього облікового запису, дату приєднання та багато інших цікавих речей. Що ви будете робити з усією цією інформацією - це ваш вибір. Але YouTube пропонує один із найбільших майданчиків для OSINT-атак.
Звичайно, це не повний список можливих векторів розвідки з відкритих джерел. Крім того, немає гарантії, що ви отримаєте хоча б щось про об'єкт спостереження. Користувачі, які знають основні правила онлайн-анонімності, не залишать значних слідів. Ті, хто знає про вектори OSINT, також зрозуміють, як уникнути спостерігання чи навіть ввести спостерігача в оману.
Хто і навіщо використовує OSINT?
Інтелект з відкритим кодом потрібен широкому колу різних користувачів. Не думайте, що якщо в ньому є слово «розвідка», то його вимагають лише СБУ і кіберзлочинці. Звичайно, вони теж ним користуються, але вони мають доступ до більш серйозних і складних інструментів стеження. Тим часом OSINT широко поширений в компаніях і нерідко використовується окремими користувачами. Компанії використовують його для підготовки до переговорів з компанією, з якою вони ніколи не мали угод. Перед переговорами корисно дізнатися більше про свого потенційного партнера чи суперника.
Користувачі, з іншого боку, використовують дані з відкритих джерел, щоб отримати певну інформацію. OSINT може бути надзвичайно корисним, якщо ви хочете дізнатися більше про компанію, в яку намагаєтеся влаштуватися, або дізнатися, хто ця красива дівчина, яку ви зустріли в парку. Це може виглядати дивно та дещо надмірно, але зупинитися до того, як це зайде занадто далеко, можливо.
Чи законний OSINT?
Якщо ви не використовуєте для цього нелегальне програмне забезпечення – ніхто не покарає вас за це. Однак нелегальні програми для OSINT, які ви можете побачити в продажу в Darknet, є скоріше шпигунським програмним забезпеченням, ніж просто програмою для аналізу даних. Немає нічого поганого в перевірці наявної інформації без будь-яких злих намірів. Однак доброзичливий пошук може легко перетворитися на зловмисний, якщо ви заходите занадто далеко, щоб отримати інформацію. Пошук в Інтернеті — це нормально, а розпочати фішингову кампанію, щоб отримати інформацію від співробітників, — ні.
Однак з моральної точки зору будь-яке спостереження поганий. Якщо хтось не хоче вам щось говорити, швидше за все, у нього є для цього якась мотивація. І пошук інформації на цю тему в соціальних мережах цієї людини може зашкодити вашим стосункам. Звичайно, це не можна назвати незаконним із законодавчої точки зору, але це може заробити вам дурну славу. Розвідка на основі відкритих даних є потужним інструментом, тому використовуйте його з розумом, щоб зберегти свою репутацію чистою.