Що таке Open Source Intelligence (OSINT)? Інструменти та приклади 2022

Open-Source Intelligence – це метод отримання інформації про будь-яку особу чи організацію. Імовірно, OSINT існував стільки ж, скільки й соціальні мережі. Завершувати головоломку особистих даних дуже забавно, особливо якщо ви любите подібні ігри.

Що таке OSINT? Інструменти розвідки з відкритим кодом 2022 | Gridinsoft

Що таке OSINT?

КОМАНДА GRIDINSOFT
OSINT, або Open-Source Intelligence, є методом отримання інформації про будь-якого підозрюваного. Він часто використовується спеціальними державними службами, але доступний кожному користувачеві.

Значення цієї абревіатури розкриває всю суть цього явища. Розвідка, яка ведеться на основі відкритих джерел, працює виключно добре, коли потрібно зберегти факт стеження в таємниці. Усі порушення або спроби їх можуть бути легко виявлені системними адміністраторами чи іншим кваліфікованим персоналом. Тим часом отримати інформацію про компанію чи особу в Instagram або на веб-сайті з інформацією про місцеві компанії набагато легше та приховано.

Важливо зрозуміти, як це працює. Важко описати, скільки інформації ви залишаєте під час роботи в Інтернеті. І це не ваша провина, якщо ви не параноїки щодо своєї конфіденційності та не думаєте двічі над кожним повідомленням. Ви тут і там згадали своє місцезнаходження та сказали, коли у вас зазвичай закінчується робочий день – і цього вже достатньо, щоб багато сказати про вас.

Instagram data
Instagram містить багато даних для OSINT-операцій

Осягнути зруйновані факти про людину чи компанію – завдання не з легких, особливо коли в OSINT ти покладаєшся на бази даних чи неструктуровану інформацію, а не на повідомлення в соціальних мережах. У цей момент з’являються інструменти OSINT.

Інструменти OSINT

Основне завдання OSINT-інструментів зробити аналіз даних більш доступним шляхом його структурування. Але більшість сучасних інструментів OSINT пропонують можливість сортувати вашу інформацію в бажаний спосіб і готові бази даних для аналізу. Так, це може виглядати як спроба бути розумнішим за користувача, але це лише спосіб зробити ці напівлегальні інструменти менш фрагментованими.

Більшість інструментів OSINT доступна навіть у зовнішній мережі - зокрема на GitHub. Однак деякі з них, особливо ті, які призначені для глибокого аналізу, можна знайти лише в Darknet. Деякі спеціальні інструменти, призначені для дій, які можна легко класифікувати як шпигунство, виставляються на продаж на форумах Darknet або торгових платформах.

Ім'я Джерело Опис Мова Ціна
Amass Git DNS enumeration and network mapping tool suite: scraping, recursive brute forcing, crawling web archives, reverse DNS sweeping Go 🆓​
Asnlookup Git Leverage ASN to look up IP addresses (IPv4 & IPv6) owned by a specific organization for reconnaissance purposes, then run port scanning on it Python 🆓​
AttackSurfaceMapper Git Subdomain enumerator Python 🆓​
AutoRecon Git Multi-threaded network reconnaissance tool which performs automated enumeration of services Python 🆓​
badKarma Git Advanced network reconnaissance tool Python 🆓​
Belati Git OSINT tool, collect data and document actively or passively Python 🆓​
Certstream Git Intelligence feed that gives real-time updates from the Certificate Transparency Log network Elixir 🆓​
Darkshot Git Lightshot scraper with multi-threaded OCR and auto categorizing screenshots Python 🆓​
dataleaks Git Self-hosted data breach search engine PHP 🆓​
datasploit Git OSINT framework, find, aggregate and export data Python 🆓​
DeadTrap Git Track down footprints of a phone number Python 🆓​
DNSDumpster Domain research tool that can discover hosts related to a domain - 🆓​
dnsenum Git DNS reconnaissance tool: AXFR, DNS records enumeration, subdomain bruteforce, range reverse lookup Perl 🆓​
dnsenum2 Git Continuation of dnsenum project Perl 🆓​
DNSRecon Git DNS reconnaissance tool: AXFR, DNS records enumeration, TLD expansion, wildcard resolution, subdomain bruteforce, PTR record lookup, check for cached records Python 🆓​
dnsx Git Multi-purpose DNS toolkit allow to run multiple DNS queries Go 🆓​
EagleEye Git Image recognition on instagram, facebook and twitter Python 🆓​
Espionage Git Domain information gathering: whois, history, dns records, web technologies, records Python 🆓​
eTools.ch Metasearch engine, query 16 search engines in parallel - 🆓​
Facebook_OSINT_Dump Git OSINT tool, facebook profile dumper, windows and chrome only Shell 🆓​
FinalRecon Git Web reconnaissance script Python 🆓​
Findomain Git Fast subdomain enumerator Rust 🆓​
FOCA Git OSINT framework and metadata analyser Csharp 🆓​
GHunt Git Investigate Google accounts with emails and find name, usernames, Youtube Channel, probable location, Maps reviews, etc. Python 🆓​
gitGraber Git Monitor GitHub to search and find sensitive data in real time for different online services such as: Google, Amazon, Paypal, Github, Mailgun, Facebook, Twitter, Heroku, Stripe, etc. Python 🆓​
Gorecon Git Reconnaissance toolkit Go 🆓​
GoSeek Git Username lookup comparable to Maigret/Sherlock, IP Lookup, License Plate & VIN Lookup, Info Cull, and Fake Identity Generator - 🆓​
gOSINT Git OSINT framework; find mails, dumps, retrieve Telegram history and info about hosts Go 🆓​
h8mail Git Email OSINT & Password breach hunting tool; supports chasing down related email Python 🆓​
Harpoon Git CLI tool; collect data and document actively or passively Python 🆓​
holehe Git Check if the mail is used on different sites like twitter, instagram and will retrieve information on sites with the forgotten password function Python 🆓​
IVRE Git IVRE (Instrument de veille sur les réseaux extérieurs) or DRUNK (Dynamic Recon of UNKnown networks); network recon framework including tools ofr passive and active recon Python 🆓​
kitphishr Git Hunts for phishing kit source code by traversing URL folders and searching in open directories for zip files; supports list of URLs or PhishTank Go 🆓​
Kostebek Git Tool to find firms domains by searching their trademark information Python 🆓​
LeakDB Git Normalize, deduplicate, index, sort, and search leaked data sets on the multi-terabyte-scale Go 🆓​
LeakIX Git Search engine for devices and services exposed on the Internet - 🆓​
LeakLooker Git Discover, browse and monitor database/source code leaks Python 🆓​
leakScraper Git Set of tools to process and visualize huge text files containing credentials Python 🆓​
LinEnum Git System script for local Linux enumeration and privilege escalation checks Shell 🆓​
LittleBrother Git Information gathering (OSINT) on a person (EU), checks social networks and Pages Jaunes Python 🆓​
Maigret Git Collect a dossier on a person by username from a huge number of sites, and extract details from them Python 🆓​
MassDNS Git High-performance DNS stub resolver for bulk lookups and reconnaissance (subdomain enumeration) C 🆓​
Metabigor Git OSINT tool that doesn't require any API key Go 🆓​
Netflip Git Scrape sensitive information from paste sites CSharp 🆓​
NExfil Git Finding profiles by username over 350 websites Python 🆓​
Nmmapper Cybersecurity tools offered as SaaS: nmap, subdomain finder (Sublist3r, DNScan, Anubis, Amass, Lepus, Findomain, Censys), theHarvester, etc. - 💰​
nqntnqnqmb Git Retrieve information on linkedin profiles, companies on linkedin and search on linkedin companies/persons Python 🆓​
Oblivion Git Data leak checker and monitoring Python 🆓​
ODIN Git Observe, Detect, and Investigate Networks, Automated reconnaissance tool Python 🆓​
Omnibus Git OSINT framework; collection of tools Python 🆓​
OneForAll Git Subdomain enumeration tool Python 🆓​
OnionSearch Git Script that scrapes urls on different .onion search engines Python 🆓​
OSINT Framework Git A web-based collection of tools and resources for OSINT Javascript 🆓​
Osintgram Git Interactive shell to perform analysis on Instagram account of any users by their nickname Python 🆓​
Osmedeus Git Automated framework for reconnaissance and vulnerability scanning Python 🆓​
Photon Git Fast crawler designed for OSINT Python 🆓​
PITT Git Web browser loaded with links and extensions for doing OSINT - 🆓​
ProjectDiscovery Git Monitor, collect and continuously query the assets data via a simple webUI Go 🆓​
Qualear Git Reconnaissance Apparatus; Information gathering, conglomerate of tools including custom algorithms, API wrappers Go 🆓​
ReconDog Git Multi-purpose reconnaissance tool, CMS detection, reverse IP lookup, port scan, etc. Python 🆓​
reconFTW Git Perform automated recon on a target domain by running set of tools to perform scanning and finding out vulnerabilities Shell 🆓​
Recon-ng Git Web-based reconnaissance tool Python 🆓​
Reconnoitre Git Tool made to automate information gathering and service enumeration while storing results Python 🆓​
ReconScan Git Network reconnaissance and vulnerability assessment tools Python 🆓​
Recsech Git Web reconnaissance and vulnerability scanner tool PHP 🆓​
Redscan Git Mix of a security operations orchestration, vulnerability management and reconnaissance platform Python 🆓​
Red Team Arsenal Git Automated reconnaissance scanner and security checks Python 🆓​
reNgine Git Automated recon framework for web applications; customizable scan engines & pipeline of reconnaissance Python 🆓​
SearchDNS Netcraft tool; Search and find information for domains and subdomains - 🆓​
Sherlock Git Hunt down social media accounts by username across social networks Python 🆓​
Shodan Search devices connected to the internet; helps find information about desktops, servers, IoT devices; including metadata such as the software running - 🆓​
shosubgo Git Grab subdomains using Shodan api Go 🆓​
shuffledns Git Wrapper around massdns that allows you to enumerate valid subdomains using active bruteforce as well as resolve subdomains with wildcard handling and easy input-output support Go 🆓​
SiteBroker Git Tool for information gathering and penetration test automation Python 🆓​
Sn1per Git Automated reconnaissance scanner Shell 💰​
spiderfoot Git OSINT framework, collect and manage data, scan target Python 🆓​
Stalker Git Automated scanning of social networks and other websites, using a single nickname Python 🆓​
SubDomainizer Git Find subdomains and interesting things hidden inside, external Javascript files of page, folder, and Github Python 🆓​
subfinder Git Discovers valid subdomains for websites, designed as a passive framework to be useful for bug bounties and safe for penetration testing Go 🆓​
Sublist3r Git Subdomains enumeration tool Python 🆓​
Sudomy Git Subdomain enumeration tool Python 🆓​
Th3inspector Git Multi-purpose information gathering tool Perl 🆓​
theHarvester Git Multi-purpose information gathering tool: emails, names, subdomains, IPs, URLs Python 🆓​
tinfoleak Git Twitter intelligence analysis tool Python 🆓​
Totem Git Retrieve information about ads of a facebook page, retrieve the number of people targeted, how much the ad cost and a lot of other information Python 🆓​
trape Git Analysis and research tool, which allows people to track and execute intelligent social engineering attacks in real time Python 🆓​
TWINT Git Twitter Intelligence Tool; Twitter scraping & OSINT tool that doesn't use Twitter's API, allowing one to scrape a user's followers, following, Tweets and more while evading most API limitations Python 🆓​

OSINT як вектор атаки

Давайте подивимося, де можна отримати інформацію про підозрюваного, який вас цікавить. Ще раз: усі дані з усіх OSINT-джерел можна збирати й аналізувати вручну, без будь-якого додаткового програмного забезпечення . Щоб зробити цей процес швидшим і простішим, можна сказати – доступним для всіх, потрібні програми.

Електронна пошта

Скільки ви можете отримати, маючи лише адресу електронної пошти вашої цілі? На диво, багато. За допомогою Google можна розкривати різні факти, в тому числі шокуючі. Але лише проаналізувавши точну адресу електронної пошти, ви можете дізнатися ім’я користувача, рік народження (або навіть повну дату) або інші важливі дати. Вимова цієї особи, а також мова та можлива країна, можливо, також там.

Email OSINT
Інформація про відправника, яку ви можете отримати з єдиної електронної адреси

Застосовуючи Google або інші пошукові системи (або навіть спеціальні інструменти), ви можете знайти зв’язки в соціальних мережах для цього конкретного електронного листа. Іноді ви також знайдете пов’язані зображення, домени, зареєстровані з цією електронною поштою, тощо. Якщо цей електронний лист був зламаний у витоку даних, ви, ймовірно, також побачите цей пакет.

Соціальні мережі (приклади Twitter, Instagram)

Твіттер та Instagram – це місце, де люди не соромляться розкривати свої подробиці. Що важливіше для OSINT, ці мережі мають багато цінних даних, відкритих за замовчуванням. Отже, усе доступне - просто візьміть і використовуйте. І в обох цих мережах є багато нових користувачів, які досі не знають, як приховати свою особисту інформацію.

Основні цікаві моменти в цих соціальних мережах зосереджені в профілях і публікаціях. Інформація лежить на поверхні, тому вам не потрібно запускати жодних додаткових інструментів, щоб завершити роботу з лобзиком. Розвідувальна поверхня Instagram — це ім’я користувача, підписники та підписані облікові записи, веб-сайти, біографія у верхній частині профілю тощо. У публікаціях ви знайдете достатньо інформації, щоб відстежувати улюблені місця цієї людини або друзів об’єкта вашого інтересу.

Twitter пропонує інші дані для спостереження, але в кінцевому результаті ви матимете майже таку ж повну картину. Ви можете побачити зображення профілю та відстежувати останні відповіді користувача, побачити дату приєднання та день народження. Деякі користувачі додають локацію в свій профіль - ця дія не обов'язкова, але може багато про що сказати, якщо мета не намагається протидіяти розвідці. Twitter також дозволяє кожному зберігати медіафайли, прикріплені до повідомлення. Це дозволяє зробити аналіз зображення - дивіться наступний параграф.

OSINT через Twitter
OSINT через Twitter

Аналіз зображень

Метадані в зображеннях є яскравим джерелом інформації про те, ким, де та як це було зроблено. Навіть якщо ви маєте справу зі скріншотами, ви можете визначити характеристики екрана, модель телефону, операційну систему та програму камери. Поглиблення може виявити геолокацію та час, коли було зроблено фото. Однак метадані досить важко проаналізувати без спеціального програмного забезпечення – вони виглядають як ряд злегка структурованих цифр і літер.

Вивчення метаданих фотографії
Вивчення метаданих фотографії

Ще одна грань аналізу зображення стосується точного вмісту зображення. Будівлі, особи, краєвиди – усе це допоможе вам визначити місцезнаходження та обставини. Для такого аналізу вам, ймовірно, знадобиться використовувати Google Street View, Google Maps і Google Lens. Всі вони безкоштовні і досить ефективні. Однак люди, які мають пристойні знання про кібербезпеку та конфіденційність, швидше за все, зітруть метадані - вручну або за допомогою спеціальних інструментів.

Аналіз IP

Стара добра словесна погроза з’ясувати місцезнаходження за IP-адресою – не такий дурний жарт, як може виглядати. Звичайно, вам все одно не вдасться визначити точне місцезнаходження, але є багато інших речей, які це компенсують. Цей аналіз виконується переважно за допомогою спеціальних інструментів – веб-сайтів або веб-додатків.

Схема OSINT через IP-адресу
Схема OSINT-атаки через IP-адресу

Перший крок до аналізу IP-адрес — переконатися, що ви маєте справу зі справжньою IP-адресою, а не з IP-адресами VPN-сервера чи вузла виходу Tor. Після очищення цього моменту ви можете зробити крок вперед - перевірити властивості IP. Використовуючи певні сайти, ви можете визначити, чи ця IP-адреса є статичною чи динамічною, приватною чи публічною, і перевірити, чи Cloudflare забороняє її. До речі, такі сервіси, як Cloudflare, можуть виявити, чи пов’язана ця IP-адреса з загрозами чи спамом.

Сканування цієї IP-адреси за допомогою основних мережевих інструментів покаже вам відкриті порти на цій адресі, ОС, ім’я хоста та служби, які працюють під цією IP-адресою. Використовуючи деякі конкретні ключові слова та функції торрент-трекерів, ви можете дізнатися, що завантажував користувач, які пошукові системи використовували в як Surface, так і Dark Web.

YouTube

Найпопулярніші відеохостинги також погано зберігають секрети. Однак це лише конкретна модель цієї соціальної мережі. Ви можете легко відстежувати коментарі потрібної людини, маючи її нік. На сторінці YouTube ви можете побачити, в які ігри грає цей користувач, які його типові години активності та, можливо, отримати деякі подробиці з його особистого життя. Розташування можна отримати, перевіряючи діяльність або на вкладці «Спільнота».

OSINT-площадка в YouTube
OSINT-площадка в YouTube

Інша частина інформації ховається в розділі Інформація про канал. Тут ви можете побачити підписки цього користувача, канали, які йому подобаються, електронну адресу цього облікового запису, дату приєднання та багато інших цікавих речей. Що ви будете робити з усією цією інформацією - це ваш вибір. Але YouTube пропонує один із найбільших майданчиків для OSINT-атак.

Звичайно, це не повний список можливих векторів розвідки з відкритим кодом. Крім того, немає гарантії, що ви отримаєте хоча б щось від об'єкта інтелекту. Користувачі, які знають основні правила онлайн-анонімності, не залишать значних слідів. Ті, хто знає ті самі вектори OSINT, також зрозуміють, як уникнути успішного опитування чи навіть ввести його в оману.

Хто і навіщо використовує OSINT?

Інтелект з відкритим кодом потрібен широкому колу різних користувачів. Не думайте, що якщо в ньому є слово «розвідка», то його вимагають лише ФБР і кіберзлочинці. Звичайно, вони теж ним користуються, але вони мають доступ до більш серйозних і складних інструментів стеження. Тим часом OSINT широко поширений в компаніях і іноді використовується окремими особами. Компанії використовують його для підготовки до переговорів з компанією, з якою вони ніколи не мали угод. Перед переговорами корисно дізнатися більше про свого потенційного партнера чи суперника.

Індивіди, з іншого боку, використовують дані з відкритих джерел, щоб отримати певну інформацію. OSINT може бути надзвичайно корисним, якщо ви хочете дізнатися більше про компанію, в яку намагаєтеся влаштуватися, або дізнатися, хто ця красива дівчина, яку ви зустріли в парку. Це може виглядати дивно та дещо надмірно, але зупинитися до того, як це зайде занадто далеко, можливо.

Якщо ви не використовуєте для цього нелегальне програмне забезпечення – поки що. Однак нелегальні програми для OSINT, які ви можете побачити в продажу в Darknet, є скоріше шпигунським програмним забезпеченням, ніж просто програмою для аналізу даних. Немає нічого поганого в перевірці наявної інформації без будь-яких злих намірів. Однак доброзичливий пошук може легко перетворитися на зловмисний, якщо ви заходите занадто далеко, щоб отримати інформацію. Пошук в Інтернеті — це нормально, а розпочати фішингову кампанію, щоб отримати інформацію від співробітників, — ні.

Однак з моральної точки зору будь-який інтелект поганий. Якщо хтось не хоче вам щось говорити, швидше за все, у нього є для цього якась мотивація. І пошук інформації на цю тему в соціальних мережах цієї людини може зашкодити вашим стосункам. Звичайно, це не можна назвати незаконним із законодавчої точки зору, але це може зробити вас погано відомим маніяком. Розвідка на основі відкритих даних є потужним інструментом, тому використовуйте його з розумом, щоб зберегти свою репутацію чистою.