URLFinder: No More Active Scanning for URL Gathering

URLFinder

URLFinder is a high-speed, passive URL discovery tool designed to simplify and accelerate web asset discovery, ideal for penetration testers, security researchers, and developers looking to gather URLs without active scanning.

Feature

• Curated Passive Sources to maximize comprehensive URL discovery
• Supports multiple output formats (JSON, file, stdout)
• Optimized for Speed and resource efficiency
• STDIN/OUT support for easy integration into existing workflows

Use

[pastacode lang=”markup” manual=”A%20streamlined%20tool%20for%20discovering%20associated%20URLs.%0A%0AUsage%3A%0A%20%20.%2Furlfinder%20%5Bflags%5D%0A%0AFlags%3A%0AINPUT%3A%0A%20%20%20-d%2C%20-list%20string%5B%5D%20%20target%20domain%20or%20list%20of%20domains%0A%0ASOURCE%3A%0A%20%20%20-s%2C%20-sources%20string%5B%5D%20%20%20%20%20%20%20%20%20%20%20specific%20sources%20for%20discovery%20(e.g.%2C%20-s%20alienvault%2Ccommoncrawl)%0A%20%20%20-es%2C%20-exclude-sources%20string%5B%5D%20%20%20sources%20to%20exclude%20(e.g.%2C%20-es%20alienvault%2Ccommoncrawl)%0A%20%20%20-all%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20use%20all%20sources%20(may%20be%20slower)%0A%0AFILTER%3A%0A%20%20%20-m%2C%20-match%20string%5B%5D%20%20%20%20%20%20%20URLs%20or%20list%20to%20match%20(file%20or%20comma-separated)%0A%20%20%20-f%2C%20-filter%20string%5B%5D%20%20%20%20%20%20URLs%20or%20list%20to%20filter%20(file%20or%20comma-separated)%0A%0ARATE-LIMIT%3A%0A%20%20%20-rl%2C%20-rate-limit%20int%20%20%20%20%20%20max%20HTTP%20requests%20per%20second%20(global)%0A%20%20%20-rls%2C%20-rate-limits%20value%20%20per-provider%20HTTP%20request%20limits%20(e.g.%2C%20-rls%20waybackarchive%3D15%2Fm)%0A%0AUPDATE%3A%0A%20%20%20-up%2C%20-update%20%20%20%20%20%20%20%20%20%20%20%20%20%20update%20URLFinder%20to%20the%20latest%20version%0A%20%20%20-duc%2C%20-disable-update-check%20%20disable%20automatic%20update%20checks%0A%0AOUTPUT%3A%0A%20%20%20-o%2C%20-output%20string%20%20%20%20%20%20%20specify%20output%20file%0A%20%20%20-j%2C%20-jsonl%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20JSONL%20output%20format%0A%20%20%20-od%2C%20-output-dir%20string%20%20specify%20output%20directory%0A%20%20%20-cs%2C%20-collect-sources%20%20%20%20include%20all%20sources%20in%20JSON%20output%0A%0ACONFIGURATION%3A%0A%20%20%20-config%20string%20%20%20%20%20%20%20%20%20%20%20config%20file%20(default%20%22%24CONFIG%2Furlfinder%2Fconfig.yaml%22)%0A%20%20%20-pc%2C%20-provider-config%20string%20%20provider%20config%20file%20(default%20%22%24CONFIG%2Furlfinder%2Fprovider-config.yaml%22)%0A%20%20%20-proxy%20string%20%20%20%20%20%20%20%20%20%20%20%20HTTP%20proxy%0A%0ADEBUG%3A%0A%20%20%20-silent%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20show%20only%20URLs%20in%20output%0A%20%20%20-version%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20display%20URLFinder%20version%0A%20%20%20-v%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20verbose%20output%0A%20%20%20-nc%2C%20-no-color%20%20%20%20%20%20%20%20%20%20%20disable%20colored%20output%0A%20%20%20-ls%2C%20-list-sources%20%20%20%20%20%20%20list%20all%20available%20sources%0A%20%20%20-stats%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20display%20source%20statistics%0A%0AOPTIMIZATION%3A%0A%20%20%20-timeout%20int%20%20%20timeout%20in%20seconds%20(default%2030)%0A%20%20%20-max-time%20int%20%20max%20time%20in%20minutes%20for%20enumeration%20(default%2010)” message=”” highlight=”” provider=”manual”/]

This command enumerates URLs for the target domain tesla.com.

Use the -m (match) and -f (filter) options to refine results based on URL patterns.

1. Include URLs Matching Specific Patterns

   To include only URLs containing “shop” or “model”:

   urlfinder -d tesla.com -m shop,model

2. Exclude URLs Matching Specific Patterns

   To exclude URLs containing “privacy” or “terms”:

   urlfinder -d tesla.com -f privacy,terms

3. Combined Match and Filter

   To find URLs containing “support” but exclude those with “faq”:

   urlfinder -d tesla.com -m support -f faq

Provide patterns in files:

Use the -j or --jsonl flag to output results in JSONL (JSON Lines) format, where each line is a separate JSON object. This format is useful for processing large outputs in a structured way.

• url: The discovered URL.
• input: The target domain (e.g., tesla.com).
• source: The data source for the URL discovery (e.g., waybackarchive).

Download

Support Our Threat Intelligence

If you find our technology report and cybersecurity news helpful, consider supporting our work.

Buy Me a Coffee PayPal Crypto

USDT (TRC20):

TN8BdV8cp4T1Cd28gK9qTAnZknzzuwyUtm Copy

USDT (ERC20):

0x3725e1a7d3bc5765499fa6aaafe307fabcd75bce Copy