Исходник программы, показывающей пример создания веб-паука (веб-краулер), который на входе получает URL сайта и далее собирает все ссылки, адреса...

http://www.delphisources.ru/pages/sources/internet/2017/generic-Internet-spider.html