Spidering

[MikeD]

Нужно в инете с разных URL выдерать куски из HTML есть что-то вроде либы для облегчения гемора или прийдется самому по граблям ходить?

[Boo]

многоплатформенные альтернативы:
C/C++
- libcurl. поможет тебе брать файлы по HTTP/FTP. HTML будешь парсить сам. хотя для этого можно например приспособить PCRE.
- libwww. более монстроидальный подход. хотя все есть все в одном флаконе, даже пример реализации паука там вроде был.

Perl
- LWP::RobotUA

если бы вопрос содержал язык и платформу, то можно было бы дать более другие рекомендации.

[Marmot]

http://j-spider.sourceforge.net/