Web crawler

Un program de indexare (web crawler/web spider) este un program sau un script automatizat care folosește o structură hyperlink a web-ului pentru a indexa paginile și conținutul într-o manieră metodică. Ne doream să scriem o astfel de aplicație de la 0 pentru a învăța lucruri noi.

Dacă nu ați auzit de Java, e bine de știut că este un limbaj de programare foarte popular. Specificațiile limbajului sunt libere și le puteți găsi în cartea The Java Language Specification, Third Edition. Am menționat acest aspect pentru că este important de înțeles că are cel puțin două implementări: una liberă (openjdk) și una proprietară. Pentru dezvoltare și testare noi am folosit openjdk.