HCrwl

En liten växande crawler.

TODO

• Effektivare datastrukturer.
  • Set för 'visited'.
• Hantera DNS timeout snyggare, åtm begränsa catchen till rätt exception.
• Hitta XHTML parser
  • HXT ser lovande ut
• Säg till så att bara rätt (html, xml, ..) sorts filer hämtas
  • Ibland vill man hämta bilder men inte hämta länkar ur dem
  • Tex. genom att göra en HEADER request och kolla mime-typ.
    • Gör det effektivt, ingen HEAD om vi tror att det är en html fil (extension), ev backa tillbaka om filändelsen inte stämde med mime typen
  • Eller bara kolla extension på filerna.