HCrwl

Från Slackopedia
Version från den 18 februari 2007 kl. 00.01 av Nico (diskussion | bidrag)

En liten växande crawler.

TODO

  • Effektivare datastrukturer.
    • Set för 'visited'.
  • Hantera DNS timeout snyggare, åtm begränsa catchen till rätt exception.
  • Hitta XHTML parser
Hämtad från ”https://wiki.slacker.se/index.php?title=HCrwl&oldid=10818”