HCrwl

Från Slackopedia
Version från den 17 februari 2007 kl. 23.43 av Tibbe (diskussion | bidrag)

En liten växande crawler.

TODO

  • Effektivare datastrukturer.
    • Set för 'visited'.
  • Hantera DNS timeout
  • Hitta XHTML parser