HCrwl: Difference between revisions
No edit summary |
No edit summary |
||
| Line 4: | Line 4: | ||
* Effektivare datastrukturer. | * Effektivare datastrukturer. | ||
** Set för 'visited'. | ** Set för 'visited'. | ||
* Hantera DNS timeout | * Hantera DNS timeout snyggare, åtm begränsa catchen till rätt exception. | ||
* Hitta XHTML parser | * Hitta XHTML parser | ||
Revision as of 00:01, 18 February 2007
En liten växande crawler.
TODO
- Effektivare datastrukturer.
- Set för 'visited'.
- Hantera DNS timeout snyggare, åtm begränsa catchen till rätt exception.
- Hitta XHTML parser