Fix check for content-type

Look for Tcl on Debian systems

unset meta attributes (so they are reset for next meta)

Remove code that skips ?'s in URL

*** empty log message ***

Fix unvisited status

Robot honour robots meta tag

File status written with counts of areas: unvisited, bad, visited.
Tag area src=.. used for relative links.

MIME check when reading HTTP header (not when reading content).
File robots.txt always read - even when text/plain is denied.

Robot follows <frame src=...>.

Added tests script.

Fixed bug regarding relative URLs.

Fixed bug in skipSpace (didn't check for null-byte).

Use simpler regular expression to avoid Tcl regsub error (Tcl8.0.4-5).

Glob-expressions may be expressed as a list in rules (multi-OR).

Robot saves metadata with unique names in directory "flat" (if it exists).

Pattern may be negated in rules (! as first character does that)

Implemented Allow/deny rules. Better Tcl autoconfig.

Yet another fix regarding relative links.

Added option to specify Accept-Language.

Fixes for robots.txt handling (bug introduced by previous commit).

Bug fix for relative links.

Added some character entities for mapping.

Added README. Ignore case in keywords in robots.txt.

maxDistance set to 50 default.

Remove characters after semicolon in header contents.

Minor changes.

Added config for zebra/zmbol.

Minor fix for anchor references.

Removed YAZ dependency.

Added options for the robot.

Multiple http connections. Bug fixes.

Fixed problem with links having .. for root directory of web server.
Thank you FrontPage.

Implemented robots.txt rules.

File robots.txt now read the each domain.
Pages are now fetched in a Round-robin fashion.

DCdot doesn't rely on htmlSwitch no more.

Added -nonest for htmlSwitch statement. Robot puts reference to
bad URLs in bad area.

Major speed improvement.

Updated configure script.

Changed tags for the output.

Minor changes.

Added configure script.

Buf fixes. Robot saves body of text without tags and java script sections.

Initial revision