Be more fault-tolerant when reading checkgroups.

* Accept lines starting with whitespace.

* Drop empty "groups", i.e. lines containing only
  whitespace.

Signed-off-by: Thomas Hochstein <thh@inter.net>

Remove call to &Bleat where not appropriate.

Some warn()ings are used for debugging purposes.

Signed-off-by: Thomas Hochstein <thh@inter.net>

Allow more characters in TLH definitions.

TLH may now also contain literal dots '.',
allowing for using second or third level
hierarchies as "TLH". To faciliate that,
'+' and '-' will be allowed, too.

Signed-off-by: Thomas Hochstein <thh@inter.net>

Match TLHs correctly, not only partially.

The TLH was checked to match the beginning
of the newsgroup name, not the whole TLH part.
So the TLH "de" would match not only "de.test",
but also "denver.test", which was not the
desired outcome.

Signed-off-by: Thomas Hochstein <thh@inter.net>

Fix parsing of more than one TLH in config.

The code introduced in 17ffbebad562acd3af71328cdbf187297b5a9e6d
did not check the correct variable for being an array.

Improve an unrelated comment, too.

Signed-off-by: Thomas Hochstein <thh@inter.net>

Adapt install.pl to new coding style.

* Switch to Getopt::Long, change coding style;
  limit line length.

* Replace 'die' and 'warn' by calls to &Bleat().

* Completely changed options due to new
  GetOpt::Long processing.

* Adapt to changes in NewsStats.pm

* Redo documentation.

* Update TODO.

Signed-off-by: Thomas Hochstein <thh@inter.net>

Adapt feedlog.pl to new coding style.

* Switch to Getopt::Long, change coding style;
  limit line length.

* Completely changed options due to new
  GetOpt::Long processing.

* Adapt to changes in NewsStats.pm

* Redo documentation.

* Update TODO.

Signed-off-by: Thomas Hochstein <thh@inter.net>

Adapt gatherstats.pl to new coding style.

* Switch to Getopt::Long, change coding style;
      limit line length.

* Replace 'die' and 'warn' by calls to &Bleat().

* Completely changed options due to new
  GetOpt::Long processing.
  - merged -m/-p into --month

* Adapt to changes in NewsStats.pm

* Redo documentation.

* Update TODO.

Signed-off-by: Thomas Hochstein <thh@inter.net>

Complete rewrite of groupstats.pl and NewsStats.pm.

* Switch to Getopt::Long, change coding style;
  limit line length.

* Replace 'die' and 'warn' by calls to &Bleat().

* Completely redo options and processing:
  - merge -m/-p/-a into --month
  - replace -i/-q/-d with - much more powerful -
    --group-by/--order-by
  - replace -t/-l with - much more powerful -
    --lower/--upper/--boundary
  - remove -b and replace it with --report

  Fixes #33.

* Add new report types, boundaries and sorting options:
  - report types 'average' and 'sums'
  - boundaries 'average' and 'sums'
  - upper and/or lower boundary
  - sort output independently

  Issue #35.
  Fixes #34, #38.

* Add possibility to cross-check newsgroups against
  checkgroups file.

* Complete rewrite of groupstats.pl internal logic:
  - modularize construction fo SQL queries
  - remove unnecessary special cases
  - refactor code into NewsStats.pm functions as much
    as possible

  Issue #37.
  Fixes #36.

* Rework output formats, fix padding problem by making use
  of modularized SQL queries.

  Fixes #15, #32.

* Add some more consistency checks.

  Issue #12.

* Redo documentation.

* Update TODO list.

Signed-off-by: Thomas Hochstein <thh@inter.net>

Merge branch 'tools' into pu

* tools:
  Add tools directory, move untracked stuff top /tmp

Add tools directory, move untracked stuff top /tmp

Signed-off-by: Thomas Hochstein <thh@inter.net>

Documentation: Add ChangeLog

Signed-off-by: Thomas Hochstein <thh@inter.net>

Update To-Do list.

Signed-off-by: Thomas Hochstein <thh@inter.net>

Documentation: Add TODO.

Add a comprehensive to-do list.
Add a reference to README accordingly.

Signed-off-by: Thomas Hochstein <thh@inter.net>

gatherstats.pl: Allow for more than one TLH in config.

New syntax for TLH: tlh1:tlh2:tlh3
Check for illegal characters and reformat to RegExp.

Signed-off-by: Thomas Hochstein <thh@inter.net>

Fix some typos.

groupsstats.pl: Fix typo in lead-in comment.
groupsstats.pl/NewsStats.pm: Fix typo concerning
GetMaxLength - it isn't 'GetMaxLenght' ...

Signed-off-by: Thomas Hochstein <thh@inter.net>

gatherstats.pl: Change database update mechanism.

DELETE old records and INSERT (INTO) the new ones
instead of just REPLACEing them, which will not
remove wrong entries (i.e. non-existing newsgroups).

Signed-off-by: Thomas Hochstein <thh@inter.net>

gatherstats.pl: Move TLH check to NewsStats.pm.

Signed-off-by: Thomas Hochstein <thh@inter.net>

gatherstats.pl: Add '-l' option.

Add '-l' option to check newsgroup names against a list of valid
newsgroups read from a file (each group on one line, ignoring
everything after the first whitespace and so accepting files in
checkgroups format as well as (parts of) an INN active file).
New ReadGroupList().
Change ListNewsgroups() accordingly.
Amend documentation accodingly.

See #17.

Signed-off-by: Thomas Hochstein <thh@inter.net>

groupstats.pl: Precedence of -m / -p / -a

Unset -m if either -p or -a is set,
unset -m if -p is set.

Print caption (-c) for -a, too.

Signed-off-by: Thomas Hochstein <thh@inter.net>

groupstats.pl: Change default output format to 'pretty'.

Change documentation accordingly.

Signed-off-by: Thomas Hochstein <thh@inter.net>

groupstats.pl: Add '-f' option.

Add '-f' switch to save monthly reports to a file with
a filename made up by adding year and month to template
submitted via '-f filename': filename-YYYY-MM
Modify OutputData() accordingly.
Ignore '-c' if '-f' is set.
Allow & force '-o dump' if '-f' is set even if a time
period is defined.
Change documentation accodingly.

Fixes #27.

Signed-off-by: Thomas Hochstein <thh@inter.net>

groupstats.pl: Add '-a' option.

Add '-a' switch to make groupstats.pl consider its whole
database without any time limits ignoring -m and -p.
Change documentation accodingly.

First implementation. Handling needs improvement!

Fixes #14.

Signed-off-by: Thomas Hochstein <thh@inter.net>

groupstats.pl: Improve formatting of output.

Rewrite captions.

Signed-off-by: Thomas Hochstein <thh@inter.net>

groupstats.pl: Improve automatic adaption of output type.

If time period is more than on month, switch from dump
to dumpgroup, if possible (just one newsgroup submitted
via -n), and switch to pretty only if that fails.

Signed-off-by: Thomas Hochstein <thh@inter.net>

groupstats.pl: Redo level (-l) query, gain speedup.

Do the work in the application, using two separate SQL
queries, instead of trying to optimize the single
query in vain ...

Thanks to Juliane. :)

Fixes #16.

Signed-off-by: Thomas Hochstein <thh@inter.net>

groupstats.pl: Improve comments.

Signed-off-by: Thomas Hochstein <thh@inter.net>

groupstats.pl: Refactor query handling.

Don't misuse variables:
- Push other binding vars to (new) @Params instead of
  filling up @GroupList with things it wasn't meant for.
- Replace generic @QueryPart by @QueryGroupList and
  @QueryThreshold, then build $WhereClause from that.
- Don't use $OrderClause for setting level (more or
  less than x), use (new) $Level instead.

Signed-off-by: Thomas Hochstein <thh@inter.net>

install.pl: Change handling of upgrades.

Drop predefined actions in favor of arbitrary statements.
Minor code fixup.

Signed-off-by: Thomas Hochstein <thh@inter.net>

README: Fix spelling, small changes.

Signed-off-by: Thomas Hochstein <thh@inter.net>

gatherstats.pl: Add documentation of 'disregard' to POD.

Database entries in DBTableRaw marked 'disregard' will
be ignored by gatherstats. Document that.

Signed-off-by: Thomas Hochstein <thh@inter.net>

feedlog.pl: Fix annoying logging error.

warn() output to errlog was not activated by '-d' debug
switch, but on by default and just deactivated by '-d'.

Signed-off-by: Thomas Hochstein <thh@inter.net>

NewsStats.pm: Fix $VERSION and $PackageVersion.

Set to 0.01 from 0.1

Signed-off-by: Thomas Hochstein <thh@inter.net>

install.pl: Fix installation instructions.

Example newsfeeds entry was missing a backslash
(had to be quoted).

Signed-off-by: Thomas Hochstein <thh@inter.net>

groupstats.pl: More input validation.

Set -o to 'pretty' for time periods.
Set -b to 10 if < 1.

Signed-off-by: Thomas Hochstein <thh@inter.net>

Add upgrade path.

NewsStats.pm: Add $PackageVersion.

install.pl: Modularise program flow to subroutines.
            Add framework for database upgrade and
            upgrade instructions.

Signed-off-by: Thomas Hochstein <thh@inter.net>

Introduce end-of-line normalization and add .gitattributes.

Signed-off-by: Thomas Hochstein <thh@inter.net>

Add comments and POD.

Add comments NewsStats.pm
Add POD to install.pl
Add POD to feedlog.pl
Add POD and comments to gatherstats.pl
Add POD and comments to groupstats.pl, beautify code

Signed-off-by: Thomas Hochstein <thh@inter.net>

Add documentation.

Add doc/
Add doc/README
Add doc/INSTALL

Signed-off-by: Thomas Hochstein <thh@inter.net>

groupstats.pl: Add handling of incompatible command line options.

-t/-l/-b are incompatible. Print warning, let -l take precedence
over -t and -b over both.

-q/-d are incompatible with -l and -b. Print warning, ignore
them.

For -l, only -o 'pretty' makes sense. Force that.

Signed-off-by: Thomas Hochstein <thh@inter.net>

install.pl: Fix chdir.

Don't use path from current working directory, use path
relative to $0 instead.

Signed-off-by: Thomas Hochstein <thh@inter.net>

NewsStats.pm: Warn when -p takes precedence over -m.

Signed-off-by: Thomas Hochstein <thh@inter.net>

Add .gitignore

Ignore tools/, tools/* and newsstats.conf.

Signed-off-by: Thomas Hochstein <thh@inter.net>

Initial checkin of working branch.

Checkin of
- NewsStats.pm
- install/install.pl
- feedlog.pl
- gatherstats.pl
- groupstats.pl

Signed-off-by: Thomas Hochstein <thh@inter.net>

Initial checkin.

Signed-off-by: Thomas Hochstein <thh@inter.net>