Merge branch 'thh-small-changes' into next

* thh-small-changes:
  Fix displayed path in install.
  Update INSTALL documentation.
  Fix documentation relating to conffile location.
  Fix --conffile in POD.
  Bump version numbers.
  Fix forgotten dates.
  Fix ea91003a99e679caa5bf56915f085a7c4931805b.

Fix displayed path in install.

install.pl will display a sample newsfeeds entry.
Adapt the path to the changes in
2ad99c20bcc297362aeccabb1c51e20c4bd4b533.

Signed-off-by: Thomas Hochstein <thh@inter.net>

Update INSTALL documentation.

Configuration files now reside in etc/.

This was an oversight from commit
2ad99c20bcc297362aeccabb1c51e20c4bd4b533.

Signed-off-by: Thomas Hochstein <thh@inter.net>

Fix documentation relating to conffile location.

CONFIGURATION section talks about newsstats.conf being
in the same directory which is not true any more since
2ad99c20bcc297362aeccabb1c51e20c4bd4b533.

It also didn't mention the --conffile option which was
added in 23ab67a099e32a9ee8c0700fe46bc43680a60721.

Signed-off-by: Thomas Hochstein <thh@inter.net>

Fix --conffile in POD.

Change '--conffile' to 'B<--conffile>'.
The wrong format was added to documentation
in commit
23ab67a099e32a9ee8c0700fe46bc43680a60721.

Signed-off-by: Thomas Hochstein <thh@inter.net>

Bump version numbers.

All scripts - and the package - have been
restructured in commit
2ad99c20bcc297362aeccabb1c51e20c4bd4b533,
but version numbers didn't change accordingly.

Signed-off-by: Thomas Hochstein <thh@inter.net>

Fix forgotten dates.

Some dates were not bumped when releasing v 0.01
in 07c0b2589af779c33d5d35b6a7fa0e7883201674.

Signed-off-by: Thomas Hochstein <thh@inter.net>

Fix ea91003a99e679caa5bf56915f085a7c4931805b.

Commit ea91003a99e679caa5bf56915f085a7c4931805b
was broken and did not check for undefined
variables.

Signed-off-by: Thomas Hochstein <thh@inter.net>

Merge branch 'thh-bug51' into next

* thh-bug51:
  One more default sorting order ("grouping").

Merge branch 'thh-small-changes' into next

* thh-small-changes:
  Small comment fixes.
  --sums is not compatible with --checkgroups.

Small comment fixes.

Signed-off-by: Thomas Hochstein <thh@inter.net>

--sums is not compatible with --checkgroups.

'Virtual' .ALL groups will never be present in
a checkgroups file, and we can't use them anyway
as they would contain postings from groups that
are filtered out by --checkgroups.

Add a warning, put a note in the documentation.

Signed-off-by: Thomas Hochstein <thh@inter.net>

One more default sorting order ("grouping").

If --group-by is not set, output will be grouped
by month by default (as long as --boundary is
not set to 'level' or 'average', where grouping
by newsgroup is default).

Now we default to 'newsgroup' if just one newsgroup
is requested by --newsgroups, but more than one
month by --month.

Both defaults can be overridden.

But forced --group-by=month for --report type
'average' or 'sum' in front so defaults are
not checked.

Signed-off-by: Thomas Hochstein <thh@inter.net>

Merge branch 'thh-restructure' into next

* thh-restructure:
  Make configuration file configurable.
  Fix some whitespace.
  Redo directory structure.

Make configuration file configurable.

Add --conffile option to all scripts to
overrride standard config file location
etc/newsstats.conf.

Signed-off-by: Thomas Hochstein <thh@inter.net>

Fix some whitespace.

Signed-off-by: Thomas Hochstein <thh@inter.net>

Redo directory structure.

* Move all scripts to /bin
* Move configuration to /etc
* Move NewsStats.pm to /lib
* Add new path to NewsStats.pm to all scripts
* Set $HomePath to top level directory
* Move setting of config file name to ReadConf()

Signed-off-by: Thomas Hochstein <thh@inter.net>

Release 0.01

Update TODO list.
Update version numbers, ChangeLog, bump copyright
dates.

Signed-off-by: Thomas Hochstein <thh@inter.net>

Merge branch 'next'

* next: (26 commits)
  Some documentation fixes and enhancments.
  Improve INSTALL documentation.
  README: Update copyright notice.
  README: improve phrasing.
  Change handling of warnings.
  Improve output padding.
  Check for invalid newsgroup names.
  Add some basic validation to config parser.
  Create better newsgroup lists for SQL clause.
  Fix config path detection for install.pl.
  Get empty 'virtual' hierarchies working.
  Add some TODO entries.
  Add database creation to installer.
  Handle undefined previous version when installing.
  Refactor database initialisation in feedlog.pl.
  Add empty 'virtual' .ALL hierarchies as needed.
  Change interpretation of --checkgroups to template
  Be more fault-tolerant when reading checkgroups.
  Remove call to &Bleat where not appropriate.
  Allow more characters in TLH definitions.
  ...

Merge branch 'language' into next

* language:
  Some documentation fixes and enhancments.
  Improve INSTALL documentation.
  README: Update copyright notice.
  README: improve phrasing.

Merge branch 'thh-bug13' into next

* thh-bug13:
  Add some basic validation to config parser.

Merge branch 'thh-bug53' into next

* thh-bug53:
  Improve output padding.

Merge branch 'thh-bug37' into next

* thh-bug37:
  Create better newsgroup lists for SQL clause.

Merge branch 'thh-checkinput' into next

* thh-checkinput:
  Check for invalid newsgroup names.

Merge branch 'thh-warnings' into next

* thh-warnings:
  Change handling of warnings.

Some documentation fixes and enhancments.

Signed-off-by: Thomas Hochstein <thh@inter.net>

Improve INSTALL documentation.

Fix wrong example for newsfeeds entry (lacking
backslashes).

Fix typos, update copyright, improve phrasing.

Signed-off-by: Thomas Hochstein <thh@inter.net>

README: Update copyright notice.

Signed-off-by: Thomas Hochstein <thh@inter.net>

README: improve phrasing.

Signed-off-by: Thomas Hochstein <thh@inter.net>

Change handling of warnings.

Replace 'perl -W' by 'use warnings;'.
The latter is preferred, and '-W'
(instead of '-w') was causing problems with
warnings in DB::mysql::GetInfo.pm.

Signed-off-by: Thomas Hochstein <thh@inter.net>

Improve output padding.

Take 'length' of numbers in account.

Change GetMaxLength() accordingly and use that
new information in FormatOutput().

Fixes #53.

Signed-off-by: Thomas Hochstein <thh@inter.net>

Check for invalid newsgroup names.

Add check to SQLGroupList() and act on it
in groupstats.pl.

Issue #12.

Signed-off-by: Thomas Hochstein <thh@inter.net>

Add some basic validation to config parser.

We check for empty mandatory options for
starters.

Fixes #13 ... so we can release RSN :)

Signed-off-by: Thomas Hochstein <thh@inter.net>

Create better newsgroup lists for SQL clause.

Build a 'IN(...)' list for single newsgroup
names without wildcards. Create SQL clause
with a mix of wildcards and wildcard-less
group names.

More code for a better query ...

Fixes #37.

Signed-off-by: Thomas Hochstein <thh@inter.net>

Merge branch 'installation' into next

* installation:
  Fix config path detection for install.pl.
  Add some TODO entries.
  Add database creation to installer.
  Handle undefined previous version when installing.

Fix config path detection for install.pl.

Make use of $Path - which is set and checked
to display a correct 'newsfeeds' example - to
load our configuration from the correct location.

Signed-off-by: Thomas Hochstein <thh@inter.net>

Merge branch 'gatherstats' into next

* gatherstats:
  Get empty 'virtual' hierarchies working.

Get empty 'virtual' hierarchies working.

Commit b5125b1099cf5cf12beb0520d5896b9a1d7850ae
was broken.

We didn't add empty .ALL hierarchies as needed;
we added empty (non-existant) hierarchies without
appended '.ALL', and didn't add the original
empty group we started with.

(What's more, gatherstats didn't even start any
more due to missing ex- and import of
&ParseHierarchies from NewsStats.pm.)

Fixes #52 (and some more breakage).

Signed-off-by: Thomas Hochstein <thh@inter.net>

Add some TODO entries.

Signed-off-by: Thomas Hochstein <thh@inter.net>

Add database creation to installer.

It's not enough to create tables, one should
create the database first if it is still
missing ...

Signed-off-by: Thomas Hochstein <thh@inter.net>

Handle undefined previous version when installing.

$OptUpdate is undefined when not upgrading, so don't
prepare an upgrade notice to avoid calling an
undefined variable.

Signed-off-by: Thomas Hochstein <thh@inter.net>

Merge branch 'feedlog' into next

Refactor database initialisation in feedlog.pl.

* Move database initialisation to a separate function.

* (Re-)try to connect every five seconds
  (instead of going into an endless loop) and
  log successful (re-)connections.

* Log postings that are dropped due to database failures
  to syslog (Message-ID) for recovery.

* If the connection to the database is lost, try to
  recover it (every five seconds) and try again to
  write the pending data.

* Input will be buffered automatically by INN until
  feedlog is able to process it (see man 5 newsfeeds).

Fixes #30, #31.

Signed-off-by: Thomas Hochstein <thh@inter.net>

Merge branch 'gatherstats' into next

Merge branch 'rewrite' into next

Add empty 'virtual' .ALL hierarchies as needed.

When using a --checkgroups file while tabulating,
valid but empty groups will be added with a posting
count of zero as needed. If all groups in a
sub-hierarchy are empty, the virtual '.ALL' group
for that sub-hierarchy was not created, though.

If local.test.dummy and local.test.binary were
both empty, both groups were added with a posting
count of '0', but local.test.ALL was not.

Now we loop through all hierarchy elements using
ParseHierarchies and add empty .ALL hierarchies as
needed.

Fixes #49.

Also fixing a typo in some comment. :-)

Signed-off-by: Thomas Hochstein <thh@inter.net>

Change interpretation of --checkgroups to template

In most hierarchies, the list of valid newsgroups will
change over time, so you'll have to use another
checkgroups file for each month. gatherstats will now
understand the value of --checkgroups to be a template
and amend it with each month it is processing.

Documentation changed accordingly.

Signed-off-by: Thomas Hochstein <thh@inter.net>

Be more fault-tolerant when reading checkgroups.

* Accept lines starting with whitespace.

* Drop empty "groups", i.e. lines containing only
  whitespace.

Signed-off-by: Thomas Hochstein <thh@inter.net>

Remove call to &Bleat where not appropriate.

Some warn()ings are used for debugging purposes.

Signed-off-by: Thomas Hochstein <thh@inter.net>

Allow more characters in TLH definitions.

TLH may now also contain literal dots '.',
allowing for using second or third level
hierarchies as "TLH". To faciliate that,
'+' and '-' will be allowed, too.

Signed-off-by: Thomas Hochstein <thh@inter.net>

Match TLHs correctly, not only partially.

The TLH was checked to match the beginning
of the newsgroup name, not the whole TLH part.
So the TLH "de" would match not only "de.test",
but also "denver.test", which was not the
desired outcome.

Signed-off-by: Thomas Hochstein <thh@inter.net>

Fix parsing of more than one TLH in config.

The code introduced in 17ffbebad562acd3af71328cdbf187297b5a9e6d
did not check the correct variable for being an array.

Improve an unrelated comment, too.

Signed-off-by: Thomas Hochstein <thh@inter.net>

Adapt install.pl to new coding style.

* Switch to Getopt::Long, change coding style;
  limit line length.

* Replace 'die' and 'warn' by calls to &Bleat().

* Completely changed options due to new
  GetOpt::Long processing.

* Adapt to changes in NewsStats.pm

* Redo documentation.

* Update TODO.

Signed-off-by: Thomas Hochstein <thh@inter.net>

Adapt feedlog.pl to new coding style.

* Switch to Getopt::Long, change coding style;
  limit line length.

* Completely changed options due to new
  GetOpt::Long processing.

* Adapt to changes in NewsStats.pm

* Redo documentation.

* Update TODO.

Signed-off-by: Thomas Hochstein <thh@inter.net>

Adapt gatherstats.pl to new coding style.

* Switch to Getopt::Long, change coding style;
      limit line length.

* Replace 'die' and 'warn' by calls to &Bleat().

* Completely changed options due to new
  GetOpt::Long processing.
  - merged -m/-p into --month

* Adapt to changes in NewsStats.pm

* Redo documentation.

* Update TODO.

Signed-off-by: Thomas Hochstein <thh@inter.net>

Complete rewrite of groupstats.pl and NewsStats.pm.

* Switch to Getopt::Long, change coding style;
  limit line length.

* Replace 'die' and 'warn' by calls to &Bleat().

* Completely redo options and processing:
  - merge -m/-p/-a into --month
  - replace -i/-q/-d with - much more powerful -
    --group-by/--order-by
  - replace -t/-l with - much more powerful -
    --lower/--upper/--boundary
  - remove -b and replace it with --report

  Fixes #33.

* Add new report types, boundaries and sorting options:
  - report types 'average' and 'sums'
  - boundaries 'average' and 'sums'
  - upper and/or lower boundary
  - sort output independently

  Issue #35.
  Fixes #34, #38.

* Add possibility to cross-check newsgroups against
  checkgroups file.

* Complete rewrite of groupstats.pl internal logic:
  - modularize construction fo SQL queries
  - remove unnecessary special cases
  - refactor code into NewsStats.pm functions as much
    as possible

  Issue #37.
  Fixes #36.

* Rework output formats, fix padding problem by making use
  of modularized SQL queries.

  Fixes #15, #32.

* Add some more consistency checks.

  Issue #12.

* Redo documentation.

* Update TODO list.

Signed-off-by: Thomas Hochstein <thh@inter.net>

Merge branch 'tools' into pu

* tools:
  Add tools directory, move untracked stuff top /tmp

Add tools directory, move untracked stuff top /tmp

Signed-off-by: Thomas Hochstein <thh@inter.net>

Documentation: Add ChangeLog

Signed-off-by: Thomas Hochstein <thh@inter.net>

Update To-Do list.

Signed-off-by: Thomas Hochstein <thh@inter.net>

Documentation: Add TODO.

Add a comprehensive to-do list.
Add a reference to README accordingly.

Signed-off-by: Thomas Hochstein <thh@inter.net>

gatherstats.pl: Allow for more than one TLH in config.

New syntax for TLH: tlh1:tlh2:tlh3
Check for illegal characters and reformat to RegExp.

Signed-off-by: Thomas Hochstein <thh@inter.net>

Fix some typos.

groupsstats.pl: Fix typo in lead-in comment.
groupsstats.pl/NewsStats.pm: Fix typo concerning
GetMaxLength - it isn't 'GetMaxLenght' ...

Signed-off-by: Thomas Hochstein <thh@inter.net>

gatherstats.pl: Change database update mechanism.

DELETE old records and INSERT (INTO) the new ones
instead of just REPLACEing them, which will not
remove wrong entries (i.e. non-existing newsgroups).

Signed-off-by: Thomas Hochstein <thh@inter.net>

gatherstats.pl: Move TLH check to NewsStats.pm.

Signed-off-by: Thomas Hochstein <thh@inter.net>

gatherstats.pl: Add '-l' option.

Add '-l' option to check newsgroup names against a list of valid
newsgroups read from a file (each group on one line, ignoring
everything after the first whitespace and so accepting files in
checkgroups format as well as (parts of) an INN active file).
New ReadGroupList().
Change ListNewsgroups() accordingly.
Amend documentation accodingly.

See #17.

Signed-off-by: Thomas Hochstein <thh@inter.net>

groupstats.pl: Precedence of -m / -p / -a

Unset -m if either -p or -a is set,
unset -m if -p is set.

Print caption (-c) for -a, too.

Signed-off-by: Thomas Hochstein <thh@inter.net>

groupstats.pl: Change default output format to 'pretty'.

Change documentation accordingly.

Signed-off-by: Thomas Hochstein <thh@inter.net>

groupstats.pl: Add '-f' option.

Add '-f' switch to save monthly reports to a file with
a filename made up by adding year and month to template
submitted via '-f filename': filename-YYYY-MM
Modify OutputData() accordingly.
Ignore '-c' if '-f' is set.
Allow & force '-o dump' if '-f' is set even if a time
period is defined.
Change documentation accodingly.

Fixes #27.

Signed-off-by: Thomas Hochstein <thh@inter.net>

groupstats.pl: Add '-a' option.

Add '-a' switch to make groupstats.pl consider its whole
database without any time limits ignoring -m and -p.
Change documentation accodingly.

First implementation. Handling needs improvement!

Fixes #14.

Signed-off-by: Thomas Hochstein <thh@inter.net>

groupstats.pl: Improve formatting of output.

Rewrite captions.

Signed-off-by: Thomas Hochstein <thh@inter.net>

groupstats.pl: Improve automatic adaption of output type.

If time period is more than on month, switch from dump
to dumpgroup, if possible (just one newsgroup submitted
via -n), and switch to pretty only if that fails.

Signed-off-by: Thomas Hochstein <thh@inter.net>

groupstats.pl: Redo level (-l) query, gain speedup.

Do the work in the application, using two separate SQL
queries, instead of trying to optimize the single
query in vain ...

Thanks to Juliane. :)

Fixes #16.

Signed-off-by: Thomas Hochstein <thh@inter.net>

groupstats.pl: Improve comments.

Signed-off-by: Thomas Hochstein <thh@inter.net>

groupstats.pl: Refactor query handling.

Don't misuse variables:
- Push other binding vars to (new) @Params instead of
  filling up @GroupList with things it wasn't meant for.
- Replace generic @QueryPart by @QueryGroupList and
  @QueryThreshold, then build $WhereClause from that.
- Don't use $OrderClause for setting level (more or
  less than x), use (new) $Level instead.

Signed-off-by: Thomas Hochstein <thh@inter.net>

install.pl: Change handling of upgrades.

Drop predefined actions in favor of arbitrary statements.
Minor code fixup.

Signed-off-by: Thomas Hochstein <thh@inter.net>

README: Fix spelling, small changes.

Signed-off-by: Thomas Hochstein <thh@inter.net>

gatherstats.pl: Add documentation of 'disregard' to POD.

Database entries in DBTableRaw marked 'disregard' will
be ignored by gatherstats. Document that.

Signed-off-by: Thomas Hochstein <thh@inter.net>

feedlog.pl: Fix annoying logging error.

warn() output to errlog was not activated by '-d' debug
switch, but on by default and just deactivated by '-d'.

Signed-off-by: Thomas Hochstein <thh@inter.net>

NewsStats.pm: Fix $VERSION and $PackageVersion.

Set to 0.01 from 0.1

Signed-off-by: Thomas Hochstein <thh@inter.net>

install.pl: Fix installation instructions.

Example newsfeeds entry was missing a backslash
(had to be quoted).

Signed-off-by: Thomas Hochstein <thh@inter.net>

groupstats.pl: More input validation.

Set -o to 'pretty' for time periods.
Set -b to 10 if < 1.

Signed-off-by: Thomas Hochstein <thh@inter.net>

Add upgrade path.

NewsStats.pm: Add $PackageVersion.

install.pl: Modularise program flow to subroutines.
            Add framework for database upgrade and
            upgrade instructions.

Signed-off-by: Thomas Hochstein <thh@inter.net>

Introduce end-of-line normalization and add .gitattributes.

Signed-off-by: Thomas Hochstein <thh@inter.net>

Add comments and POD.

Add comments NewsStats.pm
Add POD to install.pl
Add POD to feedlog.pl
Add POD and comments to gatherstats.pl
Add POD and comments to groupstats.pl, beautify code

Signed-off-by: Thomas Hochstein <thh@inter.net>

Add documentation.

Add doc/
Add doc/README
Add doc/INSTALL

Signed-off-by: Thomas Hochstein <thh@inter.net>

groupstats.pl: Add handling of incompatible command line options.

-t/-l/-b are incompatible. Print warning, let -l take precedence
over -t and -b over both.

-q/-d are incompatible with -l and -b. Print warning, ignore
them.

For -l, only -o 'pretty' makes sense. Force that.

Signed-off-by: Thomas Hochstein <thh@inter.net>

install.pl: Fix chdir.

Don't use path from current working directory, use path
relative to $0 instead.

Signed-off-by: Thomas Hochstein <thh@inter.net>

NewsStats.pm: Warn when -p takes precedence over -m.

Signed-off-by: Thomas Hochstein <thh@inter.net>

Add .gitignore

Ignore tools/, tools/* and newsstats.conf.

Signed-off-by: Thomas Hochstein <thh@inter.net>

Initial checkin of working branch.

Checkin of
- NewsStats.pm
- install/install.pl
- feedlog.pl
- gatherstats.pl
- groupstats.pl

Signed-off-by: Thomas Hochstein <thh@inter.net>

Initial checkin.

Signed-off-by: Thomas Hochstein <thh@inter.net>