bin/feedlog.pl

   1 #! /usr/bin/perl
   2 #
   3 # feedlog.pl
   4 #
   5 # This script will log headers and other data to a database
   6 # for further analysis by parsing a feed from INN.
   7 #
   8 # It is part of the NewsStats package.
   9 #
  10 # Copyright (c) 2010-2013 Thomas Hochstein <thh@inter.net>
  11 #
  12 # It can be redistributed and/or modified under the same terms under
  13 # which Perl itself is published.
  14
  15 BEGIN {
  16   our $VERSION = "0.02";
  17   use File::Basename;
  18   # we're in .../bin, so our module is in ../lib
  19   push(@INC, dirname($0).'/../lib');
  20 }
  21 use strict;
  22 use warnings;
  23
  24 use NewsStats;
  25
  26 use Sys::Syslog qw(:standard :macros);
  27
  28 use Date::Format;
  29 use DBI;
  30 use Getopt::Long qw(GetOptions);
  31 Getopt::Long::config ('bundling');
  32
  33 ################################# Subroutines ##################################
  34
  35 sub PrepareDB {
  36 ### initialise database connection, prepare statement
  37 ### and catch errors
  38 ### IN : \%Conf   : reference to configuration hash
  39 ### OUT: $DBHandle: database handle
  40 ###      $DBQuery : prepared statement
  41   our ($DBHandle, $DBQuery, $OptQuiet);
  42   my ($ConfigR) = @_;
  43   my %Conf = %$ConfigR;
  44   # drop current database connection - hard, if necessary
  45   if ($DBHandle) {
  46     $DBHandle->disconnect;
  47     undef $DBHandle;
  48   };
  49   # connect to database; try again every 5 seconds
  50   while (!$DBHandle) {
  51     $DBHandle = InitDB($ConfigR,0);
  52     if (!$DBHandle) {
  53       syslog(LOG_CRIT, 'Database connection failed: %s', $DBI::errstr);
  54       sleep(5);
  55     } else {;
  56       syslog(LOG_NOTICE, "Database connection (re-)established successfully.") if !$OptQuiet;
  57     }
  58   };
  59   $DBQuery = $DBHandle->prepare(sprintf("INSERT INTO %s.%s (day,date,mid,
  60                                          timestamp,token,size,peer,path,
  61                                          newsgroups,headers)
  62                                          VALUES (?,?,?,?,?,?,?,?,?,?)",
  63                                          $Conf{'DBDatabase'},
  64                                          $Conf{'DBTableRaw'}));
  65   return ($DBHandle,$DBQuery);
  66 }
  67
  68
  69 ################################# Main program #################################
  70
  71 ### read commandline options
  72 my ($OptDebug,$OptQuiet,$OptConfFile);
  73 GetOptions ('d|debug!'        => \$OptDebug,
  74             'q|test!'         => \$OptQuiet,
  75             'conffile=s'      => \$OptConfFile,
  76             'h|help'          => \&ShowPOD,
  77             'V|version'       => \&ShowVersion) or exit 1;
  78
  79 ### read configuration
  80 my %Conf = %{ReadConfig($OptConfFile)};
  81
  82 ### init syslog
  83 openlog($0, 'nofatal,pid', LOG_NEWS);
  84 syslog(LOG_NOTICE, "$MyVersion starting up.") if !$OptQuiet;
  85
  86 ### init database
  87 my ($DBHandle,$DBQuery) = PrepareDB(\%Conf);
  88
  89 ### main loop
  90 while (<>) {
  91   chomp;
  92   # catch empty lines trailing or leading
  93   if ($_ eq '') {
  94     next;
  95   }
  96   # first line contains: mid, timestamp, token, size, peer, Path, Newsgroups
  97   my ($Mid, $Timestamp, $Token, $Size, $Peer, $Path, $Newsgroups) = split;
  98   # remaining lines contain headers
  99   my $Headers = "";
 100   while (<>) {
 101     chomp;
 102     # empty line terminates this article
 103     if ($_ eq '') {
 104       last;
 105     }
 106     # collect headers
 107     $Headers .= $_."\n" ;
 108   }
 109
 110   # parse timestamp to day (YYYY-MM-DD) and to MySQL timestamp
 111   my $Day  = time2str("%Y-%m-%d", $Timestamp);
 112   my $Date = time2str("%Y-%m-%d %H:%M:%S", $Timestamp);
 113
 114   # write to database
 115   if (!$DBQuery->execute($Day, $Date, $Mid, $Timestamp, $Token, $Size, $Peer,
 116                          $Path, $Newsgroups, $Headers)) {
 117     syslog(LOG_ERR, 'Database error %s while processing %s: %s',
 118            $DBI::err, $Mid, $DBI::errstr);
 119     # if "MySQL server has gone away", try to recover
 120     if ($DBI::err == 2006) {
 121       # try to reconnect to database
 122       ($DBHandle,$DBQuery) = PrepareDB(\%Conf);
 123       # try to repeat the write attempt as before
 124       if (!$DBQuery->execute($Day, $Date, $Mid, $Timestamp, $Token, $Size, $Peer,
 125                              $Path, $Newsgroups, $Headers)) {
 126         syslog(LOG_ERR, '%s was dropped and lost.',$Mid);
 127       };
 128     # otherwise log missing posting
 129     } else {
 130       syslog(LOG_ERR, '%s was dropped and lost.',$Mid);
 131     };
 132   };
 133   $DBQuery->finish;
 134
 135   warn sprintf("-----\nDay: %s\nDate: %s\nMID: %s\nTS: %s\nToken: %s\n".
 136                "Size: %s\nPeer: %s\nPath: %s\nNewsgroups: %s\nHeaders: %s\n",
 137                $Day, $Date, $Mid, $Timestamp, $Token, $Size, $Peer, $Path,
 138                $Newsgroups, $Headers) if $OptDebug;
 139 }
 140
 141 ### close handles
 142 $DBHandle->disconnect;
 143 syslog(LOG_NOTICE, "$0 closing down.") if !$OptQuiet;
 144 closelog();
 145
 146 __END__
 147
 148 ################################ Documentation #################################
 149
 150 =head1 NAME
 151
 152 feedlog - log data from an INN feed to a database
 153
 154 =head1 SYNOPSIS
 155
 156 B<feedlog> [B<-Vhdq>] [--conffile I<filename>]
 157
 158 =head1 REQUIREMENTS
 159
 160 See L<doc/README>.
 161
 162 =head1 DESCRIPTION
 163
 164 This script will log overview data and complete headers to a database
 165 table for further examination by parsing a feed from INN. It will
 166 parse that information and write it to a mysql database table in real
 167 time.
 168
 169 All reporting is done to I<syslog> via I<news> facility. If B<feedlog>
 170 fails to initiate a database connection at startup, it will log to
 171 I<syslog> with I<CRIT> priority and go in an endless loop, as
 172 terminating would only result in a rapid respawn.
 173
 174 =head2 Configuration
 175
 176 B<feedlog> will read its configuration from F<newsstats.conf> which
 177 should be present in the same directory via Config::Auto.
 178
 179 See L<doc/INSTALL> for an overview of possible configuration options.
 180
 181 =head1 OPTIONS
 182
 183 =over 3
 184
 185 =item B<-V>, B<--version>
 186
 187 Print out version and copyright information and exit.
 188
 189 =item B<-h>, B<--help>
 190
 191 Print this man page and exit.
 192
 193 =item B<-d>, B<--debug>
 194
 195 Output debugging information to STDERR while parsing STDIN. You'll
 196 find that information most probably in your B<INN> F<errlog> file.
 197
 198 =item B<-q>, B<--quiet>
 199
 200 Suppress logging to syslog.
 201
 202 =item B<--conffile> I<filename>
 203
 204 Load configuration from I<filename> instead of F<newsstats.conf>.
 205
 206 =back
 207
 208 =head1 INSTALLATION
 209
 210 See L<doc/INSTALL>.
 211
 212 =head1 EXAMPLES
 213
 214 Set up a feed like that in your B<INN> F<newsfeeds> file:
 215
 216     ## gather statistics for NewsStats
 217     newsstats!
 218             :!*,de.*
 219             :Tc,WmtfbsPNH,Ac:/path/to/feedlog.pl
 220
 221 See L<doc/INSTALL> for further information.
 222
 223 =head1 FILES
 224
 225 =over 4
 226
 227 =item F<bin/feedlog.pl>
 228
 229 The script itself.
 230
 231 =item F<lib/NewsStats.pm>
 232
 233 Library functions for the NewsStats package.
 234
 235 =item F<etc/newsstats.conf>
 236
 237 Runtime configuration file.
 238
 239 =back
 240
 241 =head1 BUGS
 242
 243 Please report any bugs or feature requests to the author or use the
 244 bug tracker at L<http://bugs.th-h.de/>!
 245
 246 =head1 SEE ALSO
 247
 248 =over 2
 249
 250 =item -
 251
 252 L<doc/README>
 253
 254 =item -
 255
 256 L<doc/INSTALL>
 257
 258 =back
 259
 260 This script is part of the B<NewsStats> package.
 261
 262 =head1 AUTHOR
 263
 264 Thomas Hochstein <thh@inter.net>
 265
 266 =head1 COPYRIGHT AND LICENSE
 267
 268 Copyright (c) 2010-2013 Thomas Hochstein <thh@inter.net>
 269
 270 This program is free software; you may redistribute it and/or modify it
 271 under the same terms as Perl itself.
 272
 273 =cut