Merge branch 'thh-parsedb' into pu
[usenet/newsstats.git] / install / install.pl
index c78dfec..5116881 100755 (executable)
@@ -1,51 +1,56 @@
-#! /usr/bin/perl -W
+#! /usr/bin/perl
 #
 # install.pl
 #
 # This script will create database tables as necessary.
-# 
+#
 # It is part of the NewsStats package.
 #
-# Copyright (c) 2010 Thomas Hochstein <thh@inter.net>
+# Copyright (c) 2010-2013 Thomas Hochstein <thh@inter.net>
 #
-# It can be redistributed and/or modified under the same terms under 
+# It can be redistributed and/or modified under the same terms under
 # which Perl itself is published.
 
 BEGIN {
-  our $VERSION = "0.01";
+  our $VERSION = "0.02";
   use File::Basename;
-  # we're in .../install, so our module is in ..
-  push(@INC, dirname($0).'/..');
+  # we're in .../install, so our module is in ../lib
+  push(@INC, dirname($0).'/../lib');
 }
 use strict;
+use warnings;
 
 use NewsStats qw(:DEFAULT);
 
-use Cwd;
-
 use DBI;
+use Getopt::Long qw(GetOptions);
+Getopt::Long::config ('bundling');
 
 ################################# Main program #################################
 
 ### read commandline options
-my %Options = &ReadOptions('u:');
-
-### change working directory to .. (as we're in .../install)
-chdir dirname($0).'/..';
-my $Path = cwd();
+my ($OptUpdate,$OptConfFile);
+GetOptions ('u|update=s' => \$OptUpdate,
+            'conffile=s' => \$OptConfFile,
+            'h|help'     => \&ShowPOD,
+            'V|version'  => \&ShowVersion) or exit 1;
 
 ### read configuration
 print("Reading configuration.\n");
-my %Conf = %{ReadConfig('newsstats.conf')};
+my %Conf = %{ReadConfig($OptConfFile)};
 
 ##### --------------------------------------------------------------------------
 ##### Database table definitions
 ##### --------------------------------------------------------------------------
 
-my %DBCreate = ('DBTableRaw'  => <<RAW, 'DBTableGrps' => <<GRPS);
--- 
+my $DBCreate = <<SQLDB;
+CREATE DATABASE IF NOT EXISTS `$Conf{'DBDatabase'}` DEFAULT CHARSET=utf8;
+SQLDB
+
+my %DBCreate = ('DBTableRaw'  => <<RAW, 'DBTableParse'  => <<PARSE, 'DBTableGrps' => <<GRPS);
+--
 -- Table structure for table DBTableRaw
--- 
+--
 
 CREATE TABLE IF NOT EXISTS `$Conf{'DBTableRaw'}` (
   `id` bigint(20) unsigned NOT NULL auto_increment,
@@ -66,9 +71,59 @@ CREATE TABLE IF NOT EXISTS `$Conf{'DBTableRaw'}` (
   KEY `peer` (`peer`)
 ) ENGINE=MyISAM  DEFAULT CHARSET=utf8 COMMENT='Raw data';
 RAW
--- 
+--
+-- Table structure for table DBTableParse
+--
+
+CREATE TABLE IF NOT EXISTS `$Conf{'DBTableParse'}` (
+  `id` bigint(20) unsigned NOT NULL auto_increment,
+  `day` date NOT NULL,
+  `mid` varchar(250) character set ascii NOT NULL,
+  `refs` varchar(1000) character set ascii,
+  `date` varchar(100) NOT NULL,
+  `path` varchar(1000) NOT NULL,
+  `newsgroups` varchar(1000) NOT NULL,
+  `fupto` varchar(200),
+  `from_` varchar(500),
+  `from_parsed` varchar(200),
+  `from_name` varchar(200),
+  `from_address` varchar(200),
+  `sender` varchar(500),
+  `sender_parsed` varchar(200),
+  `sender_name` varchar(200),
+  `sender_address` varchar(200),
+  `replyto` varchar(500),
+  `replyto_parsed` varchar(200),
+  `replyto_name` varchar(200),
+  `replyto_address` varchar(200),
+  `subject` varchar(1000) NOT NULL,
+  `subject_parsed` varchar(1000),
+  `organization` varchar(1000),
+  `linecount` int(4) unsigned,
+  `approved` varchar(250),
+  `supersedes` varchar(250),
+  `expires` varchar(100),
+  `useragent` varchar(500),
+  `xnewsreader` varchar(500),
+  `xmailer` varchar(500),
+  `xnoarchive` varchar(100),
+  `contenttype` varchar(500),
+  `contentencoding` varchar(500),
+  `cancellock` varchar(500),
+  `injectioninfo` varchar(500),
+  `xtrace` varchar(500),
+  `postinghost` varchar(1000),
+  `headers` longtext,
+  `disregard` tinyint(1) default '0',
+  PRIMARY KEY  (`id`),
+  KEY `day` (`day`),
+  KEY `mid` (`mid`),
+  KEY `newsgroups` (`newsgroups`)
+) ENGINE=MyISAM  DEFAULT CHARSET=utf8 COMMENT='Parsed data';
+PARSE
+--
 -- Table structure for table DBTableGrps
--- 
+--
 
 CREATE TABLE IF NOT EXISTS `$Conf{'DBTableGrps'}` (
   `id` bigint(20) unsigned NOT NULL auto_increment,
@@ -98,7 +153,7 @@ Things left to do:
           ## gather statistics for NewsStats
           newsstats!\\
                   :!*,de.*\\
-                  :Tc,WmtfbsPNH,Ac:$Path/feedlog.pl
+                  :Tc,WmtfbsPNH,Ac:$HomePath/bin/feedlog.pl
 
       Please
 
@@ -129,9 +184,11 @@ Enjoy!
 -thh <thh\@inter.net>
 INSTALL
 
-my $Upgrade = <<UPGRADE;
+my $Upgrade ='';
+if ($OptUpdate) {
+ $Upgrade = <<UPGRADE;
 ----------
-Your installation was upgraded from $Options{'u'} to $PackageVersion.
+Your installation was upgraded from $OptUpdate to $PackageVersion.
 
 Don't forget to restart your INN feed so that it can pick up the new version:
 
@@ -139,61 +196,57 @@ Don't forget to restart your INN feed so that it can pick up the new version:
 
 (or whatever you called your feed).
 UPGRADE
-
-##### --------------------------------------------------------------------------
-##### Upgrading
-##### --------------------------------------------------------------------------
-my (%DBUpgrade,%Instructions);
-
-# 0.01 -> 0.02
-$DBUpgrade{'0.02'}     = <<DB0point02;
-SELECT 1;
-DB0point02
-$Instructions{'0.02'}  = <<IN0point02;
-Dummy Instructions.
-IN0point02
+}
 
 ##### --------------------------- End of definitions ---------------------------
 
+### create DB, if necessary
+if (!$OptUpdate) {
+  print "----------\nStarting database creation.\n";
+  # create database
+  # we can't use InitDB() as that will use a table name of
+  # the table that doesn't exist yet ...
+  my $DBHandle = DBI->connect(sprintf('DBI:%s:host=%s',$Conf{'DBDriver'},
+                                      $Conf{'DBHost'}), $Conf{'DBUser'},
+                                      $Conf{'DBPw'}, { PrintError => 0 });
+  my $DBQuery = $DBHandle->prepare($DBCreate);
+  $DBQuery->execute() or &Bleat(2, sprintf("Can't create database %s: %s%\n",
+                                           $Conf{'DBDatabase'}, $DBI::errstr));
+
+  printf("Database table %s created succesfully.\n",$Conf{'DBDatabase'});
+  $DBHandle->disconnect;
+};
+
 ### DB init, read list of tables
 print "Reading database information.\n";
 my $DBHandle = InitDB(\%Conf,1);
-my %TablesInDB = %{$DBHandle->table_info('%', '%', '%', 'TABLE')->fetchall_hashref('TABLE_NAME')};
+my %TablesInDB =
+   %{$DBHandle->table_info('%', '%', '%', 'TABLE')->fetchall_hashref('TABLE_NAME')};
 
-if (!$Options{'u'}) {
+if (!$OptUpdate) {
   ##### installation mode
-  print "----------\nStarting database table generation.\n";
   # check for tables and create them, if they don't exist yet
   foreach my $Table (keys %DBCreate) {
     &CreateTable($Table);
   };
   print "Database table generation done.\n";
+
   # Display install instructions
   print $Install;
 } else {
   ##### upgrade mode
   print "----------\nStarting upgrade process.\n";
-  if ($Options{'u'} < $PackageVersion) {
-    # Database upgrades for each version
-    foreach my $UpVersion (sort keys %DBUpgrade) {
-      if ($UpVersion > $Options{'u'} and $UpVersion <= $PackageVersion) {
-        print "v$UpVersion: Executing database upgrade ...\n"; 
-        &DoMySQL($DBUpgrade{$UpVersion});
-      };
-    };
-    # Display upgrade instructions for each version
-    foreach my $UpVersion (sort keys %Instructions) {
-      if ($UpVersion > $Options{'u'} and $UpVersion <= $PackageVersion) {
-        print "v$UpVersion: Upgrade Instructions >>>>>\n";
-        my $Padding = ' ' x (length($UpVersion) + 3);
-        $Instructions{$UpVersion} =~ s/^/$Padding/;
-        print $Instructions{$UpVersion};
-        print "<" x (length($UpVersion) + 29) . "\n";
-      };
+  $PackageVersion = '0.03';
+  if ($OptUpdate < $PackageVersion) {
+    if ($OptUpdate < 0.02) {
+      # 0.01 -> 0.02
+      # &DoMySQL('...;');
+      # print "v0.02: Database upgrades ...\n";
+      # &PrintInstructions('0.02',<<"      INSTRUCTIONS");
+      # INSTRUCTIONS
     };
   };
-  # Display upgrade instructions
+  # Display general upgrade instructions
   print $Upgrade;
 };
 
@@ -204,25 +257,38 @@ exit(0);
 
 ################################# Subroutines ##################################
 
-sub CreateTable() {
+sub CreateTable {
   my $Table = shift;
   if (defined($TablesInDB{$Conf{$Table}})) {
-    printf("Database table %s.%s already exists, skipping ....\n",$Conf{'DBDatabase'},$Conf{$Table});
+    printf("Database table %s.%s already exists, skipping ....\n",
+           $Conf{'DBDatabase'},$Conf{$Table});
     return;
   };
   my $DBQuery = $DBHandle->prepare($DBCreate{$Table});
-  $DBQuery->execute() or die sprintf("$MySelf: E: Can't create table %s in database %s: %s%\n",$Table,$Conf{'DBDatabase'},$DBI::errstr);
-  printf("Database table %s.%s created succesfully.\n",$Conf{'DBDatabase'},$Conf{$Table});
+  $DBQuery->execute() or
+    &Bleat(2, sprintf("Can't create table %s in database %s: %s%\n",$Table,
+                      $Conf{'DBDatabase'},$DBI::errstr));
+  printf("Database table %s.%s created succesfully.\n",
+         $Conf{'DBDatabase'},$Conf{$Table});
   return;
 };
 
-sub DoMySQL() {
+sub DoMySQL {
   my $SQL = shift;
   my $DBQuery = $DBHandle->prepare($SQL);
-  $DBQuery->execute() or warn sprintf("$MySelf: E: Database error: %s\n",$DBI::errstr);
+  $DBQuery->execute() or &Bleat(1, sprintf("Database error: %s\n",$DBI::errstr));
   return;
 };
 
+sub PrintInstructions {
+  my ($UpVersion,$Instructions) = @_;
+  print "v$UpVersion: Upgrade Instructions >>>>>\n";
+  my $Padding = ' ' x (length($UpVersion) + 3);
+    $Instructions =~ s/^      /$Padding/mg;
+    print $Instructions;
+    print "<" x (length($UpVersion) + 29) . "\n";
+};
+
 
 __END__
 
@@ -234,23 +300,11 @@ install - installation script
 
 =head1 SYNOPSIS
 
-B<install> [B<-Vh>]
+B<install> [B<-Vh> [--update I<version>] [B<--conffile> I<filename>]
 
 =head1 REQUIREMENTS
 
-See doc/README: Perl 5.8.x itself and the following modules from CPAN:
-
-=over 2
-
-=item -
-
-Config::Auto
-
-=item -
-
-DBI
-
-=back
+See L<doc/README>.
 
 =head1 DESCRIPTION
 
@@ -258,40 +312,49 @@ This script will create database tables as necessary and configured.
 
 =head2 Configuration
 
-F<install.pl> will read its configuration from F<newsstats.conf> via
-Config::Auto.
+B<install> will read its configuration from F<newsstats.conf> which should
+be present in etc/ via Config::Auto or from a configuration file submitted
+by the B<--conffile> option.
 
-See doc/INSTALL for an overview of possible configuration options.
+See L<doc/INSTALL> for an overview of possible configuration options.
 
 =head1 OPTIONS
 
 =over 3
 
-=item B<-V> (version)
+=item B<-V>, B<--version>
 
-Print out version and copyright information on B<yapfaq> and exit.
+Print out version and copyright information and exit.
 
-=item B<-h> (help)
+=item B<-h>, B<--help>
 
 Print this man page and exit.
 
+=item B<-u>, B<--update> I<version>
+
+Don't do a fresh install, but update from I<version>.
+
+=item B<--conffile> I<filename>
+
+Load configuration from I<filename> instead of F<newsstats.conf>.
+
 =back
 
 =head1 FILES
 
 =over 4
 
-=item F<install.pl>
+=item F<install/install.pl>
 
 The script itself.
 
-=item F<NewsStats.pm>
+=item F<lib/NewsStats.pm>
 
 Library functions for the NewsStats package.
 
-=item F<newsstats.conf>
+=item F<etc/newsstats.conf>
 
-Runtime configuration file for B<yapfaq>.
+Runtime configuration file.
 
 =back
 
@@ -306,11 +369,11 @@ bug tracker at L<http://bugs.th-h.de/>!
 
 =item -
 
-doc/README
+L<doc/README>
 
 =item -
 
-doc/INSTALL
+L<doc/INSTALL>
 
 =back
 
@@ -322,7 +385,7 @@ Thomas Hochstein <thh@inter.net>
 
 =head1 COPYRIGHT AND LICENSE
 
-Copyright (c) 2010 Thomas Hochstein <thh@inter.net>
+Copyright (c) 2010-2013 Thomas Hochstein <thh@inter.net>
 
 This program is free software; you may redistribute it and/or modify it
 under the same terms as Perl itself.
This page took 0.016688 seconds and 4 git commands to generate.