scripts/feeds: allow multiple alternative urls for a single feed. this will be useful...
[openwrt.git] / scripts / feeds
index 4d32117..ab765b1 100755 (executable)
@@ -11,6 +11,10 @@ use Cwd 'abs_path';
 chdir "$FindBin::Bin/..";
 $ENV{TOPDIR}=getcwd();
 
+my $mk=`which gmake`;  # select the right 'make' program
+chomp($mk);            # trim trailing newline
+$mk or $mk = "make";   # default to 'make'
+
 my @feeds;
 my %build_packages;
 my %installed;
@@ -19,54 +23,65 @@ sub parse_config() {
        my $line = 0;
        my %name;
 
-       open FEEDS, "feeds.conf";
+       open FEEDS, "feeds.conf" or
+               open FEEDS, "feeds.conf.default" or
+               die "Unable to open feeds configuration";
        while (<FEEDS>) {
                chomp;
                s/#.+$//;
                next unless /\S/;
                my @line = split /\s+/, $_, 3;
+               my @src;
                $line++;
 
                my $valid = 1;
                $line[0] =~ /^src-\w+$/ or $valid = 0;
                $line[1] =~ /^\w+$/ or $valid = 0;
-               $line[2] =~ /\s/ and $valid = 0;
+               @src = split /\s+/, $line[2];
                $valid or die "Syntax error in feeds.list, line: $line\n";
 
                $name{$line[1]} and die "Duplicate feed name '$line[1]', line: $line\n";
                $name{$line[1]} = 1;
 
-               push @feeds, [@line];
+               push @feeds, [$line[0], $line[1], \@src];
        }
        close FEEDS;
 }
 
-sub update_svn($$) {
+sub update_index($)
+{
        my $name = shift;
-       my $src = shift;
 
-       system("svn co $src ./feeds/$name") == 0 or return 1;
        -d "./feeds/$name.tmp" or mkdir "./feeds/$name.tmp" or return 1;
        -d "./feeds/$name.tmp/info" or mkdir "./feeds/$name.tmp/info" or return 1;
 
-       system("make -s prepare-mk TMP_DIR=\"$ENV{TOPDIR}/feeds/$name.tmp\"");
-       system("make -s -f include/scan.mk IS_TTY=1 SCAN_TARGET=\"packageinfo\" SCAN_DIR=\"feeds/$name\" SCAN_NAME=\"package\" SCAN_DEPS=\"$ENV{TOPDIR}/include/package*.mk\" SCAN_DEPTH=4 SCAN_EXTRA=\"\" TMP_DIR=\"$ENV{TOPDIR}/feeds/$name.tmp\"");
+       system("$mk -s prepare-mk TMP_DIR=\"$ENV{TOPDIR}/feeds/$name.tmp\"");
+       system("$mk -s -f include/scan.mk IS_TTY=1 SCAN_TARGET=\"packageinfo\" SCAN_DIR=\"feeds/$name\" SCAN_NAME=\"package\" SCAN_DEPS=\"$ENV{TOPDIR}/include/package*.mk\" SCAN_DEPTH=4 SCAN_EXTRA=\"\" TMP_DIR=\"$ENV{TOPDIR}/feeds/$name.tmp\"");
        system("ln -sf $name.tmp/.packageinfo ./feeds/$name.index");
 
        return 0;
 }
 
-sub update_cpy($$) {
+sub update_svn($$) {
        my $name = shift;
        my $src = shift;
 
-       system("cp -Rf $src ./feeds/$name");
-       -d "./feeds/$name.tmp" or mkdir "./feeds/$name.tmp" or return 1;
-       -d "./feeds/$name.tmp/info" or mkdir "./feeds/$name.tmp/info" or return 1;
+       if (-d "./feeds/$name/.svn" ) {
+               system("(cd \"./feeds/$name\"; svn up)") == 0 or return 1;
+       } else {
+               system("rm -rf \"./feeds/$name\"");
+               system("svn co $src \"./feeds/$name\"") == 0 or return 1;
+       }
 
-       system("make -s prepare-mk TMP_DIR=\"$ENV{TOPDIR}/feeds/$name.tmp\"");
-       system("make -s -f include/scan.mk IS_TTY=1 SCAN_TARGET=\"packageinfo\" SCAN_DIR=\"feeds/$name\" SCAN_NAME=\"package\" SCAN_DEPS=\"$ENV{TOPDIR}/include/package*.mk\" SCAN_DEPTH=4 SCAN_EXTRA=\"\" TMP_DIR=\"$ENV{TOPDIR}/feeds/$name.tmp\"");
-       system("ln -sf $name.tmp/.packageinfo ./feeds/$name.index");
+       return 0;
+}
+
+sub update_cpy($$) {
+       my $name = shift;
+       my $src = shift;
+
+       system("mkdir -p ./feeds/$name");
+       system("cp -Rf $src ./feeds");
 
        return 0;
 }
@@ -75,13 +90,7 @@ sub update_link($$) {
        my $name = shift;
        my $src = abs_path(shift);
 
-       system("ln -sf $src ./feeds/$name");
-       -d "./feeds/$name.tmp" or mkdir "./feeds/$name.tmp" or return 1;
-       -d "./feeds/$name.tmp/info" or mkdir "./feeds/$name.tmp/info" or return 1;
-
-       system("make -s prepare-mk TMP_DIR=\"$ENV{TOPDIR}/feeds/$name.tmp\"");
-       system("make -s -f include/scan.mk IS_TTY=1 SCAN_TARGET=\"packageinfo\" SCAN_DIR=\"feeds/$name\" SCAN_NAME=\"package\" SCAN_DEPS=\"$ENV{TOPDIR}/include/package*.mk\" SCAN_DEPTH=4 SCAN_EXTRA=\"\" TMP_DIR=\"$ENV{TOPDIR}/feeds/$name.tmp\"");
-       system("ln -sf $name.tmp/.packageinfo ./feeds/$name.index");
+       system("rm -f ./feeds/$name; ln -s $src ./feeds/$name");
 
        return 0;
 }
@@ -90,32 +99,32 @@ sub update_git($$) {
        my $name = shift;
        my $src = shift;
 
-    if ( ! -d "./feeds/$name" ) {
-        system("git clone $src ./feeds/$name") == 0 or return 1;
-    } else {
-        system("GIT_DIR=./feeds/$name/.git git pull") == 0 or return 1;
-    }
-
-       -d "./feeds/$name.tmp" or mkdir "./feeds/$name.tmp" or return 1;
-       -d "./feeds/$name.tmp/info" or mkdir "./feeds/$name.tmp/info" or return 1;
-
-       system("make -s prepare-mk TMP_DIR=\"$ENV{TOPDIR}/feeds/$name.tmp\"");
-       system("make -s -f include/scan.mk IS_TTY=1 SCAN_TARGET=\"packageinfo\" SCAN_DIR=\"feeds/$name\" SCAN_NAME=\"package\" SCAN_DEPS=\"$ENV{TOPDIR}/include/package*.mk\" SCAN_DEPTH=4 SCAN_EXTRA=\"\" TMP_DIR=\"$ENV{TOPDIR}/feeds/$name.tmp\"");
-       system("ln -sf $name.tmp/.packageinfo ./feeds/$name.index");
+       if (-d "./feeds/$name/.git" ) {
+               system("GIT_DIR=./feeds/$name/.git git pull") == 0 or return 1;
+       } else {
+               system("rm -rf \"./feeds/$name\"");
+               system("git clone --depth 1 $src ./feeds/$name") == 0 or return 1;
+       }
 
        return 0;
 }
 
 sub get_feed($) {
        my $feed = shift;
+       my $file = "./feeds/$feed.index";
 
        clear_packages();
-       parse_package_metadata("./feeds/$feed.index") or return;
+
+       -f $file or do {
+               print "Ignoring feed '$feed' - index missing\n";
+               return;
+       };
+       parse_package_metadata($file) or return;
        return { %package };
 }
 
 sub get_installed() {
-       system("make -s prepare-tmpinfo");
+       system("$mk -s prepare-tmpinfo");
        clear_packages();
        parse_package_metadata("./tmp/.packageinfo");
        %installed = %package;
@@ -151,7 +160,6 @@ sub search_feed {
        return 0;
 }
 
-
 sub search {
        my %opts;
 
@@ -161,30 +169,64 @@ sub search {
        }
 }
 
+sub list_feed {
+       my $feed = shift;
+
+       get_feed($feed);
+       foreach my $name (sort { lc($a) cmp lc($b) } keys %package) {
+               my $pkg = $package{$name};
+               if($pkg->{name}) {
+                       printf "\%-32s\t\%s\n", $pkg->{name}, $pkg->{title};
+               }
+       }
+
+       return 0;
+}
+
+sub list {
+       my %opts;
+
+       getopts('r:sh', \%opts);
+       if ($opts{h}) {
+               usage();
+               return 0;
+       }
+       if ($opts{s}) {
+               foreach my $feed (@feeds) {
+                       printf "\%-32s\tURL: %s\n", $feed->[1], join(", ", @{$feed->[2]});
+               }
+               return 0;
+       }
+       foreach my $feed (@feeds) {
+               list_feed($feed->[1], @ARGV) if (!defined($opts{r}) or $opts{r} eq $feed->[1]);
+       }
+       return 0;
+}
+
 sub install_generic() {
        my $feed = shift;
        my $pkg = shift;
        my $path = $pkg->{makefile};
-       
+
        if($path) {
-       
                $path =~ s/\/Makefile$//;
 
                -d "./package/feeds" or mkdir "./package/feeds";
                -d "./package/feeds/$feed->[1]" or mkdir "./package/feeds/$feed->[1]";
                system("ln -sf ../../../$path ./package/feeds/$feed->[1]/");
-
        } else {
                warn "Package is not valid\n";
                return 1;
        }
+
        return 0;
 }
 
 my %install_method = (
        'src-svn' => \&install_generic,
        'src-cpy' => \&install_generic,
-       'src-link' => \&install_generic
+       'src-link' => \&install_generic,
+       'src-git' => \&install_generic,
 );
 
 my %feed;
@@ -209,15 +251,17 @@ sub install_package {
        $feed = lookup_package($feed, $name);
        $feed or do {
                $installed{$name} and return 0;
-               warn "WARNING: No feed for package '$name' found.\n";
-               return 1;
+               # TODO: check if it's already installed within ./package directory
+               $srcpackage{$name} or -d "./package/$name" or warn "WARNING: No feed for package '$name' found, maybe it's already part of the standard packages?\n";
+               return 0;
        };
 
        my $pkg = $feed{$feed->[1]}->{$name} or return 1;
        $pkg->{name} or do {
                $installed{$name} and return 0;
+               # TODO: check if this is an alias package, maybe it's known by another name
                warn "WARNING: Package '$name' is not available in feed $feed->[1].\n";
-               return 1;
+               return 0;
        };
        my $src = $pkg->{src};
        my $type = $feed->[0];
@@ -227,13 +271,6 @@ sub install_package {
        # newly installed packages set the source package
        $installed{$src} and return 0;
 
-       # install all dependencies
-       foreach my $dep (@{$pkg->{depends}}) {
-               next if $dep =~ /@/;
-               $dep =~ s/^\+//;
-               install_package($feed, $dep) == 0 or $ret = 1;
-       }
-
        # check previously installed packages
        $installed{$name} and return 0;
        $installed{$src} = 1;
@@ -249,18 +286,30 @@ sub install_package {
                return 1;
        };
 
+       # install all dependencies
+       foreach my $vpkg (@{$srcpackage{$src}}, $pkg) {
+               foreach my $dep (@{$vpkg->{depends}}, @{$vpkg->{builddepends}}) {
+                       next if $dep =~ /@/;
+                       $dep =~ s/^\+//;
+                       install_package($feed, $dep) == 0 or $ret = 1;
+               }
+       }
+
        return $ret;
 }
 
 sub refresh_config {
        my $default = shift;
-       $default or $default = "o";
 
        # workaround for timestamp check
        system("rm -f tmp/.packageinfo");
 
        # refresh the config
-       system("make oldconfig CONFDEFAULT=\"$default\" Config.in >/dev/null 2>/dev/null");
+       if ($default) { 
+               system("$mk oldconfig CONFDEFAULT=\"$default\" Config.in >/dev/null 2>/dev/null");
+       } else {
+               system("$mk defconfig Config.in >/dev/null 2>/dev/null");
+       }
 }
 
 sub install {
@@ -269,7 +318,13 @@ sub install {
        my $feed;
        my $ret = 0;
 
-       getopts('ap:d:', \%opts);
+       getopts('ap:d:h', \%opts);
+
+       if ($opts{h}) {
+               usage();
+               return 0;
+       }
+
        get_installed();
 
        foreach my $f (@feeds) {
@@ -289,8 +344,6 @@ sub install {
                                        my $p = $package{$name};
                                        if( $p->{name} ) {
                                                install_package($feed, $p->{name}) == 0 or $ret = 1;
-                                       } else {
-                                               warn "WARNING: Package '$name' is not available\n";
                                        }
                                }
                        }
@@ -312,13 +365,25 @@ sub install {
 }
 
 sub uninstall {
+       my %opts;
        my $name;
        my $uninstall;
 
-       if ($ARGV[0] eq '-a') {
-               system("rm -rf ./package/feeds");
+       getopts('ah', \%opts);
+
+       if ($opts{h}) {
+               usage();
+               return 0;
+       }
+
+       if ($opts{a}) {
+               system("rm -rvf ./package/feeds");
                $uninstall = 1;
        } else {
+               if($#ARGV == -1) {
+                       warn "WARNING: no package to uninstall\n";
+                       return 0;
+               }
                get_installed();
                while ($name = shift @ARGV) {
                        my $pkg = $installed{$name};
@@ -336,59 +401,130 @@ sub uninstall {
        return 0;
 }
 
+my %update_method = (
+       'src-svn' => \&update_svn,
+       'src-cpy' => \&update_cpy,
+       'src-link' => \&update_link,
+       'src-git' => \&update_git
+);
+
+sub update_feed($$$$)
+{
+       my $type=shift;
+       my $name=shift;
+       my $src=shift;
+       my $perform_update=shift;
+
+       $update_method{$type} or do {
+               warn "Unknown type '$type' in feed $name\n";
+               return 1;
+       };
+       $perform_update and do {
+               my $failed = 1;
+               foreach my $feedsrc (@$src) {
+                       warn "Updating feed '$name' from '$feedsrc' ...\n";
+                       next unless &{$update_method{$type}}($name, $feedsrc) == 0;
+                       $failed = 0;
+                       last;
+               }
+               $failed and do {
+                       warn "failed.\n";
+                       return 1;
+               };
+       };
+       warn "Create index file './feeds/$name.index' \n";
+       update_index($name) == 0 or do {
+               warn "failed.\n";
+               return 1;
+       };
+       return 0;
+}
+
+sub update {
+       my %opts;
+       my $feed_name;
+       my $perform_update=1;
+
+       $ENV{SCAN_COOKIE} = $$;
+       $ENV{KBUILD_VERBOSE} = 99;
+
+       getopts('ahi', \%opts);
+
+       if ($opts{h}) {
+               usage();
+               return 0;
+       }
+
+       if ($opts{i}) {
+               # don't update from (remote) repository
+               # only re-create index information
+               $perform_update=0;
+       }
+
+       -d "feeds" or do {
+                       mkdir "feeds" or die "Unable to create the feeds directory";
+               };
+
+       if ( ($#ARGV == -1) or $opts{a}) {
+               foreach my $feed (@feeds) {
+                       my ($type, $name, $src) = @$feed;
+                       update_feed($type, $name, $src, $perform_update);
+               }
+       } else {
+               while ($feed_name = shift @ARGV) {
+                       foreach my $feed (@feeds) {
+                               my ($type, $name, $src) = @$feed;
+                               if($feed_name ne $name) {
+                                       next;
+                               }
+                               update_feed($type, $name, $src, $perform_update);
+                       }
+               }
+       }
+
+       refresh_config();
+
+       return 0;
+}
+
 sub usage() {
        print <<EOF;
 Usage: $0 <command> [options]
 
 Commands:
+       list [options]: List feeds and their content
+       Options:
+           -s :           List of feed names and their URL.
+           -r <feedname>: List packages of specified feed.
+
        install [options] <package>: Install a package
        Options:
-           -a installs all packages from all feeds or from the specified feed
-           -p <feedname>: Prefer this feed when installing packages
-           -d <y|m|n>:    Set default for newly installed packages
+           -a :           Install all packages from all feeds or from the specified feed using the -p option.
+           -p <feedname>: Prefer this feed when installing packages.
+           -d <y|m|n>:    Set default for newly installed packages.
 
        search [options] <substring>: Search for a package
        Options:
            -r <feedname>: Only search in this feed
 
        uninstall -a|<package>: Uninstall a package
-           -a uninstalls all packages
+       Options:
+           -a :           Uninstalls all packages.
 
-       update: Update packages and lists of feeds in feeds.list
-       clean: Remove downloaded/generated files
+       update -a|<feedname(s)>: Update packages and lists of feeds in feeds.conf .
+       Options:
+           -a :           Update all feeds listed within feeds.conf. Otherwise the spezified feeds will be updated.
+           -i :           Recreate the index only. No feed update from repository is performed.
+
+       clean:             Remove downloaded/generated files.
 
 EOF
        exit(1);
 }
 
-my %update_method = (
-       'src-svn' => \&update_svn,
-       'src-cpy' => \&update_cpy,
-       'src-link' => \&update_link,
-       'src-git' => \&update_git
-);
-
 my %commands = (
-       'update' => sub {
-               -d "feeds" or do {
-                       mkdir "feeds" or die "Unable to create the feeds directory";
-               };
-               $ENV{SCAN_COOKIE} = $$;
-               $ENV{KBUILD_VERBOSE} = 99;
-               foreach my $feed (@feeds) {
-                       my ($type, $name, $src) = @$feed;
-                       $update_method{$type} or do {
-                               warn "Unknown type '$type' in feed $name\n";
-                               next;
-                       };
-                       warn "Updating feed '$name'...\n";
-                       &{$update_method{$type}}($name, $src) == 0 or do {
-                               warn "failed.\n";
-                               return 1;
-                       };
-               }
-               return 0;
-       },
+       'list' => \&list,
+       'update' => \&update,
        'install' => \&install,
        'search' => \&search,
        'uninstall' => \&uninstall,
This page took 0.033762 seconds and 4 git commands to generate.