Fix --remove-source-files sanity check w/--copy-links the right way.
[rsync.git] / main.c
diff --git a/main.c b/main.c
index a8f285af15a9e47258662372b13bfc212ff684a4..99dae1c1998562b1a371cb21464016a5482c9880 100644 (file)
--- a/main.c
+++ b/main.c
@@ -4,7 +4,7 @@
  * Copyright (C) 1996-2001 Andrew Tridgell <tridge@samba.org>
  * Copyright (C) 1996 Paul Mackerras
  * Copyright (C) 2001, 2002 Martin Pool <mbp@samba.org>
- * Copyright (C) 2003-2009 Wayne Davison
+ * Copyright (C) 2003-2018 Wayne Davison
  *
  * This program is free software; you can redistribute it and/or modify
  * it under the terms of the GNU General Public License as published by
@@ -29,6 +29,7 @@
 
 extern int dry_run;
 extern int list_only;
+extern int io_timeout;
 extern int am_root;
 extern int am_server;
 extern int am_sender;
@@ -69,9 +70,14 @@ extern int sock_f_out;
 extern int filesfrom_fd;
 extern int connect_timeout;
 extern int send_msgs_to_gen;
+extern dev_t filesystem_dev;
 extern pid_t cleanup_child_pid;
 extern size_t bwlimit_writemax;
 extern unsigned int module_dirlen;
+extern BOOL flist_receiving_enabled;
+extern BOOL shutting_down;
+extern int backup_dir_len;
+extern int basis_dir_cnt;
 extern struct stats stats;
 extern char *stdout_format;
 extern char *logfile_format;
@@ -91,7 +97,8 @@ extern filter_rule_list daemon_filter_list;
 
 uid_t our_uid;
 gid_t our_gid;
-int am_generator = 0;
+int am_receiver = 0;  /* Only set to 1 after the receiver/generator fork. */
+int am_generator = 0; /* Only set to 1 after the receiver/generator fork. */
 int local_server = 0;
 int daemon_over_rsh = 0;
 mode_t orig_umask = 0;
@@ -126,7 +133,7 @@ static void show_malloc_stats(void);
 pid_t wait_process(pid_t pid, int *status_ptr, int flags)
 {
        pid_t waited_pid;
-       
+
        do {
                waited_pid = waitpid(pid, status_ptr, flags);
        } while (waited_pid == -1 && errno == EINTR);
@@ -147,6 +154,27 @@ pid_t wait_process(pid_t pid, int *status_ptr, int flags)
        return waited_pid;
 }
 
+int shell_exec(const char *cmd)
+{
+       char *shell = getenv("RSYNC_SHELL");
+       int status;
+       pid_t pid;
+
+       if (!shell)
+               return system(cmd);
+
+       if ((pid = fork()) < 0)
+               return -1;
+
+       if (pid == 0) {
+               execlp(shell, shell, "-c", cmd, NULL);
+               _exit(1);
+       }
+
+       int ret = wait_process(pid, &status, 0);
+       return ret < 0 ? -1 : status;
+}
+
 /* Wait for a process to exit, calling io_flush while waiting. */
 static void wait_process_with_flush(pid_t pid, int *exit_code_ptr)
 {
@@ -295,6 +323,13 @@ static void output_itemized_counts(const char *prefix, int *counts)
        rprintf(FINFO, "%s: %s%s\n", prefix, comma_num(total), buf);
 }
 
+static const char *bytes_per_sec_human_dnum(void)
+{
+       if (starttime == (time_t)-1 || endtime == (time_t)-1)
+               return "UNKNOWN";
+       return human_dnum((total_written + total_read) / (0.5 + (endtime - starttime)), 2);
+}
+
 static void output_summary(void)
 {
        if (INFO_GTE(STATS, 2)) {
@@ -335,7 +370,7 @@ static void output_summary(void)
                rprintf(FINFO,
                        "sent %s bytes  received %s bytes  %s bytes/sec\n",
                        human_num(total_written), human_num(total_read),
-                       human_dnum((total_written + total_read)/(0.5 + (endtime - starttime)), 2));
+                       bytes_per_sec_human_dnum());
                rprintf(FINFO, "total size is %s  speedup is %s%s\n",
                        human_num(stats.total_size),
                        comma_dnum((double)stats.total_size / (total_written+total_read), 2),
@@ -359,7 +394,7 @@ static void show_malloc_stats(void)
 
        rprintf(FCLIENT, "\n");
        rprintf(FINFO, RSYNC_NAME "[%d] (%s%s%s) heap statistics:\n",
-               getpid(), am_server ? "server " : "",
+               (int)getpid(), am_server ? "server " : "",
                am_daemon ? "daemon " : "", who_am_i());
        rprintf(FINFO, "  arena:     %10ld   (bytes from sbrk)\n",
                (long)mi.arena);
@@ -392,7 +427,7 @@ static pid_t do_cmd(char *cmd, char *machine, char *user, char **remote_argv, in
                    int *f_in_p, int *f_out_p)
 {
        int i, argc = 0;
-       char *args[MAX_ARGS];
+       char *args[MAX_ARGS], *need_to_free = NULL;
        pid_t pid;
        int dash_l_set = 0;
 
@@ -403,7 +438,7 @@ static pid_t do_cmd(char *cmd, char *machine, char *user, char **remote_argv, in
                        cmd = rsh_env;
                if (!cmd)
                        cmd = RSYNC_RSH;
-               cmd = strdup(cmd); /* MEMORY LEAK */
+               cmd = need_to_free = strdup(cmd);
                if (!cmd)
                        goto oom;
 
@@ -489,7 +524,11 @@ static pid_t do_cmd(char *cmd, char *machine, char *user, char **remote_argv, in
                                rprintf(FERROR, "internal: args[] overflowed in do_cmd()\n");
                                exit_cleanup(RERR_SYNTAX);
                        }
-                       args[argc++] = *remote_argv++;
+                       if (**remote_argv == '-') {
+                               if (asprintf(args + argc++, "./%s", *remote_argv++) < 0)
+                                       out_of_memory("do_cmd");
+                       } else
+                               args[argc++] = *remote_argv++;
                        remote_argc--;
                }
        }
@@ -535,6 +574,9 @@ static pid_t do_cmd(char *cmd, char *machine, char *user, char **remote_argv, in
                        send_protected_args(*f_out_p, args);
        }
 
+       if (need_to_free)
+               free(need_to_free);
+
        return pid;
 
   oom:
@@ -569,6 +611,10 @@ static char *get_local_name(struct file_list *flist, char *dest_path)
        if (!dest_path || list_only)
                return NULL;
 
+       /* Treat an empty string as a copy into the current directory. */
+       if (!*dest_path)
+           dest_path = ".";
+
        if (daemon_filter_list.head) {
                char *slash = strrchr(dest_path, '/');
                if (slash && (slash[1] == '\0' || (slash[1] == '.' && slash[2] == '\0')))
@@ -578,7 +624,7 @@ static char *get_local_name(struct file_list *flist, char *dest_path)
                if ((*dest_path != '.' || dest_path[1] != '\0')
                 && (check_filter(&daemon_filter_list, FLOG, dest_path, 0) < 0
                  || check_filter(&daemon_filter_list, FLOG, dest_path, 1) < 0)) {
-                       rprintf(FERROR, "skipping daemon-excluded destination \"%s\"\n",
+                       rprintf(FERROR, "ERROR: daemon has excluded destination \"%s\"\n",
                                dest_path);
                        exit_cleanup(RERR_FILESELECT);
                }
@@ -595,6 +641,7 @@ static char *get_local_name(struct file_list *flist, char *dest_path)
                                        full_fname(dest_path));
                                exit_cleanup(RERR_FILESELECT);
                        }
+                       filesystem_dev = st.st_dev; /* ensures --force works right w/-x */
                        return NULL;
                }
                if (file_total > 1) {
@@ -632,7 +679,7 @@ static char *get_local_name(struct file_list *flist, char *dest_path)
                        exit_cleanup(RERR_SYNTAX);
                }
 
-               if (mkdir_defmode(dest_path) != 0) {
+               if (do_mkdir(dest_path, ACCESSPERMS) != 0) {
                        rsyserr(FERROR, errno, "mkdir %s failed",
                                full_fname(dest_path));
                        exit_cleanup(RERR_FILEIO);
@@ -688,33 +735,35 @@ static char *get_local_name(struct file_list *flist, char *dest_path)
 static void check_alt_basis_dirs(void)
 {
        STRUCT_STAT st;
-       char **dir_p, *slash = strrchr(curr_dir, '/');
-
-       for (dir_p = basis_dir; *dir_p; dir_p++) {
-               if (dry_run > 1 && **dir_p != '/') {
-                       int len = curr_dir_len + 1 + strlen(*dir_p) + 1;
+       char *slash = strrchr(curr_dir, '/');
+       int j;
+
+       for (j = 0; j < basis_dir_cnt; j++) {
+               char *bdir = basis_dir[j];
+               int bd_len = strlen(bdir);
+               if (bd_len > 1 && bdir[bd_len-1] == '/')
+                       bdir[--bd_len] = '\0';
+               if (dry_run > 1 && *bdir != '/') {
+                       int len = curr_dir_len + 1 + bd_len + 1;
                        char *new = new_array(char, len);
                        if (!new)
                                out_of_memory("check_alt_basis_dirs");
-                       if (slash && strncmp(*dir_p, "../", 3) == 0) {
+                       if (slash && strncmp(bdir, "../", 3) == 0) {
                            /* We want to remove only one leading "../" prefix for
                             * the directory we couldn't create in dry-run mode:
                             * this ensures that any other ".." references get
                             * evaluated the same as they would for a live copy. */
                            *slash = '\0';
-                           pathjoin(new, len, curr_dir, *dir_p + 3);
+                           pathjoin(new, len, curr_dir, bdir + 3);
                            *slash = '/';
                        } else
-                           pathjoin(new, len, curr_dir, *dir_p);
-                       *dir_p = new;
-               }
-               if (do_stat(*dir_p, &st) < 0) {
-                       rprintf(FWARNING, "%s arg does not exist: %s\n",
-                               dest_option, *dir_p);
-               } else if (!S_ISDIR(st.st_mode)) {
-                       rprintf(FWARNING, "%s arg is not a dir: %s\n",
-                               dest_option, *dir_p);
+                           pathjoin(new, len, curr_dir, bdir);
+                       basis_dir[j] = bdir = new;
                }
+               if (do_stat(bdir, &st) < 0)
+                       rprintf(FWARNING, "%s arg does not exist: %s\n", dest_option, bdir);
+               else if (!S_ISDIR(st.st_mode))
+                       rprintf(FWARNING, "%s arg is not a dir: %s\n", dest_option, bdir);
        }
 }
 
@@ -725,6 +774,8 @@ static void read_final_goodbye(int f_in, int f_out)
        uchar fnamecmp_type;
        char xname[MAXPATHLEN];
 
+       shutting_down = True;
+
        if (protocol_version < 29)
                i = read_int(f_in);
        else {
@@ -753,26 +804,27 @@ static void read_final_goodbye(int f_in, int f_out)
 static void do_server_sender(int f_in, int f_out, int argc, char *argv[])
 {
        struct file_list *flist;
-       char *dir = argv[0];
+       char *dir;
 
-       if (DEBUG_GTE(SEND, 1)) {
-               rprintf(FINFO, "server_sender starting pid=%ld\n",
-                       (long)getpid());
-       }
+       if (DEBUG_GTE(SEND, 1))
+               rprintf(FINFO, "server_sender starting pid=%d\n", (int)getpid());
 
        if (am_daemon && lp_write_only(module_id)) {
                rprintf(FERROR, "ERROR: module is write only\n");
                exit_cleanup(RERR_SYNTAX);
-               return;
        }
        if (am_daemon && read_only && remove_source_files) {
                rprintf(FERROR,
-                   "ERROR: --remove-%s-files cannot be used with a read-only module\n",
-                   remove_source_files == 1 ? "source" : "sent");
+                       "ERROR: --remove-%s-files cannot be used with a read-only module\n",
+                       remove_source_files == 1 ? "source" : "sent");
+               exit_cleanup(RERR_SYNTAX);
+       }
+       if (argc < 1) {
+               rprintf(FERROR, "ERROR: do_server_sender called without args\n");
                exit_cleanup(RERR_SYNTAX);
-               return;
        }
 
+       dir = argv[0];
        if (!relative_paths) {
                if (!change_dir(dir, CD_NORMAL)) {
                        rsyserr(FERROR, errno, "change_dir#3 %s failed",
@@ -790,8 +842,12 @@ static void do_server_sender(int f_in, int f_out, int argc, char *argv[])
        }
 
        flist = send_file_list(f_out,argc,argv);
-       if (!flist || flist->used == 0)
+       if (!flist || flist->used == 0) {
+               /* Make sure input buffering is off so we can't hang in noop_io_until_death(). */
+               io_end_buffering_in(0);
+               /* TODO:  we should really exit in a more controlled manner. */
                exit_cleanup(0);
+       }
 
        io_start_buffering_in(f_in);
 
@@ -826,13 +882,26 @@ static int do_recv(int f_in, int f_out, char *local_name)
        }
 
        if (backup_dir) {
-               int ret = make_path(backup_dir_buf, MKP_DROP_NAME); /* drops trailing slash */
-               if (ret < 0)
-                       exit_cleanup(RERR_SYNTAX);
-               if (ret)
-                       rprintf(FINFO, "Created backup_dir %s\n", backup_dir_buf);
-               else if (INFO_GTE(BACKUP, 1))
+               STRUCT_STAT st;
+               int ret;
+               if (backup_dir_len > 1)
+                       backup_dir_buf[backup_dir_len-1] = '\0';
+               ret = do_stat(backup_dir_buf, &st);
+               if (ret != 0 || !S_ISDIR(st.st_mode)) {
+                       if (ret == 0) {
+                               rprintf(FERROR, "The backup-dir is not a directory: %s\n", backup_dir_buf);
+                               exit_cleanup(RERR_SYNTAX);
+                       }
+                       if (errno != ENOENT) {
+                               rprintf(FERROR, "Failed to stat %s: %s\n", backup_dir_buf, strerror(errno));
+                               exit_cleanup(RERR_FILEIO);
+                       }
+                       if (INFO_GTE(BACKUP, 1))
+                               rprintf(FINFO, "(new) backup_dir is %s\n", backup_dir_buf);
+               } else if (INFO_GTE(BACKUP, 1))
                        rprintf(FINFO, "backup_dir is %s\n", backup_dir_buf);
+               if (backup_dir_len > 1)
+                       backup_dir_buf[backup_dir_len-1] = '/';
        }
 
        io_flush(FULL_FLUSH);
@@ -843,6 +912,7 @@ static int do_recv(int f_in, int f_out, char *local_name)
        }
 
        if (pid == 0) {
+               am_receiver = 1;
                send_msgs_to_gen = am_server;
 
                close(error_pipe[0]);
@@ -894,6 +964,7 @@ static int do_recv(int f_in, int f_out, char *local_name)
        }
 
        am_generator = 1;
+       flist_receiving_enabled = True;
 
        io_end_multiplex_in(MPLX_SWITCHING);
        if (write_batch && !am_server)
@@ -920,6 +991,7 @@ static int do_recv(int f_in, int f_out, char *local_name)
 
        handle_stats(-1);
        io_flush(FULL_FLUSH);
+       shutting_down = True;
        if (protocol_version >= 24) {
                /* send a final goodbye message */
                write_ndx(f_out, NDX_DONE);
@@ -946,10 +1018,8 @@ static void do_server_recv(int f_in, int f_out, int argc, char *argv[])
        } else
                negated_levels = 0;
 
-       if (DEBUG_GTE(RECV, 1)) {
-               rprintf(FINFO, "server_recv(%d) starting pid=%ld\n",
-                       argc, (long)getpid());
-       }
+       if (DEBUG_GTE(RECV, 1))
+               rprintf(FINFO, "server_recv(%d) starting pid=%d\n", argc, (int)getpid());
 
        if (am_daemon && read_only) {
                rprintf(FERROR,"ERROR: module is read only\n");
@@ -984,7 +1054,7 @@ static void do_server_recv(int f_in, int f_out, int argc, char *argv[])
                filesfrom_fd = -1;
        }
 
-       flist = recv_file_list(f_in);
+       flist = recv_file_list(f_in, -1);
        if (!flist) {
                rprintf(FERROR,"server_recv: recv_file_list error\n");
                exit_cleanup(RERR_FILESELECT);
@@ -1051,6 +1121,8 @@ void start_server(int f_in, int f_out, int argc, char *argv[])
 
        if (protocol_version >= 23)
                io_start_multiplex_out(f_out);
+       if (am_daemon && io_timeout && protocol_version >= 31)
+               send_msg_int(MSG_IO_TIMEOUT, io_timeout);
 
        if (am_sender) {
                keep_dirlinks = 0; /* Must be disabled on the sender. */
@@ -1156,7 +1228,7 @@ int client_run(int f_in, int f_out, pid_t pid, int argc, char *argv[])
 
        if (write_batch && !am_server)
                start_write_batch(f_in);
-       flist = recv_file_list(f_in);
+       flist = recv_file_list(f_in, -1);
        if (inc_recurse && file_total == 1)
                recv_additional_file_list(f_in);
 
@@ -1289,6 +1361,9 @@ static int start_client(int argc, char *argv[])
                remote_argc = argc = 1;
        }
 
+       if (!rsync_port && remote_argc && !**remote_argv) /* Turn an empty arg into a dot dir. */
+               *remote_argv = ".";
+
        if (am_sender) {
                char *dummy_host;
                int dummy_port = rsync_port;
@@ -1324,6 +1399,8 @@ static int start_client(int argc, char *argv[])
                                        rprintf(FERROR, "All source args must use the same port number.\n");
                                exit_cleanup(RERR_SYNTAX);
                        }
+                       if (!rsync_port && !*arg) /* Turn an empty arg into a dot dir. */
+                               arg = ".";
                        remote_argv[i] = arg;
                }
        }
@@ -1355,7 +1432,7 @@ static int start_client(int argc, char *argv[])
        if (DEBUG_GTE(CMD, 2)) {
                rprintf(FINFO,"cmd=%s machine=%s user=%s path=%s\n",
                        NS(shell_cmd), NS(shell_machine), NS(shell_user),
-                       remote_argv ? NS(remote_argv[0]) : "");
+                       NS(remote_argv[0]));
        }
 
        pid = do_cmd(shell_cmd, shell_machine, shell_user, remote_argv, remote_argc,
@@ -1379,12 +1456,12 @@ static int start_client(int argc, char *argv[])
 }
 
 
-static RETSIGTYPE sigusr1_handler(UNUSED(int val))
+static void sigusr1_handler(UNUSED(int val))
 {
        exit_cleanup(RERR_SIGNAL1);
 }
 
-static RETSIGTYPE sigusr2_handler(UNUSED(int val))
+static void sigusr2_handler(UNUSED(int val))
 {
        if (!am_server)
                output_summary();
@@ -1394,7 +1471,7 @@ static RETSIGTYPE sigusr2_handler(UNUSED(int val))
        _exit(0);
 }
 
-RETSIGTYPE remember_children(UNUSED(int val))
+void remember_children(UNUSED(int val))
 {
 #ifdef WNOHANG
        int cnt, status;
@@ -1441,9 +1518,7 @@ const char *get_panic_action(void)
 
        if (cmd_fmt)
                return cmd_fmt;
-       else
-               return "xterm -display :0 -T Panic -n Panic "
-                       "-e gdb /proc/%d/exe %d";
+       return "xterm -display :0 -T Panic -n Panic -e gdb /proc/%d/exe %d";
 }
 
 
@@ -1455,17 +1530,16 @@ const char *get_panic_action(void)
  * should just look at the environment variable, but I'm a bit leery
  * of a signal sending us into a busy loop.
  **/
-static RETSIGTYPE rsync_panic_handler(UNUSED(int whatsig))
+static void rsync_panic_handler(UNUSED(int whatsig))
 {
        char cmd_buf[300];
-       int ret;
+       int ret, pid_int = getpid();
 
-       snprintf(cmd_buf, sizeof cmd_buf, get_panic_action(),
-                getpid(), getpid());
+       snprintf(cmd_buf, sizeof cmd_buf, get_panic_action(), pid_int, pid_int);
 
        /* Unless we failed to execute gdb, we allow the process to
         * continue.  I'm not sure if that's right. */
-       ret = system(cmd_buf);
+       ret = shell_exec(cmd_buf);
        if (ret)
                _exit(ret);
 }
@@ -1507,9 +1581,10 @@ int main(int argc,char *argv[])
                exit_cleanup(RERR_SYNTAX);
        }
 
-       /* we set a 0 umask so that correct file permissions can be
-        * carried across */
-       orig_umask = umask(0);
+       /* Get the umask for use in permission calculations.  We no longer set
+        * it to zero; that is ugly and pointless now that all the callers that
+        * relied on it have been reeducated to work with default ACLs. */
+       umask(orig_umask = umask(0));
 
 #if defined CONFIG_LOCALE && defined HAVE_SETLOCALE
        setlocale(LC_CTYPE, "");
@@ -1542,8 +1617,6 @@ int main(int argc,char *argv[])
         * that implement getcwd that way "pwd" can't be found after chroot. */
        change_dir(NULL, CD_NORMAL);
 
-       init_flist();
-
        if ((write_batch || read_batch) && !am_server) {
                if (write_batch)
                        write_batch_shell_file(orig_argc, orig_argv, argc);