Use the subprocess module, not os.popen2, for Python 3 compatibility.
[cumulus.git] / cumulus-sync
1 #!/usr/bin/python
2 #
3 # Cumulus: Efficient Filesystem Backup to the Cloud
4 # Copyright (C) 2008 The Cumulus Developers
5 # See the AUTHORS file for a list of contributors.
6 #
7 # This program is free software; you can redistribute it and/or modify
8 # it under the terms of the GNU General Public License as published by
9 # the Free Software Foundation; either version 2 of the License, or
10 # (at your option) any later version.
11 #
12 # This program is distributed in the hope that it will be useful,
13 # but WITHOUT ANY WARRANTY; without even the implied warranty of
14 # MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
15 # GNU General Public License for more details.
16 #
17 # You should have received a copy of the GNU General Public License along
18 # with this program; if not, write to the Free Software Foundation, Inc.,
19 # 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA.
20
21 # Tool for copying cumulus archives from one source to another.
22
23 from __future__ import division, print_function, unicode_literals
24
25 import os, sys
26
27 # Automatically set Python path, based on script directory.  This should be
28 # removed if the tools are properly installed somewhere.
29 script_directory = os.path.dirname(sys.argv[0])
30 sys.path.append(os.path.join(script_directory, 'python'))
31
32 import cumulus
33 import cumulus.store
34
35 store1 = cumulus.BackendWrapper(sys.argv[1])
36 store2 = cumulus.BackendWrapper(sys.argv[2])
37
38 source = cumulus.CumulusStore(store1)
39
40 items_required = set()
41 snapshots = sys.argv[3:]
42 if not snapshots:
43     snapshots = list(source.list_snapshots())
44 for s in snapshots:
45     items_required.add(s)
46     d = cumulus.parse_full(source.load_snapshot(s))
47     items_required.update(d['Segments'].split())
48 print("Required:", len(items_required))
49
50 files_present = set()
51 for filetype in cumulus.SEARCH_PATHS:
52     for (name, path) in store2.list_generic(filetype):
53         items_required.discard(name)
54         files_present.add(path)
55 print("Files already present:", len(sorted(files_present)))
56
57 files_required = []
58 items_found = set()
59 for filetype in cumulus.SEARCH_PATHS:
60     for (name, path) in store1.list_generic(filetype):
61         if name in items_required:
62             files_required.append(path)
63             items_found.add(name)
64 files_required.sort()
65
66 for i, f in enumerate(files_required):
67     print("[%d/%d] %s" % (i + 1, len(files_required), f))
68     store2.raw_backend.put(f, store1.raw_backend.get(f))