cumulus-sync

   1 #!/usr/bin/python
   2 #
   3 # Cumulus: Efficient Filesystem Backup to the Cloud
   4 # Copyright (C) 2008 The Cumulus Developers
   5 # See the AUTHORS file for a list of contributors.
   6 #
   7 # This program is free software; you can redistribute it and/or modify
   8 # it under the terms of the GNU General Public License as published by
   9 # the Free Software Foundation; either version 2 of the License, or
  10 # (at your option) any later version.
  11 #
  12 # This program is distributed in the hope that it will be useful,
  13 # but WITHOUT ANY WARRANTY; without even the implied warranty of
  14 # MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  15 # GNU General Public License for more details.
  16 #
  17 # You should have received a copy of the GNU General Public License along
  18 # with this program; if not, write to the Free Software Foundation, Inc.,
  19 # 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA.
  20
  21 # Tool for copying cumulus archives from one source to another.
  22
  23 import os, sys
  24
  25 # Automatically set Python path, based on script directory.  This should be
  26 # removed if the tools are properly installed somewhere.
  27 script_directory = os.path.dirname(sys.argv[0])
  28 sys.path.append(os.path.join(script_directory, 'python'))
  29
  30 import cumulus
  31 import cumulus.store
  32
  33 store1 = cumulus.store.open(sys.argv[1])
  34 store2 = cumulus.store.open(sys.argv[2])
  35
  36 source = cumulus.ObjectStore(cumulus.LowlevelDataStore(store1))
  37
  38 filter = set()
  39 for s in sys.argv[3:]:
  40     filter.add(s)
  41     d = cumulus.parse_full(source.load_snapshot(s))
  42     filter.update(d['Segments'].split())
  43
  44 for ty in ('segments', 'checksums', 'snapshots'):
  45     for f in sorted(store1.list(ty)):
  46         m = cumulus.store.type_patterns[ty].match(f)
  47         if not m: continue
  48         if filter and m.group(1) not in filter:
  49             continue
  50
  51         print ty, f
  52         try:
  53             store2.stat(ty, f)
  54         except cumulus.store.NotFoundError:
  55             store2.put(ty, f, store1.get(ty, f))
  56             print "    [sent]"