Run 2to3 over Python sources.
[cumulus.git] / python / cumulus / store / ftp.py
1 # Cumulus: Efficient Filesystem Backup to the Cloud
2 # Copyright (C) 2009 The Cumulus Developers
3 # See the AUTHORS file for a list of contributors.
4 #
5 # This program is free software; you can redistribute it and/or modify
6 # it under the terms of the GNU General Public License as published by
7 # the Free Software Foundation; either version 2 of the License, or
8 # (at your option) any later version.
9 #
10 # This program is distributed in the hope that it will be useful,
11 # but WITHOUT ANY WARRANTY; without even the implied warranty of
12 # MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
13 # GNU General Public License for more details.
14 #
15 # You should have received a copy of the GNU General Public License along
16 # with this program; if not, write to the Free Software Foundation, Inc.,
17 # 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA.
18
19 from ftplib        import FTP, all_errors, error_temp
20 from netrc         import netrc, NetrcParseError
21 from cumulus.store import Store, type_patterns, NotFoundError
22
23 class FtpStore (Store):
24     def __init__ (self, url, **kw):
25         self.synced = True
26         try:
27             upw, hp = self.netloc.split ('@')
28         except ValueError:
29             hp = self.netloc
30             upw = 'anonymous'
31         try:
32             host, port = hp.split (':')
33             port = int (port, 10)
34         except ValueError:
35             host = hp
36             port = 21
37         try:
38             user, passwd = upw.split (':')
39         except ValueError:
40             user = upw
41             passwd = None
42             try:
43                 n = netrc ()
44                 try:
45                     user, acct, passwd = n.authenticators (host)
46                 except ValueError:
47                     pass
48             except (IOError, NetrcParseError):
49                 pass
50         self.host   = host
51         self.port   = port
52         self.user   = user
53         self.passwd = passwd
54         self.prefix = self.path [1:] # skip *only* first '/'
55         self.ftp    = FTP ()
56         self.connect ()
57
58     def _get_path (self, type, name):
59         # we are in right directory
60         return name
61
62     def connect (self) :
63         self.ftp.connect (self.host, self.port)
64         self.ftp.login (self.user, self.passwd)
65         self.ftp.cwd (self.prefix)
66     # end def connect
67
68     def list (self, type):
69         self.sync ()
70         files = self.ftp.nlst ()
71         return (f for f in files if type_patterns[type].match (f))
72
73     def get (self, type, name):
74         self.sync ()
75         self.ftp.sendcmd ('TYPE I')
76         sock = self.ftp.transfercmd ('RETR %s' % self._get_path (type, name))
77         self.synced = False
78         return sock.makefile ()
79
80     def put (self, type, name, fp):
81         self.sync ()
82         self.ftp.storbinary ("STOR %s" % self._get_path (type, name), fp)
83
84     def delete (self, type, name):
85         self.sync ()
86         self.ftp.delete (self._get_path (type, name))
87
88     def stat (self, type, name):
89         """ Note that the size-command is non-standard but supported by
90         most ftp servers today. If size returns an error condition we
91         try nlst to detect if the file exists and return an bogus length
92         """
93         self.sync ()
94         fn = self._get_path (type, name)
95         size = None
96         try:
97             # my client doesn't accept size in ascii-mode
98             self.ftp.sendcmd ('TYPE I')
99             size = self.ftp.size (fn)
100             self.ftp.sendcmd ('TYPE A')
101         except all_errors as err:
102             print(err)
103             pass
104         if size is not None:
105             return {'size': size}
106         print("nlst: %s" % fn, size)
107         l = self.ftp.nlst (fn)
108         if l:
109             return {'size': 42}
110         raise NotFoundError(type, name)
111
112     def sync (self):
113         """ After a get command at end of transfer a 2XX reply is still
114         in the input-queue, we have to get rid of that.
115         We also test here that the connection is still alive. If we get
116         a temporary error 421 ("error_temp") we reconnect: It was
117         probably a timeout.
118         """
119         try :
120             if not self.synced:
121                 self.ftp.voidresp()
122             self.ftp.sendcmd ('TYPE A')
123         except error_temp as err :
124             if not err.message.startswith ('421') :
125                 raise
126             self.connect ()
127         self.synced = True
128
129 Store = FtpStore