Implement metadata caching for S3 backend.
authorMichael Vrable <mvrable@cs.ucsd.edu>
Sun, 31 May 2009 06:19:10 +0000 (23:19 -0700)
committerMichael Vrable <mvrable@turin.ucsd.edu>
Sun, 31 May 2009 06:19:10 +0000 (23:19 -0700)
commit92488d46a0deca6d031d07852c3b79214280ab6d
tree0e795b4b212dcfa70a5aba9ea947f64cad636448
parent0d3714dd199cb13174bdcacf7bc9e65290769b6f
Implement metadata caching for S3 backend.

Amazon S3 will return some limited object metadata when a list operation is
performed.  This is significantly cheaper than fetching the information for
objects one at a time.  In the S3 backend, implement a scan() method that
will list all objects and cache the metadata, then return cached results
when stat() is called.
python/cumulus/__init__.py
python/cumulus/store/__init__.py
python/cumulus/store/s3.py