bluesky/store-s3.c

   1 /* Blue Sky: File Systems in the Cloud
   2  *
   3  * Copyright (C) 2009  The Regents of the University of California
   4  * Written by Michael Vrable <mvrable@cs.ucsd.edu>
   5  *
   6  * TODO: Licensing
   7  */
   8
   9 #include <stdint.h>
  10 #include <stdlib.h>
  11 #include <glib.h>
  12 #include <string.h>
  13
  14 #include "bluesky-private.h"
  15 #include "libs3.h"
  16
  17 /* Interface to Amazon S3 storage. */
  18
  19 typedef struct {
  20     GThreadPool *thread_pool;
  21     S3BucketContext bucket;
  22     uint8_t encryption_key[CRYPTO_KEY_SIZE];
  23 } S3Store;
  24
  25 typedef struct {
  26     enum { S3_GET, S3_PUT } op;
  27     gchar *key;
  28     BlueSkyRCStr *data;
  29 } S3Op;
  30
  31 struct get_info {
  32     int success;
  33     GString *buf;
  34 };
  35
  36 struct put_info {
  37     BlueSkyRCStr *val;
  38     gint offset;
  39 };
  40
  41 static S3Status s3store_get_handler(int bufferSize, const char *buffer,
  42                                     void *callbackData)
  43 {
  44     struct get_info *info = (struct get_info *)callbackData;
  45     g_string_append_len(info->buf, buffer, bufferSize);
  46     return S3StatusOK;
  47 }
  48
  49 static int s3store_put_handler(int bufferSize, char *buffer,
  50                                void *callbackData)
  51 {
  52     struct put_info *info = (struct put_info *)callbackData;
  53     gint bytes = MIN(bufferSize, (int)(info->val->len - info->offset));
  54     memcpy(buffer, (char *)info->val->data + info->offset, bytes);
  55     info->offset += bytes;
  56     return bytes;
  57 }
  58
  59 static S3Status s3store_properties_callback(const S3ResponseProperties *properties,
  60                                      void *callbackData)
  61 {
  62     return S3StatusOK;
  63 }
  64
  65 static void s3store_response_callback(S3Status status,
  66                                const S3ErrorDetails *errorDetails,
  67                                void *callbackData)
  68 {
  69     struct get_info *info = (struct get_info *)callbackData;
  70
  71     if (status == 0) {
  72         info->success = 1;
  73     }
  74
  75     if (errorDetails != NULL && errorDetails->message != NULL) {
  76         g_print("  Error message: %s\n", errorDetails->message);
  77     }
  78 }
  79
  80 static void s3store_task(gpointer a, gpointer s)
  81 {
  82     BlueSkyStoreAsync *async = (BlueSkyStoreAsync *)a;
  83     S3Store *store = (S3Store *)s;
  84
  85     async->status = ASYNC_RUNNING;
  86     async->exec_time = bluesky_now_hires();
  87
  88     if (async->op == STORE_OP_GET) {
  89         struct get_info info;
  90         info.buf = g_string_new("");
  91         info.success = 0;
  92
  93         struct S3GetObjectHandler handler;
  94         handler.responseHandler.propertiesCallback = s3store_properties_callback;
  95         handler.responseHandler.completeCallback = s3store_response_callback;
  96         handler.getObjectDataCallback = s3store_get_handler;
  97
  98         S3_get_object(&store->bucket, async->key, NULL, 0, 0, NULL,
  99                       &handler, &info);
 100
 101         if (info.success) {
 102             BlueSkyRCStr *raw, *decrypted;
 103             raw = bluesky_string_new_from_gstring(info.buf);
 104             decrypted = bluesky_crypt_decrypt(raw, store->encryption_key);
 105             bluesky_string_unref(raw);
 106             async->data = decrypted;
 107             async->result = 0;
 108         } else {
 109             g_string_free(info.buf, TRUE);
 110         }
 111
 112     } else if (async->op == STORE_OP_PUT) {
 113         BlueSkyRCStr *encrypted = bluesky_crypt_encrypt(async->data,
 114                                                         store->encryption_key);
 115
 116         struct put_info info;
 117         info.val = encrypted;
 118         info.offset = 0;
 119
 120         struct S3PutObjectHandler handler;
 121         handler.responseHandler.propertiesCallback
 122             = s3store_properties_callback;
 123         handler.responseHandler.completeCallback = s3store_response_callback;
 124         handler.putObjectDataCallback = s3store_put_handler;
 125
 126         S3_put_object(&store->bucket, async->key, encrypted->len, NULL, NULL,
 127                       &handler, &info);
 128
 129         bluesky_string_unref(encrypted);
 130
 131         async->result = 0;
 132     }
 133
 134     bluesky_store_async_mark_complete(async);
 135     bluesky_store_async_unref(async);
 136 }
 137
 138 static gpointer s3store_new(const gchar *path)
 139 {
 140     S3Store *store = g_new(S3Store, 1);
 141     store->thread_pool = g_thread_pool_new(s3store_task, store, -1, FALSE,
 142                                            NULL);
 143     store->bucket.bucketName = "mvrable-bluesky";
 144     store->bucket.protocol = S3ProtocolHTTP;
 145     store->bucket.uriStyle = S3UriStylePath;
 146     store->bucket.accessKeyId = getenv("AWS_ACCESS_KEY_ID");
 147     store->bucket.secretAccessKey = getenv("AWS_SECRET_ACCESS_KEY");
 148
 149     const char *key = getenv("BLUESKY_KEY");
 150     if (key == NULL) {
 151         g_error("Encryption key not defined; please set BLUESKY_KEY environment variable");
 152         exit(1);
 153     }
 154
 155     bluesky_crypt_hash_key(key, store->encryption_key);
 156
 157     g_print("Initializing S3 with bucket %s, access key %s, encryption key %s\n",
 158             store->bucket.bucketName, store->bucket.accessKeyId, key);
 159
 160     return store;
 161 }
 162
 163 static void s3store_destroy(gpointer store)
 164 {
 165     g_free(store);
 166 }
 167
 168 static void s3store_submit(gpointer s, BlueSkyStoreAsync *async)
 169 {
 170     S3Store *store = (S3Store *)s;
 171     g_return_if_fail(async->status == ASYNC_NEW);
 172     g_return_if_fail(async->op != STORE_OP_NONE);
 173
 174     switch (async->op) {
 175     case STORE_OP_GET:
 176     case STORE_OP_PUT:
 177         async->status = ASYNC_PENDING;
 178         bluesky_store_async_ref(async);
 179         g_thread_pool_push(store->thread_pool, async, NULL);
 180         break;
 181
 182     default:
 183         g_warning("Uknown operation type for S3Store: %d\n", async->op);
 184         bluesky_store_async_mark_complete(async);
 185         break;
 186     }
 187 }
 188
 189 static void s3store_cleanup(gpointer store, BlueSkyStoreAsync *async)
 190 {
 191     GString *buf = (GString *)async->store_private;
 192
 193     if (buf != NULL) {
 194         g_string_free(buf, TRUE);
 195         async->store_private = NULL;
 196     }
 197 }
 198
 199 static BlueSkyStoreImplementation store_impl = {
 200     .create = s3store_new,
 201     .destroy = s3store_destroy,
 202     .submit = s3store_submit,
 203     .cleanup = s3store_cleanup,
 204 };
 205
 206 void bluesky_store_init_s3(void)
 207 {
 208     S3_initialize(NULL, S3_INIT_ALL);
 209     bluesky_store_register(&store_impl, "s3");
 210 }