Update memory usage plot script
[bluesky.git] / bluesky / store-s3.c
1 /* Blue Sky: File Systems in the Cloud
2  *
3  * Copyright (C) 2009  The Regents of the University of California
4  * Written by Michael Vrable <mvrable@cs.ucsd.edu>
5  *
6  * TODO: Licensing
7  */
8
9 #include <stdint.h>
10 #include <stdlib.h>
11 #include <glib.h>
12 #include <string.h>
13
14 #include "bluesky-private.h"
15 #include "libs3.h"
16
17 /* Interface to Amazon S3 storage. */
18
19 typedef struct {
20     GThreadPool *thread_pool;
21     S3BucketContext bucket;
22     uint8_t encryption_key[CRYPTO_KEY_SIZE];
23 } S3Store;
24
25 typedef struct {
26     enum { S3_GET, S3_PUT } op;
27     gchar *key;
28     BlueSkyRCStr *data;
29 } S3Op;
30
31 struct get_info {
32     int success;
33     GString *buf;
34 };
35
36 struct put_info {
37     int success;
38     BlueSkyRCStr *val;
39     gint offset;
40 };
41
42 struct list_info {
43     int success;
44     char *last_entry;
45     gboolean truncated;
46 };
47
48 static S3Status s3store_get_handler(int bufferSize, const char *buffer,
49                                     void *callbackData)
50 {
51     struct get_info *info = (struct get_info *)callbackData;
52     g_string_append_len(info->buf, buffer, bufferSize);
53     return S3StatusOK;
54 }
55
56 static int s3store_put_handler(int bufferSize, char *buffer,
57                                void *callbackData)
58 {
59     struct put_info *info = (struct put_info *)callbackData;
60     gint bytes = MIN(bufferSize, (int)(info->val->len - info->offset));
61     memcpy(buffer, (char *)info->val->data + info->offset, bytes);
62     info->offset += bytes;
63     return bytes;
64 }
65
66 static S3Status s3store_properties_callback(const S3ResponseProperties *properties,
67                                      void *callbackData)
68 {
69     return S3StatusOK;
70 }
71
72 static void s3store_response_callback(S3Status status,
73                                const S3ErrorDetails *errorDetails,
74                                void *callbackData)
75 {
76     struct get_info *info = (struct get_info *)callbackData;
77
78     if (status == 0) {
79         info->success = 1;
80     }
81
82     if (errorDetails != NULL && errorDetails->message != NULL) {
83         g_print("  Error message: %s\n", errorDetails->message);
84     }
85 }
86
87 static void s3store_task(gpointer a, gpointer s)
88 {
89     BlueSkyStoreAsync *async = (BlueSkyStoreAsync *)a;
90     S3Store *store = (S3Store *)s;
91
92     async->status = ASYNC_RUNNING;
93     async->exec_time = bluesky_now_hires();
94
95     if (async->op == STORE_OP_GET) {
96         struct get_info info;
97         info.buf = g_string_new("");
98         info.success = 0;
99
100         struct S3GetObjectHandler handler;
101         handler.responseHandler.propertiesCallback = s3store_properties_callback;
102         handler.responseHandler.completeCallback = s3store_response_callback;
103         handler.getObjectDataCallback = s3store_get_handler;
104
105         S3_get_object(&store->bucket, async->key, NULL,
106                       async->start, async->len, NULL, &handler, &info);
107         async->range_done = TRUE;
108
109         if (info.success) {
110             async->data = bluesky_string_new_from_gstring(info.buf);
111             async->result = 0;
112         } else {
113             g_string_free(info.buf, TRUE);
114         }
115
116     } else if (async->op == STORE_OP_PUT) {
117         struct put_info info;
118         info.success = 0;
119         info.val = async->data;
120         info.offset = 0;
121
122         struct S3PutObjectHandler handler;
123         handler.responseHandler.propertiesCallback
124             = s3store_properties_callback;
125         handler.responseHandler.completeCallback = s3store_response_callback;
126         handler.putObjectDataCallback = s3store_put_handler;
127
128         S3_put_object(&store->bucket, async->key, async->data->len, NULL, NULL,
129                       &handler, &info);
130
131         if (info.success) {
132             async->result = 0;
133         } else {
134             g_warning("Error completing S3 put operation; client must retry!");
135         }
136     }
137
138     bluesky_store_async_mark_complete(async);
139     bluesky_store_async_unref(async);
140 }
141
142 static S3Status s3store_list_handler(int isTruncated,
143                                      const char *nextMarker,
144                                      int contentsCount,
145                                      const S3ListBucketContent *contents,
146                                      int commonPrefixesCount,
147                                      const char **commonPrefixes,
148                                      void *callbackData)
149 {
150     struct list_info *info = (struct list_info *)callbackData;
151     if (contentsCount > 0) {
152         g_free(info->last_entry);
153         info->last_entry = g_strdup(contents[contentsCount - 1].key);
154     }
155     info->truncated = isTruncated;
156     return S3StatusOK;
157 }
158
159 static char *s3store_lookup_last(gpointer s, const char *prefix)
160 {
161     S3Store *store = (S3Store *)s;
162     struct list_info info = {0, NULL, FALSE};
163
164     struct S3ListBucketHandler handler;
165     handler.responseHandler.propertiesCallback
166         = s3store_properties_callback;
167     handler.responseHandler.completeCallback = s3store_response_callback;
168     handler.listBucketCallback = s3store_list_handler;
169
170     char *marker = NULL;
171
172     do {
173         S3_list_bucket(&store->bucket, prefix, marker, NULL, 1024, NULL,
174                        &handler, &info);
175         g_free(marker);
176         marker = g_strdup(info.last_entry);
177         g_print("Last key: %s\n", info.last_entry);
178     } while (info.truncated);
179
180     g_free(marker);
181
182     return info.last_entry;
183 }
184
185 static gpointer s3store_new(const gchar *path)
186 {
187     S3Store *store = g_new(S3Store, 1);
188     store->thread_pool = g_thread_pool_new(s3store_task, store, -1, FALSE,
189                                            NULL);
190     if (path == NULL || strlen(path) == 0)
191         store->bucket.bucketName = "mvrable-bluesky";
192     else
193         store->bucket.bucketName = g_strdup(path);
194     store->bucket.protocol = S3ProtocolHTTP;
195     store->bucket.uriStyle = S3UriStylePath;
196     store->bucket.accessKeyId = getenv("AWS_ACCESS_KEY_ID");
197     store->bucket.secretAccessKey = getenv("AWS_SECRET_ACCESS_KEY");
198
199     const char *key = getenv("BLUESKY_KEY");
200     if (key == NULL) {
201         g_error("Encryption key not defined; please set BLUESKY_KEY environment variable");
202         exit(1);
203     }
204
205     bluesky_crypt_hash_key(key, store->encryption_key);
206
207     g_print("Initializing S3 with bucket %s, access key %s, encryption key %s\n",
208             store->bucket.bucketName, store->bucket.accessKeyId, key);
209
210     return store;
211 }
212
213 static void s3store_destroy(gpointer store)
214 {
215     g_free(store);
216 }
217
218 static void s3store_submit(gpointer s, BlueSkyStoreAsync *async)
219 {
220     S3Store *store = (S3Store *)s;
221     g_return_if_fail(async->status == ASYNC_NEW);
222     g_return_if_fail(async->op != STORE_OP_NONE);
223
224     switch (async->op) {
225     case STORE_OP_GET:
226     case STORE_OP_PUT:
227         async->status = ASYNC_PENDING;
228         bluesky_store_async_ref(async);
229         g_thread_pool_push(store->thread_pool, async, NULL);
230         break;
231
232     default:
233         g_warning("Uknown operation type for S3Store: %d\n", async->op);
234         bluesky_store_async_mark_complete(async);
235         break;
236     }
237 }
238
239 static void s3store_cleanup(gpointer store, BlueSkyStoreAsync *async)
240 {
241     GString *buf = (GString *)async->store_private;
242
243     if (buf != NULL) {
244         g_string_free(buf, TRUE);
245         async->store_private = NULL;
246     }
247 }
248
249 static BlueSkyStoreImplementation store_impl = {
250     .create = s3store_new,
251     .destroy = s3store_destroy,
252     .submit = s3store_submit,
253     .cleanup = s3store_cleanup,
254     .lookup_last = s3store_lookup_last,
255 };
256
257 void bluesky_store_init_s3(void)
258 {
259     S3_initialize(NULL, S3_INIT_ALL);
260     bluesky_store_register(&store_impl, "s3");
261 }