Work on a client for generating a synthetic stream of NFS operations.
[bluesky.git] / nfs3 / rpc.c
index 7b73840..465bcd3 100644 (file)
@@ -18,6 +18,7 @@
 #include <stdlib.h>
 #include <rpc/pmap_clnt.h>
 #include <string.h>
+#include <signal.h>
 #include <memory.h>
 #include <sys/socket.h>
 #include <netinet/in.h>
@@ -121,68 +122,6 @@ struct rpc_fail_reply {
     uint32_t accept_stat;
 };
 
-/* Routines for XDR-encoding to a growable string. */
-static bool_t xdr_string_putlong(XDR *xdrs, const long *lp)
-{
-    GString *str = (GString *)xdrs->x_private;
-    uint32_t data = htonl(*lp);
-    g_string_set_size(str, str->len + 4);
-    memcpy(str->str + str->len - 4, &data, 4);
-    return TRUE;
-}
-
-static bool_t xdr_string_putbytes(XDR *xdrs, const char *addr, u_int len)
-{
-    GString *str = (GString *)xdrs->x_private;
-    g_string_set_size(str, str->len + len);
-    memcpy(str->str + str->len - len, addr, len);
-    return TRUE;
-}
-
-static u_int xdr_string_getpos(const XDR *xdrs)
-{
-    GString *str = (GString *)xdrs->x_private;
-    return str->len;
-}
-
-static bool_t xdr_string_putint32(XDR *xdrs, const int32_t *ip)
-{
-    GString *str = (GString *)xdrs->x_private;
-    uint32_t data = htonl(*ip);
-    g_string_set_size(str, str->len + 4);
-    memcpy(str->str + str->len - 4, &data, 4);
-    return TRUE;
-}
-
-static int32_t *xdr_string_inline(XDR *xdrs, u_int len)
-{
-    GString *str = (GString *)xdrs->x_private;
-    g_string_set_size(str, str->len + len);
-    return (int32_t *)(str->str + str->len - len);
-}
-
-static void xdr_string_destroy(XDR *xdrs)
-{
-}
-
-static struct xdr_ops xdr_string_ops = {
-    .x_putlong = xdr_string_putlong,
-    .x_putbytes = xdr_string_putbytes,
-    .x_getpostn = xdr_string_getpos,
-    .x_putint32 = xdr_string_putint32,
-    .x_inline = xdr_string_inline,
-    .x_destroy = xdr_string_destroy,
-};
-
-static void xdr_string_create(XDR *xdrs, GString *string, enum xdr_op op)
-{
-    xdrs->x_op = op;
-    xdrs->x_ops = &xdr_string_ops;
-    xdrs->x_private = (char *)string;
-    xdrs->x_base = NULL;
-    xdrs->x_handy = 0;
-}
-
 static void
 async_rpc_send_failure(RPCRequest *req, enum accept_stat stat)
 {
@@ -195,10 +134,12 @@ async_rpc_send_failure(RPCRequest *req, enum accept_stat stat)
     header.verf_len = 0;
     header.accept_stat = htonl(stat);
 
+    g_mutex_lock(req->connection->send_lock);
     uint32_t fragment = htonl(sizeof(header) | 0x80000000);
     async_rpc_write(req->connection, (const char *)&fragment, sizeof(fragment));
     async_rpc_write(req->connection, (const char *)&header, sizeof(header));
     g_io_channel_flush(req->connection->channel, NULL);
+    g_mutex_unlock(req->connection->send_lock);
 
     if (req->args != NULL) {
         char buf[4];
@@ -207,6 +148,7 @@ async_rpc_send_failure(RPCRequest *req, enum accept_stat stat)
         if (!req->xdr_args_free(&xdr, req->args)) {
             fprintf(stderr, "unable to free arguments");
         }
+        g_free(req->args);
     }
 
     if (req->raw_args != NULL)
@@ -244,12 +186,14 @@ async_rpc_send_reply(RPCRequest *req, void *result)
     header.verf_len = 0;
     header.accept_stat = 0;
 
+    g_mutex_lock(req->connection->send_lock);
     gsize msg_size = str->len;
     uint32_t fragment = htonl((msg_size + sizeof(header)) | 0x80000000);
     async_rpc_write(req->connection, (const char *)&fragment, sizeof(fragment));
     async_rpc_write(req->connection, (const char *)&header, sizeof(header));
     async_rpc_write(req->connection, str->str, str->len);
     g_io_channel_flush(req->connection->channel, NULL);
+    g_mutex_unlock(req->connection->send_lock);
 
     time_end = bluesky_now_hires();
 
@@ -266,6 +210,7 @@ async_rpc_send_reply(RPCRequest *req, void *result)
         if (!req->xdr_args_free(&xdr, req->args)) {
             fprintf(stderr, "unable to free arguments");
         }
+        g_free(req->args);
     }
 
     if (req->raw_args != NULL)
@@ -281,6 +226,31 @@ async_rpc_send_reply(RPCRequest *req, void *result)
     g_free(req);
 }
 
+static const char *nfs_proc_names[] = {
+    [NFSPROC3_NULL] = "NULL",
+    [NFSPROC3_GETATTR] = "GETATTR",
+    [NFSPROC3_SETATTR] = "SETATTR",
+    [NFSPROC3_LOOKUP] = "LOOKUP",
+    [NFSPROC3_ACCESS] = "ACCESS",
+    [NFSPROC3_READLINK] = "READLINK",
+    [NFSPROC3_READ] = "READ",
+    [NFSPROC3_WRITE] = "WRITE",
+    [NFSPROC3_CREATE] = "CREATE",
+    [NFSPROC3_MKDIR] = "MKDIR",
+    [NFSPROC3_SYMLINK] = "SYMLINK",
+    [NFSPROC3_MKNOD] = "MKNOD",
+    [NFSPROC3_REMOVE] = "REMOVE",
+    [NFSPROC3_RMDIR] = "RMDIR",
+    [NFSPROC3_RENAME] = "RENAME",
+    [NFSPROC3_LINK] = "LINK",
+    [NFSPROC3_READDIR] = "READDIR",
+    [NFSPROC3_READDIRPLUS] = "READDIRPLUS",
+    [NFSPROC3_FSSTAT] = "FSSTAT",
+    [NFSPROC3_FSINFO] = "FSINFO",
+    [NFSPROC3_PATHCONF] = "PATHCONF",
+    [NFSPROC3_COMMIT] = "COMMIT",
+};
+
 static void
 nfs_program_3(RPCRequest *req)
 {
@@ -316,7 +286,12 @@ nfs_program_3(RPCRequest *req)
     xdrproc_t _xdr_argument, _xdr_result;
     char *(*local)(char *, RPCRequest *);
 
-    printf("Dispatched NFS RPC message type %d\n", req->req_proc);
+    if (req->req_proc < sizeof(nfs_proc_names) / sizeof(const char *)) {
+        printf("Dispatched NFS RPC message type %s\n",
+               nfs_proc_names[req->req_proc]);
+    } else {
+        printf("Dispatched unknown NFS RPC message type %d\n", req->req_proc);
+    }
 
     switch (req->req_proc) {
     case NFSPROC3_NULL:
@@ -471,9 +446,6 @@ nfs_program_3(RPCRequest *req)
     req->xdr_result = _xdr_result;
     result = (*local)((char *)req->args, req);
 
-    bluesky_flushd_invoke(fs);
-    bluesky_debug_dump(fs);
-
     return;
 }
 
@@ -483,10 +455,54 @@ nfs_program_3(RPCRequest *req)
 static GMainContext *main_context;
 static GMainLoop *main_loop;
 
+static GThreadPool *rpc_thread_pool;
+
+static volatile int fs_dump_requested = 0;
+
+static void sig_handler(int sig)
+{
+    if (sig == SIGUSR1) {
+        fs_dump_requested = 1;
+    }
+}
+
+static gboolean async_flushd(gpointer data)
+{
+    if (fs_dump_requested) {
+        bluesky_debug_dump(fs);
+        fs_dump_requested = 0;
+    }
+
+    bluesky_flushd_invoke(fs);
+    return TRUE;
+}
+
+static void async_rpc_task(gpointer data, gpointer user_data)
+{
+    nfs_program_3((RPCRequest *)data);
+}
+
 static async_rpc_init()
 {
     main_context = g_main_context_new();
     main_loop = g_main_loop_new(main_context, FALSE);
+
+    rpc_thread_pool = g_thread_pool_new(async_rpc_task, NULL, -1, FALSE, NULL);
+
+    /* Arrange to have the cache writeback code run every five seconds. */
+    GSource *source = g_timeout_source_new_seconds(5);
+    g_source_set_callback(source, async_flushd, NULL, NULL);
+    g_source_attach(source, main_context);
+    g_source_unref(source);
+
+    /* Signal USR1 is used to request a debugging dump of filesyste info */
+    struct sigaction sa;
+    sa.sa_handler = sig_handler;
+    sigemptyset(&sa.sa_mask);
+    sa.sa_flags = SA_RESTART;
+    if (sigaction(SIGUSR1, &sa, NULL) < 0) {
+        perror("sigaction");
+    }
 }
 
 struct rpc_call_header {
@@ -568,7 +584,11 @@ static gboolean async_rpc_dispatch(RPCConnection *rpc)
     req->req_proc = ntohl(header->proc);
     rpc->msgbuf = g_string_new("");
 
-    nfs_program_3(req);
+    if (bluesky_options.sync_frontends) {
+        nfs_program_3(req);
+    } else {
+        g_thread_pool_push(rpc_thread_pool, req, NULL);
+    }
 
     return TRUE;
 }
@@ -640,6 +660,7 @@ static gboolean async_rpc_do_read(GIOChannel *channel,
         fprintf(stderr, "Unexpected error or end of file on RPC stream %d!\n",
                 g_io_channel_unix_get_fd(rpc->channel));
         g_io_channel_shutdown(rpc->channel, TRUE, NULL);
+        /* TODO: Clean up connection object. */
         return FALSE;
     }
 
@@ -698,6 +719,7 @@ static gboolean async_rpc_do_accept(GIOChannel *channel,
     rpc->channel = g_io_channel_unix_new(nfd);
     rpc->msgbuf = g_string_new("");
     g_io_channel_set_encoding(rpc->channel, NULL, NULL);
+    rpc->send_lock = g_mutex_new();
     GSource *source = g_io_create_watch(rpc->channel, G_IO_IN);
     g_source_set_callback(source, (GSourceFunc)async_rpc_do_read,
                           rpc, NULL);