nfs3/rpc.c

   1 /* Blue Sky: File Systems in the Cloud
   2  *
   3  * Copyright (C) 2009  The Regents of the University of California
   4  * Written by Michael Vrable <mvrable@cs.ucsd.edu>
   5  *
   6  * TODO: Licensing
   7  */
   8
   9 /* RPC handling: registration, marshalling and unmarshalling of messages.  For
  10  * now this uses the standard Sun RPC mechanisms in the standard C library.
  11  * Later, it might be changed to use something better.  Much of this code was
  12  * generated with rpcgen from the XDR specifications, but has been hand-edited
  13  * slightly. */
  14
  15 #include "mount_prot.h"
  16 #include "nfs3_prot.h"
  17 #include <stdio.h>
  18 #include <stdlib.h>
  19 #include <rpc/pmap_clnt.h>
  20 #include <string.h>
  21 #include <signal.h>
  22 #include <memory.h>
  23 #include <sys/socket.h>
  24 #include <netinet/in.h>
  25 #include <netinet/ip.h>
  26
  27 #include "bluesky.h"
  28 extern BlueSkyFS *fs;
  29
  30 /* TCP port number to use for NFS protocol.  (Should be 2049.) */
  31 #define NFS_SERVICE_PORT 2051
  32
  33 /* Maximum size of a single RPC message that we will accept (8 MB). */
  34 #define MAX_RPC_MSGSIZE (8 << 20)
  35
  36 static void
  37 mount_program_3(struct svc_req *rqstp, register SVCXPRT *transp)
  38 {
  39     union {
  40         dirpath mountproc3_mnt_3_arg;
  41         dirpath mountproc3_umnt_3_arg;
  42     } argument;
  43     char *result;
  44     xdrproc_t _xdr_argument, _xdr_result;
  45     char *(*local)(char *, struct svc_req *);
  46
  47     switch (rqstp->rq_proc) {
  48     case MOUNTPROC3_NULL:
  49         _xdr_argument = (xdrproc_t) xdr_void;
  50         _xdr_result = (xdrproc_t) xdr_void;
  51         local = (char *(*)(char *, struct svc_req *)) mountproc3_null_3_svc;
  52         break;
  53
  54     case MOUNTPROC3_MNT:
  55         _xdr_argument = (xdrproc_t) xdr_dirpath;
  56         _xdr_result = (xdrproc_t) xdr_mountres3;
  57         local = (char *(*)(char *, struct svc_req *)) mountproc3_mnt_3_svc;
  58         break;
  59
  60     case MOUNTPROC3_DUMP:
  61         _xdr_argument = (xdrproc_t) xdr_void;
  62         _xdr_result = (xdrproc_t) xdr_mountlist;
  63         local = (char *(*)(char *, struct svc_req *)) mountproc3_dump_3_svc;
  64         break;
  65
  66     case MOUNTPROC3_UMNT:
  67         _xdr_argument = (xdrproc_t) xdr_dirpath;
  68         _xdr_result = (xdrproc_t) xdr_void;
  69         local = (char *(*)(char *, struct svc_req *)) mountproc3_umnt_3_svc;
  70         break;
  71
  72     case MOUNTPROC3_UMNTALL:
  73         _xdr_argument = (xdrproc_t) xdr_void;
  74         _xdr_result = (xdrproc_t) xdr_void;
  75         local = (char *(*)(char *, struct svc_req *)) mountproc3_umntall_3_svc;
  76         break;
  77
  78     case MOUNTPROC3_EXPORT:
  79         _xdr_argument = (xdrproc_t) xdr_void;
  80         _xdr_result = (xdrproc_t) xdr_exports;
  81         local = (char *(*)(char *, struct svc_req *)) mountproc3_export_3_svc;
  82         break;
  83
  84     default:
  85         svcerr_noproc (transp);
  86         return;
  87     }
  88     memset ((char *)&argument, 0, sizeof (argument));
  89     if (!svc_getargs (transp, (xdrproc_t) _xdr_argument, (caddr_t) &argument)) {
  90         svcerr_decode (transp);
  91         return;
  92     }
  93     result = (*local)((char *)&argument, rqstp);
  94     if (result != NULL && !svc_sendreply(transp, (xdrproc_t) _xdr_result, result)) {
  95         svcerr_systemerr (transp);
  96     }
  97     if (!svc_freeargs (transp, (xdrproc_t) _xdr_argument, (caddr_t) &argument)) {
  98         fprintf (stderr, "%s", "unable to free arguments");
  99         exit (1);
 100     }
 101     return;
 102 }
 103
 104 struct rpc_reply {
 105     uint32_t xid;
 106     uint32_t type;
 107     uint32_t stat;
 108     uint32_t verf_flavor;
 109     uint32_t verf_len;
 110     uint32_t accept_stat;
 111 };
 112
 113 static void async_rpc_write(RPCConnection *rpc,
 114                             const char *buf, gsize len);
 115
 116 struct rpc_fail_reply {
 117     uint32_t xid;
 118     uint32_t type;
 119     uint32_t stat;
 120     uint32_t verf_flavor;
 121     uint32_t verf_len;
 122     uint32_t accept_stat;
 123 };
 124
 125 static void
 126 async_rpc_send_failure(RPCRequest *req, enum accept_stat stat)
 127 {
 128     struct rpc_fail_reply header;
 129
 130     header.xid = htonl(req->xid);
 131     header.type = htonl(1);     /* REPLY */
 132     header.stat = htonl(MSG_ACCEPTED);
 133     header.verf_flavor = 0;
 134     header.verf_len = 0;
 135     header.accept_stat = htonl(stat);
 136
 137     g_mutex_lock(req->connection->send_lock);
 138     uint32_t fragment = htonl(sizeof(header) | 0x80000000);
 139     async_rpc_write(req->connection, (const char *)&fragment, sizeof(fragment));
 140     async_rpc_write(req->connection, (const char *)&header, sizeof(header));
 141     g_io_channel_flush(req->connection->channel, NULL);
 142     g_mutex_unlock(req->connection->send_lock);
 143
 144     if (req->args != NULL) {
 145         char buf[4];
 146         XDR xdr;
 147         xdrmem_create(&xdr, buf, sizeof(buf), XDR_FREE);
 148         if (!req->xdr_args_free(&xdr, req->args)) {
 149             fprintf(stderr, "unable to free arguments");
 150         }
 151         g_free(req->args);
 152     }
 153
 154     if (req->raw_args != NULL)
 155         g_string_free(req->raw_args, TRUE);
 156
 157     while (req->cleanup != NULL) {
 158         struct cleanup_list *c = req->cleanup;
 159         req->cleanup = c->next;
 160         c->func(c->arg);
 161         g_free(c);
 162     }
 163
 164     g_free(req);
 165 }
 166
 167 void
 168 async_rpc_send_reply(RPCRequest *req, void *result)
 169 {
 170     bluesky_time_hires time_end;
 171
 172     GString *str = g_string_new("");
 173     XDR xdr_out;
 174     xdr_string_create(&xdr_out, str, XDR_ENCODE);
 175     if (!req->xdr_result(&xdr_out, result)) {
 176         async_rpc_send_failure(req, SYSTEM_ERR);
 177         g_string_free(str, TRUE);
 178         return;
 179     }
 180
 181     struct rpc_reply header;
 182     header.xid = htonl(req->xid);
 183     header.type = htonl(1);     /* REPLY */
 184     header.stat = htonl(MSG_ACCEPTED);
 185     header.verf_flavor = 0;
 186     header.verf_len = 0;
 187     header.accept_stat = 0;
 188
 189     g_mutex_lock(req->connection->send_lock);
 190     gsize msg_size = str->len;
 191     uint32_t fragment = htonl((msg_size + sizeof(header)) | 0x80000000);
 192     async_rpc_write(req->connection, (const char *)&fragment, sizeof(fragment));
 193     async_rpc_write(req->connection, (const char *)&header, sizeof(header));
 194     async_rpc_write(req->connection, str->str, str->len);
 195     g_io_channel_flush(req->connection->channel, NULL);
 196     g_mutex_unlock(req->connection->send_lock);
 197
 198     time_end = bluesky_now_hires();
 199
 200     printf("RPC[%"PRIx32"]: time = %"PRId64" ns\n",
 201            req->xid, time_end - req->time_start);
 202
 203     /* Clean up. */
 204     g_string_free(str, TRUE);
 205
 206     if (req->args != NULL) {
 207         char buf[4];
 208         XDR xdr;
 209         xdrmem_create(&xdr, buf, sizeof(buf), XDR_FREE);
 210         if (!req->xdr_args_free(&xdr, req->args)) {
 211             fprintf(stderr, "unable to free arguments");
 212         }
 213         g_free(req->args);
 214     }
 215
 216     if (req->raw_args != NULL)
 217         g_string_free(req->raw_args, TRUE);
 218
 219     while (req->cleanup != NULL) {
 220         struct cleanup_list *c = req->cleanup;
 221         req->cleanup = c->next;
 222         c->func(c->arg);
 223         g_free(c);
 224     }
 225
 226     g_free(req);
 227 }
 228
 229 static const char *nfs_proc_names[] = {
 230     [NFSPROC3_NULL] = "NULL",
 231     [NFSPROC3_GETATTR] = "GETATTR",
 232     [NFSPROC3_SETATTR] = "SETATTR",
 233     [NFSPROC3_LOOKUP] = "LOOKUP",
 234     [NFSPROC3_ACCESS] = "ACCESS",
 235     [NFSPROC3_READLINK] = "READLINK",
 236     [NFSPROC3_READ] = "READ",
 237     [NFSPROC3_WRITE] = "WRITE",
 238     [NFSPROC3_CREATE] = "CREATE",
 239     [NFSPROC3_MKDIR] = "MKDIR",
 240     [NFSPROC3_SYMLINK] = "SYMLINK",
 241     [NFSPROC3_MKNOD] = "MKNOD",
 242     [NFSPROC3_REMOVE] = "REMOVE",
 243     [NFSPROC3_RMDIR] = "RMDIR",
 244     [NFSPROC3_RENAME] = "RENAME",
 245     [NFSPROC3_LINK] = "LINK",
 246     [NFSPROC3_READDIR] = "READDIR",
 247     [NFSPROC3_READDIRPLUS] = "READDIRPLUS",
 248     [NFSPROC3_FSSTAT] = "FSSTAT",
 249     [NFSPROC3_FSINFO] = "FSINFO",
 250     [NFSPROC3_PATHCONF] = "PATHCONF",
 251     [NFSPROC3_COMMIT] = "COMMIT",
 252 };
 253
 254 static void
 255 nfs_program_3(RPCRequest *req)
 256 {
 257     RPCConnection *connection = req->connection;
 258     uint32_t xid = req->xid;
 259     const char *msg_buf = req->raw_args->str + req->raw_args_header_bytes;
 260     size_t msg_len = req->raw_args->len - req->raw_args_header_bytes;
 261
 262     union argtype {
 263         nfs_fh3 nfsproc3_getattr_3_arg;
 264         setattr3args nfsproc3_setattr_3_arg;
 265         diropargs3 nfsproc3_lookup_3_arg;
 266         access3args nfsproc3_access_3_arg;
 267         nfs_fh3 nfsproc3_readlink_3_arg;
 268         read3args nfsproc3_read_3_arg;
 269         write3args nfsproc3_write_3_arg;
 270         create3args nfsproc3_create_3_arg;
 271         mkdir3args nfsproc3_mkdir_3_arg;
 272         symlink3args nfsproc3_symlink_3_arg;
 273         mknod3args nfsproc3_mknod_3_arg;
 274         diropargs3 nfsproc3_remove_3_arg;
 275         diropargs3 nfsproc3_rmdir_3_arg;
 276         rename3args nfsproc3_rename_3_arg;
 277         link3args nfsproc3_link_3_arg;
 278         readdir3args nfsproc3_readdir_3_arg;
 279         readdirplus3args nfsproc3_readdirplus_3_arg;
 280         nfs_fh3 nfsproc3_fsstat_3_arg;
 281         nfs_fh3 nfsproc3_fsinfo_3_arg;
 282         nfs_fh3 nfsproc3_pathconf_3_arg;
 283         commit3args nfsproc3_commit_3_arg;
 284     };
 285     char *result;
 286     xdrproc_t _xdr_argument, _xdr_result;
 287     char *(*local)(char *, RPCRequest *);
 288
 289     if (req->req_proc < sizeof(nfs_proc_names) / sizeof(const char *)) {
 290         printf("Dispatched NFS RPC message type %s\n",
 291                nfs_proc_names[req->req_proc]);
 292     } else {
 293         printf("Dispatched unknown NFS RPC message type %d\n", req->req_proc);
 294     }
 295
 296     switch (req->req_proc) {
 297     case NFSPROC3_NULL:
 298         _xdr_argument = (xdrproc_t) xdr_void;
 299         _xdr_result = (xdrproc_t) xdr_void;
 300         local = (char *(*)(char *, RPCRequest *)) nfsproc3_null_3_svc;
 301         break;
 302
 303     case NFSPROC3_GETATTR:
 304         _xdr_argument = (xdrproc_t) xdr_nfs_fh3;
 305         _xdr_result = (xdrproc_t) xdr_getattr3res;
 306         local = (char *(*)(char *, RPCRequest *)) nfsproc3_getattr_3_svc;
 307         break;
 308
 309     case NFSPROC3_SETATTR:
 310         _xdr_argument = (xdrproc_t) xdr_setattr3args;
 311         _xdr_result = (xdrproc_t) xdr_wccstat3;
 312         local = (char *(*)(char *, RPCRequest *)) nfsproc3_setattr_3_svc;
 313         break;
 314
 315     case NFSPROC3_LOOKUP:
 316         _xdr_argument = (xdrproc_t) xdr_diropargs3;
 317         _xdr_result = (xdrproc_t) xdr_lookup3res;
 318         local = (char *(*)(char *, RPCRequest *)) nfsproc3_lookup_3_svc;
 319         break;
 320
 321     case NFSPROC3_ACCESS:
 322         _xdr_argument = (xdrproc_t) xdr_access3args;
 323         _xdr_result = (xdrproc_t) xdr_access3res;
 324         local = (char *(*)(char *, RPCRequest *)) nfsproc3_access_3_svc;
 325         break;
 326
 327     case NFSPROC3_READLINK:
 328         _xdr_argument = (xdrproc_t) xdr_nfs_fh3;
 329         _xdr_result = (xdrproc_t) xdr_readlink3res;
 330         local = (char *(*)(char *, RPCRequest *)) nfsproc3_readlink_3_svc;
 331         break;
 332
 333     case NFSPROC3_READ:
 334         _xdr_argument = (xdrproc_t) xdr_read3args;
 335         _xdr_result = (xdrproc_t) xdr_read3res;
 336         local = (char *(*)(char *, RPCRequest *)) nfsproc3_read_3_svc;
 337         break;
 338
 339     case NFSPROC3_WRITE:
 340         _xdr_argument = (xdrproc_t) xdr_write3args;
 341         _xdr_result = (xdrproc_t) xdr_write3res;
 342         local = (char *(*)(char *, RPCRequest *)) nfsproc3_write_3_svc;
 343         break;
 344
 345     case NFSPROC3_CREATE:
 346         _xdr_argument = (xdrproc_t) xdr_create3args;
 347         _xdr_result = (xdrproc_t) xdr_diropres3;
 348         local = (char *(*)(char *, RPCRequest *)) nfsproc3_create_3_svc;
 349         break;
 350
 351     case NFSPROC3_MKDIR:
 352         _xdr_argument = (xdrproc_t) xdr_mkdir3args;
 353         _xdr_result = (xdrproc_t) xdr_diropres3;
 354         local = (char *(*)(char *, RPCRequest *)) nfsproc3_mkdir_3_svc;
 355         break;
 356
 357     case NFSPROC3_SYMLINK:
 358         _xdr_argument = (xdrproc_t) xdr_symlink3args;
 359         _xdr_result = (xdrproc_t) xdr_diropres3;
 360         local = (char *(*)(char *, RPCRequest *)) nfsproc3_symlink_3_svc;
 361         break;
 362
 363     case NFSPROC3_MKNOD:
 364         _xdr_argument = (xdrproc_t) xdr_mknod3args;
 365         _xdr_result = (xdrproc_t) xdr_diropres3;
 366         local = (char *(*)(char *, RPCRequest *)) nfsproc3_mknod_3_svc;
 367         break;
 368
 369     case NFSPROC3_REMOVE:
 370         _xdr_argument = (xdrproc_t) xdr_diropargs3;
 371         _xdr_result = (xdrproc_t) xdr_wccstat3;
 372         local = (char *(*)(char *, RPCRequest *)) nfsproc3_remove_3_svc;
 373         break;
 374
 375     case NFSPROC3_RMDIR:
 376         _xdr_argument = (xdrproc_t) xdr_diropargs3;
 377         _xdr_result = (xdrproc_t) xdr_wccstat3;
 378         local = (char *(*)(char *, RPCRequest *)) nfsproc3_rmdir_3_svc;
 379         break;
 380
 381     case NFSPROC3_RENAME:
 382         _xdr_argument = (xdrproc_t) xdr_rename3args;
 383         _xdr_result = (xdrproc_t) xdr_rename3res;
 384         local = (char *(*)(char *, RPCRequest *)) nfsproc3_rename_3_svc;
 385         break;
 386
 387     case NFSPROC3_LINK:
 388         _xdr_argument = (xdrproc_t) xdr_link3args;
 389         _xdr_result = (xdrproc_t) xdr_link3res;
 390         local = (char *(*)(char *, RPCRequest *)) nfsproc3_link_3_svc;
 391         break;
 392
 393     case NFSPROC3_READDIR:
 394         _xdr_argument = (xdrproc_t) xdr_readdir3args;
 395         _xdr_result = (xdrproc_t) xdr_readdir3res;
 396         local = (char *(*)(char *, RPCRequest *)) nfsproc3_readdir_3_svc;
 397         break;
 398
 399     case NFSPROC3_READDIRPLUS:
 400         _xdr_argument = (xdrproc_t) xdr_readdirplus3args;
 401         _xdr_result = (xdrproc_t) xdr_readdirplus3res;
 402         local = (char *(*)(char *, RPCRequest *)) nfsproc3_readdirplus_3_svc;
 403         break;
 404
 405     case NFSPROC3_FSSTAT:
 406         _xdr_argument = (xdrproc_t) xdr_nfs_fh3;
 407         _xdr_result = (xdrproc_t) xdr_fsstat3res;
 408         local = (char *(*)(char *, RPCRequest *)) nfsproc3_fsstat_3_svc;
 409         break;
 410
 411     case NFSPROC3_FSINFO:
 412         _xdr_argument = (xdrproc_t) xdr_nfs_fh3;
 413         _xdr_result = (xdrproc_t) xdr_fsinfo3res;
 414         local = (char *(*)(char *, RPCRequest *)) nfsproc3_fsinfo_3_svc;
 415         break;
 416
 417     case NFSPROC3_PATHCONF:
 418         _xdr_argument = (xdrproc_t) xdr_nfs_fh3;
 419         _xdr_result = (xdrproc_t) xdr_pathconf3res;
 420         local = (char *(*)(char *, RPCRequest *)) nfsproc3_pathconf_3_svc;
 421         break;
 422
 423     case NFSPROC3_COMMIT:
 424         _xdr_argument = (xdrproc_t) xdr_commit3args;
 425         _xdr_result = (xdrproc_t) xdr_commit3res;
 426         local = (char *(*)(char *, RPCRequest *)) nfsproc3_commit_3_svc;
 427         break;
 428
 429     default:
 430         async_rpc_send_failure(req, PROC_UNAVAIL);
 431         return;
 432     }
 433
 434     /* Decode incoming message */
 435     req->xdr_args_free = _xdr_argument;
 436     req->args = g_new0(union argtype, 1);
 437     XDR xdr_in;
 438     xdrmem_create(&xdr_in, (char *)msg_buf, msg_len, XDR_DECODE);
 439     if (!_xdr_argument(&xdr_in, req->args)) {
 440         async_rpc_send_failure(req, GARBAGE_ARGS);
 441         fprintf(stderr, "RPC decode error!\n");
 442         return;
 443     }
 444
 445     /* Perform the call. */
 446     req->xdr_result = _xdr_result;
 447     result = (*local)((char *)req->args, req);
 448
 449     return;
 450 }
 451
 452 /* Enhanced, asynchronous-friendly RPC layer.  This is a replacement for the
 453  * built-in sunrpc parsing and dispatch that will allow for processing multiple
 454  * requests at the same time. */
 455 static GMainContext *main_context;
 456 static GMainLoop *main_loop;
 457
 458 static GThreadPool *rpc_thread_pool;
 459
 460 static volatile int fs_dump_requested = 0;
 461
 462 static void sig_handler(int sig)
 463 {
 464     if (sig == SIGUSR1) {
 465         fs_dump_requested = 1;
 466     }
 467 }
 468
 469 static gboolean async_flushd(gpointer data)
 470 {
 471     if (fs_dump_requested) {
 472         bluesky_debug_dump(fs);
 473         fs_dump_requested = 0;
 474     }
 475
 476     bluesky_flushd_invoke(fs);
 477     return TRUE;
 478 }
 479
 480 static void async_rpc_task(gpointer data, gpointer user_data)
 481 {
 482     nfs_program_3((RPCRequest *)data);
 483 }
 484
 485 static async_rpc_init()
 486 {
 487     main_context = g_main_context_new();
 488     main_loop = g_main_loop_new(main_context, FALSE);
 489
 490     rpc_thread_pool = g_thread_pool_new(async_rpc_task, NULL, -1, FALSE, NULL);
 491
 492     /* Arrange to have the cache writeback code run every five seconds. */
 493     GSource *source = g_timeout_source_new_seconds(5);
 494     g_source_set_callback(source, async_flushd, NULL, NULL);
 495     g_source_attach(source, main_context);
 496     g_source_unref(source);
 497
 498     /* Signal USR1 is used to request a debugging dump of filesyste info */
 499     struct sigaction sa;
 500     sa.sa_handler = sig_handler;
 501     sigemptyset(&sa.sa_mask);
 502     sa.sa_flags = SA_RESTART;
 503     if (sigaction(SIGUSR1, &sa, NULL) < 0) {
 504         perror("sigaction");
 505     }
 506 }
 507
 508 struct rpc_call_header {
 509     uint32_t xid;
 510     uint32_t mtype;
 511     uint32_t rpcvers;
 512     uint32_t prog;
 513     uint32_t vers;
 514     uint32_t proc;
 515 };
 516
 517 struct rpc_auth {
 518     uint32_t flavor;
 519     uint32_t len;
 520 };
 521
 522 /* Decode an RPC message and process it.  Returns a boolean indicating whether
 523  * the message could be processed; if false, an unrecoverable error occurred
 524  * and the transport should be closed. */
 525 static gboolean async_rpc_dispatch(RPCConnection *rpc)
 526 {
 527     bluesky_time_hires time_start = bluesky_now_hires();
 528     int i;
 529     GString *msg = rpc->msgbuf;
 530     const char *buf = msg->str;
 531
 532     if (msg->len < sizeof(struct rpc_call_header)) {
 533         fprintf(stderr, "Short RPC message: only %zd bytes!\n", msg->len);
 534         return FALSE;
 535     }
 536
 537     struct rpc_call_header *header = (struct rpc_call_header *)(msg->str);
 538     uint32_t xid = ntohl(header->xid);
 539
 540     if (ntohl(header->mtype) != 0) {
 541         /* Not an RPC call */
 542         return FALSE;
 543     }
 544
 545     if (ntohl(header->rpcvers) != 2) {
 546         return FALSE;
 547     }
 548
 549     RPCRequest *req = g_new0(RPCRequest, 1);
 550     req->connection = rpc;
 551     req->time_start = time_start;
 552     req->xid = xid;
 553
 554     if (ntohl(header->prog) != NFS_PROGRAM) {
 555         async_rpc_send_failure(req, PROG_UNAVAIL);
 556         return TRUE;
 557     } else if (ntohl(header->vers) != NFS_V3) {
 558         /* FIXME: Should be PROG_MISMATCH */
 559         async_rpc_send_failure(req, PROG_UNAVAIL);
 560         return TRUE;
 561     }
 562
 563     uint32_t proc = ntohl(header->proc);
 564
 565     /* Next, skip over authentication headers. */
 566     buf += sizeof(struct rpc_call_header);
 567     for (i = 0; i < 2; i++) {
 568         struct rpc_auth *auth = (struct rpc_auth *)buf;
 569         if (buf - msg->str + sizeof(struct rpc_auth) > msg->len)
 570             return FALSE;
 571
 572         gsize authsize = ntohl(auth->len) + sizeof(struct rpc_auth);
 573         if (authsize > MAX_RPC_MSGSIZE)
 574             return FALSE;
 575
 576         buf += authsize;
 577     }
 578
 579     if (buf - msg->str > msg->len)
 580         return FALSE;
 581
 582     req->raw_args = msg;
 583     req->raw_args_header_bytes = buf - msg->str;
 584     req->req_proc = ntohl(header->proc);
 585     rpc->msgbuf = g_string_new("");
 586
 587     if (bluesky_options.sync_frontends) {
 588         nfs_program_3(req);
 589     } else {
 590         g_thread_pool_push(rpc_thread_pool, req, NULL);
 591     }
 592
 593     return TRUE;
 594 }
 595
 596 /* Write the given data to the RPC socket. */
 597 static void async_rpc_write(RPCConnection *rpc,
 598                             const char *buf, gsize len)
 599 {
 600     while (len > 0) {
 601         gsize written = 0;
 602         switch (g_io_channel_write_chars(rpc->channel, buf, len,
 603                                          &written, NULL)) {
 604         case G_IO_STATUS_ERROR:
 605         case G_IO_STATUS_EOF:
 606         case G_IO_STATUS_AGAIN:
 607             fprintf(stderr, "Error writing to socket!\n");
 608             return;
 609         case G_IO_STATUS_NORMAL:
 610             len -= written;
 611             buf += written;
 612             break;
 613         }
 614     }
 615
 616     // g_io_channel_flush(rpc->channel, NULL);
 617 }
 618
 619 static gboolean async_rpc_do_read(GIOChannel *channel,
 620                                   GIOCondition condition,
 621                                   gpointer data)
 622 {
 623     RPCConnection *rpc = (RPCConnection *)data;
 624
 625     gsize bytes_to_read = 0;    /* Number of bytes to attempt to read. */
 626
 627     /* If we have not yet read in the fragment header, do that first.  This is
 628      * 4 bytes that indicates the number of bytes in the message to follow
 629      * (with the high bit set if this is the last fragment making up the
 630      * message). */
 631     if (rpc->frag_len == 0) {
 632         bytes_to_read = 4 - rpc->frag_hdr_bytes;
 633     } else {
 634         bytes_to_read = rpc->frag_len & 0x7fffffff;
 635     }
 636
 637     if (bytes_to_read > MAX_RPC_MSGSIZE
 638         || rpc->msgbuf->len + bytes_to_read > MAX_RPC_MSGSIZE)
 639     {
 640         fprintf(stderr, "Excessive fragment size for RPC: %zd bytes\n",
 641                 bytes_to_read);
 642         g_io_channel_shutdown(rpc->channel, TRUE, NULL);
 643         return FALSE;
 644     }
 645
 646     gsize bytes_read = 0;
 647     g_string_set_size(rpc->msgbuf, rpc->msgbuf->len + bytes_to_read);
 648     char *buf = &rpc->msgbuf->str[rpc->msgbuf->len - bytes_to_read];
 649     switch (g_io_channel_read_chars(rpc->channel, buf,
 650                                     bytes_to_read, &bytes_read, NULL)) {
 651     case G_IO_STATUS_NORMAL:
 652         break;
 653     case G_IO_STATUS_AGAIN:
 654         return TRUE;
 655     case G_IO_STATUS_EOF:
 656         if (bytes_read == bytes_to_read)
 657             break;
 658         /* else fall through */
 659     case G_IO_STATUS_ERROR:
 660         fprintf(stderr, "Unexpected error or end of file on RPC stream %d!\n",
 661                 g_io_channel_unix_get_fd(rpc->channel));
 662         g_io_channel_shutdown(rpc->channel, TRUE, NULL);
 663         /* TODO: Clean up connection object. */
 664         return FALSE;
 665     }
 666
 667     g_assert(bytes_read >= 0 && bytes_read <= bytes_to_read);
 668
 669     g_string_set_size(rpc->msgbuf,
 670                       rpc->msgbuf->len - (bytes_to_read - bytes_read));
 671
 672     if (rpc->frag_len == 0) {
 673         /* Handle reading in the fragment header.  If we've read the complete
 674          * header, store the fragment size. */
 675         rpc->frag_hdr_bytes += bytes_read;
 676         if (rpc->frag_hdr_bytes == 4) {
 677             memcpy((char *)&rpc->frag_len,
 678                    &rpc->msgbuf->str[rpc->msgbuf->len - 4], 4);
 679             rpc->frag_len = ntohl(rpc->frag_len);
 680             g_string_set_size(rpc->msgbuf, rpc->msgbuf->len - 4);
 681             rpc->frag_hdr_bytes = 0;
 682         }
 683     } else {
 684         /* We were reading in the fragment body. */
 685         rpc->frag_len -= bytes_read;
 686
 687         if (rpc->frag_len = 0x80000000) {
 688             /* We have a complete message since this was the last fragment and
 689              * there are no more bytes in it.  Dispatch the message. */
 690             if (!async_rpc_dispatch(rpc)) {
 691                 fprintf(stderr, "Invalid RPC message, closing channel\n");
 692                 g_io_channel_shutdown(rpc->channel, TRUE, NULL);
 693                 return FALSE;
 694             }
 695             rpc->frag_len = 0;
 696             g_string_set_size(rpc->msgbuf, 0);
 697         }
 698     }
 699
 700     return TRUE;
 701 }
 702
 703 static gboolean async_rpc_do_accept(GIOChannel *channel,
 704                                     GIOCondition condition,
 705                                     gpointer data)
 706 {
 707     int fd = g_io_channel_unix_get_fd(channel);
 708     struct sockaddr_in addr;
 709     socklen_t addrlen = sizeof(addr);
 710
 711     g_print("Received new connection on fd %d!\n", fd);
 712     int nfd = accept(fd, (struct sockaddr *)&addr, &addrlen);
 713     if (nfd < 0) {
 714         fprintf(stderr, "Error accepting connection: %m\n");
 715         return TRUE;
 716     }
 717
 718     RPCConnection *rpc = g_new0(RPCConnection, 1);
 719     rpc->channel = g_io_channel_unix_new(nfd);
 720     rpc->msgbuf = g_string_new("");
 721     g_io_channel_set_encoding(rpc->channel, NULL, NULL);
 722     rpc->send_lock = g_mutex_new();
 723     GSource *source = g_io_create_watch(rpc->channel, G_IO_IN);
 724     g_source_set_callback(source, (GSourceFunc)async_rpc_do_read,
 725                           rpc, NULL);
 726     g_source_attach(source, main_context);
 727     g_source_unref(source);
 728
 729     return TRUE;
 730 }
 731
 732 static async_rpc_register_listening(int fd)
 733 {
 734     GIOChannel *channel = g_io_channel_unix_new(fd);
 735     g_io_channel_set_encoding(channel, NULL, NULL);
 736     GSource *source = g_io_create_watch(channel, G_IO_IN);
 737     g_source_set_callback(source, (GSourceFunc)async_rpc_do_accept,
 738                           NULL, NULL);
 739     g_source_attach(source, main_context);
 740     g_source_unref(source);
 741 }
 742
 743 static gpointer async_rpc_run(gpointer data)
 744 {
 745     g_print("Starting NFS main loop...\n");
 746     g_main_loop_run(main_loop);
 747 }
 748
 749 void register_rpc()
 750 {
 751     SVCXPRT *transp;
 752
 753     async_rpc_init();
 754
 755     /* MOUNT protocol */
 756     pmap_unset (MOUNT_PROGRAM, MOUNT_V3);
 757
 758     transp = svcudp_create(RPC_ANYSOCK);
 759     if (transp == NULL) {
 760         fprintf(stderr, "%s", "cannot create udp service.");
 761         exit(1);
 762     }
 763     if (!svc_register(transp, MOUNT_PROGRAM, MOUNT_V3, mount_program_3, IPPROTO_UDP)) {
 764         fprintf(stderr, "%s", "unable to register (MOUNT_PROGRAM, MOUNT_V3, udp).");
 765         exit(1);
 766     }
 767
 768     transp = svctcp_create(RPC_ANYSOCK, 0, 0);
 769     if (transp == NULL) {
 770         fprintf(stderr, "%s", "cannot create tcp service.");
 771         exit(1);
 772     }
 773     if (!svc_register(transp, MOUNT_PROGRAM, MOUNT_V3, mount_program_3, IPPROTO_TCP)) {
 774         fprintf(stderr, "%s", "unable to register (MOUNT_PROGRAM, MOUNT_V3, tcp).");
 775         exit(1);
 776     }
 777
 778     /* NFS protocol (version 3) */
 779     pmap_unset (NFS_PROGRAM, NFS_V3);
 780
 781     int fd = socket(AF_INET, SOCK_STREAM, IPPROTO_TCP);
 782     if (fd < 0) {
 783         fprintf(stderr, "Unable to create NFS TCP socket: %m\n");
 784         exit(1);
 785     }
 786
 787     int n = 1;
 788     setsockopt(fd, SOL_SOCKET, SO_REUSEADDR, (char *)&n, sizeof(n));
 789
 790     struct sockaddr_in addr;
 791     addr.sin_family = AF_INET;
 792     addr.sin_port = htons(NFS_SERVICE_PORT);
 793     addr.sin_addr.s_addr = INADDR_ANY;
 794     if (bind(fd, (struct sockaddr *)&addr, sizeof(addr)) < 0) {
 795         fprintf(stderr, "Unable to bind to NFS TCP address: %m\n");
 796         exit(1);
 797     }
 798
 799     if (listen(fd, SOMAXCONN) < 0) {
 800         fprintf(stderr, "Unable to listen on NFS TCP socket: %m\n");
 801         exit(1);
 802     }
 803
 804     if (!pmap_set(NFS_PROGRAM, NFS_V3, IPPROTO_TCP, NFS_SERVICE_PORT)) {
 805         fprintf(stderr, "Could not register NFS RPC service!\n");
 806         exit(1);
 807     }
 808
 809     async_rpc_register_listening(fd);
 810
 811     g_thread_create(async_rpc_run, NULL, TRUE, NULL);
 812 }