nfs3/rpc.c

   1 /* Blue Sky: File Systems in the Cloud
   2  *
   3  * Copyright (C) 2009  The Regents of the University of California
   4  * Written by Michael Vrable <mvrable@cs.ucsd.edu>
   5  *
   6  * TODO: Licensing
   7  */
   8
   9 /* RPC handling: registration, marshalling and unmarshalling of messages.  For
  10  * now this uses the standard Sun RPC mechanisms in the standard C library.
  11  * Later, it might be changed to use something better.  Much of this code was
  12  * generated with rpcgen from the XDR specifications, but has been hand-edited
  13  * slightly. */
  14
  15 #include "mount_prot.h"
  16 #include "nfs3_prot.h"
  17 #include <stdio.h>
  18 #include <stdlib.h>
  19 #include <rpc/pmap_clnt.h>
  20 #include <string.h>
  21 #include <memory.h>
  22 #include <sys/socket.h>
  23 #include <netinet/in.h>
  24 #include <netinet/ip.h>
  25
  26 #include "bluesky.h"
  27 extern BlueSkyFS *fs;
  28
  29 /* TCP port number to use for NFS protocol.  (Should be 2049.) */
  30 #define NFS_SERVICE_PORT 2051
  31
  32 /* Maximum size of a single RPC message that we will accept (8 MB). */
  33 #define MAX_RPC_MSGSIZE (8 << 20)
  34
  35 static void
  36 mount_program_3(struct svc_req *rqstp, register SVCXPRT *transp)
  37 {
  38     union {
  39         dirpath mountproc3_mnt_3_arg;
  40         dirpath mountproc3_umnt_3_arg;
  41     } argument;
  42     char *result;
  43     xdrproc_t _xdr_argument, _xdr_result;
  44     char *(*local)(char *, struct svc_req *);
  45
  46     switch (rqstp->rq_proc) {
  47     case MOUNTPROC3_NULL:
  48         _xdr_argument = (xdrproc_t) xdr_void;
  49         _xdr_result = (xdrproc_t) xdr_void;
  50         local = (char *(*)(char *, struct svc_req *)) mountproc3_null_3_svc;
  51         break;
  52
  53     case MOUNTPROC3_MNT:
  54         _xdr_argument = (xdrproc_t) xdr_dirpath;
  55         _xdr_result = (xdrproc_t) xdr_mountres3;
  56         local = (char *(*)(char *, struct svc_req *)) mountproc3_mnt_3_svc;
  57         break;
  58
  59     case MOUNTPROC3_DUMP:
  60         _xdr_argument = (xdrproc_t) xdr_void;
  61         _xdr_result = (xdrproc_t) xdr_mountlist;
  62         local = (char *(*)(char *, struct svc_req *)) mountproc3_dump_3_svc;
  63         break;
  64
  65     case MOUNTPROC3_UMNT:
  66         _xdr_argument = (xdrproc_t) xdr_dirpath;
  67         _xdr_result = (xdrproc_t) xdr_void;
  68         local = (char *(*)(char *, struct svc_req *)) mountproc3_umnt_3_svc;
  69         break;
  70
  71     case MOUNTPROC3_UMNTALL:
  72         _xdr_argument = (xdrproc_t) xdr_void;
  73         _xdr_result = (xdrproc_t) xdr_void;
  74         local = (char *(*)(char *, struct svc_req *)) mountproc3_umntall_3_svc;
  75         break;
  76
  77     case MOUNTPROC3_EXPORT:
  78         _xdr_argument = (xdrproc_t) xdr_void;
  79         _xdr_result = (xdrproc_t) xdr_exports;
  80         local = (char *(*)(char *, struct svc_req *)) mountproc3_export_3_svc;
  81         break;
  82
  83     default:
  84         svcerr_noproc (transp);
  85         return;
  86     }
  87     memset ((char *)&argument, 0, sizeof (argument));
  88     if (!svc_getargs (transp, (xdrproc_t) _xdr_argument, (caddr_t) &argument)) {
  89         svcerr_decode (transp);
  90         return;
  91     }
  92     result = (*local)((char *)&argument, rqstp);
  93     if (result != NULL && !svc_sendreply(transp, (xdrproc_t) _xdr_result, result)) {
  94         svcerr_systemerr (transp);
  95     }
  96     if (!svc_freeargs (transp, (xdrproc_t) _xdr_argument, (caddr_t) &argument)) {
  97         fprintf (stderr, "%s", "unable to free arguments");
  98         exit (1);
  99     }
 100     return;
 101 }
 102
 103 struct rpc_reply {
 104     uint32_t xid;
 105     uint32_t type;
 106     uint32_t stat;
 107     uint32_t verf_flavor;
 108     uint32_t verf_len;
 109     uint32_t accept_stat;
 110 };
 111
 112 static void async_rpc_write(RPCConnection *rpc,
 113                             const char *buf, gsize len);
 114
 115 struct rpc_fail_reply {
 116     uint32_t xid;
 117     uint32_t type;
 118     uint32_t stat;
 119     uint32_t verf_flavor;
 120     uint32_t verf_len;
 121     uint32_t accept_stat;
 122 };
 123
 124 /* Routines for XDR-encoding to a growable string. */
 125 static bool_t xdr_string_putlong(XDR *xdrs, const long *lp)
 126 {
 127     GString *str = (GString *)xdrs->x_private;
 128     uint32_t data = htonl(*lp);
 129     g_string_set_size(str, str->len + 4);
 130     memcpy(str->str + str->len - 4, &data, 4);
 131     return TRUE;
 132 }
 133
 134 static bool_t xdr_string_putbytes(XDR *xdrs, const char *addr, u_int len)
 135 {
 136     GString *str = (GString *)xdrs->x_private;
 137     g_string_set_size(str, str->len + len);
 138     memcpy(str->str + str->len - len, addr, len);
 139     return TRUE;
 140 }
 141
 142 static u_int xdr_string_getpos(const XDR *xdrs)
 143 {
 144     GString *str = (GString *)xdrs->x_private;
 145     return str->len;
 146 }
 147
 148 static bool_t xdr_string_putint32(XDR *xdrs, const int32_t *ip)
 149 {
 150     GString *str = (GString *)xdrs->x_private;
 151     uint32_t data = htonl(*ip);
 152     g_string_set_size(str, str->len + 4);
 153     memcpy(str->str + str->len - 4, &data, 4);
 154     return TRUE;
 155 }
 156
 157 static int32_t *xdr_string_inline(XDR *xdrs, u_int len)
 158 {
 159     GString *str = (GString *)xdrs->x_private;
 160     g_string_set_size(str, str->len + len);
 161     return (int32_t *)(str->str + str->len - len);
 162 }
 163
 164 static void xdr_string_destroy(XDR *xdrs)
 165 {
 166 }
 167
 168 static struct xdr_ops xdr_string_ops = {
 169     .x_putlong = xdr_string_putlong,
 170     .x_putbytes = xdr_string_putbytes,
 171     .x_getpostn = xdr_string_getpos,
 172     .x_putint32 = xdr_string_putint32,
 173     .x_inline = xdr_string_inline,
 174     .x_destroy = xdr_string_destroy,
 175 };
 176
 177 static void xdr_string_create(XDR *xdrs, GString *string, enum xdr_op op)
 178 {
 179     xdrs->x_op = op;
 180     xdrs->x_ops = &xdr_string_ops;
 181     xdrs->x_private = (char *)string;
 182     xdrs->x_base = NULL;
 183     xdrs->x_handy = 0;
 184 }
 185
 186 static void
 187 async_rpc_send_failure(RPCRequest *req, enum accept_stat stat)
 188 {
 189     struct rpc_fail_reply header;
 190
 191     header.xid = htonl(req->xid);
 192     header.type = htonl(1);     /* REPLY */
 193     header.stat = htonl(MSG_ACCEPTED);
 194     header.verf_flavor = 0;
 195     header.verf_len = 0;
 196     header.accept_stat = htonl(stat);
 197
 198     g_mutex_lock(req->connection->send_lock);
 199     uint32_t fragment = htonl(sizeof(header) | 0x80000000);
 200     async_rpc_write(req->connection, (const char *)&fragment, sizeof(fragment));
 201     async_rpc_write(req->connection, (const char *)&header, sizeof(header));
 202     g_io_channel_flush(req->connection->channel, NULL);
 203     g_mutex_unlock(req->connection->send_lock);
 204
 205     if (req->args != NULL) {
 206         char buf[4];
 207         XDR xdr;
 208         xdrmem_create(&xdr, buf, sizeof(buf), XDR_FREE);
 209         if (!req->xdr_args_free(&xdr, req->args)) {
 210             fprintf(stderr, "unable to free arguments");
 211         }
 212         g_free(req->args);
 213     }
 214
 215     if (req->raw_args != NULL)
 216         g_string_free(req->raw_args, TRUE);
 217
 218     while (req->cleanup != NULL) {
 219         struct cleanup_list *c = req->cleanup;
 220         req->cleanup = c->next;
 221         c->func(c->arg);
 222         g_free(c);
 223     }
 224
 225     g_free(req);
 226 }
 227
 228 void
 229 async_rpc_send_reply(RPCRequest *req, void *result)
 230 {
 231     bluesky_time_hires time_end;
 232
 233     GString *str = g_string_new("");
 234     XDR xdr_out;
 235     xdr_string_create(&xdr_out, str, XDR_ENCODE);
 236     if (!req->xdr_result(&xdr_out, result)) {
 237         async_rpc_send_failure(req, SYSTEM_ERR);
 238         g_string_free(str, TRUE);
 239         return;
 240     }
 241
 242     struct rpc_reply header;
 243     header.xid = htonl(req->xid);
 244     header.type = htonl(1);     /* REPLY */
 245     header.stat = htonl(MSG_ACCEPTED);
 246     header.verf_flavor = 0;
 247     header.verf_len = 0;
 248     header.accept_stat = 0;
 249
 250     g_mutex_lock(req->connection->send_lock);
 251     gsize msg_size = str->len;
 252     uint32_t fragment = htonl((msg_size + sizeof(header)) | 0x80000000);
 253     async_rpc_write(req->connection, (const char *)&fragment, sizeof(fragment));
 254     async_rpc_write(req->connection, (const char *)&header, sizeof(header));
 255     async_rpc_write(req->connection, str->str, str->len);
 256     g_io_channel_flush(req->connection->channel, NULL);
 257     g_mutex_unlock(req->connection->send_lock);
 258
 259     time_end = bluesky_now_hires();
 260
 261     printf("RPC[%"PRIx32"]: time = %"PRId64" ns\n",
 262            req->xid, time_end - req->time_start);
 263
 264     /* Clean up. */
 265     g_string_free(str, TRUE);
 266
 267     if (req->args != NULL) {
 268         char buf[4];
 269         XDR xdr;
 270         xdrmem_create(&xdr, buf, sizeof(buf), XDR_FREE);
 271         if (!req->xdr_args_free(&xdr, req->args)) {
 272             fprintf(stderr, "unable to free arguments");
 273         }
 274         g_free(req->args);
 275     }
 276
 277     if (req->raw_args != NULL)
 278         g_string_free(req->raw_args, TRUE);
 279
 280     while (req->cleanup != NULL) {
 281         struct cleanup_list *c = req->cleanup;
 282         req->cleanup = c->next;
 283         c->func(c->arg);
 284         g_free(c);
 285     }
 286
 287     g_free(req);
 288 }
 289
 290 static const char *nfs_proc_names[] = {
 291     [NFSPROC3_NULL] = "NULL",
 292     [NFSPROC3_GETATTR] = "GETATTR",
 293     [NFSPROC3_SETATTR] = "SETATTR",
 294     [NFSPROC3_LOOKUP] = "LOOKUP",
 295     [NFSPROC3_ACCESS] = "ACCESS",
 296     [NFSPROC3_READLINK] = "READLINK",
 297     [NFSPROC3_READ] = "READ",
 298     [NFSPROC3_WRITE] = "WRITE",
 299     [NFSPROC3_CREATE] = "CREATE",
 300     [NFSPROC3_MKDIR] = "MKDIR",
 301     [NFSPROC3_SYMLINK] = "SYMLINK",
 302     [NFSPROC3_MKNOD] = "MKNOD",
 303     [NFSPROC3_REMOVE] = "REMOVE",
 304     [NFSPROC3_RMDIR] = "RMDIR",
 305     [NFSPROC3_RENAME] = "RENAME",
 306     [NFSPROC3_LINK] = "LINK",
 307     [NFSPROC3_READDIR] = "READDIR",
 308     [NFSPROC3_READDIRPLUS] = "READDIRPLUS",
 309     [NFSPROC3_FSSTAT] = "FSSTAT",
 310     [NFSPROC3_FSINFO] = "FSINFO",
 311     [NFSPROC3_PATHCONF] = "PATHCONF",
 312     [NFSPROC3_COMMIT] = "COMMIT",
 313 };
 314
 315 static void
 316 nfs_program_3(RPCRequest *req)
 317 {
 318     RPCConnection *connection = req->connection;
 319     uint32_t xid = req->xid;
 320     const char *msg_buf = req->raw_args->str + req->raw_args_header_bytes;
 321     size_t msg_len = req->raw_args->len - req->raw_args_header_bytes;
 322
 323     union argtype {
 324         nfs_fh3 nfsproc3_getattr_3_arg;
 325         setattr3args nfsproc3_setattr_3_arg;
 326         diropargs3 nfsproc3_lookup_3_arg;
 327         access3args nfsproc3_access_3_arg;
 328         nfs_fh3 nfsproc3_readlink_3_arg;
 329         read3args nfsproc3_read_3_arg;
 330         write3args nfsproc3_write_3_arg;
 331         create3args nfsproc3_create_3_arg;
 332         mkdir3args nfsproc3_mkdir_3_arg;
 333         symlink3args nfsproc3_symlink_3_arg;
 334         mknod3args nfsproc3_mknod_3_arg;
 335         diropargs3 nfsproc3_remove_3_arg;
 336         diropargs3 nfsproc3_rmdir_3_arg;
 337         rename3args nfsproc3_rename_3_arg;
 338         link3args nfsproc3_link_3_arg;
 339         readdir3args nfsproc3_readdir_3_arg;
 340         readdirplus3args nfsproc3_readdirplus_3_arg;
 341         nfs_fh3 nfsproc3_fsstat_3_arg;
 342         nfs_fh3 nfsproc3_fsinfo_3_arg;
 343         nfs_fh3 nfsproc3_pathconf_3_arg;
 344         commit3args nfsproc3_commit_3_arg;
 345     };
 346     char *result;
 347     xdrproc_t _xdr_argument, _xdr_result;
 348     char *(*local)(char *, RPCRequest *);
 349
 350     if (req->req_proc < sizeof(nfs_proc_names) / sizeof(const char *)) {
 351         printf("Dispatched NFS RPC message type %s\n",
 352                nfs_proc_names[req->req_proc]);
 353     } else {
 354         printf("Dispatched unknown NFS RPC message type %d\n", req->req_proc);
 355     }
 356
 357     switch (req->req_proc) {
 358     case NFSPROC3_NULL:
 359         _xdr_argument = (xdrproc_t) xdr_void;
 360         _xdr_result = (xdrproc_t) xdr_void;
 361         local = (char *(*)(char *, RPCRequest *)) nfsproc3_null_3_svc;
 362         break;
 363
 364     case NFSPROC3_GETATTR:
 365         _xdr_argument = (xdrproc_t) xdr_nfs_fh3;
 366         _xdr_result = (xdrproc_t) xdr_getattr3res;
 367         local = (char *(*)(char *, RPCRequest *)) nfsproc3_getattr_3_svc;
 368         break;
 369
 370     case NFSPROC3_SETATTR:
 371         _xdr_argument = (xdrproc_t) xdr_setattr3args;
 372         _xdr_result = (xdrproc_t) xdr_wccstat3;
 373         local = (char *(*)(char *, RPCRequest *)) nfsproc3_setattr_3_svc;
 374         break;
 375
 376     case NFSPROC3_LOOKUP:
 377         _xdr_argument = (xdrproc_t) xdr_diropargs3;
 378         _xdr_result = (xdrproc_t) xdr_lookup3res;
 379         local = (char *(*)(char *, RPCRequest *)) nfsproc3_lookup_3_svc;
 380         break;
 381
 382     case NFSPROC3_ACCESS:
 383         _xdr_argument = (xdrproc_t) xdr_access3args;
 384         _xdr_result = (xdrproc_t) xdr_access3res;
 385         local = (char *(*)(char *, RPCRequest *)) nfsproc3_access_3_svc;
 386         break;
 387
 388     case NFSPROC3_READLINK:
 389         _xdr_argument = (xdrproc_t) xdr_nfs_fh3;
 390         _xdr_result = (xdrproc_t) xdr_readlink3res;
 391         local = (char *(*)(char *, RPCRequest *)) nfsproc3_readlink_3_svc;
 392         break;
 393
 394     case NFSPROC3_READ:
 395         _xdr_argument = (xdrproc_t) xdr_read3args;
 396         _xdr_result = (xdrproc_t) xdr_read3res;
 397         local = (char *(*)(char *, RPCRequest *)) nfsproc3_read_3_svc;
 398         break;
 399
 400     case NFSPROC3_WRITE:
 401         _xdr_argument = (xdrproc_t) xdr_write3args;
 402         _xdr_result = (xdrproc_t) xdr_write3res;
 403         local = (char *(*)(char *, RPCRequest *)) nfsproc3_write_3_svc;
 404         break;
 405
 406     case NFSPROC3_CREATE:
 407         _xdr_argument = (xdrproc_t) xdr_create3args;
 408         _xdr_result = (xdrproc_t) xdr_diropres3;
 409         local = (char *(*)(char *, RPCRequest *)) nfsproc3_create_3_svc;
 410         break;
 411
 412     case NFSPROC3_MKDIR:
 413         _xdr_argument = (xdrproc_t) xdr_mkdir3args;
 414         _xdr_result = (xdrproc_t) xdr_diropres3;
 415         local = (char *(*)(char *, RPCRequest *)) nfsproc3_mkdir_3_svc;
 416         break;
 417
 418     case NFSPROC3_SYMLINK:
 419         _xdr_argument = (xdrproc_t) xdr_symlink3args;
 420         _xdr_result = (xdrproc_t) xdr_diropres3;
 421         local = (char *(*)(char *, RPCRequest *)) nfsproc3_symlink_3_svc;
 422         break;
 423
 424     case NFSPROC3_MKNOD:
 425         _xdr_argument = (xdrproc_t) xdr_mknod3args;
 426         _xdr_result = (xdrproc_t) xdr_diropres3;
 427         local = (char *(*)(char *, RPCRequest *)) nfsproc3_mknod_3_svc;
 428         break;
 429
 430     case NFSPROC3_REMOVE:
 431         _xdr_argument = (xdrproc_t) xdr_diropargs3;
 432         _xdr_result = (xdrproc_t) xdr_wccstat3;
 433         local = (char *(*)(char *, RPCRequest *)) nfsproc3_remove_3_svc;
 434         break;
 435
 436     case NFSPROC3_RMDIR:
 437         _xdr_argument = (xdrproc_t) xdr_diropargs3;
 438         _xdr_result = (xdrproc_t) xdr_wccstat3;
 439         local = (char *(*)(char *, RPCRequest *)) nfsproc3_rmdir_3_svc;
 440         break;
 441
 442     case NFSPROC3_RENAME:
 443         _xdr_argument = (xdrproc_t) xdr_rename3args;
 444         _xdr_result = (xdrproc_t) xdr_rename3res;
 445         local = (char *(*)(char *, RPCRequest *)) nfsproc3_rename_3_svc;
 446         break;
 447
 448     case NFSPROC3_LINK:
 449         _xdr_argument = (xdrproc_t) xdr_link3args;
 450         _xdr_result = (xdrproc_t) xdr_link3res;
 451         local = (char *(*)(char *, RPCRequest *)) nfsproc3_link_3_svc;
 452         break;
 453
 454     case NFSPROC3_READDIR:
 455         _xdr_argument = (xdrproc_t) xdr_readdir3args;
 456         _xdr_result = (xdrproc_t) xdr_readdir3res;
 457         local = (char *(*)(char *, RPCRequest *)) nfsproc3_readdir_3_svc;
 458         break;
 459
 460     case NFSPROC3_READDIRPLUS:
 461         _xdr_argument = (xdrproc_t) xdr_readdirplus3args;
 462         _xdr_result = (xdrproc_t) xdr_readdirplus3res;
 463         local = (char *(*)(char *, RPCRequest *)) nfsproc3_readdirplus_3_svc;
 464         break;
 465
 466     case NFSPROC3_FSSTAT:
 467         _xdr_argument = (xdrproc_t) xdr_nfs_fh3;
 468         _xdr_result = (xdrproc_t) xdr_fsstat3res;
 469         local = (char *(*)(char *, RPCRequest *)) nfsproc3_fsstat_3_svc;
 470         break;
 471
 472     case NFSPROC3_FSINFO:
 473         _xdr_argument = (xdrproc_t) xdr_nfs_fh3;
 474         _xdr_result = (xdrproc_t) xdr_fsinfo3res;
 475         local = (char *(*)(char *, RPCRequest *)) nfsproc3_fsinfo_3_svc;
 476         break;
 477
 478     case NFSPROC3_PATHCONF:
 479         _xdr_argument = (xdrproc_t) xdr_nfs_fh3;
 480         _xdr_result = (xdrproc_t) xdr_pathconf3res;
 481         local = (char *(*)(char *, RPCRequest *)) nfsproc3_pathconf_3_svc;
 482         break;
 483
 484     case NFSPROC3_COMMIT:
 485         _xdr_argument = (xdrproc_t) xdr_commit3args;
 486         _xdr_result = (xdrproc_t) xdr_commit3res;
 487         local = (char *(*)(char *, RPCRequest *)) nfsproc3_commit_3_svc;
 488         break;
 489
 490     default:
 491         async_rpc_send_failure(req, PROC_UNAVAIL);
 492         return;
 493     }
 494
 495     /* Decode incoming message */
 496     req->xdr_args_free = _xdr_argument;
 497     req->args = g_new0(union argtype, 1);
 498     XDR xdr_in;
 499     xdrmem_create(&xdr_in, (char *)msg_buf, msg_len, XDR_DECODE);
 500     if (!_xdr_argument(&xdr_in, req->args)) {
 501         async_rpc_send_failure(req, GARBAGE_ARGS);
 502         fprintf(stderr, "RPC decode error!\n");
 503         return;
 504     }
 505
 506     /* Perform the call. */
 507     req->xdr_result = _xdr_result;
 508     result = (*local)((char *)req->args, req);
 509
 510     return;
 511 }
 512
 513 /* Enhanced, asynchronous-friendly RPC layer.  This is a replacement for the
 514  * built-in sunrpc parsing and dispatch that will allow for processing multiple
 515  * requests at the same time. */
 516 static GMainContext *main_context;
 517 static GMainLoop *main_loop;
 518
 519 static GThreadPool *rpc_thread_pool;
 520
 521 static gboolean async_flushd(gpointer data)
 522 {
 523     bluesky_flushd_invoke(fs);
 524     return TRUE;
 525 }
 526
 527 static void async_rpc_task(gpointer data, gpointer user_data)
 528 {
 529     nfs_program_3((RPCRequest *)data);
 530 }
 531
 532 static async_rpc_init()
 533 {
 534     main_context = g_main_context_new();
 535     main_loop = g_main_loop_new(main_context, FALSE);
 536
 537     rpc_thread_pool = g_thread_pool_new(async_rpc_task, NULL, -1, FALSE, NULL);
 538
 539     /* Arrange to have the cache writeback code run every five seconds. */
 540     GSource *source = g_timeout_source_new_seconds(5);
 541     g_source_set_callback(source, async_flushd, NULL, NULL);
 542     g_source_attach(source, main_context);
 543     g_source_unref(source);
 544 }
 545
 546 struct rpc_call_header {
 547     uint32_t xid;
 548     uint32_t mtype;
 549     uint32_t rpcvers;
 550     uint32_t prog;
 551     uint32_t vers;
 552     uint32_t proc;
 553 };
 554
 555 struct rpc_auth {
 556     uint32_t flavor;
 557     uint32_t len;
 558 };
 559
 560 /* Decode an RPC message and process it.  Returns a boolean indicating whether
 561  * the message could be processed; if false, an unrecoverable error occurred
 562  * and the transport should be closed. */
 563 static gboolean async_rpc_dispatch(RPCConnection *rpc)
 564 {
 565     bluesky_time_hires time_start = bluesky_now_hires();
 566     int i;
 567     GString *msg = rpc->msgbuf;
 568     const char *buf = msg->str;
 569
 570     if (msg->len < sizeof(struct rpc_call_header)) {
 571         fprintf(stderr, "Short RPC message: only %zd bytes!\n", msg->len);
 572         return FALSE;
 573     }
 574
 575     struct rpc_call_header *header = (struct rpc_call_header *)(msg->str);
 576     uint32_t xid = ntohl(header->xid);
 577
 578     if (ntohl(header->mtype) != 0) {
 579         /* Not an RPC call */
 580         return FALSE;
 581     }
 582
 583     if (ntohl(header->rpcvers) != 2) {
 584         return FALSE;
 585     }
 586
 587     RPCRequest *req = g_new0(RPCRequest, 1);
 588     req->connection = rpc;
 589     req->time_start = time_start;
 590     req->xid = xid;
 591
 592     if (ntohl(header->prog) != NFS_PROGRAM) {
 593         async_rpc_send_failure(req, PROG_UNAVAIL);
 594         return TRUE;
 595     } else if (ntohl(header->vers) != NFS_V3) {
 596         /* FIXME: Should be PROG_MISMATCH */
 597         async_rpc_send_failure(req, PROG_UNAVAIL);
 598         return TRUE;
 599     }
 600
 601     uint32_t proc = ntohl(header->proc);
 602
 603     /* Next, skip over authentication headers. */
 604     buf += sizeof(struct rpc_call_header);
 605     for (i = 0; i < 2; i++) {
 606         struct rpc_auth *auth = (struct rpc_auth *)buf;
 607         if (buf - msg->str + sizeof(struct rpc_auth) > msg->len)
 608             return FALSE;
 609
 610         gsize authsize = ntohl(auth->len) + sizeof(struct rpc_auth);
 611         if (authsize > MAX_RPC_MSGSIZE)
 612             return FALSE;
 613
 614         buf += authsize;
 615     }
 616
 617     if (buf - msg->str > msg->len)
 618         return FALSE;
 619
 620     req->raw_args = msg;
 621     req->raw_args_header_bytes = buf - msg->str;
 622     req->req_proc = ntohl(header->proc);
 623     rpc->msgbuf = g_string_new("");
 624
 625     g_thread_pool_push(rpc_thread_pool, req, NULL);
 626
 627     return TRUE;
 628 }
 629
 630 /* Write the given data to the RPC socket. */
 631 static void async_rpc_write(RPCConnection *rpc,
 632                             const char *buf, gsize len)
 633 {
 634     while (len > 0) {
 635         gsize written = 0;
 636         switch (g_io_channel_write_chars(rpc->channel, buf, len,
 637                                          &written, NULL)) {
 638         case G_IO_STATUS_ERROR:
 639         case G_IO_STATUS_EOF:
 640         case G_IO_STATUS_AGAIN:
 641             fprintf(stderr, "Error writing to socket!\n");
 642             return;
 643         case G_IO_STATUS_NORMAL:
 644             len -= written;
 645             buf += written;
 646             break;
 647         }
 648     }
 649
 650     // g_io_channel_flush(rpc->channel, NULL);
 651 }
 652
 653 static gboolean async_rpc_do_read(GIOChannel *channel,
 654                                   GIOCondition condition,
 655                                   gpointer data)
 656 {
 657     RPCConnection *rpc = (RPCConnection *)data;
 658
 659     gsize bytes_to_read = 0;    /* Number of bytes to attempt to read. */
 660
 661     /* If we have not yet read in the fragment header, do that first.  This is
 662      * 4 bytes that indicates the number of bytes in the message to follow
 663      * (with the high bit set if this is the last fragment making up the
 664      * message). */
 665     if (rpc->frag_len == 0) {
 666         bytes_to_read = 4 - rpc->frag_hdr_bytes;
 667     } else {
 668         bytes_to_read = rpc->frag_len & 0x7fffffff;
 669     }
 670
 671     if (bytes_to_read > MAX_RPC_MSGSIZE
 672         || rpc->msgbuf->len + bytes_to_read > MAX_RPC_MSGSIZE)
 673     {
 674         fprintf(stderr, "Excessive fragment size for RPC: %zd bytes\n",
 675                 bytes_to_read);
 676         g_io_channel_shutdown(rpc->channel, TRUE, NULL);
 677         return FALSE;
 678     }
 679
 680     gsize bytes_read = 0;
 681     g_string_set_size(rpc->msgbuf, rpc->msgbuf->len + bytes_to_read);
 682     char *buf = &rpc->msgbuf->str[rpc->msgbuf->len - bytes_to_read];
 683     switch (g_io_channel_read_chars(rpc->channel, buf,
 684                                     bytes_to_read, &bytes_read, NULL)) {
 685     case G_IO_STATUS_NORMAL:
 686         break;
 687     case G_IO_STATUS_AGAIN:
 688         return TRUE;
 689     case G_IO_STATUS_EOF:
 690         if (bytes_read == bytes_to_read)
 691             break;
 692         /* else fall through */
 693     case G_IO_STATUS_ERROR:
 694         fprintf(stderr, "Unexpected error or end of file on RPC stream %d!\n",
 695                 g_io_channel_unix_get_fd(rpc->channel));
 696         g_io_channel_shutdown(rpc->channel, TRUE, NULL);
 697         /* TODO: Clean up connection object. */
 698         return FALSE;
 699     }
 700
 701     g_assert(bytes_read >= 0 && bytes_read <= bytes_to_read);
 702
 703     g_string_set_size(rpc->msgbuf,
 704                       rpc->msgbuf->len - (bytes_to_read - bytes_read));
 705
 706     if (rpc->frag_len == 0) {
 707         /* Handle reading in the fragment header.  If we've read the complete
 708          * header, store the fragment size. */
 709         rpc->frag_hdr_bytes += bytes_read;
 710         if (rpc->frag_hdr_bytes == 4) {
 711             memcpy((char *)&rpc->frag_len,
 712                    &rpc->msgbuf->str[rpc->msgbuf->len - 4], 4);
 713             rpc->frag_len = ntohl(rpc->frag_len);
 714             g_string_set_size(rpc->msgbuf, rpc->msgbuf->len - 4);
 715             rpc->frag_hdr_bytes = 0;
 716         }
 717     } else {
 718         /* We were reading in the fragment body. */
 719         rpc->frag_len -= bytes_read;
 720
 721         if (rpc->frag_len = 0x80000000) {
 722             /* We have a complete message since this was the last fragment and
 723              * there are no more bytes in it.  Dispatch the message. */
 724             if (!async_rpc_dispatch(rpc)) {
 725                 fprintf(stderr, "Invalid RPC message, closing channel\n");
 726                 g_io_channel_shutdown(rpc->channel, TRUE, NULL);
 727                 return FALSE;
 728             }
 729             rpc->frag_len = 0;
 730             g_string_set_size(rpc->msgbuf, 0);
 731         }
 732     }
 733
 734     return TRUE;
 735 }
 736
 737 static gboolean async_rpc_do_accept(GIOChannel *channel,
 738                                     GIOCondition condition,
 739                                     gpointer data)
 740 {
 741     int fd = g_io_channel_unix_get_fd(channel);
 742     struct sockaddr_in addr;
 743     socklen_t addrlen = sizeof(addr);
 744
 745     g_print("Received new connection on fd %d!\n", fd);
 746     int nfd = accept(fd, (struct sockaddr *)&addr, &addrlen);
 747     if (nfd < 0) {
 748         fprintf(stderr, "Error accepting connection: %m\n");
 749         return TRUE;
 750     }
 751
 752     RPCConnection *rpc = g_new0(RPCConnection, 1);
 753     rpc->channel = g_io_channel_unix_new(nfd);
 754     rpc->msgbuf = g_string_new("");
 755     g_io_channel_set_encoding(rpc->channel, NULL, NULL);
 756     rpc->send_lock = g_mutex_new();
 757     GSource *source = g_io_create_watch(rpc->channel, G_IO_IN);
 758     g_source_set_callback(source, (GSourceFunc)async_rpc_do_read,
 759                           rpc, NULL);
 760     g_source_attach(source, main_context);
 761     g_source_unref(source);
 762
 763     return TRUE;
 764 }
 765
 766 static async_rpc_register_listening(int fd)
 767 {
 768     GIOChannel *channel = g_io_channel_unix_new(fd);
 769     g_io_channel_set_encoding(channel, NULL, NULL);
 770     GSource *source = g_io_create_watch(channel, G_IO_IN);
 771     g_source_set_callback(source, (GSourceFunc)async_rpc_do_accept,
 772                           NULL, NULL);
 773     g_source_attach(source, main_context);
 774     g_source_unref(source);
 775 }
 776
 777 static gpointer async_rpc_run(gpointer data)
 778 {
 779     g_print("Starting NFS main loop...\n");
 780     g_main_loop_run(main_loop);
 781 }
 782
 783 void register_rpc()
 784 {
 785     SVCXPRT *transp;
 786
 787     async_rpc_init();
 788
 789     /* MOUNT protocol */
 790     pmap_unset (MOUNT_PROGRAM, MOUNT_V3);
 791
 792     transp = svcudp_create(RPC_ANYSOCK);
 793     if (transp == NULL) {
 794         fprintf(stderr, "%s", "cannot create udp service.");
 795         exit(1);
 796     }
 797     if (!svc_register(transp, MOUNT_PROGRAM, MOUNT_V3, mount_program_3, IPPROTO_UDP)) {
 798         fprintf(stderr, "%s", "unable to register (MOUNT_PROGRAM, MOUNT_V3, udp).");
 799         exit(1);
 800     }
 801
 802     transp = svctcp_create(RPC_ANYSOCK, 0, 0);
 803     if (transp == NULL) {
 804         fprintf(stderr, "%s", "cannot create tcp service.");
 805         exit(1);
 806     }
 807     if (!svc_register(transp, MOUNT_PROGRAM, MOUNT_V3, mount_program_3, IPPROTO_TCP)) {
 808         fprintf(stderr, "%s", "unable to register (MOUNT_PROGRAM, MOUNT_V3, tcp).");
 809         exit(1);
 810     }
 811
 812     /* NFS protocol (version 3) */
 813     pmap_unset (NFS_PROGRAM, NFS_V3);
 814
 815     int fd = socket(AF_INET, SOCK_STREAM, IPPROTO_TCP);
 816     if (fd < 0) {
 817         fprintf(stderr, "Unable to create NFS TCP socket: %m\n");
 818         exit(1);
 819     }
 820
 821     int n = 1;
 822     setsockopt(fd, SOL_SOCKET, SO_REUSEADDR, (char *)&n, sizeof(n));
 823
 824     struct sockaddr_in addr;
 825     addr.sin_family = AF_INET;
 826     addr.sin_port = htons(NFS_SERVICE_PORT);
 827     addr.sin_addr.s_addr = INADDR_ANY;
 828     if (bind(fd, (struct sockaddr *)&addr, sizeof(addr)) < 0) {
 829         fprintf(stderr, "Unable to bind to NFS TCP address: %m\n");
 830         exit(1);
 831     }
 832
 833     if (listen(fd, SOMAXCONN) < 0) {
 834         fprintf(stderr, "Unable to listen on NFS TCP socket: %m\n");
 835         exit(1);
 836     }
 837
 838     if (!pmap_set(NFS_PROGRAM, NFS_V3, IPPROTO_TCP, NFS_SERVICE_PORT)) {
 839         fprintf(stderr, "Could not register NFS RPC service!\n");
 840         exit(1);
 841     }
 842
 843     async_rpc_register_listening(fd);
 844
 845     g_thread_create(async_rpc_run, NULL, TRUE, NULL);
 846 }