Diff for /libaitrpc/src/srv.c between versions 1.21.2.4 and 1.23.6.3

version 1.21.2.4, 2013/11/15 09:04:10 version 1.23.6.3, 2014/12/17 01:30:01
Line 12  terms: Line 12  terms:
 All of the documentation and software included in the ELWIX and AITNET  All of the documentation and software included in the ELWIX and AITNET
 Releases is copyrighted by ELWIX - Sofia/Bulgaria <info@elwix.org>  Releases is copyrighted by ELWIX - Sofia/Bulgaria <info@elwix.org>
   
Copyright 2004, 2005, 2006, 2007, 2008, 2009, 2010, 2011, 2012, 2013Copyright 2004 - 2014
         by Michael Pounov <misho@elwix.org>.  All rights reserved.          by Michael Pounov <misho@elwix.org>.  All rights reserved.
   
 Redistribution and use in source and binary forms, with or without  Redistribution and use in source and binary forms, with or without
Line 59  static void *txUDPPacket(sched_task_t *); Line 59  static void *txUDPPacket(sched_task_t *);
   
 /* SOCK_RAW */  /* SOCK_RAW */
   
static sched_task_func_t cbProto[SOCK_RAW + 1][4] = {/* SOCK_BPF */
 static void *rxBPFPacket(sched_task_t *);
 static void *txBPFPacket(sched_task_t *);
 
 static sched_task_func_t cbProto[SOCK_BPF + 1][4] = {
         { acceptClients, closeClient, rxPacket, txPacket },     /* SOCK_STREAM */          { acceptClients, closeClient, rxPacket, txPacket },     /* SOCK_STREAM */
         { acceptClients, closeClient, rxPacket, txPacket },     /* SOCK_STREAM */          { acceptClients, closeClient, rxPacket, txPacket },     /* SOCK_STREAM */
         { rxUDPPacket, freeClient, rxUDPPacket, txUDPPacket },  /* SOCK_DGRAM */          { rxUDPPacket, freeClient, rxUDPPacket, txUDPPacket },  /* SOCK_DGRAM */
        { NULL, NULL, NULL, NULL }                              /* SOCK_RAW */        { NULL, NULL, NULL, NULL },                                /* SOCK_RAW */
         { rxBPFPacket, freeClient, rxBPFPacket, txBPFPacket }   /* SOCK_BPF */
 };  };
   
   /* Global Signal Argument when kqueue support disabled */
   
   static volatile uintptr_t _glSigArg = 0;
   
   
 void  void
 rpc_freeCli(rpc_cli_t * __restrict c)  rpc_freeCli(rpc_cli_t * __restrict c)
 {  {
Line 223  txPacket(sched_task_t *task) Line 232  txPacket(sched_task_t *task)
                         if (ret)                          if (ret)
                                 LOGERR;                                  LOGERR;
                         else                          else
                                rpc_SetErr(ETIMEDOUT, "Timeout reached! Server not respond");                                rpc_SetErr(ETIMEDOUT, "Timeout reached! Client not respond");
                         /* close connection */                          /* close connection */
                         schedEvent(TASK_ROOT(task), cbProto[s->srv_proto][CB_CLOSECLIENT],                           schedEvent(TASK_ROOT(task), cbProto[s->srv_proto][CB_CLOSECLIENT], 
                                         TASK_ARG(task), 0, NULL, 0);                                          TASK_ARG(task), 0, NULL, 0);
Line 346  rxPacket(sched_task_t *task) Line 355  rxPacket(sched_task_t *task)
                         if (rlen)                          if (rlen)
                                 LOGERR;                                  LOGERR;
                         else                          else
                                rpc_SetErr(ETIMEDOUT, "Timeout reached! Server not respond");                                rpc_SetErr(ETIMEDOUT, "Timeout reached! Client not respond");
                         schedEvent(TASK_ROOT(task), cbProto[s->srv_proto][CB_CLOSECLIENT],                           schedEvent(TASK_ROOT(task), cbProto[s->srv_proto][CB_CLOSECLIENT], 
                                         TASK_ARG(task), 0, NULL, 0);                                          TASK_ARG(task), 0, NULL, 0);
                         return NULL;                          return NULL;
Line 502  txUDPPacket(sched_task_t *task) Line 511  txUDPPacket(sched_task_t *task)
                         if (ret)                          if (ret)
                                 LOGERR;                                  LOGERR;
                         else                          else
                                rpc_SetErr(ETIMEDOUT, "Timeout reached! Server not respond");                                rpc_SetErr(ETIMEDOUT, "Timeout reached! Client not respond");
                         /* close connection */                          /* close connection */
                         schedEvent(TASK_ROOT(task), cbProto[s->srv_proto][CB_CLOSECLIENT],                           schedEvent(TASK_ROOT(task), cbProto[s->srv_proto][CB_CLOSECLIENT], 
                                         TASK_ARG(task), 0, NULL, 0);                                          TASK_ARG(task), 0, NULL, 0);
Line 510  txUDPPacket(sched_task_t *task) Line 519  txUDPPacket(sched_task_t *task)
                 }                  }
                 ret = sendto(TASK_FD(task), buf, MIN(wlen, s->srv_netbuf), MSG_NOSIGNAL,                   ret = sendto(TASK_FD(task), buf, MIN(wlen, s->srv_netbuf), MSG_NOSIGNAL, 
                                 &c->cli_sa.sa, c->cli_sa.sa.sa_len);                                  &c->cli_sa.sa, c->cli_sa.sa.sa_len);
                 printf("wl=%d l=%d\n", wlen, ret);  
                 if (ret == -1) {                  if (ret == -1) {
                         /* close connection */                          /* close connection */
                         schedEvent(TASK_ROOT(task), cbProto[s->srv_proto][CB_CLOSECLIENT],                           schedEvent(TASK_ROOT(task), cbProto[s->srv_proto][CB_CLOSECLIENT], 
Line 576  rxUDPPacket(sched_task_t *task) Line 584  rxUDPPacket(sched_task_t *task)
                         if (rlen)                          if (rlen)
                                 LOGERR;                                  LOGERR;
                         else                          else
                                rpc_SetErr(ETIMEDOUT, "Timeout reached! Server not respond");                                rpc_SetErr(ETIMEDOUT, "Timeout reached! Client not respond");
                         schedEvent(TASK_ROOT(task), cbProto[srv->srv_proto][CB_CLOSECLIENT],                           schedEvent(TASK_ROOT(task), cbProto[srv->srv_proto][CB_CLOSECLIENT], 
                                         c, 0, NULL, 0);                                          c, 0, NULL, 0);
                         return NULL;                          return NULL;
Line 625  end: Line 633  end:
         return NULL;          return NULL;
 }  }
   
   
   static void *
   txBPFPacket(sched_task_t *task)
   {
           rpc_cli_t *c = TASK_ARG(task);
           rpc_srv_t *s = c->cli_parent;
           rpc_func_t *f = NULL;
           u_char *buf = AIT_GET_BUF(&c->cli_buf);
           struct tagRPCCall *rpc = (struct tagRPCCall*) buf;
           int ret, estlen, wlen = sizeof(struct tagRPCCall);
           struct timespec ts = { DEF_RPC_TIMEOUT, 0 };
           struct pollfd pfd;
   
           schedCancelby(TASK_ROOT(task), taskTIMER, CRITERIA_DATA, TASK_ARG(task), NULL);
           schedTimer(TASK_ROOT(task), cbProto[s->srv_proto][CB_CLOSECLIENT], 
                            TASK_ARG(task), ts, TASK_ARG(task), 0);
   
           if (rpc->call_argc) {
                   f = rpc_srv_getCall(s, ntohs(rpc->call_tag));
                   if (!f) {
                           rpc_SetErr(EPROGUNAVAIL, "Function not found at RPC server");
                           rpc->call_argc ^= rpc->call_argc;
                           rpc->call_rep.ret = RPC_ERROR(-1);
                           rpc->call_rep.eno = RPC_ERROR(rpc_Errno);
                   } else {
                           /* calc estimated length */
                           estlen = ait_resideVars(RPC_RETVARS(c)) + wlen;
                           if (estlen > AIT_LEN(&c->cli_buf))
                                   AIT_RE_BUF(&c->cli_buf, estlen);
                           buf = AIT_GET_BUF(&c->cli_buf);
                           rpc = (struct tagRPCCall*) buf;
   
                           rpc->call_argc = htons(array_Size(RPC_RETVARS(c)));
                           /* Go Encapsulate variables */
                           ret = ait_vars2buffer(buf + wlen, AIT_LEN(&c->cli_buf) - wlen, 
                                           RPC_RETVARS(c));
                           /* Free return values */
                           ait_freeVars(&c->cli_vars);
                           if (ret == -1) {
                                   rpc_SetErr(EBADRPC, "Prepare RPC packet failed");
                                   rpc->call_argc ^= rpc->call_argc;
                                   rpc->call_rep.ret = RPC_ERROR(-1);
                                   rpc->call_rep.eno = RPC_ERROR(rpc_Errno);
                           } else
                                   wlen += ret;
                   }
           }
   
           rpc->call_len = htonl(wlen);
   
           /* calculate CRC */
           rpc->call_crc ^= rpc->call_crc;
           rpc->call_crc = htons(crcFletcher16((u_short*) buf, wlen / 2));
   
           /* send reply */
           pfd.fd = TASK_FD(task);
           pfd.events = POLLOUT;
           for (; wlen > 0; wlen -= ret, buf += ret) {
                   if ((ret = poll(&pfd, 1, DEF_RPC_TIMEOUT * 1000)) < 1 || 
                                   pfd.revents & (POLLERR | POLLHUP | POLLNVAL)) {
                           if (ret)
                                   LOGERR;
                           else
                                   rpc_SetErr(ETIMEDOUT, "Timeout reached! Client not respond");
                           /* close connection */
                           schedEvent(TASK_ROOT(task), cbProto[s->srv_proto][CB_CLOSECLIENT], 
                                           TASK_ARG(task), 0, NULL, 0);
                           return NULL;
                   }
                   ret = write(TASK_FD(task), buf, MIN(wlen, s->srv_netbuf));
                   if (ret == -1) {
                           /* close connection */
                           schedEvent(TASK_ROOT(task), cbProto[s->srv_proto][CB_CLOSECLIENT], 
                                           TASK_ARG(task), 0, NULL, 0);
                           return NULL;
                   }
           }
   
           return NULL;
   }
   
   static void *
   rxBPFPacket(sched_task_t *task)
   {
           rpc_srv_t *srv = TASK_ARG(task);
           rpc_cli_t *c = NULL;
           int len, rlen, noreply, estlen;
           u_short crc;
           u_char *buf, b[sizeof(struct tagRPCCall)];
           struct tagRPCCall *rpc = (struct tagRPCCall*) b;
           sockaddr_t sa;
           socklen_t salen;
           struct timespec ts = { DEF_RPC_TIMEOUT, 0 };
           struct pollfd pfd;
           struct bpf_hdr *h;
           struct ether_header *eh;
           ait_val_t b = AIT_VAL_INIT;
   
           /* receive connect packet */
           salen = sa.ss.ss_len = sizeof(sockaddr_t);
           AIT_SET_BUF(&b, NULL, srv->srv_netbuf);
           rlen = read(TASK_FD(task), AIT_GET_BUF(&b), AIT_LEN(&b));
           if (rlen < sizeof(struct bpf_hdr) + ETHER_HDR_LEN + sizeof(struct tagRPCCall)) {
                   rpc_SetErr(ERPCMISMATCH, "Short RPC packet");
                   goto end;
           } else {
                   h = (struct bpf_hdr*) AIT_GET_BUF(&b);
                   eh = (struct ether_header*) (AIT_GET_BUF(&b) + h->bh_hdrlen);
                   buf = (u_char*) (eh + 1);
           }
           if ()
   
           c = _allocClient(srv, &sa);
           if (!c) {
                   EVERBOSE(1, "RPC client quota exceeded! Connection will be shutdown!\n");
                   usleep(2000);   /* blocked client delay */
                   goto end;
           } else {
                   estlen = ntohl(rpc->call_len);
                   if (estlen > AIT_LEN(&c->cli_buf))
                           AIT_RE_BUF(&c->cli_buf, estlen);
                   rpc = (struct tagRPCCall*) AIT_GET_BUF(&c->cli_buf);
                   buf = AIT_GET_BUF(&c->cli_buf);
                   len = estlen;
   
                   c->cli_sock = TASK_FD(task);
                   memcpy(&c->cli_sa, &sa, sizeof c->cli_sa);
   
                   /* armed timer for close stateless connection */
                   schedCancelby(TASK_ROOT(task), taskTIMER, CRITERIA_DATA, c, NULL);
                   schedTimer(TASK_ROOT(task), cbProto[srv->srv_proto][CB_CLOSECLIENT], 
                                   c, ts, c, 0);
           }
   
           /* get next part of packet */
           memset(buf, 0, len);
           pfd.fd = TASK_FD(task);
           pfd.events = POLLIN | POLLPRI;
           for (; len > 0; len -= rlen, buf += rlen) {
                   if ((rlen = poll(&pfd, 1, DEF_RPC_TIMEOUT * 1000)) < 1 || 
                                   pfd.revents & (POLLERR | POLLHUP | POLLNVAL)) {
                           if (rlen)
                                   LOGERR;
                           else
                                   rpc_SetErr(ETIMEDOUT, "Timeout reached! Client not respond");
                           schedEvent(TASK_ROOT(task), cbProto[srv->srv_proto][CB_CLOSECLIENT], 
                                           c, 0, NULL, 0);
                           return NULL;
                   }
                   salen = sa.ss.ss_len = sizeof(sockaddr_t);
                   rlen = recvfrom(TASK_FD(task), buf, len, 0, &sa.sa, &salen);
                   if (rlen == -1) {
                           /* close connection */
                           schedEvent(TASK_ROOT(task), cbProto[srv->srv_proto][CB_CLOSECLIENT], 
                                           c, 0, NULL, 0);
                           return NULL;
                   }
                   if (e_addrcmp(&c->cli_sa, &sa, 42))
                           rlen ^= rlen;   /* skip if arrive from different address */
           }
           len = estlen;
   
           /* check integrity of packet */
           crc = ntohs(rpc->call_crc);
           rpc->call_crc ^= rpc->call_crc;
           if (crc != crcFletcher16((u_short*) rpc, len / 2)) {
                   rpc_SetErr(ERPCMISMATCH, "Bad CRC RPC packet");
                   return NULL;
           }
   
           noreply = RPC_CHK_NOREPLY(rpc);
   
           /* check RPC packet session info */
           if (rpc_chkPktSession(&rpc->call_session, &srv->srv_session)) {
                   rpc_SetErr(ERPCMISMATCH, "Get invalid RPC session");
   
                   rpc->call_argc ^= rpc->call_argc;
                   rpc->call_rep.ret = RPC_ERROR(-1);
                   rpc->call_rep.eno = RPC_ERROR(errno);
           } else {
                   /* execute RPC call */
                   schedEvent(TASK_ROOT(task), execCall, c, (int) noreply, rpc, len);
           }
   
           /* send RPC reply */
           if (!noreply)
                   schedWrite(TASK_ROOT(task), cbProto[srv->srv_proto][CB_TXPACKET], 
                                   c, TASK_FD(task), rpc, len);
   end:
           AIT_FREE_VAL(&b);
           schedReadSelf(task);
           return NULL;
   }
   
 /* ------------------------------------------------------ */  /* ------------------------------------------------------ */
   
 void  void
Line 761  end: Line 963  end:
 static void *  static void *
 flushBLOB(sched_task_t *task)  flushBLOB(sched_task_t *task)
 {  {
        rpc_srv_t *srv = TASK_ARG(task);        uintptr_t sigArg = atomic_load_acq_ptr(&_glSigArg);
         rpc_srv_t *srv = sigArg ? (void*) sigArg : TASK_ARG(task);
         rpc_blob_t *b, *tmp;          rpc_blob_t *b, *tmp;
   
         TAILQ_FOREACH_SAFE(b, &srv->srv_blob.blobs, blob_node, tmp) {          TAILQ_FOREACH_SAFE(b, &srv->srv_blob.blobs, blob_node, tmp) {
Line 771  flushBLOB(sched_task_t *task) Line 974  flushBLOB(sched_task_t *task)
                 e_free(b);                  e_free(b);
         }          }
   
        schedSignalSelf(task);        if (!schedSignalSelf(task)) {
                 /* disabled kqueue support in libaitsched */
                 struct sigaction sa;
 
                 memset(&sa, 0, sizeof sa);
                 sigemptyset(&sa.sa_mask);
                 sa.sa_handler = (void (*)(int)) flushBLOB;
                 sa.sa_flags = SA_RESTART | SA_RESETHAND;
                 sigaction(SIGFBLOB, &sa, NULL);
         }
 
         return NULL;          return NULL;
 }  }
   
Line 985  rpc_srv_loopBLOBServer(rpc_srv_t * __restrict srv) Line 1198  rpc_srv_loopBLOBServer(rpc_srv_t * __restrict srv)
                 return -1;                  return -1;
         }          }
   
        schedSignal(srv->srv_blob.root, flushBLOB, srv, SIGFBLOB, NULL, 0);        if (!schedSignal(srv->srv_blob.root, flushBLOB, srv, SIGFBLOB, NULL, 0)) {
                 /* disabled kqueue support in libaitsched */
                 struct sigaction sa;
 
                 atomic_store_rel_ptr(&_glSigArg, (uintptr_t) srv);
 
                 memset(&sa, 0, sizeof sa);
                 sigemptyset(&sa.sa_mask);
                 sa.sa_handler = (void (*)(int)) flushBLOB;
                 sa.sa_flags = SA_RESTART | SA_RESETHAND;
                 sigaction(SIGFBLOB, &sa, NULL);
         }
 
         if (!schedRead(srv->srv_blob.root, acceptBLOBClients, srv,           if (!schedRead(srv->srv_blob.root, acceptBLOBClients, srv, 
                                 srv->srv_blob.server.cli_sock, NULL, 0)) {                                  srv->srv_blob.server.cli_sock, NULL, 0)) {
                 rpc_SetErr(sched_GetErrno(), "%s", sched_GetError());                  rpc_SetErr(sched_GetErrno(), "%s", sched_GetError());
Line 1213  rpc_srv_loopServer(rpc_srv_t * __restrict srv) Line 1438  rpc_srv_loopServer(rpc_srv_t * __restrict srv)
         for (i = 0; i < array_Size(srv->srv_clients); i++) {          for (i = 0; i < array_Size(srv->srv_clients); i++) {
                 c = array(srv->srv_clients, i, rpc_cli_t*);                  c = array(srv->srv_clients, i, rpc_cli_t*);
                 if (c) {                  if (c) {
                        shutdown(c->cli_sock, SHUT_RDWR);                        if (srv->srv_proto == SOCK_STREAM) {
                        close(c->cli_sock);                                shutdown(c->cli_sock, SHUT_RDWR);
                                 close(c->cli_sock);
                         }
   
                         schedCancelby(srv->srv_root, taskMAX, CRITERIA_ARG, c, NULL);                          schedCancelby(srv->srv_root, taskMAX, CRITERIA_ARG, c, NULL);
                         ait_freeVars(&RPC_RETVARS(c));                          ait_freeVars(&RPC_RETVARS(c));
Line 1263  rpc_srv_execCall(rpc_cli_t * __restrict cli, struct ta Line 1490  rpc_srv_execCall(rpc_cli_t * __restrict cli, struct ta
   
         func = AIT_GET_LIKE(&funcname, rpc_callback_t);          func = AIT_GET_LIKE(&funcname, rpc_callback_t);
         return func(cli, rpc, args);          return func(cli, rpc, args);
   }
   
   
   /*
    * rpc_srv_initServer2() - Init & create layer2 RPC Server
    *
    * @InstID = Instance for authentication & recognition
    * @concurentClients = Concurent clients at same time to this server
    * @netBuf = Network buffer length (min:512 bytes), if =0 == BUFSIZ (also meaning max RPC packet)
    * @csIface = Interface name for bind server, if NULL first interface on host
    * return: NULL == error or !=NULL bind and created RPC server instance
    */
   rpc_srv_t *
   rpc_srv_initServer2(u_char InstID, int concurentClients, int netBuf, const char *csIface)
   {
           int n = 1;
           rpc_srv_t *srv = NULL;
           sockaddr_t sa = E_SOCKADDR_INIT;
           char szIface[64], szStr[STRSIZ];
           register int i;
           struct ifreq ifr;
           struct bpf_insn insns[] = {
                   BPF_STMT(BPF_LD + BPF_H + BPF_ABS, 12),
                   BPF_JUMP(BPF_JMP + BPF_JEQ + BPF_K, RPC_DEFPORT, 0, 1),
                   BPF_STMT(BPF_RET + BPF_K, -1),
                   BPF_STMT(BPF_RET + BPF_K, 0),
           };
           struct bpf_program fcode = { 
                   .bf_len = sizeof(insns) / sizeof(struct bpf_insn), 
                   .bf_insns = insns
           };
   
           if (!concurentClients) {
                   rpc_SetErr(EINVAL, "Invalid parameters can`t init RPC server");
                   return NULL;
           }
           if (!csIface) {
                   if (e_get1stiface(szIface, sizeof szIface))
                           return NULL;
           } else
                   strlcpy(szIface, csIface, sizeof szIface);
           if (!e_getifacebyname(szIface, &sa))
                   return NULL;
   
   #ifdef HAVE_SRANDOMDEV
           srandomdev();
   #else
           time_t tim;
   
           srandom((time(&tim) ^ getpid()));
   #endif
   
           srv = e_malloc(sizeof(rpc_srv_t));
           if (!srv) {
                   LOGERR;
                   return NULL;
           } else
                   memset(srv, 0, sizeof(rpc_srv_t));
   
           srv->srv_proto = SOCK_BPF;
           srv->srv_netbuf = netBuf;
           srv->srv_session.sess_version = RPC_VERSION;
           srv->srv_session.sess_instance = InstID;
   
           srv->srv_server.cli_parent = srv;
           memcpy(&srv->srv_server.cli_sa, &sa, sizeof srv->srv_server.cli_sa);
   
           /* init functions */
           pthread_mutex_init(&srv->srv_funcs.mtx, NULL);
           SLIST_INIT(&srv->srv_funcs);
           AVL_INIT(&srv->srv_funcs);
   
           /* init scheduler */
           srv->srv_root = schedBegin();
           if (!srv->srv_root) {
                   rpc_SetErr(sched_GetErrno(), "%s", sched_GetError());
                   pthread_mutex_destroy(&srv->srv_funcs.mtx);
                   e_free(srv);
                   return NULL;
           }
   
           /* init pool for clients */
           srv->srv_clients = array_Init(concurentClients);
           if (!srv->srv_clients) {
                   rpc_SetErr(elwix_GetErrno(), "%s", elwix_GetError());
                   schedEnd(&srv->srv_root);
                   pthread_mutex_destroy(&srv->srv_funcs.mtx);
                   e_free(srv);
                   return NULL;
           }
   
           /* create server handler */
           for (i = 0; i < 10; i++) {
                   memset(szStr, 0, sizeof szStr);
                   snprintf(szStr, sizeof szStr, "/dev/bpf%d", i);
                   srv->srv_server.cli_sock = open(szStr, O_RDWR);
                   if (srv->srv_server.cli_sock > STDERR_FILENO)
                           break;
           }
           if (srv->srv_server.cli_sock < 3) {
                   LOGERR;
                   array_Destroy(&srv->srv_clients);
                   schedEnd(&srv->srv_root);
                   pthread_mutex_destroy(&srv->srv_funcs.mtx);
                   e_free(srv);
                   return NULL;
           }
   
           if (ioctl(srv->srv_server.cli_sock, BIOCIMMEDIATE, &n) == -1) {
                   LOGERR;
                   goto err;
           }
           if (ioctl(srv->srv_server.cli_sock, BIOCSETF, &fcode) == -1) {
                   LOGERR;
                   goto err;
           }
           n = (netBuf < RPC_MIN_BUFSIZ) ? getpagesize() : E_ALIGN(netBuf, 2);
           if (ioctl(srv->srv_server.cli_sock, BIOCSBLEN, &n) == -1) {
                   LOGERR;
                   goto err;
           } else
                   srv->srv_netbuf = n;
   
           memset(&ifr, 0, sizeof ifr);
           strlcpy(ifr.ifr_name, szIface, sizeof ifr.ifr_name);
           if (ioctl(srv->srv_server.cli_sock, BIOCSETIF, &ifr) == -1) {
                   LOGERR;
                   goto err;
           } else
                   fcntl(srv->srv_server.cli_sock, F_SETFL, 
                                   fcntl(srv->srv_server.cli_sock, F_GETFL) | O_NONBLOCK);
   
           rpc_register_srvPing(srv);
   
           return srv;
   err:    /* error condition */
           close(srv->srv_server.cli_sock);
           array_Destroy(&srv->srv_clients);
           schedEnd(&srv->srv_root);
           pthread_mutex_destroy(&srv->srv_funcs.mtx);
           e_free(srv);
           return NULL;
 }  }

Removed from v.1.21.2.4  
changed lines
  Added in v.1.23.6.3


FreeBSD-CVSweb <freebsd-cvsweb@FreeBSD.org>