Diff for /libaitsched/src/hooks.c between versions 1.37 and 1.38

version 1.37, 2022/10/19 01:45:08 version 1.38, 2022/11/29 20:15:18
Line 156  sched_hook_init(void *root, void *arg __unused) Line 156  sched_hook_init(void *root, void *arg __unused)
         }          }
 #else  #else
         r->root_kq ^= r->root_kq;          r->root_kq ^= r->root_kq;
   #endif
   
         FD_ZERO(&r->root_fds[0]);          FD_ZERO(&r->root_fds[0]);
         FD_ZERO(&r->root_fds[1]);          FD_ZERO(&r->root_fds[1]);
#endif        FD_ZERO(&r->root_fds[2]);
   
         return NULL;          return NULL;
 }  }
Line 184  sched_hook_fini(void *root, void *arg __unused) Line 186  sched_hook_fini(void *root, void *arg __unused)
                 r->root_kq = 0;                  r->root_kq = 0;
         }          }
 #else  #else
         FD_ZERO(&r->root_fds[1]);  
         FD_ZERO(&r->root_fds[0]);  
         r->root_kq ^= r->root_kq;          r->root_kq ^= r->root_kq;
 #endif  #endif
   
           FD_ZERO(&r->root_fds[2]);
           FD_ZERO(&r->root_fds[1]);
           FD_ZERO(&r->root_fds[0]);
   
         return NULL;          return NULL;
 }  }
   
Line 244  sched_hook_cancel(void *task, void *arg __unused) Line 248  sched_hook_cancel(void *task, void *arg __unused)
                         ee.data.fd = TASK_FD(t);                          ee.data.fd = TASK_FD(t);
                         ee.events ^= ee.events;                          ee.events ^= ee.events;
                         if (FD_ISSET(TASK_FD(t), &r->root_fds[1]))                          if (FD_ISSET(TASK_FD(t), &r->root_fds[1]))
                                ee.events = EPOLLOUT;                                ee.events |= EPOLLOUT;
   
                        if (flg < 2)                        if (flg < 2) {
                                 FD_CLR(TASK_FD(t), &r->root_fds[0]);                                  FD_CLR(TASK_FD(t), &r->root_fds[0]);
                        else                                FD_CLR(TASK_FD(t), &r->root_fds[2]);
                                ee.events |= EPOLLIN | EPOLLPRI;                        } else {
                                 if (FD_ISSET(TASK_FD(t), &r->root_fds[0]))
                                         ee.events |= EPOLLIN;
                                 if (FD_ISSET(TASK_FD(t), &r->root_fds[2]))
                                         ee.events |= EPOLLPRI;
                         }
 #else  #else
                         if (flg < 2) {                          if (flg < 2) {
                                 FD_CLR(TASK_FD(t), &r->root_fds[0]);                                  FD_CLR(TASK_FD(t), &r->root_fds[0]);
                                   FD_CLR(TASK_FD(t), &r->root_fds[2]);
   
                                 /* optimize select */                                  /* optimize select */
                                 for (i = r->root_kq - 1; i >= 0; i--)                                  for (i = r->root_kq - 1; i >= 0; i--)
                                        if (FD_ISSET(i, &r->root_fds[0]) || FD_ISSET(i, &r->root_fds[1]))                                        if (FD_ISSET(i, &r->root_fds[0]) || 
                                                         FD_ISSET(i, &r->root_fds[1]) || 
                                                         FD_ISSET(i, &r->root_fds[2]))
                                                 break;                                                  break;
                                 r->root_kq = i + 1;                                  r->root_kq = i + 1;
                         }                          }
Line 279  sched_hook_cancel(void *task, void *arg __unused) Line 291  sched_hook_cancel(void *task, void *arg __unused)
                         ee.data.fd = TASK_FD(t);                          ee.data.fd = TASK_FD(t);
                         ee.events ^= ee.events;                          ee.events ^= ee.events;
                         if (FD_ISSET(TASK_FD(t), &r->root_fds[0]))                          if (FD_ISSET(TASK_FD(t), &r->root_fds[0]))
                                ee.events = EPOLLIN | EPOLLPRI;                                ee.events |= EPOLLIN;
                         if (FD_ISSET(TASK_FD(t), &r->root_fds[2]))
                                 ee.events |= EPOLLPRI;
   
                         if (flg < 2)                          if (flg < 2)
                                 FD_CLR(TASK_FD(t), &r->root_fds[1]);                                  FD_CLR(TASK_FD(t), &r->root_fds[1]);
Line 291  sched_hook_cancel(void *task, void *arg __unused) Line 305  sched_hook_cancel(void *task, void *arg __unused)
   
                                 /* optimize select */                                  /* optimize select */
                                 for (i = r->root_kq - 1; i >= 0; i--)                                  for (i = r->root_kq - 1; i >= 0; i--)
                                        if (FD_ISSET(i, &r->root_fds[0]) || FD_ISSET(i, &r->root_fds[1]))                                        if (FD_ISSET(i, &r->root_fds[0]) || 
                                                         FD_ISSET(i, &r->root_fds[1]) || 
                                                         FD_ISSET(i, &r->root_fds[2]))
                                                 break;                                                  break;
                                 r->root_kq = i + 1;                                  r->root_kq = i + 1;
                         }                          }
Line 517  sched_hook_thread(void *task, void *arg) Line 533  sched_hook_thread(void *task, void *arg)
  * return: <0 errors and 0 ok   * return: <0 errors and 0 ok
  */   */
 void *  void *
sched_hook_read(void *task, void *arg __unused)sched_hook_read(void *task, void *arg)
 {  {
         sched_task_t *t = task;          sched_task_t *t = task;
         sched_root_task_t *r = NULL;          sched_root_task_t *r = NULL;
           uintptr_t mask = (uintptr_t) arg;
 #if SUP_ENABLE == KQ_SUPPORT  #if SUP_ENABLE == KQ_SUPPORT
         struct kevent chg[1];          struct kevent chg[1];
         struct timespec timeout = { 0, 0 };          struct timespec timeout = { 0, 0 };
Line 536  sched_hook_read(void *task, void *arg __unused) Line 553  sched_hook_read(void *task, void *arg __unused)
   
 #if SUP_ENABLE == KQ_SUPPORT  #if SUP_ENABLE == KQ_SUPPORT
 #ifdef __NetBSD__  #ifdef __NetBSD__
        EV_SET(&chg[0], TASK_FD(t), EVFILT_READ, EV_ADD | EV_CLEAR, 0, 0, (intptr_t) TASK_FD(t));        EV_SET(&chg[0], TASK_FD(t), EVFILT_READ, EV_ADD | EV_CLEAR | mask, 
                         0, 0, (intptr_t) TASK_FD(t));
 #else  #else
        EV_SET(&chg[0], TASK_FD(t), EVFILT_READ, EV_ADD | EV_CLEAR, 0, 0, (void*) TASK_FD(t));        EV_SET(&chg[0], TASK_FD(t), EVFILT_READ, EV_ADD | EV_CLEAR | mask, 
                         0, 0, (void*) TASK_FD(t));
 #endif  #endif
         if (kevent(r->root_kq, chg, 1, NULL, 0, &timeout) == -1) {          if (kevent(r->root_kq, chg, 1, NULL, 0, &timeout) == -1) {
                 if (r->root_hooks.hook_exec.exception)                  if (r->root_hooks.hook_exec.exception)
Line 548  sched_hook_read(void *task, void *arg __unused) Line 567  sched_hook_read(void *task, void *arg __unused)
                 return (void*) -1;                  return (void*) -1;
         }          }
 #elif SUP_ENABLE == EP_SUPPORT  #elif SUP_ENABLE == EP_SUPPORT
           if (!mask)
                   mask = EPOLLIN | EPOLLPRI;
         ee.data.fd = TASK_FD(t);          ee.data.fd = TASK_FD(t);
        ee.events = EPOLLIN | EPOLLPRI;        ee.events = mask;
        if (FD_ISSET(TASK_FD(t), &r->root_fds[0]))        if (FD_ISSET(TASK_FD(t), &r->root_fds[2])) {
                 flg |= 4;
                 ee.events |= EPOLLPRI;
         }
         if (FD_ISSET(TASK_FD(t), &r->root_fds[0])) {
                 flg |= 1;                  flg |= 1;
                   ee.events |= EPOLLIN;
           }
         if (FD_ISSET(TASK_FD(t), &r->root_fds[1])) {          if (FD_ISSET(TASK_FD(t), &r->root_fds[1])) {
                 flg |= 2;                  flg |= 2;
                 ee.events |= EPOLLOUT;                  ee.events |= EPOLLOUT;
Line 563  sched_hook_read(void *task, void *arg __unused) Line 590  sched_hook_read(void *task, void *arg __unused)
                 else                  else
                         LOGERR;                          LOGERR;
                 return (void*) -1;                  return (void*) -1;
        } else        } else {
                FD_SET(TASK_FD(t), &r->root_fds[0]);                if (mask & EPOLLIN)
                         FD_SET(TASK_FD(t), &r->root_fds[0]);
                 if (mask & EPOLLPRI)
                         FD_SET(TASK_FD(t), &r->root_fds[2]);
         }
 #else  #else
        FD_SET(TASK_FD(t), &r->root_fds[0]);        if (!mask) {
                 FD_SET(TASK_FD(t), &r->root_fds[0]);
                 FD_SET(TASK_FD(t), &r->root_fds[2]);
         } else {
                 if (mask & 1)
                         FD_SET(TASK_FD(t), &r->root_fds[0]);
                 if (mask & 2)
                         FD_SET(TASK_FD(t), &r->root_fds[2]);
         }
 
         if (TASK_FD(t) >= r->root_kq)          if (TASK_FD(t) >= r->root_kq)
                 r->root_kq = TASK_FD(t) + 1;                  r->root_kq = TASK_FD(t) + 1;
 #endif  #endif
Line 582  sched_hook_read(void *task, void *arg __unused) Line 622  sched_hook_read(void *task, void *arg __unused)
  * return: <0 errors and 0 ok   * return: <0 errors and 0 ok
  */   */
 void *  void *
sched_hook_write(void *task, void *arg __unused)sched_hook_write(void *task, void *arg)
 {  {
         sched_task_t *t = task;          sched_task_t *t = task;
         sched_root_task_t *r = NULL;          sched_root_task_t *r = NULL;
           uintptr_t mask = (uintptr_t) arg;
 #if SUP_ENABLE == KQ_SUPPORT  #if SUP_ENABLE == KQ_SUPPORT
         struct kevent chg[1];          struct kevent chg[1];
         struct timespec timeout = { 0, 0 };          struct timespec timeout = { 0, 0 };
Line 601  sched_hook_write(void *task, void *arg __unused) Line 642  sched_hook_write(void *task, void *arg __unused)
   
 #if SUP_ENABLE == KQ_SUPPORT  #if SUP_ENABLE == KQ_SUPPORT
 #ifdef __NetBSD__  #ifdef __NetBSD__
        EV_SET(&chg[0], TASK_FD(t), EVFILT_WRITE, EV_ADD | EV_CLEAR, 0, 0, (intptr_t) TASK_FD(t));        EV_SET(&chg[0], TASK_FD(t), EVFILT_WRITE, EV_ADD | EV_CLEAR | mask, 
                         0, 0, (intptr_t) TASK_FD(t));
 #else  #else
        EV_SET(&chg[0], TASK_FD(t), EVFILT_WRITE, EV_ADD | EV_CLEAR, 0, 0, (void*) TASK_FD(t));        EV_SET(&chg[0], TASK_FD(t), EVFILT_WRITE, EV_ADD | EV_CLEAR | mask, 
                         0, 0, (void*) TASK_FD(t));
 #endif  #endif
         if (kevent(r->root_kq, chg, 1, NULL, 0, &timeout) == -1) {          if (kevent(r->root_kq, chg, 1, NULL, 0, &timeout) == -1) {
                 if (r->root_hooks.hook_exec.exception)                  if (r->root_hooks.hook_exec.exception)
Line 613  sched_hook_write(void *task, void *arg __unused) Line 656  sched_hook_write(void *task, void *arg __unused)
                 return (void*) -1;                  return (void*) -1;
         }          }
 #elif SUP_ENABLE == EP_SUPPORT  #elif SUP_ENABLE == EP_SUPPORT
           if (!mask)
                   mask = EPOLLOUT;
         ee.data.fd = TASK_FD(t);          ee.data.fd = TASK_FD(t);
        ee.events = EPOLLOUT;        ee.events = mask;
   
           if (FD_ISSET(TASK_FD(t), &r->root_fds[2])) {
                   flg |= 4;
                   ee.events |= EPOLLPRI;
           }
         if (FD_ISSET(TASK_FD(t), &r->root_fds[0])) {          if (FD_ISSET(TASK_FD(t), &r->root_fds[0])) {
                 flg |= 1;                  flg |= 1;
                ee.events |= EPOLLIN | EPOLLPRI;                ee.events |= EPOLLIN;
         }          }
         if (FD_ISSET(TASK_FD(t), &r->root_fds[1])) {          if (FD_ISSET(TASK_FD(t), &r->root_fds[1])) {
                 flg |= 2;                  flg |= 2;
                   ee.events |= EPOLLOUT;
         }          }
   
         if (epoll_ctl(r->root_kq, flg ? EPOLL_CTL_MOD : EPOLL_CTL_ADD, TASK_FD(t), &ee) == -1) {          if (epoll_ctl(r->root_kq, flg ? EPOLL_CTL_MOD : EPOLL_CTL_ADD, TASK_FD(t), &ee) == -1) {
Line 631  sched_hook_write(void *task, void *arg __unused) Line 681  sched_hook_write(void *task, void *arg __unused)
                         LOGERR;                          LOGERR;
                 return (void*) -1;                  return (void*) -1;
         } else          } else
                FD_SET(TASK_FD(t), &r->root_fds[1]);                if (mask & EPOLLOUT)
                         FD_SET(TASK_FD(t), &r->root_fds[1]);
 #else  #else
        FD_SET(TASK_FD(t), &r->root_fds[1]);        if (!mask)
                 FD_SET(TASK_FD(t), &r->root_fds[1]);
         else
                 if (mask & 1)
                         FD_SET(TASK_FD(t), &r->root_fds[1]);
 
         if (TASK_FD(t) >= r->root_kq)          if (TASK_FD(t) >= r->root_kq)
                 r->root_kq = TASK_FD(t) + 1;                  r->root_kq = TASK_FD(t) + 1;
 #endif  #endif
Line 1107  fetch_hook_epoll_proceed(int en, struct epoll_event *r Line 1163  fetch_hook_epoll_proceed(int en, struct epoll_event *r
                                         evt->events |= EPOLLOUT;                                          evt->events |= EPOLLOUT;
                                         wflg = 42;                                          wflg = 42;
                                 }                                  }
                                if (rflg > 1)                                if (rflg > 1) {
                                        evt->events |= EPOLLIN | EPOLLPRI;                                        if (FD_ISSET(evt->data.fd, &r->root_fds[0]))
                                else                                                evt->events |= EPOLLIN;
                                         if (FD_ISSET(evt->data.fd, &r->root_fds[2]))
                                                 evt->events |= EPOLLPRI;
                                 } else {
                                         FD_CLR(evt->data.fd, &r->root_fds[0]);                                          FD_CLR(evt->data.fd, &r->root_fds[0]);
                                           FD_CLR(evt->data.fd, &r->root_fds[2]);
                                   }
                         }                          }
                 }                  }
                 if (res[i].events & EPOLLOUT) {                  if (res[i].events & EPOLLOUT) {
Line 1142  fetch_hook_epoll_proceed(int en, struct epoll_event *r Line 1203  fetch_hook_epoll_proceed(int en, struct epoll_event *r
                                         insert_task_to(task, &r->root_ready);                                          insert_task_to(task, &r->root_ready);
                                 }                                  }
   
                                if (!(res[i].events & (EPOLLIN | EPOLLPRI)) && FD_ISSET(evt->data.fd, &r->root_fds[0])) {                                if (!(res[i].events & EPOLLIN) && FD_ISSET(evt->data.fd, &r->root_fds[0])) {
                                        evt->events |= EPOLLIN | EPOLLPRI;                                        evt->events |= EPOLLIN;
                                         rflg = 42;                                          rflg = 42;
                                 }                                  }
                                   if (!(res[i].events & EPOLLPRI) && FD_ISSET(evt->data.fd, &r->root_fds[2])) {
                                           evt->events |= EPOLLPRI;
                                           rflg = 42;
                                   }
                                 if (wflg > 1)                                  if (wflg > 1)
                                         evt->events |= EPOLLOUT;                                          evt->events |= EPOLLOUT;
                                 else                                  else
Line 1178  fetch_hook_select_proceed(int en, fd_set rfd, fd_set w Line 1243  fetch_hook_select_proceed(int en, fd_set rfd, fd_set w
                 return;                  return;
   
         for (i = 0; i < r->root_kq; i++) {          for (i = 0; i < r->root_kq; i++) {
                if (!FD_ISSET(i, &r->root_fds[0]) && !FD_ISSET(i, &r->root_fds[1]))                if (!FD_ISSET(i, &r->root_fds[0]) && 
                                 !FD_ISSET(i, &r->root_fds[1]) && 
                                 !FD_ISSET(i, &r->root_fds[2]))
                         continue;                          continue;
   
                 rflg = wflg = 0;                  rflg = wflg = 0;
Line 1213  fetch_hook_select_proceed(int en, fd_set rfd, fd_set w Line 1280  fetch_hook_select_proceed(int en, fd_set rfd, fd_set w
                                 }                                  }
   
                                 /* remove resouce */                                  /* remove resouce */
                                if (rflg == 1)                                if (rflg == 1) {
                                         FD_CLR(i, &r->root_fds[0]);                                          FD_CLR(i, &r->root_fds[0]);
                                           FD_CLR(i, &r->root_fds[2]);
                                   }
                         }                          }
                 }                  }
                 if (FD_ISSET(i, &wfd)) {                  if (FD_ISSET(i, &wfd)) {
Line 1255  fetch_hook_select_proceed(int en, fd_set rfd, fd_set w Line 1324  fetch_hook_select_proceed(int en, fd_set rfd, fd_set w
   
         /* optimize select */          /* optimize select */
         for (i = r->root_kq - 1; i >= 0; i--)          for (i = r->root_kq - 1; i >= 0; i--)
                if (FD_ISSET(i, &r->root_fds[0]) || FD_ISSET(i, &r->root_fds[1]))                if (FD_ISSET(i, &r->root_fds[0]) || 
                                 FD_ISSET(i, &r->root_fds[1]) || 
                                 FD_ISSET(i, &r->root_fds[2]))
                         break;                          break;
         r->root_kq = i + 1;          r->root_kq = i + 1;
 }  }
Line 1367  sched_hook_fetch(void *root, void *arg __unused) Line 1438  sched_hook_fetch(void *root, void *arg __unused)
 #elif SUP_ENABLE == EP_SUPPORT  #elif SUP_ENABLE == EP_SUPPORT
         if ((en = epoll_wait(r->root_kq, res, KQ_EVENTS, timeout)) == -1) {          if ((en = epoll_wait(r->root_kq, res, KQ_EVENTS, timeout)) == -1) {
 #else  #else
        rfd = xfd = r->root_fds[0];        xfd = r->root_fds[2];
         rfd = r->root_fds[0];
         wfd = r->root_fds[1];          wfd = r->root_fds[1];
         if ((en = select(r->root_kq, &rfd, &wfd, &xfd, timeout)) == -1) {          if ((en = select(r->root_kq, &rfd, &wfd, &xfd, timeout)) == -1) {
 #endif  /* KQ_SUPPORT */  #endif  /* KQ_SUPPORT */

Removed from v.1.37  
changed lines
  Added in v.1.38


FreeBSD-CVSweb <freebsd-cvsweb@FreeBSD.org>