libgc/solaris_threads.c

   1 /*
   2  * Copyright (c) 1994 by Xerox Corporation.  All rights reserved.
   3  *
   4  * THIS MATERIAL IS PROVIDED AS IS, WITH ABSOLUTELY NO WARRANTY EXPRESSED
   5  * OR IMPLIED.  ANY USE IS AT YOUR OWN RISK.
   6  *
   7  * Permission is hereby granted to use or copy this program
   8  * for any purpose,  provided the above notices are retained on all copies.
   9  * Permission to modify the code and to distribute modified code is granted,
  10  * provided the above notices are retained, and a notice that the code was
  11  * modified is included with the above copyright notice.
  12  */
  13 /*
  14  * Support code for Solaris threads.  Provides functionality we wish Sun
  15  * had provided.  Relies on some information we probably shouldn't rely on.
  16  */
  17 /* Boehm, September 14, 1994 4:44 pm PDT */
  18
  19 # include "private/gc_priv.h"
  20
  21 # if defined(GC_SOLARIS_THREADS) || defined(GC_SOLARIS_PTHREADS)
  22
  23 /* Avoid  #error"Cannot use procfs in the large file compilation environment" */
  24 #if defined(_ILP32) && (_FILE_OFFSET_BITS != 32)
  25 #undef _FILE_OFFSET_BITS
  26 #define _FILE_OFFSET_BITS 32
  27 #endif
  28
  29 # include "private/solaris_threads.h"
  30 # include <thread.h>
  31 # include <synch.h>
  32 # include <signal.h>
  33 # include <fcntl.h>
  34 # include <sys/types.h>
  35 # include <sys/mman.h>
  36 # include <sys/time.h>
  37 # include <sys/resource.h>
  38 # include <sys/stat.h>
  39 # include <sys/syscall.h>
  40 # include <sys/procfs.h>
  41 # include <sys/lwp.h>
  42 # include <sys/reg.h>
  43 # define _CLASSIC_XOPEN_TYPES
  44 # include <unistd.h>
  45 # include <errno.h>
  46
  47 #ifdef HANDLE_FORK
  48   --> Not yet supported.  Try porting the code from linux_threads.c.
  49 #endif
  50
  51 /*
  52  * This is the default size of the LWP arrays. If there are more LWPs
  53  * than this when a stop-the-world GC happens, set_max_lwps will be
  54  * called to cope.
  55  * This must be higher than the number of LWPs at startup time.
  56  * The threads library creates a thread early on, so the min. is 3
  57  */
  58 # define DEFAULT_MAX_LWPS       4
  59
  60 #undef thr_join
  61 #undef thr_create
  62 #undef thr_suspend
  63 #undef thr_continue
  64
  65 cond_t GC_prom_join_cv;         /* Broadcast when any thread terminates */
  66 cond_t GC_create_cv;            /* Signalled when a new undetached      */
  67                                 /* thread starts.                       */
  68
  69
  70 #ifdef MMAP_STACKS
  71 static int GC_zfd;
  72 #endif /* MMAP_STACKS */
  73
  74 /* We use the allocation lock to protect thread-related data structures. */
  75
  76 /* We stop the world using /proc primitives.  This makes some   */
  77 /* minimal assumptions about the threads implementation.        */
  78 /* We don't play by the rules, since the rules make this        */
  79 /* impossible (as of Solaris 2.3).  Also note that as of        */
  80 /* Solaris 2.3 the various thread and lwp suspension            */
  81 /* primitives failed to stop threads by the time the request    */
  82 /* is completed.                                                */
  83
  84
  85 static sigset_t old_mask;
  86
  87 /* Sleep for n milliseconds, n < 1000   */
  88 void GC_msec_sleep(int n)
  89 {
  90     struct timespec ts;
  91
  92     ts.tv_sec = 0;
  93     ts.tv_nsec = 1000000*n;
  94     if (syscall(SYS_nanosleep, &ts, 0) < 0) {
  95         ABORT("nanosleep failed");
  96     }
  97 }
  98 /* Turn off preemption;  gross but effective.           */
  99 /* Caller has allocation lock.                          */
 100 /* Actually this is not needed under Solaris 2.3 and    */
 101 /* 2.4, but hopefully that'll change.                   */
 102 void preempt_off()
 103 {
 104     sigset_t set;
 105
 106     (void)sigfillset(&set);
 107     sigdelset(&set, SIGABRT);
 108     syscall(SYS_sigprocmask, SIG_SETMASK, &set, &old_mask);
 109 }
 110
 111 void preempt_on()
 112 {
 113     syscall(SYS_sigprocmask, SIG_SETMASK, &old_mask, NULL);
 114 }
 115
 116 int GC_main_proc_fd = -1;
 117
 118
 119 struct lwp_cache_entry {
 120     lwpid_t lc_id;
 121     int lc_descr;       /* /proc file descriptor.       */
 122 }  GC_lwp_cache_default[DEFAULT_MAX_LWPS];
 123
 124 static int max_lwps = DEFAULT_MAX_LWPS;
 125 static struct lwp_cache_entry *GC_lwp_cache = GC_lwp_cache_default;
 126
 127 static prgregset_t GC_lwp_registers_default[DEFAULT_MAX_LWPS];
 128 static prgregset_t *GC_lwp_registers = GC_lwp_registers_default;
 129
 130 /* Return a file descriptor for the /proc entry corresponding   */
 131 /* to the given lwp.  The file descriptor may be stale if the   */
 132 /* lwp exited and a new one was forked.                         */
 133 static int open_lwp(lwpid_t id)
 134 {
 135     int result;
 136     static int next_victim = 0;
 137     register int i;
 138
 139     for (i = 0; i < max_lwps; i++) {
 140         if (GC_lwp_cache[i].lc_id == id) return(GC_lwp_cache[i].lc_descr);
 141     }
 142     result = syscall(SYS_ioctl, GC_main_proc_fd, PIOCOPENLWP, &id);
 143     /*
 144      * If PIOCOPENLWP fails, try closing fds in the cache until it succeeds.
 145      */
 146     if (result < 0 && errno == EMFILE) {
 147             for (i = 0; i < max_lwps; i++) {
 148                 if (GC_lwp_cache[i].lc_id != 0) {
 149                         (void)syscall(SYS_close, GC_lwp_cache[i].lc_descr);
 150                         result = syscall(SYS_ioctl, GC_main_proc_fd, PIOCOPENLWP, &id);
 151                         if (result >= 0 || (result < 0 && errno != EMFILE))
 152                                 break;
 153                 }
 154             }
 155     }
 156     if (result < 0) {
 157         if (errno == EMFILE) {
 158                 ABORT("Too many open files");
 159         }
 160         return(-1) /* exited? */;
 161     }
 162     if (GC_lwp_cache[next_victim].lc_id != 0)
 163         (void)syscall(SYS_close, GC_lwp_cache[next_victim].lc_descr);
 164     GC_lwp_cache[next_victim].lc_id = id;
 165     GC_lwp_cache[next_victim].lc_descr = result;
 166     if (++next_victim >= max_lwps)
 167         next_victim = 0;
 168     return(result);
 169 }
 170
 171 static void uncache_lwp(lwpid_t id)
 172 {
 173     register int i;
 174
 175     for (i = 0; i < max_lwps; i++) {
 176         if (GC_lwp_cache[i].lc_id == id) {
 177             (void)syscall(SYS_close, GC_lwp_cache[id].lc_descr);
 178             GC_lwp_cache[i].lc_id = 0;
 179             break;
 180         }
 181     }
 182 }
 183         /* Sequence of current lwp ids  */
 184 static lwpid_t GC_current_ids_default[DEFAULT_MAX_LWPS + 1];
 185 static lwpid_t *GC_current_ids = GC_current_ids_default;
 186
 187         /* Temporary used below (can be big if large number of LWPs) */
 188 static lwpid_t last_ids_default[DEFAULT_MAX_LWPS + 1];
 189 static lwpid_t *last_ids = last_ids_default;
 190
 191
 192 #define ROUNDUP(n)    WORDS_TO_BYTES(ROUNDED_UP_WORDS(n))
 193
 194 static void set_max_lwps(GC_word n)
 195 {
 196     char *mem;
 197     char *oldmem;
 198     int required_bytes = ROUNDUP(n * sizeof(struct lwp_cache_entry))
 199         + ROUNDUP(n * sizeof(prgregset_t))
 200         + ROUNDUP((n + 1) * sizeof(lwpid_t))
 201         + ROUNDUP((n + 1) * sizeof(lwpid_t));
 202
 203     GC_expand_hp_inner(divHBLKSZ((word)required_bytes));
 204     oldmem = mem = GC_scratch_alloc(required_bytes);
 205     if (0 == mem) ABORT("No space for lwp data structures");
 206
 207     /*
 208      * We can either flush the old lwp cache or copy it over. Do the latter.
 209      */
 210     memcpy(mem, GC_lwp_cache, max_lwps * sizeof(struct lwp_cache_entry));
 211     GC_lwp_cache = (struct lwp_cache_entry*)mem;
 212     mem += ROUNDUP(n * sizeof(struct lwp_cache_entry));
 213
 214     BZERO(GC_lwp_registers, max_lwps * sizeof(GC_lwp_registers[0]));
 215     GC_lwp_registers = (prgregset_t *)mem;
 216     mem += ROUNDUP(n * sizeof(prgregset_t));
 217
 218
 219     GC_current_ids = (lwpid_t *)mem;
 220     mem += ROUNDUP((n + 1) * sizeof(lwpid_t));
 221
 222     last_ids = (lwpid_t *)mem;
 223     mem += ROUNDUP((n + 1)* sizeof(lwpid_t));
 224
 225     if (mem > oldmem + required_bytes)
 226         ABORT("set_max_lwps buffer overflow");
 227
 228     max_lwps = n;
 229 }
 230
 231
 232 /* Stop all lwps in process.  Assumes preemption is off.        */
 233 /* Caller has allocation lock (and any other locks he may       */
 234 /* need).                                                       */
 235 static void stop_all_lwps()
 236 {
 237     int lwp_fd;
 238     char buf[30];
 239     prstatus_t status;
 240     register int i;
 241     GC_bool changed;
 242     lwpid_t me = _lwp_self();
 243
 244     if (GC_main_proc_fd == -1) {
 245         sprintf(buf, "/proc/%d", getpid());
 246         GC_main_proc_fd = syscall(SYS_open, buf, O_RDONLY);
 247         if (GC_main_proc_fd < 0) {
 248                 if (errno == EMFILE)
 249                         ABORT("/proc open failed: too many open files");
 250                 GC_printf1("/proc open failed: errno %d", errno);
 251                 abort();
 252         }
 253     }
 254     BZERO(GC_lwp_registers, sizeof (prgregset_t) * max_lwps);
 255     for (i = 0; i < max_lwps; i++)
 256         last_ids[i] = 0;
 257     for (;;) {
 258         if (syscall(SYS_ioctl, GC_main_proc_fd, PIOCSTATUS, &status) < 0)
 259             ABORT("Main PIOCSTATUS failed");
 260         if (status.pr_nlwp < 1)
 261                 ABORT("Invalid number of lwps returned by PIOCSTATUS");
 262         if (status.pr_nlwp >= max_lwps) {
 263                 set_max_lwps(status.pr_nlwp*2 + 10);
 264                 /*
 265                  * The data in the old GC_current_ids and
 266                  * GC_lwp_registers has been trashed. Cleaning out last_ids
 267                  * will make sure every LWP gets re-examined.
 268                  */
 269                 for (i = 0; i < max_lwps; i++)
 270                         last_ids[i] = 0;
 271                 continue;
 272         }
 273         if (syscall(SYS_ioctl, GC_main_proc_fd, PIOCLWPIDS, GC_current_ids) < 0)
 274             ABORT("PIOCLWPIDS failed");
 275         changed = FALSE;
 276         for (i = 0; GC_current_ids[i] != 0 && i < max_lwps; i++) {
 277             if (GC_current_ids[i] != last_ids[i]) {
 278                 changed = TRUE;
 279                 if (GC_current_ids[i] != me) {
 280                     /* PIOCSTOP doesn't work without a writable         */
 281                     /* descriptor.  And that makes the process          */
 282                     /* undebuggable.                                    */
 283                     if (_lwp_suspend(GC_current_ids[i]) < 0) {
 284                         /* Could happen if the lwp exited */
 285                         uncache_lwp(GC_current_ids[i]);
 286                         GC_current_ids[i] = me; /* ignore */
 287                     }
 288                 }
 289             }
 290         }
 291         /*
 292          * In the unlikely event something does a fork between the
 293          * PIOCSTATUS and the PIOCLWPIDS.
 294          */
 295         if (i >= max_lwps)
 296                 continue;
 297         /* All lwps in GC_current_ids != me have been suspended.  Note  */
 298         /* that _lwp_suspend is idempotent.                             */
 299         for (i = 0; GC_current_ids[i] != 0; i++) {
 300             if (GC_current_ids[i] != last_ids[i]) {
 301                 if (GC_current_ids[i] != me) {
 302                     lwp_fd = open_lwp(GC_current_ids[i]);
 303                     if (lwp_fd == -1)
 304                     {
 305                             GC_current_ids[i] = me;
 306                             continue;
 307                     }
 308                     /* LWP should be stopped.  Empirically it sometimes */
 309                     /* isn't, and more frequently the PR_STOPPED flag   */
 310                     /* is not set.  Wait for PR_STOPPED.                */
 311                     if (syscall(SYS_ioctl, lwp_fd,
 312                                 PIOCSTATUS, &status) < 0) {
 313                         /* Possible if the descriptor was stale, or */
 314                         /* we encountered the 2.3 _lwp_suspend bug. */
 315                         uncache_lwp(GC_current_ids[i]);
 316                         GC_current_ids[i] = me; /* handle next time. */
 317                     } else {
 318                         while (!(status.pr_flags & PR_STOPPED)) {
 319                             GC_msec_sleep(1);
 320                             if (syscall(SYS_ioctl, lwp_fd,
 321                                         PIOCSTATUS, &status) < 0) {
 322                                 ABORT("Repeated PIOCSTATUS failed");
 323                             }
 324                             if (status.pr_flags & PR_STOPPED) break;
 325
 326                             GC_msec_sleep(20);
 327                             if (syscall(SYS_ioctl, lwp_fd,
 328                                         PIOCSTATUS, &status) < 0) {
 329                                 ABORT("Repeated PIOCSTATUS failed");
 330                             }
 331                         }
 332                         if (status.pr_who !=  GC_current_ids[i]) {
 333                                 /* can happen if thread was on death row */
 334                                 uncache_lwp(GC_current_ids[i]);
 335                                 GC_current_ids[i] = me; /* handle next time. */
 336                                 continue;
 337                         }
 338                         /* Save registers where collector can */
 339                         /* find them.                     */
 340                             BCOPY(status.pr_reg, GC_lwp_registers[i],
 341                                   sizeof (prgregset_t));
 342                     }
 343                 }
 344             }
 345         }
 346         if (!changed) break;
 347         for (i = 0; i < max_lwps; i++) last_ids[i] = GC_current_ids[i];
 348     }
 349 }
 350
 351 /* Restart all lwps in process.  Assumes preemption is off.     */
 352 static void restart_all_lwps()
 353 {
 354     int lwp_fd;
 355     register int i;
 356     GC_bool changed;
 357     lwpid_t me = _lwp_self();
 358 #   define PARANOID
 359
 360     for (i = 0; GC_current_ids[i] != 0; i++) {
 361 #       ifdef PARANOID
 362           if (GC_current_ids[i] != me) {
 363             int lwp_fd = open_lwp(GC_current_ids[i]);
 364             prstatus_t status;
 365
 366             if (lwp_fd < 0) ABORT("open_lwp failed");
 367             if (syscall(SYS_ioctl, lwp_fd,
 368                         PIOCSTATUS, &status) < 0) {
 369                 ABORT("PIOCSTATUS failed in restart_all_lwps");
 370             }
 371             if (memcmp(status.pr_reg, GC_lwp_registers[i],
 372                        sizeof (prgregset_t)) != 0) {
 373                     int j;
 374
 375                     for(j = 0; j < NPRGREG; j++)
 376                     {
 377                             GC_printf3("%i: %x -> %x\n", j,
 378                                        GC_lwp_registers[i][j],
 379                                        status.pr_reg[j]);
 380                     }
 381                 ABORT("Register contents changed");
 382             }
 383             if (!status.pr_flags & PR_STOPPED) {
 384                 ABORT("lwp no longer stopped");
 385             }
 386 #ifdef SPARC
 387             {
 388                     gwindows_t windows;
 389               if (syscall(SYS_ioctl, lwp_fd,
 390                         PIOCGWIN, &windows) < 0) {
 391                 ABORT("PIOCSTATUS failed in restart_all_lwps");
 392               }
 393               if (windows.wbcnt > 0) ABORT("unsaved register windows");
 394             }
 395 #endif
 396           }
 397 #       endif /* PARANOID */
 398         if (GC_current_ids[i] == me) continue;
 399         if (_lwp_continue(GC_current_ids[i]) < 0) {
 400             ABORT("Failed to restart lwp");
 401         }
 402     }
 403     if (i >= max_lwps) ABORT("Too many lwps");
 404 }
 405
 406 GC_bool GC_multithreaded = 0;
 407
 408 void GC_stop_world()
 409 {
 410     preempt_off();
 411     if (GC_multithreaded)
 412         stop_all_lwps();
 413 }
 414
 415 void GC_start_world()
 416 {
 417     if (GC_multithreaded)
 418         restart_all_lwps();
 419     preempt_on();
 420 }
 421
 422 void GC_thr_init(void);
 423
 424 GC_bool GC_thr_initialized = FALSE;
 425
 426 size_t GC_min_stack_sz;
 427
 428
 429 /*
 430  * stack_head is stored at the top of free stacks
 431  */
 432 struct stack_head {
 433         struct stack_head       *next;
 434         ptr_t                   base;
 435         thread_t                owner;
 436 };
 437
 438 # define N_FREE_LISTS 25
 439 struct stack_head *GC_stack_free_lists[N_FREE_LISTS] = { 0 };
 440                 /* GC_stack_free_lists[i] is free list for stacks of    */
 441                 /* size GC_min_stack_sz*2**i.                           */
 442                 /* Free lists are linked through stack_head stored      */                      /* at top of stack.                                     */
 443
 444 /* Return a stack of size at least *stack_size.  *stack_size is */
 445 /* replaced by the actual stack size.                           */
 446 /* Caller holds allocation lock.                                */
 447 ptr_t GC_stack_alloc(size_t * stack_size)
 448 {
 449     register size_t requested_sz = *stack_size;
 450     register size_t search_sz = GC_min_stack_sz;
 451     register int index = 0;     /* = log2(search_sz/GC_min_stack_sz) */
 452     register ptr_t base;
 453     register struct stack_head *result;
 454
 455     while (search_sz < requested_sz) {
 456         search_sz *= 2;
 457         index++;
 458     }
 459     if ((result = GC_stack_free_lists[index]) == 0
 460         && (result = GC_stack_free_lists[index+1]) != 0) {
 461         /* Try next size up. */
 462         search_sz *= 2; index++;
 463     }
 464     if (result != 0) {
 465         base =  GC_stack_free_lists[index]->base;
 466         GC_stack_free_lists[index] = GC_stack_free_lists[index]->next;
 467     } else {
 468 #ifdef MMAP_STACKS
 469         base = (ptr_t)mmap(0, search_sz + GC_page_size,
 470                              PROT_READ|PROT_WRITE, MAP_PRIVATE |MAP_NORESERVE,
 471                              GC_zfd, 0);
 472         if (base == (ptr_t)-1)
 473         {
 474                 *stack_size = 0;
 475                 return NULL;
 476         }
 477
 478         mprotect(base, GC_page_size, PROT_NONE);
 479         /* Should this use divHBLKSZ(search_sz + GC_page_size) ? -- cf */
 480         GC_is_fresh((struct hblk *)base, divHBLKSZ(search_sz));
 481         base += GC_page_size;
 482
 483 #else
 484         base = (ptr_t) GC_scratch_alloc(search_sz + 2*GC_page_size);
 485         if (base == NULL)
 486         {
 487                 *stack_size = 0;
 488                 return NULL;
 489         }
 490
 491         base = (ptr_t)(((word)base + GC_page_size) & ~(GC_page_size - 1));
 492         /* Protect hottest page to detect overflow. */
 493 #       ifdef SOLARIS23_MPROTECT_BUG_FIXED
 494             mprotect(base, GC_page_size, PROT_NONE);
 495 #       endif
 496         GC_is_fresh((struct hblk *)base, divHBLKSZ(search_sz));
 497
 498         base += GC_page_size;
 499 #endif
 500     }
 501     *stack_size = search_sz;
 502     return(base);
 503 }
 504
 505 /* Caller holds  allocationlock.                                        */
 506 void GC_stack_free(ptr_t stack, size_t size)
 507 {
 508     register int index = 0;
 509     register size_t search_sz = GC_min_stack_sz;
 510     register struct stack_head *head;
 511
 512 #ifdef MMAP_STACKS
 513     /* Zero pointers */
 514     mmap(stack, size, PROT_READ|PROT_WRITE, MAP_PRIVATE|MAP_NORESERVE|MAP_FIXED,
 515          GC_zfd, 0);
 516 #endif
 517     while (search_sz < size) {
 518         search_sz *= 2;
 519         index++;
 520     }
 521     if (search_sz != size) ABORT("Bad stack size");
 522
 523     head = (struct stack_head *)(stack + search_sz - sizeof(struct stack_head));
 524     head->next = GC_stack_free_lists[index];
 525     head->base = stack;
 526     GC_stack_free_lists[index] = head;
 527 }
 528
 529 void GC_my_stack_limits();
 530
 531 /* Notify virtual dirty bit implementation that known empty parts of    */
 532 /* stacks do not contain useful data.                                   */
 533 /* Caller holds allocation lock.                                        */
 534 void GC_old_stacks_are_fresh()
 535 {
 536 /* No point in doing this for MMAP stacks - and pointers are zero'd out */
 537 /* by the mmap in GC_stack_free */
 538 #ifndef MMAP_STACKS
 539     register int i;
 540     register struct stack_head *s;
 541     register ptr_t p;
 542     register size_t sz;
 543     register struct hblk * h;
 544     int dummy;
 545
 546     for (i = 0, sz= GC_min_stack_sz; i < N_FREE_LISTS;
 547          i++, sz *= 2) {
 548          for (s = GC_stack_free_lists[i]; s != 0; s = s->next) {
 549              p = s->base;
 550              h = (struct hblk *)(((word)p + HBLKSIZE-1) & ~(HBLKSIZE-1));
 551              if ((ptr_t)h == p) {
 552                  GC_is_fresh((struct hblk *)p, divHBLKSZ(sz));
 553              } else {
 554                  GC_is_fresh((struct hblk *)p, divHBLKSZ(sz) - 1);
 555                  BZERO(p, (ptr_t)h - p);
 556              }
 557          }
 558     }
 559 #endif /* MMAP_STACKS */
 560     GC_my_stack_limits();
 561 }
 562
 563 /* The set of all known threads.  We intercept thread creation and      */
 564 /* joins.  We never actually create detached threads.  We allocate all  */
 565 /* new thread stacks ourselves.  These allow us to maintain this        */
 566 /* data structure.                                                      */
 567
 568 # define THREAD_TABLE_SZ 128    /* Must be power of 2   */
 569 volatile GC_thread GC_threads[THREAD_TABLE_SZ];
 570
 571 void GC_push_thread_structures GC_PROTO((void))
 572 {
 573     GC_push_all((ptr_t)(GC_threads), (ptr_t)(GC_threads)+sizeof(GC_threads));
 574 }
 575
 576 /* Add a thread to GC_threads.  We assume it wasn't already there.      */
 577 /* Caller holds allocation lock.                                        */
 578 GC_thread GC_new_thread(thread_t id)
 579 {
 580     int hv = ((word)id) % THREAD_TABLE_SZ;
 581     GC_thread result;
 582     static struct GC_Thread_Rep first_thread;
 583     static GC_bool first_thread_used = FALSE;
 584
 585     if (!first_thread_used) {
 586         result = &first_thread;
 587         first_thread_used = TRUE;
 588         /* Dont acquire allocation lock, since we may already hold it. */
 589     } else {
 590         result = (struct GC_Thread_Rep *)
 591                  GC_INTERNAL_MALLOC(sizeof(struct GC_Thread_Rep), NORMAL);
 592     }
 593     if (result == 0) return(0);
 594     result -> id = id;
 595     result -> next = GC_threads[hv];
 596     GC_threads[hv] = result;
 597     /* result -> finished = 0; */
 598     (void) cond_init(&(result->join_cv), USYNC_THREAD, 0);
 599     return(result);
 600 }
 601
 602 /* Delete a thread from GC_threads.  We assume it is there.     */
 603 /* (The code intentionally traps if it wasn't.)                 */
 604 /* Caller holds allocation lock.                                */
 605 void GC_delete_thread(thread_t id)
 606 {
 607     int hv = ((word)id) % THREAD_TABLE_SZ;
 608     register GC_thread p = GC_threads[hv];
 609     register GC_thread prev = 0;
 610
 611     while (p -> id != id) {
 612         prev = p;
 613         p = p -> next;
 614     }
 615     if (prev == 0) {
 616         GC_threads[hv] = p -> next;
 617     } else {
 618         prev -> next = p -> next;
 619     }
 620 }
 621
 622 /* Return the GC_thread correpsonding to a given thread_t.      */
 623 /* Returns 0 if it's not there.                                 */
 624 /* Caller holds  allocation lock.                               */
 625 GC_thread GC_lookup_thread(thread_t id)
 626 {
 627     int hv = ((word)id) % THREAD_TABLE_SZ;
 628     register GC_thread p = GC_threads[hv];
 629
 630     while (p != 0 && p -> id != id) p = p -> next;
 631     return(p);
 632 }
 633
 634 int GC_thread_is_registered (void)
 635 {
 636         void *ptr;
 637
 638         LOCK();
 639         ptr = (void *)GC_lookup_thread(thr_self());
 640         UNLOCK();
 641
 642         return ptr ? 1 : 0;
 643 }
 644
 645 void GC_allow_register_threads (void)
 646 {
 647         /* No-op for GC pre-v7. */
 648 }
 649
 650 int GC_register_my_thread (struct GC_stack_base *sb)
 651 {
 652         /* FIXME: */
 653         return GC_UNIMPLEMENTED;
 654 }
 655
 656 void GC_register_altstack (void *stack, int stack_size, void *altstack, int altstack_size)
 657 {
 658 }
 659
 660 /* Solaris 2/Intel uses an initial stack size limit slightly bigger than the
 661    SPARC default of 8 MB.  Account for this to warn only if the user has
 662    raised the limit beyond the default.
 663
 664    This is identical to DFLSSIZ defined in <sys/vm_machparam.h>.  This file
 665    is installed in /usr/platform/`uname -m`/include, which is not in the
 666    default include directory list, so copy the definition here.  */
 667 #ifdef I386
 668 # define MAX_ORIG_STACK_SIZE (8 * 1024 * 1024 + ((USRSTACK) & 0x3FFFFF))
 669 #else
 670 # define MAX_ORIG_STACK_SIZE (8 * 1024 * 1024)
 671 #endif
 672
 673 word GC_get_orig_stack_size() {
 674     struct rlimit rl;
 675     static int warned = 0;
 676     int result;
 677
 678     if (getrlimit(RLIMIT_STACK, &rl) != 0) ABORT("getrlimit failed");
 679     result = (word)rl.rlim_cur & ~(HBLKSIZE-1);
 680     if (result > MAX_ORIG_STACK_SIZE) {
 681         if (!warned) {
 682             /* WARN("Large stack limit(%ld): only scanning 8 MB\n", result); */
 683             warned = 1;
 684         }
 685         result = MAX_ORIG_STACK_SIZE;
 686     }
 687     return result;
 688 }
 689
 690 /* Notify dirty bit implementation of unused parts of my stack. */
 691 /* Caller holds allocation lock.                                */
 692 void GC_my_stack_limits()
 693 {
 694     int dummy;
 695     register ptr_t hottest = (ptr_t)((word)(&dummy) & ~(HBLKSIZE-1));
 696     register GC_thread me = GC_lookup_thread(thr_self());
 697     register size_t stack_size = me -> stack_size;
 698     register ptr_t stack;
 699
 700     if (stack_size == 0) {
 701       /* original thread */
 702         /* Empirically, what should be the stack page with lowest       */
 703         /* address is actually inaccessible.                            */
 704         stack_size = GC_get_orig_stack_size() - GC_page_size;
 705         stack = GC_stackbottom - stack_size + GC_page_size;
 706     } else {
 707         stack = me -> stack;
 708     }
 709     if (stack > hottest || stack + stack_size < hottest) {
 710         ABORT("sp out of bounds");
 711     }
 712     GC_is_fresh((struct hblk *)stack, divHBLKSZ(hottest - stack));
 713 }
 714
 715
 716 /* We hold allocation lock.  Should do exactly the right thing if the   */
 717 /* world is stopped.  Should not fail if it isn't.                      */
 718 void GC_push_all_stacks()
 719 {
 720     register int i;
 721     register GC_thread p;
 722     register ptr_t sp = GC_approx_sp();
 723     register ptr_t bottom, top;
 724     struct rlimit rl;
 725
 726 #   define PUSH(bottom,top) \
 727       if (GC_dirty_maintained) { \
 728         GC_push_selected((bottom), (top), GC_page_was_ever_dirty, \
 729                       GC_push_all_stack); \
 730       } else { \
 731         GC_push_all_stack((bottom), (top)); \
 732       }
 733     GC_push_all_stack((ptr_t)GC_lwp_registers,
 734                       (ptr_t)GC_lwp_registers
 735                       + max_lwps * sizeof(GC_lwp_registers[0]));
 736     for (i = 0; i < THREAD_TABLE_SZ; i++) {
 737       for (p = GC_threads[i]; p != 0; p = p -> next) {
 738         if (p -> stack_size != 0) {
 739             bottom = p -> stack;
 740             top = p -> stack + p -> stack_size;
 741         } else {
 742             /* The original stack. */
 743             bottom = GC_stackbottom - GC_get_orig_stack_size() + GC_page_size;
 744             top = GC_stackbottom;
 745         }
 746         if ((word)sp > (word)bottom && (word)sp < (word)top) bottom = sp;
 747         PUSH(bottom, top);
 748       }
 749     }
 750 }
 751
 752
 753 int GC_is_thread_stack(ptr_t addr)
 754 {
 755     register int i;
 756     register GC_thread p;
 757     register ptr_t bottom, top;
 758
 759     for (i = 0; i < THREAD_TABLE_SZ; i++) {
 760       for (p = GC_threads[i]; p != 0; p = p -> next) {
 761         if (p -> stack_size != 0) {
 762             if (p -> stack <= addr &&
 763                 addr < p -> stack + p -> stack_size)
 764                     return 1;
 765         }
 766       }
 767     }
 768     return 0;
 769 }
 770
 771 /* The only thread that ever really performs a thr_join.        */
 772 void * GC_thr_daemon(void * dummy)
 773 {
 774     void *status;
 775     thread_t departed;
 776     register GC_thread t;
 777     register int i;
 778     register int result;
 779
 780     for(;;) {
 781       start:
 782         result = thr_join((thread_t)0, &departed, &status);
 783         LOCK();
 784         if (result != 0) {
 785             /* No more threads; wait for create. */
 786             for (i = 0; i < THREAD_TABLE_SZ; i++) {
 787                 for (t = GC_threads[i]; t != 0; t = t -> next) {
 788                     if (!(t -> flags & (DETACHED | FINISHED))) {
 789                       UNLOCK();
 790                       goto start; /* Thread started just before we */
 791                                   /* acquired the lock.            */
 792                     }
 793                 }
 794             }
 795             cond_wait(&GC_create_cv, &GC_allocate_ml);
 796             UNLOCK();
 797         } else {
 798             t = GC_lookup_thread(departed);
 799                         GC_multithreaded--;
 800                         if (t) {
 801                                 if (!(t -> flags & CLIENT_OWNS_STACK)) {
 802                                         GC_stack_free(t -> stack, t -> stack_size);
 803                                 }
 804                                 if (t -> flags & DETACHED) {
 805                                         GC_delete_thread(departed);
 806                                 } else {
 807                                         t -> status = status;
 808                                         t -> flags |= FINISHED;
 809                                         cond_signal(&(t -> join_cv));
 810                                         cond_broadcast(&GC_prom_join_cv);
 811                                 }
 812                         }
 813             UNLOCK();
 814         }
 815     }
 816 }
 817
 818 /* We hold the allocation lock, or caller ensures that 2 instances      */
 819 /* cannot be invoked concurrently.                                      */
 820 void GC_thr_init(void)
 821 {
 822     GC_thread t;
 823     thread_t tid;
 824     int ret;
 825
 826     if (GC_thr_initialized)
 827             return;
 828     GC_thr_initialized = TRUE;
 829     GC_min_stack_sz = ((thr_min_stack() + 32*1024 + HBLKSIZE-1)
 830                        & ~(HBLKSIZE - 1));
 831 #ifdef MMAP_STACKS
 832     GC_zfd = open("/dev/zero", O_RDONLY);
 833     if (GC_zfd == -1)
 834             ABORT("Can't open /dev/zero");
 835 #endif /* MMAP_STACKS */
 836     cond_init(&GC_prom_join_cv, USYNC_THREAD, 0);
 837     cond_init(&GC_create_cv, USYNC_THREAD, 0);
 838     /* Add the initial thread, so we can stop it.       */
 839       t = GC_new_thread(thr_self());
 840       t -> stack_size = 0;
 841       t -> flags = DETACHED | CLIENT_OWNS_STACK;
 842     ret = thr_create(0 /* stack */, 0 /* stack_size */, GC_thr_daemon,
 843                      0 /* arg */, THR_DETACHED | THR_DAEMON,
 844                      &tid /* thread_id */);
 845     if (ret != 0) {
 846         GC_err_printf1("Thr_create returned %ld\n", ret);
 847         ABORT("Cant fork daemon");
 848     }
 849     thr_setprio(tid, 126);
 850 }
 851
 852 /* We acquire the allocation lock to prevent races with         */
 853 /* stopping/starting world.                                     */
 854 /* This is no more correct than the underlying Solaris 2.X      */
 855 /* implementation.  Under 2.3 THIS IS BROKEN.                   */
 856 int GC_thr_suspend(thread_t target_thread)
 857 {
 858     GC_thread t;
 859     int result;
 860
 861     LOCK();
 862     result = thr_suspend(target_thread);
 863     if (result == 0) {
 864         t = GC_lookup_thread(target_thread);
 865         if (t == 0) ABORT("thread unknown to GC");
 866         t -> flags |= SUSPNDED;
 867     }
 868     UNLOCK();
 869     return(result);
 870 }
 871
 872 int GC_thr_continue(thread_t target_thread)
 873 {
 874     GC_thread t;
 875     int result;
 876
 877     LOCK();
 878     result = thr_continue(target_thread);
 879     if (result == 0) {
 880         t = GC_lookup_thread(target_thread);
 881         if (t == 0) ABORT("thread unknown to GC");
 882         t -> flags &= ~SUSPNDED;
 883     }
 884     UNLOCK();
 885     return(result);
 886 }
 887
 888 int GC_thr_join(thread_t wait_for, thread_t *departed, void **status)
 889 {
 890     register GC_thread t;
 891     int result = 0;
 892
 893     LOCK();
 894     if (wait_for == 0) {
 895         register int i;
 896         register GC_bool thread_exists;
 897
 898         for (;;) {
 899           thread_exists = FALSE;
 900           for (i = 0; i < THREAD_TABLE_SZ; i++) {
 901             for (t = GC_threads[i]; t != 0; t = t -> next) {
 902               if (!(t -> flags & DETACHED)) {
 903                 if (t -> flags & FINISHED) {
 904                   goto found;
 905                 }
 906                 thread_exists = TRUE;
 907               }
 908             }
 909           }
 910           if (!thread_exists) {
 911               result = ESRCH;
 912               goto out;
 913           }
 914           cond_wait(&GC_prom_join_cv, &GC_allocate_ml);
 915         }
 916     } else {
 917         t = GC_lookup_thread(wait_for);
 918         if (t == 0 || t -> flags & DETACHED) {
 919             result = ESRCH;
 920             goto out;
 921         }
 922         if (wait_for == thr_self()) {
 923             result = EDEADLK;
 924             goto out;
 925         }
 926         while (!(t -> flags & FINISHED)) {
 927             cond_wait(&(t -> join_cv), &GC_allocate_ml);
 928         }
 929
 930     }
 931   found:
 932     if (status) *status = t -> status;
 933     if (departed) *departed = t -> id;
 934     cond_destroy(&(t -> join_cv));
 935     GC_delete_thread(t -> id);
 936   out:
 937     UNLOCK();
 938     return(result);
 939 }
 940
 941
 942 int
 943 GC_thr_create(void *stack_base, size_t stack_size,
 944               void *(*start_routine)(void *), void *arg, long flags,
 945               thread_t *new_thread)
 946 {
 947     int result;
 948     GC_thread t;
 949     thread_t my_new_thread;
 950     word my_flags = 0;
 951     void * stack = stack_base;
 952
 953     LOCK();
 954     if (!GC_is_initialized) GC_init_inner();
 955     GC_multithreaded++;
 956     if (stack == 0) {
 957         if (stack_size == 0) stack_size = 1024*1024;
 958         stack = (void *)GC_stack_alloc(&stack_size);
 959         if (stack == 0) {
 960             GC_multithreaded--;
 961             UNLOCK();
 962             return(ENOMEM);
 963         }
 964     } else {
 965         my_flags |= CLIENT_OWNS_STACK;
 966     }
 967     if (flags & THR_DETACHED) my_flags |= DETACHED;
 968     if (flags & THR_SUSPENDED) my_flags |= SUSPNDED;
 969     result = thr_create(stack, stack_size, start_routine,
 970                         arg, flags & ~THR_DETACHED, &my_new_thread);
 971     if (result == 0) {
 972         t = GC_new_thread(my_new_thread);
 973         t -> flags = my_flags;
 974         if (!(my_flags & DETACHED)) cond_init(&(t -> join_cv), USYNC_THREAD, 0);
 975         t -> stack = stack;
 976         t -> stack_size = stack_size;
 977         if (new_thread != 0) *new_thread = my_new_thread;
 978         cond_signal(&GC_create_cv);
 979     } else {
 980         GC_multithreaded--;
 981         if (!(my_flags & CLIENT_OWNS_STACK)) {
 982             GC_stack_free(stack, stack_size);
 983         }
 984     }
 985     UNLOCK();
 986     return(result);
 987 }
 988
 989 # else /* !GC_SOLARIS_THREADS */
 990
 991 #ifndef LINT
 992   int GC_no_sunOS_threads;
 993 #endif
 994 #endif