mono/metadata/boehm-gc.c

   1 /*
   2  * boehm-gc.c: GC implementation using either the installed or included Boehm GC.
   3  *
   4  * Copyright 2001-2003 Ximian, Inc (http://www.ximian.com)
   5  * Copyright 2004-2011 Novell, Inc (http://www.novell.com)
   6  * Copyright 2011-2012 Xamarin, Inc (http://www.xamarin.com)
   7  */
   8
   9 #include "config.h"
  10
  11 #include <string.h>
  12
  13 #define GC_I_HIDE_POINTERS
  14 #include <mono/metadata/gc-internal.h>
  15 #include <mono/metadata/mono-gc.h>
  16 #include <mono/metadata/profiler-private.h>
  17 #include <mono/metadata/class-internals.h>
  18 #include <mono/metadata/method-builder.h>
  19 #include <mono/metadata/opcodes.h>
  20 #include <mono/metadata/domain-internals.h>
  21 #include <mono/metadata/metadata-internals.h>
  22 #include <mono/metadata/marshal.h>
  23 #include <mono/metadata/runtime.h>
  24 #include <mono/utils/atomic.h>
  25 #include <mono/utils/mono-logger-internal.h>
  26 #include <mono/utils/mono-memory-model.h>
  27 #include <mono/utils/mono-time.h>
  28 #include <mono/utils/mono-threads.h>
  29 #include <mono/utils/dtrace.h>
  30 #include <mono/utils/gc_wrapper.h>
  31 #include <mono/utils/mono-mutex.h>
  32
  33 #if HAVE_BOEHM_GC
  34
  35 #ifdef USE_INCLUDED_LIBGC
  36 #undef TRUE
  37 #undef FALSE
  38 #define THREAD_LOCAL_ALLOC 1
  39 #include "private/pthread_support.h"
  40 #endif
  41
  42 #if defined(PLATFORM_MACOSX) && defined(HAVE_PTHREAD_GET_STACKADDR_NP)
  43 void *pthread_get_stackaddr_np(pthread_t);
  44 #endif
  45
  46 #define GC_NO_DESCRIPTOR ((gpointer)(0 | GC_DS_LENGTH))
  47 /*Boehm max heap cannot be smaller than 16MB*/
  48 #define MIN_BOEHM_MAX_HEAP_SIZE_IN_MB 16
  49 #define MIN_BOEHM_MAX_HEAP_SIZE (MIN_BOEHM_MAX_HEAP_SIZE_IN_MB << 20)
  50
  51 static gboolean gc_initialized = FALSE;
  52 static mono_mutex_t mono_gc_lock;
  53
  54 static void*
  55 boehm_thread_register (MonoThreadInfo* info, void *baseptr);
  56 static void
  57 boehm_thread_unregister (MonoThreadInfo *p);
  58
  59 static void
  60 mono_gc_warning (char *msg, GC_word arg)
  61 {
  62         mono_trace (G_LOG_LEVEL_WARNING, MONO_TRACE_GC, msg, (unsigned long)arg);
  63 }
  64
  65 void
  66 mono_gc_base_init (void)
  67 {
  68         MonoThreadInfoCallbacks cb;
  69         const char *env;
  70         int dummy;
  71
  72         if (gc_initialized)
  73                 return;
  74
  75         /*
  76          * Handle the case when we are called from a thread different from the main thread,
  77          * confusing libgc.
  78          * FIXME: Move this to libgc where it belongs.
  79          *
  80          * we used to do this only when running on valgrind,
  81          * but it happens also in other setups.
  82          */
  83 #if defined(HAVE_PTHREAD_GETATTR_NP) && defined(HAVE_PTHREAD_ATTR_GETSTACK) && !defined(__native_client__)
  84         {
  85                 size_t size;
  86                 void *sstart;
  87                 pthread_attr_t attr;
  88                 pthread_getattr_np (pthread_self (), &attr);
  89                 pthread_attr_getstack (&attr, &sstart, &size);
  90                 pthread_attr_destroy (&attr);
  91                 /*g_print ("stackbottom pth is: %p\n", (char*)sstart + size);*/
  92 #ifdef __ia64__
  93                 /*
  94                  * The calculation above doesn't seem to work on ia64, also we need to set
  95                  * GC_register_stackbottom as well, but don't know how.
  96                  */
  97 #else
  98                 /* apparently with some linuxthreads implementations sstart can be NULL,
  99                  * fallback to the more imprecise method (bug# 78096).
 100                  */
 101                 if (sstart) {
 102                         GC_stackbottom = (char*)sstart + size;
 103                 } else {
 104                         int dummy;
 105                         gsize stack_bottom = (gsize)&dummy;
 106                         stack_bottom += 4095;
 107                         stack_bottom &= ~4095;
 108                         GC_stackbottom = (char*)stack_bottom;
 109                 }
 110 #endif
 111         }
 112 #elif defined(HAVE_PTHREAD_GET_STACKSIZE_NP) && defined(HAVE_PTHREAD_GET_STACKADDR_NP)
 113                 GC_stackbottom = (char*)pthread_get_stackaddr_np (pthread_self ());
 114 #elif defined(__OpenBSD__)
 115 #  include <pthread_np.h>
 116         {
 117                 stack_t ss;
 118                 int rslt;
 119
 120                 rslt = pthread_stackseg_np(pthread_self(), &ss);
 121                 g_assert (rslt == 0);
 122
 123                 GC_stackbottom = (char*)ss.ss_sp;
 124         }
 125 #elif defined(__native_client__)
 126         /* Do nothing, GC_stackbottom is set correctly in libgc */
 127 #else
 128         {
 129                 int dummy;
 130                 gsize stack_bottom = (gsize)&dummy;
 131                 stack_bottom += 4095;
 132                 stack_bottom &= ~4095;
 133                 /*g_print ("stackbottom is: %p\n", (char*)stack_bottom);*/
 134                 GC_stackbottom = (char*)stack_bottom;
 135         }
 136 #endif
 137
 138 #if !defined(PLATFORM_ANDROID)
 139         /* If GC_no_dls is set to true, GC_find_limit is not called. This causes a seg fault on Android. */
 140         GC_no_dls = TRUE;
 141 #endif
 142         GC_init ();
 143         GC_oom_fn = mono_gc_out_of_memory;
 144         GC_set_warn_proc (mono_gc_warning);
 145         GC_finalize_on_demand = 1;
 146         GC_finalizer_notifier = mono_gc_finalize_notify;
 147
 148 #ifdef HAVE_GC_GCJ_MALLOC
 149         GC_init_gcj_malloc (5, NULL);
 150 #endif
 151
 152 #ifdef HAVE_GC_ALLOW_REGISTER_THREADS
 153         GC_allow_register_threads();
 154 #endif
 155
 156         if ((env = g_getenv ("MONO_GC_PARAMS"))) {
 157                 char **ptr, **opts = g_strsplit (env, ",", -1);
 158                 for (ptr = opts; *ptr; ++ptr) {
 159                         char *opt = *ptr;
 160                         if (g_str_has_prefix (opt, "max-heap-size=")) {
 161                                 glong max_heap;
 162
 163                                 opt = strchr (opt, '=') + 1;
 164                                 if (*opt && mono_gc_parse_environment_string_extract_number (opt, &max_heap)) {
 165                                         if (max_heap < MIN_BOEHM_MAX_HEAP_SIZE) {
 166                                                 fprintf (stderr, "max-heap-size must be at least %dMb.\n", MIN_BOEHM_MAX_HEAP_SIZE_IN_MB);
 167                                                 exit (1);
 168                                         }
 169                                         GC_set_max_heap_size (max_heap);
 170                                 } else {
 171                                         fprintf (stderr, "max-heap-size must be an integer.\n");
 172                                         exit (1);
 173                                 }
 174                                 continue;
 175                         } else {
 176                                 /* Could be a parameter for sgen */
 177                                 /*
 178                                 fprintf (stderr, "MONO_GC_PARAMS must be a comma-delimited list of one or more of the following:\n");
 179                                 fprintf (stderr, "  max-heap-size=N (where N is an integer, possibly with a k, m or a g suffix)\n");
 180                                 exit (1);
 181                                 */
 182                         }
 183                 }
 184                 g_strfreev (opts);
 185         }
 186
 187         memset (&cb, 0, sizeof (cb));
 188         cb.thread_register = boehm_thread_register;
 189         cb.thread_unregister = boehm_thread_unregister;
 190         cb.mono_method_is_critical = (gpointer)mono_runtime_is_critical_method;
 191 #ifndef HOST_WIN32
 192         cb.thread_exit = mono_gc_pthread_exit;
 193         cb.mono_gc_pthread_create = (gpointer)mono_gc_pthread_create;
 194 #endif
 195
 196         mono_threads_init (&cb, sizeof (MonoThreadInfo));
 197         mono_mutex_init (&mono_gc_lock);
 198
 199         mono_thread_info_attach (&dummy);
 200
 201         mono_gc_enable_events ();
 202         gc_initialized = TRUE;
 203 }
 204
 205 /**
 206  * mono_gc_collect:
 207  * @generation: GC generation identifier
 208  *
 209  * Perform a garbage collection for the given generation, higher numbers
 210  * mean usually older objects. Collecting a high-numbered generation
 211  * implies collecting also the lower-numbered generations.
 212  * The maximum value for @generation can be retrieved with a call to
 213  * mono_gc_max_generation(), so this function is usually called as:
 214  *
 215  *      mono_gc_collect (mono_gc_max_generation ());
 216  */
 217 void
 218 mono_gc_collect (int generation)
 219 {
 220 #ifndef DISABLE_PERFCOUNTERS
 221         mono_perfcounters->gc_induced++;
 222 #endif
 223         GC_gcollect ();
 224 }
 225
 226 /**
 227  * mono_gc_max_generation:
 228  *
 229  * Get the maximum generation number used by the current garbage
 230  * collector. The value will be 0 for the Boehm collector, 1 or more
 231  * for the generational collectors.
 232  *
 233  * Returns: the maximum generation number.
 234  */
 235 int
 236 mono_gc_max_generation (void)
 237 {
 238         return 0;
 239 }
 240
 241 /**
 242  * mono_gc_get_generation:
 243  * @object: a managed object
 244  *
 245  * Get the garbage collector's generation that @object belongs to.
 246  * Use this has a hint only.
 247  *
 248  * Returns: a garbage collector generation number
 249  */
 250 int
 251 mono_gc_get_generation  (MonoObject *object)
 252 {
 253         return 0;
 254 }
 255
 256 /**
 257  * mono_gc_collection_count:
 258  * @generation: a GC generation number
 259  *
 260  * Get how many times a garbage collection has been performed
 261  * for the given @generation number.
 262  *
 263  * Returns: the number of garbage collections
 264  */
 265 int
 266 mono_gc_collection_count (int generation)
 267 {
 268         return GC_gc_no;
 269 }
 270
 271 /**
 272  * mono_gc_add_memory_pressure:
 273  * @value: amount of bytes
 274  *
 275  * Adjust the garbage collector's view of how many bytes of memory
 276  * are indirectly referenced by managed objects (for example unmanaged
 277  * memory holding image or other binary data).
 278  * This is a hint only to the garbage collector algorithm.
 279  * Note that negative amounts of @value will decrease the memory
 280  * pressure.
 281  */
 282 void
 283 mono_gc_add_memory_pressure (gint64 value)
 284 {
 285 }
 286
 287 /**
 288  * mono_gc_get_used_size:
 289  *
 290  * Get the approximate amount of memory used by managed objects.
 291  *
 292  * Returns: the amount of memory used in bytes
 293  */
 294 int64_t
 295 mono_gc_get_used_size (void)
 296 {
 297         return GC_get_heap_size () - GC_get_free_bytes ();
 298 }
 299
 300 /**
 301  * mono_gc_get_heap_size:
 302  *
 303  * Get the amount of memory used by the garbage collector.
 304  *
 305  * Returns: the size of the heap in bytes
 306  */
 307 int64_t
 308 mono_gc_get_heap_size (void)
 309 {
 310         return GC_get_heap_size ();
 311 }
 312
 313 gboolean
 314 mono_gc_is_gc_thread (void)
 315 {
 316 #if GC_VERSION_MAJOR >= 7
 317         return TRUE;
 318 #elif defined(USE_INCLUDED_LIBGC)
 319         return GC_thread_is_registered ();
 320 #else
 321         return TRUE;
 322 #endif
 323 }
 324
 325 extern int GC_thread_register_foreign (void *base_addr);
 326
 327 gboolean
 328 mono_gc_register_thread (void *baseptr)
 329 {
 330         return mono_thread_info_attach (baseptr) != NULL;
 331 }
 332
 333 static void*
 334 boehm_thread_register (MonoThreadInfo* info, void *baseptr)
 335 {
 336 #if GC_VERSION_MAJOR >= 7
 337         struct GC_stack_base sb;
 338         int res;
 339
 340         res = GC_get_stack_base (&sb);
 341         if (res != GC_SUCCESS) {
 342                 sb.mem_base = baseptr;
 343 #ifdef __ia64__
 344                 /* Can't determine the register stack bounds */
 345                 g_error ("mono_gc_register_thread failed ().\n");
 346 #endif
 347         }
 348         res = GC_register_my_thread (&sb);
 349         if ((res != GC_SUCCESS) && (res != GC_DUPLICATE)) {
 350                 g_warning ("GC_register_my_thread () failed.\n");
 351                 return NULL;
 352         }
 353         return info;
 354 #else
 355         if (mono_gc_is_gc_thread())
 356                 return info;
 357 #if defined(USE_INCLUDED_LIBGC) && !defined(HOST_WIN32)
 358         return GC_thread_register_foreign (baseptr) ? info : NULL;
 359 #else
 360         return NULL;
 361 #endif
 362 #endif
 363 }
 364
 365 static void
 366 boehm_thread_unregister (MonoThreadInfo *p)
 367 {
 368         MonoNativeThreadId tid;
 369
 370         tid = mono_thread_info_get_tid (p);
 371
 372         mono_threads_add_joinable_thread ((gpointer)tid);
 373 }
 374
 375 gboolean
 376 mono_object_is_alive (MonoObject* o)
 377 {
 378 #ifdef USE_INCLUDED_LIBGC
 379         return GC_is_marked ((gpointer)o);
 380 #else
 381         return TRUE;
 382 #endif
 383 }
 384
 385 int
 386 mono_gc_walk_heap (int flags, MonoGCReferences callback, void *data)
 387 {
 388         return 1;
 389 }
 390
 391 #ifdef USE_INCLUDED_LIBGC
 392
 393 static gint64 gc_start_time;
 394
 395 static void
 396 on_gc_notification (GCEventType event)
 397 {
 398         MonoGCEvent e = (MonoGCEvent)event;
 399
 400         switch (e) {
 401         case MONO_GC_EVENT_PRE_STOP_WORLD:
 402                 MONO_GC_WORLD_STOP_BEGIN ();
 403                 mono_thread_info_suspend_lock ();
 404                 break;
 405
 406         case MONO_GC_EVENT_POST_STOP_WORLD:
 407                 MONO_GC_WORLD_STOP_END ();
 408                 break;
 409
 410         case MONO_GC_EVENT_PRE_START_WORLD:
 411                 MONO_GC_WORLD_RESTART_BEGIN (1);
 412                 break;
 413
 414         case MONO_GC_EVENT_POST_START_WORLD:
 415                 MONO_GC_WORLD_RESTART_END (1);
 416                 mono_thread_info_suspend_unlock ();
 417                 break;
 418
 419         case MONO_GC_EVENT_START:
 420                 MONO_GC_BEGIN (1);
 421 #ifndef DISABLE_PERFCOUNTERS
 422                 if (mono_perfcounters)
 423                         mono_perfcounters->gc_collections0++;
 424 #endif
 425                 gc_stats.major_gc_count ++;
 426                 gc_start_time = mono_100ns_ticks ();
 427                 break;
 428
 429         case MONO_GC_EVENT_END:
 430                 MONO_GC_END (1);
 431 #if defined(ENABLE_DTRACE) && defined(__sun__)
 432                 /* This works around a dtrace -G problem on Solaris.
 433                    Limit its actual use to when the probe is enabled. */
 434                 if (MONO_GC_END_ENABLED ())
 435                         sleep(0);
 436 #endif
 437
 438 #ifndef DISABLE_PERFCOUNTERS
 439                 if (mono_perfcounters) {
 440                         guint64 heap_size = GC_get_heap_size ();
 441                         guint64 used_size = heap_size - GC_get_free_bytes ();
 442                         mono_perfcounters->gc_total_bytes = used_size;
 443                         mono_perfcounters->gc_committed_bytes = heap_size;
 444                         mono_perfcounters->gc_reserved_bytes = heap_size;
 445                         mono_perfcounters->gc_gen0size = heap_size;
 446                 }
 447 #endif
 448                 gc_stats.major_gc_time_usecs += (mono_100ns_ticks () - gc_start_time) / 10;
 449                 mono_trace_message (MONO_TRACE_GC, "gc took %d usecs", (mono_100ns_ticks () - gc_start_time) / 10);
 450                 break;
 451         }
 452
 453         mono_profiler_gc_event (e, 0);
 454 }
 455
 456 static void
 457 on_gc_heap_resize (size_t new_size)
 458 {
 459         guint64 heap_size = GC_get_heap_size ();
 460 #ifndef DISABLE_PERFCOUNTERS
 461         if (mono_perfcounters) {
 462                 mono_perfcounters->gc_committed_bytes = heap_size;
 463                 mono_perfcounters->gc_reserved_bytes = heap_size;
 464                 mono_perfcounters->gc_gen0size = heap_size;
 465         }
 466 #endif
 467         mono_profiler_gc_heap_resize (new_size);
 468 }
 469
 470 void
 471 mono_gc_enable_events (void)
 472 {
 473         GC_notify_event = on_gc_notification;
 474         GC_on_heap_resize = on_gc_heap_resize;
 475 }
 476
 477 #else
 478
 479 void
 480 mono_gc_enable_events (void)
 481 {
 482 }
 483
 484 #endif
 485
 486 int
 487 mono_gc_register_root (char *start, size_t size, void *descr)
 488 {
 489         /* for some strange reason, they want one extra byte on the end */
 490         GC_add_roots (start, start + size + 1);
 491
 492         return TRUE;
 493 }
 494
 495 void
 496 mono_gc_deregister_root (char* addr)
 497 {
 498 #ifndef HOST_WIN32
 499         /* FIXME: libgc doesn't define this work win32 for some reason */
 500         /* FIXME: No size info */
 501         GC_remove_roots (addr, addr + sizeof (gpointer) + 1);
 502 #endif
 503 }
 504
 505 void
 506 mono_gc_weak_link_add (void **link_addr, MonoObject *obj, gboolean track)
 507 {
 508         /* libgc requires that we use HIDE_POINTER... */
 509         *link_addr = (void*)HIDE_POINTER (obj);
 510         if (track)
 511                 GC_REGISTER_LONG_LINK (link_addr, obj);
 512         else
 513                 GC_GENERAL_REGISTER_DISAPPEARING_LINK (link_addr, obj);
 514 }
 515
 516 void
 517 mono_gc_weak_link_remove (void **link_addr, gboolean track)
 518 {
 519         if (track)
 520                 GC_unregister_long_link (link_addr);
 521         else
 522                 GC_unregister_disappearing_link (link_addr);
 523         *link_addr = NULL;
 524 }
 525
 526 static gpointer
 527 reveal_link (gpointer link_addr)
 528 {
 529         void **link_a = link_addr;
 530         return REVEAL_POINTER (*link_a);
 531 }
 532
 533 MonoObject*
 534 mono_gc_weak_link_get (void **link_addr)
 535 {
 536         MonoObject *obj = GC_call_with_alloc_lock (reveal_link, link_addr);
 537         if (obj == (MonoObject *) -1)
 538                 return NULL;
 539         return obj;
 540 }
 541
 542 void*
 543 mono_gc_make_descr_for_string (gsize *bitmap, int numbits)
 544 {
 545         return mono_gc_make_descr_from_bitmap (bitmap, numbits);
 546 }
 547
 548 void*
 549 mono_gc_make_descr_for_object (gsize *bitmap, int numbits, size_t obj_size)
 550 {
 551         return mono_gc_make_descr_from_bitmap (bitmap, numbits);
 552 }
 553
 554 void*
 555 mono_gc_make_descr_for_array (int vector, gsize *elem_bitmap, int numbits, size_t elem_size)
 556 {
 557         /* libgc has no usable support for arrays... */
 558         return GC_NO_DESCRIPTOR;
 559 }
 560
 561 void*
 562 mono_gc_make_descr_from_bitmap (gsize *bitmap, int numbits)
 563 {
 564 #ifdef HAVE_GC_GCJ_MALLOC
 565         /* It seems there are issues when the bitmap doesn't fit: play it safe */
 566         if (numbits >= 30)
 567                 return GC_NO_DESCRIPTOR;
 568         else
 569                 return (gpointer)GC_make_descriptor ((GC_bitmap)bitmap, numbits);
 570 #else
 571         return NULL;
 572 #endif
 573 }
 574
 575 void*
 576 mono_gc_make_root_descr_all_refs (int numbits)
 577 {
 578         return NULL;
 579 }
 580
 581 void*
 582 mono_gc_alloc_fixed (size_t size, void *descr)
 583 {
 584         /* To help track down typed allocation bugs */
 585         /*
 586         static int count;
 587         count ++;
 588         if (count == atoi (g_getenv ("COUNT2")))
 589                 printf ("HIT!\n");
 590         if (count > atoi (g_getenv ("COUNT2")))
 591                 return GC_MALLOC (size);
 592         */
 593
 594         if (descr)
 595                 return GC_MALLOC_EXPLICITLY_TYPED (size, (GC_descr)descr);
 596         else
 597                 return GC_MALLOC (size);
 598 }
 599
 600 void
 601 mono_gc_free_fixed (void* addr)
 602 {
 603 }
 604
 605 int
 606 mono_gc_invoke_finalizers (void)
 607 {
 608         /* There is a bug in GC_invoke_finalizer () in versions <= 6.2alpha4:
 609          * the 'mem_freed' variable is not initialized when there are no
 610          * objects to finalize, which leads to strange behavior later on.
 611          * The check is necessary to work around that bug.
 612          */
 613         if (GC_should_invoke_finalizers ())
 614                 return GC_invoke_finalizers ();
 615         return 0;
 616 }
 617
 618 gboolean
 619 mono_gc_pending_finalizers (void)
 620 {
 621         return GC_should_invoke_finalizers ();
 622 }
 623
 624 void
 625 mono_gc_wbarrier_set_field (MonoObject *obj, gpointer field_ptr, MonoObject* value)
 626 {
 627         *(void**)field_ptr = value;
 628 }
 629
 630 void
 631 mono_gc_wbarrier_set_arrayref (MonoArray *arr, gpointer slot_ptr, MonoObject* value)
 632 {
 633         *(void**)slot_ptr = value;
 634 }
 635
 636 void
 637 mono_gc_wbarrier_arrayref_copy (gpointer dest_ptr, gpointer src_ptr, int count)
 638 {
 639         mono_gc_memmove_aligned (dest_ptr, src_ptr, count * sizeof (gpointer));
 640 }
 641
 642 void
 643 mono_gc_wbarrier_generic_store (gpointer ptr, MonoObject* value)
 644 {
 645         *(void**)ptr = value;
 646 }
 647
 648 void
 649 mono_gc_wbarrier_generic_store_atomic (gpointer ptr, MonoObject *value)
 650 {
 651         InterlockedWritePointer (ptr, value);
 652 }
 653
 654 void
 655 mono_gc_wbarrier_generic_nostore (gpointer ptr)
 656 {
 657 }
 658
 659 void
 660 mono_gc_wbarrier_value_copy (gpointer dest, gpointer src, int count, MonoClass *klass)
 661 {
 662         mono_gc_memmove_atomic (dest, src, count * mono_class_value_size (klass, NULL));
 663 }
 664
 665 void
 666 mono_gc_wbarrier_object_copy (MonoObject* obj, MonoObject *src)
 667 {
 668         /* do not copy the sync state */
 669         mono_gc_memmove_aligned ((char*)obj + sizeof (MonoObject), (char*)src + sizeof (MonoObject),
 670                         mono_object_class (obj)->instance_size - sizeof (MonoObject));
 671 }
 672
 673 void
 674 mono_gc_clear_domain (MonoDomain *domain)
 675 {
 676 }
 677
 678 int
 679 mono_gc_get_suspend_signal (void)
 680 {
 681 #ifdef USE_INCLUDED_GC
 682         return GC_get_suspend_signal ();
 683 #else
 684         return -1;
 685 #endif
 686 }
 687
 688 #if defined(USE_INCLUDED_LIBGC) && defined(USE_COMPILER_TLS) && defined(__linux__) && (defined(__i386__) || defined(__x86_64__))
 689 extern __thread MONO_TLS_FAST void* GC_thread_tls;
 690 #include "metadata-internals.h"
 691
 692 static int
 693 shift_amount (int v)
 694 {
 695         int i = 0;
 696         while (!(v & (1 << i)))
 697                 i++;
 698         return i;
 699 }
 700
 701 enum {
 702         ATYPE_FREEPTR,
 703         ATYPE_FREEPTR_FOR_BOX,
 704         ATYPE_NORMAL,
 705         ATYPE_GCJ,
 706         ATYPE_STRING,
 707         ATYPE_NUM
 708 };
 709
 710 static MonoMethod*
 711 create_allocator (int atype, int tls_key)
 712 {
 713         int index_var, bytes_var, my_fl_var, my_entry_var;
 714         guint32 no_freelist_branch, not_small_enough_branch = 0;
 715         guint32 size_overflow_branch = 0;
 716         MonoMethodBuilder *mb;
 717         MonoMethod *res;
 718         MonoMethodSignature *csig;
 719         AllocatorWrapperInfo *info;
 720
 721         if (atype == ATYPE_STRING) {
 722                 csig = mono_metadata_signature_alloc (mono_defaults.corlib, 2);
 723                 csig->ret = &mono_defaults.string_class->byval_arg;
 724                 csig->params [0] = &mono_defaults.int_class->byval_arg;
 725                 csig->params [1] = &mono_defaults.int32_class->byval_arg;
 726         } else {
 727                 csig = mono_metadata_signature_alloc (mono_defaults.corlib, 1);
 728                 csig->ret = &mono_defaults.object_class->byval_arg;
 729                 csig->params [0] = &mono_defaults.int_class->byval_arg;
 730         }
 731
 732         mb = mono_mb_new (mono_defaults.object_class, "Alloc", MONO_WRAPPER_ALLOC);
 733         bytes_var = mono_mb_add_local (mb, &mono_defaults.int32_class->byval_arg);
 734         if (atype == ATYPE_STRING) {
 735                 /* a string alloator method takes the args: (vtable, len) */
 736                 /* bytes = (sizeof (MonoString) + ((len + 1) * 2)); */
 737                 mono_mb_emit_ldarg (mb, 1);
 738                 mono_mb_emit_icon (mb, 1);
 739                 mono_mb_emit_byte (mb, MONO_CEE_ADD);
 740                 mono_mb_emit_icon (mb, 1);
 741                 mono_mb_emit_byte (mb, MONO_CEE_SHL);
 742                 // sizeof (MonoString) might include padding
 743                 mono_mb_emit_icon (mb, G_STRUCT_OFFSET (MonoString, chars));
 744                 mono_mb_emit_byte (mb, MONO_CEE_ADD);
 745                 mono_mb_emit_stloc (mb, bytes_var);
 746         } else {
 747                 /* bytes = vtable->klass->instance_size */
 748                 mono_mb_emit_ldarg (mb, 0);
 749                 mono_mb_emit_icon (mb, G_STRUCT_OFFSET (MonoVTable, klass));
 750                 mono_mb_emit_byte (mb, MONO_CEE_ADD);
 751                 mono_mb_emit_byte (mb, MONO_CEE_LDIND_I);
 752                 mono_mb_emit_icon (mb, G_STRUCT_OFFSET (MonoClass, instance_size));
 753                 mono_mb_emit_byte (mb, MONO_CEE_ADD);
 754                 /* FIXME: assert instance_size stays a 4 byte integer */
 755                 mono_mb_emit_byte (mb, MONO_CEE_LDIND_U4);
 756                 mono_mb_emit_stloc (mb, bytes_var);
 757         }
 758
 759         /* this is needed for strings/arrays only as the other big types are never allocated with this method */
 760         if (atype == ATYPE_STRING) {
 761                 /* check for size */
 762                 /* if (!SMALL_ENOUGH (bytes)) jump slow_path;*/
 763                 mono_mb_emit_ldloc (mb, bytes_var);
 764                 mono_mb_emit_icon (mb, (NFREELISTS-1) * GRANULARITY);
 765                 not_small_enough_branch = mono_mb_emit_short_branch (mb, MONO_CEE_BGT_UN_S);
 766                 /* check for overflow */
 767                 mono_mb_emit_ldloc (mb, bytes_var);
 768                 mono_mb_emit_icon (mb, sizeof (MonoString));
 769                 size_overflow_branch = mono_mb_emit_short_branch (mb, MONO_CEE_BLE_UN_S);
 770         }
 771
 772         /* int index = INDEX_FROM_BYTES(bytes); */
 773         index_var = mono_mb_add_local (mb, &mono_defaults.int32_class->byval_arg);
 774
 775         mono_mb_emit_ldloc (mb, bytes_var);
 776         mono_mb_emit_icon (mb, GRANULARITY - 1);
 777         mono_mb_emit_byte (mb, MONO_CEE_ADD);
 778         mono_mb_emit_icon (mb, shift_amount (GRANULARITY));
 779         mono_mb_emit_byte (mb, MONO_CEE_SHR_UN);
 780         mono_mb_emit_icon (mb, shift_amount (sizeof (gpointer)));
 781         mono_mb_emit_byte (mb, MONO_CEE_SHL);
 782         /* index var is already adjusted into bytes */
 783         mono_mb_emit_stloc (mb, index_var);
 784
 785         my_fl_var = mono_mb_add_local (mb, &mono_defaults.int_class->byval_arg);
 786         my_entry_var = mono_mb_add_local (mb, &mono_defaults.int_class->byval_arg);
 787         /* my_fl = ((GC_thread)tsd) -> ptrfree_freelists + index; */
 788         mono_mb_emit_byte (mb, MONO_CUSTOM_PREFIX);
 789         mono_mb_emit_byte (mb, 0x0D); /* CEE_MONO_TLS */
 790         mono_mb_emit_i4 (mb, tls_key);
 791         if (atype == ATYPE_FREEPTR || atype == ATYPE_FREEPTR_FOR_BOX || atype == ATYPE_STRING)
 792                 mono_mb_emit_icon (mb, G_STRUCT_OFFSET (struct GC_Thread_Rep, ptrfree_freelists));
 793         else if (atype == ATYPE_NORMAL)
 794                 mono_mb_emit_icon (mb, G_STRUCT_OFFSET (struct GC_Thread_Rep, normal_freelists));
 795         else if (atype == ATYPE_GCJ)
 796                 mono_mb_emit_icon (mb, G_STRUCT_OFFSET (struct GC_Thread_Rep, gcj_freelists));
 797         else
 798                 g_assert_not_reached ();
 799         mono_mb_emit_byte (mb, MONO_CEE_ADD);
 800         mono_mb_emit_ldloc (mb, index_var);
 801         mono_mb_emit_byte (mb, MONO_CEE_ADD);
 802         mono_mb_emit_stloc (mb, my_fl_var);
 803
 804         /* my_entry = *my_fl; */
 805         mono_mb_emit_ldloc (mb, my_fl_var);
 806         mono_mb_emit_byte (mb, MONO_CEE_LDIND_I);
 807         mono_mb_emit_stloc (mb, my_entry_var);
 808
 809         /* if (EXPECT((word)my_entry >= HBLKSIZE, 1)) { */
 810         mono_mb_emit_ldloc (mb, my_entry_var);
 811         mono_mb_emit_icon (mb, HBLKSIZE);
 812         no_freelist_branch = mono_mb_emit_short_branch (mb, MONO_CEE_BLT_UN_S);
 813
 814         /* ptr_t next = obj_link(my_entry); *my_fl = next; */
 815         mono_mb_emit_ldloc (mb, my_fl_var);
 816         mono_mb_emit_ldloc (mb, my_entry_var);
 817         mono_mb_emit_byte (mb, MONO_CEE_LDIND_I);
 818         mono_mb_emit_byte (mb, MONO_CEE_STIND_I);
 819
 820         /* set the vtable and clear the words in the object */
 821         mono_mb_emit_ldloc (mb, my_entry_var);
 822         mono_mb_emit_ldarg (mb, 0);
 823         mono_mb_emit_byte (mb, MONO_CEE_STIND_I);
 824
 825         if (atype == ATYPE_FREEPTR) {
 826                 int start_var, end_var, start_loop;
 827                 /* end = my_entry + bytes; start = my_entry + sizeof (gpointer);
 828                  */
 829                 start_var = mono_mb_add_local (mb, &mono_defaults.int_class->byval_arg);
 830                 end_var = mono_mb_add_local (mb, &mono_defaults.int_class->byval_arg);
 831                 mono_mb_emit_ldloc (mb, my_entry_var);
 832                 mono_mb_emit_ldloc (mb, bytes_var);
 833                 mono_mb_emit_byte (mb, MONO_CEE_ADD);
 834                 mono_mb_emit_stloc (mb, end_var);
 835                 mono_mb_emit_ldloc (mb, my_entry_var);
 836                 mono_mb_emit_icon (mb, G_STRUCT_OFFSET (MonoObject, synchronisation));
 837                 mono_mb_emit_byte (mb, MONO_CEE_ADD);
 838                 mono_mb_emit_stloc (mb, start_var);
 839                 /*
 840                  * do {
 841                  *      *start++ = NULL;
 842                  * } while (start < end);
 843                  */
 844                 start_loop = mono_mb_get_label (mb);
 845                 mono_mb_emit_ldloc (mb, start_var);
 846                 mono_mb_emit_icon (mb, 0);
 847                 mono_mb_emit_byte (mb, MONO_CEE_STIND_I);
 848                 mono_mb_emit_ldloc (mb, start_var);
 849                 mono_mb_emit_icon (mb, sizeof (gpointer));
 850                 mono_mb_emit_byte (mb, MONO_CEE_ADD);
 851                 mono_mb_emit_stloc (mb, start_var);
 852
 853                 mono_mb_emit_ldloc (mb, start_var);
 854                 mono_mb_emit_ldloc (mb, end_var);
 855                 mono_mb_emit_byte (mb, MONO_CEE_BLT_UN_S);
 856                 mono_mb_emit_byte (mb, start_loop - (mono_mb_get_label (mb) + 1));
 857         } else if (atype == ATYPE_FREEPTR_FOR_BOX || atype == ATYPE_STRING) {
 858                 /* need to clear just the sync pointer */
 859                 mono_mb_emit_ldloc (mb, my_entry_var);
 860                 mono_mb_emit_icon (mb, G_STRUCT_OFFSET (MonoObject, synchronisation));
 861                 mono_mb_emit_byte (mb, MONO_CEE_ADD);
 862                 mono_mb_emit_icon (mb, 0);
 863                 mono_mb_emit_byte (mb, MONO_CEE_STIND_I);
 864         }
 865
 866         if (atype == ATYPE_STRING) {
 867                 /* need to set length and clear the last char */
 868                 /* s->length = len; */
 869                 mono_mb_emit_ldloc (mb, my_entry_var);
 870                 mono_mb_emit_icon (mb, G_STRUCT_OFFSET (MonoString, length));
 871                 mono_mb_emit_byte (mb, MONO_CEE_ADD);
 872                 mono_mb_emit_ldarg (mb, 1);
 873                 mono_mb_emit_byte (mb, MONO_CEE_STIND_I4);
 874                 /* s->chars [len] = 0; */
 875                 mono_mb_emit_ldloc (mb, my_entry_var);
 876                 mono_mb_emit_ldloc (mb, bytes_var);
 877                 mono_mb_emit_icon (mb, 2);
 878                 mono_mb_emit_byte (mb, MONO_CEE_SUB);
 879                 mono_mb_emit_byte (mb, MONO_CEE_ADD);
 880                 mono_mb_emit_icon (mb, 0);
 881                 mono_mb_emit_byte (mb, MONO_CEE_STIND_I2);
 882         }
 883
 884         /* return my_entry; */
 885         mono_mb_emit_ldloc (mb, my_entry_var);
 886         mono_mb_emit_byte (mb, MONO_CEE_RET);
 887
 888         mono_mb_patch_short_branch (mb, no_freelist_branch);
 889         if (not_small_enough_branch > 0)
 890                 mono_mb_patch_short_branch (mb, not_small_enough_branch);
 891         if (size_overflow_branch > 0)
 892                 mono_mb_patch_short_branch (mb, size_overflow_branch);
 893         /* the slow path: we just call back into the runtime */
 894         if (atype == ATYPE_STRING) {
 895                 mono_mb_emit_ldarg (mb, 1);
 896                 mono_mb_emit_icall (mb, mono_string_alloc);
 897         } else {
 898                 mono_mb_emit_ldarg (mb, 0);
 899                 mono_mb_emit_icall (mb, mono_object_new_specific);
 900         }
 901
 902         mono_mb_emit_byte (mb, MONO_CEE_RET);
 903
 904         res = mono_mb_create_method (mb, csig, 8);
 905         mono_mb_free (mb);
 906         mono_method_get_header (res)->init_locals = FALSE;
 907
 908         info = mono_image_alloc0 (mono_defaults.corlib, sizeof (AllocatorWrapperInfo));
 909         info->gc_name = "boehm";
 910         info->alloc_type = atype;
 911         mono_marshal_set_wrapper_info (res, info);
 912
 913         return res;
 914 }
 915
 916 static MonoMethod* alloc_method_cache [ATYPE_NUM];
 917
 918 static G_GNUC_UNUSED gboolean
 919 mono_gc_is_critical_method (MonoMethod *method)
 920 {
 921         int i;
 922
 923         for (i = 0; i < ATYPE_NUM; ++i)
 924                 if (method == alloc_method_cache [i])
 925                         return TRUE;
 926
 927         return FALSE;
 928 }
 929
 930 /*
 931  * If possible, generate a managed method that can quickly allocate objects in class
 932  * @klass. The method will typically have an thread-local inline allocation sequence.
 933  * The signature of the called method is:
 934  *      object allocate (MonoVTable *vtable)
 935  * Some of the logic here is similar to mono_class_get_allocation_ftn () i object.c,
 936  * keep in sync.
 937  * The thread local alloc logic is taken from libgc/pthread_support.c.
 938  */
 939
 940 MonoMethod*
 941 mono_gc_get_managed_allocator (MonoClass *klass, gboolean for_box)
 942 {
 943         int offset = -1;
 944         int atype;
 945         MONO_THREAD_VAR_OFFSET (GC_thread_tls, offset);
 946
 947         /*g_print ("thread tls: %d\n", offset);*/
 948         if (offset == -1)
 949                 return NULL;
 950         if (!SMALL_ENOUGH (klass->instance_size))
 951                 return NULL;
 952         if (mono_class_has_finalizer (klass) || mono_class_is_marshalbyref (klass) || (mono_profiler_get_events () & MONO_PROFILE_ALLOCATIONS))
 953                 return NULL;
 954         if (klass->rank)
 955                 return NULL;
 956         if (mono_class_is_open_constructed_type (&klass->byval_arg))
 957                 return NULL;
 958         if (klass->byval_arg.type == MONO_TYPE_STRING) {
 959                 atype = ATYPE_STRING;
 960         } else if (!klass->has_references) {
 961                 if (for_box)
 962                         atype = ATYPE_FREEPTR_FOR_BOX;
 963                 else
 964                         atype = ATYPE_FREEPTR;
 965         } else {
 966                 return NULL;
 967                 /*
 968                  * disabled because we currently do a runtime choice anyway, to
 969                  * deal with multiple appdomains.
 970                 if (vtable->gc_descr != GC_NO_DESCRIPTOR)
 971                         atype = ATYPE_GCJ;
 972                 else
 973                         atype = ATYPE_NORMAL;
 974                 */
 975         }
 976         return mono_gc_get_managed_allocator_by_type (atype);
 977 }
 978
 979 MonoMethod*
 980 mono_gc_get_managed_array_allocator (MonoClass *klass)
 981 {
 982         return NULL;
 983 }
 984
 985 /**
 986  * mono_gc_get_managed_allocator_by_type:
 987  *
 988  *   Return a managed allocator method corresponding to allocator type ATYPE.
 989  */
 990 MonoMethod*
 991 mono_gc_get_managed_allocator_by_type (int atype)
 992 {
 993         int offset = -1;
 994         MonoMethod *res;
 995         MONO_THREAD_VAR_OFFSET (GC_thread_tls, offset);
 996
 997         mono_tls_key_set_offset (TLS_KEY_BOEHM_GC_THREAD, offset);
 998
 999         res = alloc_method_cache [atype];
1000         if (res)
1001                 return res;
1002
1003         res = create_allocator (atype, TLS_KEY_BOEHM_GC_THREAD);
1004         mono_mutex_lock (&mono_gc_lock);
1005         if (alloc_method_cache [atype]) {
1006                 mono_free_method (res);
1007                 res = alloc_method_cache [atype];
1008         } else {
1009                 mono_memory_barrier ();
1010                 alloc_method_cache [atype] = res;
1011         }
1012         mono_mutex_unlock (&mono_gc_lock);
1013         return res;
1014 }
1015
1016 guint32
1017 mono_gc_get_managed_allocator_types (void)
1018 {
1019         return ATYPE_NUM;
1020 }
1021
1022 MonoMethod*
1023 mono_gc_get_write_barrier (void)
1024 {
1025         g_assert_not_reached ();
1026         return NULL;
1027 }
1028
1029 #else
1030
1031 static G_GNUC_UNUSED gboolean
1032 mono_gc_is_critical_method (MonoMethod *method)
1033 {
1034         return FALSE;
1035 }
1036
1037 MonoMethod*
1038 mono_gc_get_managed_allocator (MonoClass *klass, gboolean for_box)
1039 {
1040         return NULL;
1041 }
1042
1043 MonoMethod*
1044 mono_gc_get_managed_array_allocator (MonoClass *klass)
1045 {
1046         return NULL;
1047 }
1048
1049 MonoMethod*
1050 mono_gc_get_managed_allocator_by_type (int atype)
1051 {
1052         return NULL;
1053 }
1054
1055 guint32
1056 mono_gc_get_managed_allocator_types (void)
1057 {
1058         return 0;
1059 }
1060
1061 MonoMethod*
1062 mono_gc_get_write_barrier (void)
1063 {
1064         g_assert_not_reached ();
1065         return NULL;
1066 }
1067
1068 #endif
1069
1070 const char *
1071 mono_gc_get_gc_name (void)
1072 {
1073         return "boehm";
1074 }
1075
1076 void*
1077 mono_gc_invoke_with_gc_lock (MonoGCLockedCallbackFunc func, void *data)
1078 {
1079         return GC_call_with_alloc_lock (func, data);
1080 }
1081
1082 char*
1083 mono_gc_get_description (void)
1084 {
1085         return g_strdup (DEFAULT_GC_NAME);
1086 }
1087
1088 void
1089 mono_gc_set_desktop_mode (void)
1090 {
1091         GC_dont_expand = 1;
1092 }
1093
1094 gboolean
1095 mono_gc_is_moving (void)
1096 {
1097         return FALSE;
1098 }
1099
1100 gboolean
1101 mono_gc_is_disabled (void)
1102 {
1103         if (GC_dont_gc || g_getenv ("GC_DONT_GC"))
1104                 return TRUE;
1105         else
1106                 return FALSE;
1107 }
1108
1109 void
1110 mono_gc_wbarrier_value_copy_bitmap (gpointer _dest, gpointer _src, int size, unsigned bitmap)
1111 {
1112         g_assert_not_reached ();
1113 }
1114
1115
1116 guint8*
1117 mono_gc_get_card_table (int *shift_bits, gpointer *card_mask)
1118 {
1119         g_assert_not_reached ();
1120         return NULL;
1121 }
1122
1123 gboolean
1124 mono_gc_card_table_nursery_check (void)
1125 {
1126         g_assert_not_reached ();
1127         return TRUE;
1128 }
1129
1130 void*
1131 mono_gc_get_nursery (int *shift_bits, size_t *size)
1132 {
1133         return NULL;
1134 }
1135
1136 void
1137 mono_gc_set_current_thread_appdomain (MonoDomain *domain)
1138 {
1139 }
1140
1141 gboolean
1142 mono_gc_precise_stack_mark_enabled (void)
1143 {
1144         return FALSE;
1145 }
1146
1147 FILE *
1148 mono_gc_get_logfile (void)
1149 {
1150         return NULL;
1151 }
1152
1153 void
1154 mono_gc_conservatively_scan_area (void *start, void *end)
1155 {
1156         g_assert_not_reached ();
1157 }
1158
1159 void *
1160 mono_gc_scan_object (void *obj)
1161 {
1162         g_assert_not_reached ();
1163         return NULL;
1164 }
1165
1166 gsize*
1167 mono_gc_get_bitmap_for_descr (void *descr, int *numbits)
1168 {
1169         g_assert_not_reached ();
1170         return NULL;
1171 }
1172
1173 void
1174 mono_gc_set_gc_callbacks (MonoGCCallbacks *callbacks)
1175 {
1176 }
1177
1178 void
1179 mono_gc_set_stack_end (void *stack_end)
1180 {
1181 }
1182
1183 void mono_gc_set_skip_thread (gboolean value)
1184 {
1185 }
1186
1187 void
1188 mono_gc_register_for_finalization (MonoObject *obj, void *user_data)
1189 {
1190         guint offset = 0;
1191
1192 #ifndef GC_DEBUG
1193         /* This assertion is not valid when GC_DEBUG is defined */
1194         g_assert (GC_base (obj) == (char*)obj - offset);
1195 #endif
1196
1197         GC_REGISTER_FINALIZER_NO_ORDER ((char*)obj - offset, user_data, GUINT_TO_POINTER (offset), NULL, NULL);
1198 }
1199
1200 /*
1201  * These will call the redefined versions in libgc.
1202  */
1203
1204 #ifndef HOST_WIN32
1205
1206 int
1207 mono_gc_pthread_create (pthread_t *new_thread, const pthread_attr_t *attr, void *(*start_routine)(void *), void *arg)
1208 {
1209         return pthread_create (new_thread, attr, start_routine, arg);
1210 }
1211
1212 int
1213 mono_gc_pthread_join (pthread_t thread, void **retval)
1214 {
1215         return pthread_join (thread, retval);
1216 }
1217
1218 int
1219 mono_gc_pthread_detach (pthread_t thread)
1220 {
1221         return pthread_detach (thread);
1222 }
1223
1224 void
1225 mono_gc_pthread_exit (void *retval)
1226 {
1227         pthread_exit (retval);
1228 }
1229
1230 #endif
1231
1232 #ifdef HOST_WIN32
1233 BOOL APIENTRY mono_gc_dllmain (HMODULE module_handle, DWORD reason, LPVOID reserved)
1234 {
1235 #ifdef USE_INCLUDED_LIBGC
1236         return GC_DllMain (module_handle, reason, reserved);
1237 #else
1238         return TRUE;
1239 #endif
1240 }
1241 #endif
1242
1243 guint
1244 mono_gc_get_vtable_bits (MonoClass *class)
1245 {
1246         return 0;
1247 }
1248
1249 /*
1250  * mono_gc_register_altstack:
1251  *
1252  *   Register the dimensions of the normal stack and altstack with the collector.
1253  * Currently, STACK/STACK_SIZE is only used when the thread is suspended while it is on an altstack.
1254  */
1255 void
1256 mono_gc_register_altstack (gpointer stack, gint32 stack_size, gpointer altstack, gint32 altstack_size)
1257 {
1258 #ifdef USE_INCLUDED_LIBGC
1259         GC_register_altstack (stack, stack_size, altstack, altstack_size);
1260 #endif
1261 }
1262
1263 int
1264 mono_gc_get_los_limit (void)
1265 {
1266         return G_MAXINT;
1267 }
1268
1269 gboolean
1270 mono_gc_user_markers_supported (void)
1271 {
1272         return FALSE;
1273 }
1274
1275 void *
1276 mono_gc_make_root_descr_user (MonoGCRootMarkFunc marker)
1277 {
1278         g_assert_not_reached ();
1279         return NULL;
1280 }
1281
1282 gboolean
1283 mono_gc_set_allow_synchronous_major (gboolean flag)
1284 {
1285         return flag;
1286 }
1287
1288 #endif /* no Boehm GC */