mono/metadata/boehm-gc.c

   1 /*
   2  * boehm-gc.c: GC implementation using either the installed or included Boehm GC.
   3  *
   4  * Copyright 2001-2003 Ximian, Inc (http://www.ximian.com)
   5  * Copyright 2004-2009 Novell, Inc (http://www.novell.com)
   6  */
   7
   8 #include "config.h"
   9
  10 #include <string.h>
  11
  12 #define GC_I_HIDE_POINTERS
  13 #include <mono/metadata/gc-internal.h>
  14 #include <mono/metadata/mono-gc.h>
  15 #include <mono/metadata/gc-internal.h>
  16 #include <mono/metadata/profiler-private.h>
  17 #include <mono/metadata/class-internals.h>
  18 #include <mono/metadata/method-builder.h>
  19 #include <mono/metadata/opcodes.h>
  20 #include <mono/metadata/domain-internals.h>
  21 #include <mono/metadata/metadata-internals.h>
  22 #include <mono/metadata/marshal.h>
  23 #include <mono/utils/mono-logger-internal.h>
  24 #include <mono/utils/mono-time.h>
  25 #include <mono/utils/dtrace.h>
  26 #include <mono/utils/gc_wrapper.h>
  27
  28 #if HAVE_BOEHM_GC
  29
  30 #ifdef USE_INCLUDED_LIBGC
  31 #undef TRUE
  32 #undef FALSE
  33 #define THREAD_LOCAL_ALLOC 1
  34 #include "private/pthread_support.h"
  35 #endif
  36
  37 #define GC_NO_DESCRIPTOR ((gpointer)(0 | GC_DS_LENGTH))
  38 /*Boehm max heap cannot be smaller than 16MB*/
  39 #define MIN_BOEHM_MAX_HEAP_SIZE_IN_MB 16
  40 #define MIN_BOEHM_MAX_HEAP_SIZE (MIN_BOEHM_MAX_HEAP_SIZE_IN_MB << 20)
  41
  42 static gboolean gc_initialized = FALSE;
  43
  44 static void
  45 mono_gc_warning (char *msg, GC_word arg)
  46 {
  47         mono_trace (G_LOG_LEVEL_WARNING, MONO_TRACE_GC, msg, (unsigned long)arg);
  48 }
  49
  50 void
  51 mono_gc_base_init (void)
  52 {
  53         char *env;
  54
  55         if (gc_initialized)
  56                 return;
  57
  58         /*
  59          * Handle the case when we are called from a thread different from the main thread,
  60          * confusing libgc.
  61          * FIXME: Move this to libgc where it belongs.
  62          *
  63          * we used to do this only when running on valgrind,
  64          * but it happens also in other setups.
  65          */
  66 #if defined(HAVE_PTHREAD_GETATTR_NP) && defined(HAVE_PTHREAD_ATTR_GETSTACK)
  67         {
  68                 size_t size;
  69                 void *sstart;
  70                 pthread_attr_t attr;
  71                 pthread_getattr_np (pthread_self (), &attr);
  72                 pthread_attr_getstack (&attr, &sstart, &size);
  73                 pthread_attr_destroy (&attr);
  74                 /*g_print ("stackbottom pth is: %p\n", (char*)sstart + size);*/
  75 #ifdef __ia64__
  76                 /*
  77                  * The calculation above doesn't seem to work on ia64, also we need to set
  78                  * GC_register_stackbottom as well, but don't know how.
  79                  */
  80 #else
  81                 /* apparently with some linuxthreads implementations sstart can be NULL,
  82                  * fallback to the more imprecise method (bug# 78096).
  83                  */
  84                 if (sstart) {
  85                         GC_stackbottom = (char*)sstart + size;
  86                 } else {
  87                         int dummy;
  88                         gsize stack_bottom = (gsize)&dummy;
  89                         stack_bottom += 4095;
  90                         stack_bottom &= ~4095;
  91                         GC_stackbottom = (char*)stack_bottom;
  92                 }
  93 #endif
  94         }
  95 #elif defined(HAVE_PTHREAD_GET_STACKSIZE_NP) && defined(HAVE_PTHREAD_GET_STACKADDR_NP)
  96                 GC_stackbottom = (char*)pthread_get_stackaddr_np (pthread_self ());
  97 #elif defined(__OpenBSD__)
  98 #  include <pthread_np.h>
  99         {
 100                 stack_t ss;
 101                 int rslt;
 102
 103                 rslt = pthread_stackseg_np(pthread_self(), &ss);
 104                 g_assert (rslt == 0);
 105
 106                 GC_stackbottom = (char*)ss.ss_sp;
 107         }
 108 #else
 109         {
 110                 int dummy;
 111                 gsize stack_bottom = (gsize)&dummy;
 112                 stack_bottom += 4095;
 113                 stack_bottom &= ~4095;
 114                 /*g_print ("stackbottom is: %p\n", (char*)stack_bottom);*/
 115                 GC_stackbottom = (char*)stack_bottom;
 116         }
 117 #endif
 118
 119 #if !defined(PLATFORM_ANDROID)
 120         /* If GC_no_dls is set to true, GC_find_limit is not called. This causes a seg fault on Android. */
 121         GC_no_dls = TRUE;
 122 #endif
 123         GC_init ();
 124         GC_oom_fn = mono_gc_out_of_memory;
 125         GC_set_warn_proc (mono_gc_warning);
 126         GC_finalize_on_demand = 1;
 127         GC_finalizer_notifier = mono_gc_finalize_notify;
 128
 129 #ifdef HAVE_GC_GCJ_MALLOC
 130         GC_init_gcj_malloc (5, NULL);
 131 #endif
 132
 133         if ((env = getenv ("MONO_GC_PARAMS"))) {
 134                 char **ptr, **opts = g_strsplit (env, ",", -1);
 135                 for (ptr = opts; *ptr; ++ptr) {
 136                         char *opt = *ptr;
 137                         if (g_str_has_prefix (opt, "max-heap-size=")) {
 138                                 glong max_heap;
 139
 140                                 opt = strchr (opt, '=') + 1;
 141                                 if (*opt && mono_gc_parse_environment_string_extract_number (opt, &max_heap)) {
 142                                         if (max_heap < MIN_BOEHM_MAX_HEAP_SIZE) {
 143                                                 fprintf (stderr, "max-heap-size must be at least %dMb.\n", MIN_BOEHM_MAX_HEAP_SIZE_IN_MB);
 144                                                 exit (1);
 145                                         }
 146                                         GC_set_max_heap_size (max_heap);
 147                                 } else {
 148                                         fprintf (stderr, "max-heap-size must be an integer.\n");
 149                                         exit (1);
 150                                 }
 151                                 continue;
 152                         } else {
 153                                 fprintf (stderr, "MONO_GC_PARAMS must be a comma-delimited list of one or more of the following:\n");
 154                                 fprintf (stderr, "  max-heap-size=N (where N is an integer, possibly with a k, m or a g suffix)\n");
 155                                 exit (1);
 156                         }
 157                 }
 158                 g_strfreev (opts);
 159         }
 160
 161         mono_gc_enable_events ();
 162         gc_initialized = TRUE;
 163 }
 164
 165 /**
 166  * mono_gc_collect:
 167  * @generation: GC generation identifier
 168  *
 169  * Perform a garbage collection for the given generation, higher numbers
 170  * mean usually older objects. Collecting a high-numbered generation
 171  * implies collecting also the lower-numbered generations.
 172  * The maximum value for @generation can be retrieved with a call to
 173  * mono_gc_max_generation(), so this function is usually called as:
 174  *
 175  *      mono_gc_collect (mono_gc_max_generation ());
 176  */
 177 void
 178 mono_gc_collect (int generation)
 179 {
 180         MONO_PROBE_GC_BEGIN (generation);
 181
 182         mono_perfcounters->gc_induced++;
 183         GC_gcollect ();
 184
 185         MONO_PROBE_GC_END (generation);
 186 #if defined(ENABLE_DTRACE) && defined(__sun__)
 187         /* This works around a dtrace -G problem on Solaris.
 188            Limit its actual use to when the probe is enabled. */
 189         if (MONO_PROBE_GC_END_ENABLED ())
 190                 sleep(0);
 191 #endif
 192 }
 193
 194 /**
 195  * mono_gc_max_generation:
 196  *
 197  * Get the maximum generation number used by the current garbage
 198  * collector. The value will be 0 for the Boehm collector, 1 or more
 199  * for the generational collectors.
 200  *
 201  * Returns: the maximum generation number.
 202  */
 203 int
 204 mono_gc_max_generation (void)
 205 {
 206         return 0;
 207 }
 208
 209 /**
 210  * mono_gc_get_generation:
 211  * @object: a managed object
 212  *
 213  * Get the garbage collector's generation that @object belongs to.
 214  * Use this has a hint only.
 215  *
 216  * Returns: a garbage collector generation number
 217  */
 218 int
 219 mono_gc_get_generation  (MonoObject *object)
 220 {
 221         return 0;
 222 }
 223
 224 /**
 225  * mono_gc_collection_count:
 226  * @generation: a GC generation number
 227  *
 228  * Get how many times a garbage collection has been performed
 229  * for the given @generation number.
 230  *
 231  * Returns: the number of garbage collections
 232  */
 233 int
 234 mono_gc_collection_count (int generation)
 235 {
 236         return GC_gc_no;
 237 }
 238
 239 /**
 240  * mono_gc_add_memory_pressure:
 241  * @value: amount of bytes
 242  *
 243  * Adjust the garbage collector's view of how many bytes of memory
 244  * are indirectly referenced by managed objects (for example unmanaged
 245  * memory holding image or other binary data).
 246  * This is a hint only to the garbage collector algorithm.
 247  * Note that negative amounts of @value will decrease the memory
 248  * pressure.
 249  */
 250 void
 251 mono_gc_add_memory_pressure (gint64 value)
 252 {
 253 }
 254
 255 /**
 256  * mono_gc_get_used_size:
 257  *
 258  * Get the approximate amount of memory used by managed objects.
 259  *
 260  * Returns: the amount of memory used in bytes
 261  */
 262 int64_t
 263 mono_gc_get_used_size (void)
 264 {
 265         return GC_get_heap_size () - GC_get_free_bytes ();
 266 }
 267
 268 /**
 269  * mono_gc_get_heap_size:
 270  *
 271  * Get the amount of memory used by the garbage collector.
 272  *
 273  * Returns: the size of the heap in bytes
 274  */
 275 int64_t
 276 mono_gc_get_heap_size (void)
 277 {
 278         return GC_get_heap_size ();
 279 }
 280
 281 void
 282 mono_gc_disable (void)
 283 {
 284 #ifdef HAVE_GC_ENABLE
 285         GC_disable ();
 286 #else
 287         g_assert_not_reached ();
 288 #endif
 289 }
 290
 291 void
 292 mono_gc_enable (void)
 293 {
 294 #ifdef HAVE_GC_ENABLE
 295         GC_enable ();
 296 #else
 297         g_assert_not_reached ();
 298 #endif
 299 }
 300
 301 gboolean
 302 mono_gc_is_gc_thread (void)
 303 {
 304 #if GC_VERSION_MAJOR >= 7
 305         return TRUE;
 306 #elif defined(USE_INCLUDED_LIBGC)
 307         return GC_thread_is_registered ();
 308 #else
 309         return TRUE;
 310 #endif
 311 }
 312
 313 extern int GC_thread_register_foreign (void *base_addr);
 314
 315 gboolean
 316 mono_gc_register_thread (void *baseptr)
 317 {
 318 #if GC_VERSION_MAJOR >= 7
 319         struct GC_stack_base sb;
 320         int res;
 321
 322         res = GC_get_stack_base (&sb);
 323         if (res != GC_SUCCESS) {
 324                 sb.mem_base = baseptr;
 325 #ifdef __ia64__
 326                 /* Can't determine the register stack bounds */
 327                 g_error ("mono_gc_register_thread failed ().\n");
 328 #endif
 329         }
 330         res = GC_register_my_thread (&sb);
 331         if ((res != GC_SUCCESS) && (res != GC_DUPLICATE)) {
 332                 g_warning ("GC_register_my_thread () failed.\n");
 333                 return FALSE;
 334         }
 335         return TRUE;
 336 #else
 337         if (mono_gc_is_gc_thread())
 338                 return TRUE;
 339 #if defined(USE_INCLUDED_LIBGC) && !defined(HOST_WIN32)
 340         return GC_thread_register_foreign (baseptr);
 341 #else
 342         return FALSE;
 343 #endif
 344 #endif
 345 }
 346
 347 gboolean
 348 mono_object_is_alive (MonoObject* o)
 349 {
 350 #ifdef USE_INCLUDED_LIBGC
 351         return GC_is_marked ((gpointer)o);
 352 #else
 353         return TRUE;
 354 #endif
 355 }
 356
 357 int
 358 mono_gc_walk_heap (int flags, MonoGCReferences callback, void *data)
 359 {
 360         return 1;
 361 }
 362
 363 #ifdef USE_INCLUDED_LIBGC
 364
 365 static gint64 gc_start_time;
 366
 367 static void
 368 on_gc_notification (GCEventType event)
 369 {
 370         if (event == MONO_GC_EVENT_START) {
 371                 mono_perfcounters->gc_collections0++;
 372                 mono_stats.major_gc_count ++;
 373                 gc_start_time = mono_100ns_ticks ();
 374         } else if (event == MONO_GC_EVENT_END) {
 375                 guint64 heap_size = GC_get_heap_size ();
 376                 guint64 used_size = heap_size - GC_get_free_bytes ();
 377                 mono_perfcounters->gc_total_bytes = used_size;
 378                 mono_perfcounters->gc_committed_bytes = heap_size;
 379                 mono_perfcounters->gc_reserved_bytes = heap_size;
 380                 mono_perfcounters->gc_gen0size = heap_size;
 381                 mono_stats.major_gc_time_usecs += (mono_100ns_ticks () - gc_start_time) / 10;
 382                 mono_trace_message (MONO_TRACE_GC, "gc took %d usecs", (mono_100ns_ticks () - gc_start_time) / 10);
 383         }
 384         mono_profiler_gc_event ((MonoGCEvent) event, 0);
 385 }
 386
 387 static void
 388 on_gc_heap_resize (size_t new_size)
 389 {
 390         guint64 heap_size = GC_get_heap_size ();
 391         mono_perfcounters->gc_committed_bytes = heap_size;
 392         mono_perfcounters->gc_reserved_bytes = heap_size;
 393         mono_perfcounters->gc_gen0size = heap_size;
 394         mono_profiler_gc_heap_resize (new_size);
 395 }
 396
 397 void
 398 mono_gc_enable_events (void)
 399 {
 400         GC_notify_event = on_gc_notification;
 401         GC_on_heap_resize = on_gc_heap_resize;
 402 }
 403
 404 #else
 405
 406 void
 407 mono_gc_enable_events (void)
 408 {
 409 }
 410
 411 #endif
 412
 413 int
 414 mono_gc_register_root (char *start, size_t size, void *descr)
 415 {
 416         /* for some strange reason, they want one extra byte on the end */
 417         GC_add_roots (start, start + size + 1);
 418
 419         return TRUE;
 420 }
 421
 422 void
 423 mono_gc_deregister_root (char* addr)
 424 {
 425 #ifndef HOST_WIN32
 426         /* FIXME: libgc doesn't define this work win32 for some reason */
 427         /* FIXME: No size info */
 428         GC_remove_roots (addr, addr + sizeof (gpointer) + 1);
 429 #endif
 430 }
 431
 432 void
 433 mono_gc_weak_link_add (void **link_addr, MonoObject *obj, gboolean track)
 434 {
 435         /* libgc requires that we use HIDE_POINTER... */
 436         *link_addr = (void*)HIDE_POINTER (obj);
 437         GC_GENERAL_REGISTER_DISAPPEARING_LINK (link_addr, obj);
 438 }
 439
 440 void
 441 mono_gc_weak_link_remove (void **link_addr)
 442 {
 443         GC_unregister_disappearing_link (link_addr);
 444         *link_addr = NULL;
 445 }
 446
 447 static gpointer
 448 reveal_link (gpointer link_addr)
 449 {
 450         void **link_a = link_addr;
 451         return REVEAL_POINTER (*link_a);
 452 }
 453
 454 MonoObject*
 455 mono_gc_weak_link_get (void **link_addr)
 456 {
 457         MonoObject *obj = GC_call_with_alloc_lock (reveal_link, link_addr);
 458         if (obj == (MonoObject *) -1)
 459                 return NULL;
 460         return obj;
 461 }
 462
 463 void*
 464 mono_gc_make_descr_for_string (gsize *bitmap, int numbits)
 465 {
 466         return mono_gc_make_descr_from_bitmap (bitmap, numbits);
 467 }
 468
 469 void*
 470 mono_gc_make_descr_for_object (gsize *bitmap, int numbits, size_t obj_size)
 471 {
 472         return mono_gc_make_descr_from_bitmap (bitmap, numbits);
 473 }
 474
 475 void*
 476 mono_gc_make_descr_for_array (int vector, gsize *elem_bitmap, int numbits, size_t elem_size)
 477 {
 478         /* libgc has no usable support for arrays... */
 479         return GC_NO_DESCRIPTOR;
 480 }
 481
 482 void*
 483 mono_gc_make_descr_from_bitmap (gsize *bitmap, int numbits)
 484 {
 485 #ifdef HAVE_GC_GCJ_MALLOC
 486         /* It seems there are issues when the bitmap doesn't fit: play it safe */
 487         if (numbits >= 30)
 488                 return GC_NO_DESCRIPTOR;
 489         else
 490                 return (gpointer)GC_make_descriptor ((GC_bitmap)bitmap, numbits);
 491 #else
 492         return NULL;
 493 #endif
 494 }
 495
 496 void*
 497 mono_gc_make_root_descr_all_refs (int numbits)
 498 {
 499         return NULL;
 500 }
 501
 502 void*
 503 mono_gc_alloc_fixed (size_t size, void *descr)
 504 {
 505         /* To help track down typed allocation bugs */
 506         /*
 507         static int count;
 508         count ++;
 509         if (count == atoi (getenv ("COUNT2")))
 510                 printf ("HIT!\n");
 511         if (count > atoi (getenv ("COUNT2")))
 512                 return GC_MALLOC (size);
 513         */
 514
 515         if (descr)
 516                 return GC_MALLOC_EXPLICITLY_TYPED (size, (GC_descr)descr);
 517         else
 518                 return GC_MALLOC (size);
 519 }
 520
 521 void
 522 mono_gc_free_fixed (void* addr)
 523 {
 524 }
 525
 526 int
 527 mono_gc_invoke_finalizers (void)
 528 {
 529         /* There is a bug in GC_invoke_finalizer () in versions <= 6.2alpha4:
 530          * the 'mem_freed' variable is not initialized when there are no
 531          * objects to finalize, which leads to strange behavior later on.
 532          * The check is necessary to work around that bug.
 533          */
 534         if (GC_should_invoke_finalizers ())
 535                 return GC_invoke_finalizers ();
 536         return 0;
 537 }
 538
 539 gboolean
 540 mono_gc_pending_finalizers (void)
 541 {
 542         return GC_should_invoke_finalizers ();
 543 }
 544
 545 /*
 546  * LOCKING: Assumes the domain_finalizers lock is held.
 547  */
 548 static void
 549 add_weak_track_handle_internal (MonoDomain *domain, MonoObject *obj, guint32 gchandle)
 550 {
 551         GSList *refs;
 552
 553         if (!domain->track_resurrection_objects_hash)
 554                 domain->track_resurrection_objects_hash = g_hash_table_new (mono_aligned_addr_hash, NULL);
 555
 556         refs = g_hash_table_lookup (domain->track_resurrection_objects_hash, obj);
 557         refs = g_slist_prepend (refs, GUINT_TO_POINTER (gchandle));
 558         g_hash_table_insert (domain->track_resurrection_objects_hash, obj, refs);
 559 }
 560
 561 void
 562 mono_gc_add_weak_track_handle (MonoObject *obj, guint32 handle)
 563 {
 564         MonoDomain *domain;
 565
 566         if (!obj)
 567                 return;
 568
 569         domain = mono_object_get_domain (obj);
 570
 571         mono_domain_finalizers_lock (domain);
 572
 573         add_weak_track_handle_internal (domain, obj, handle);
 574
 575         g_hash_table_insert (domain->track_resurrection_handles_hash, GUINT_TO_POINTER (handle), obj);
 576
 577         mono_domain_finalizers_unlock (domain);
 578 }
 579
 580 /*
 581  * LOCKING: Assumes the domain_finalizers lock is held.
 582  */
 583 static void
 584 remove_weak_track_handle_internal (MonoDomain *domain, MonoObject *obj, guint32 gchandle)
 585 {
 586         GSList *refs;
 587
 588         if (!domain->track_resurrection_objects_hash)
 589                 return;
 590
 591         refs = g_hash_table_lookup (domain->track_resurrection_objects_hash, obj);
 592         refs = g_slist_remove (refs, GUINT_TO_POINTER (gchandle));
 593         g_hash_table_insert (domain->track_resurrection_objects_hash, obj, refs);
 594 }
 595
 596 void
 597 mono_gc_change_weak_track_handle (MonoObject *old_obj, MonoObject *obj, guint32 gchandle)
 598 {
 599         MonoDomain *domain = mono_domain_get ();
 600
 601         mono_domain_finalizers_lock (domain);
 602
 603         if (old_obj)
 604                 remove_weak_track_handle_internal (domain, old_obj, gchandle);
 605         if (obj)
 606                 add_weak_track_handle_internal (domain, obj, gchandle);
 607
 608         mono_domain_finalizers_unlock (domain);
 609 }
 610
 611 void
 612 mono_gc_remove_weak_track_handle (guint32 gchandle)
 613 {
 614         MonoDomain *domain = mono_domain_get ();
 615         MonoObject *obj;
 616
 617         /* Clean our entries in the two hashes in MonoDomain */
 618
 619         mono_domain_finalizers_lock (domain);
 620
 621         /* Get the original object this handle pointed to */
 622         obj = g_hash_table_lookup (domain->track_resurrection_handles_hash, GUINT_TO_POINTER (gchandle));
 623         if (obj) {
 624                 g_hash_table_remove (domain->track_resurrection_handles_hash, GUINT_TO_POINTER (gchandle));
 625
 626                 remove_weak_track_handle_internal (domain, obj, gchandle);
 627         }
 628
 629         mono_domain_finalizers_unlock (domain);
 630 }
 631
 632 GSList*
 633 mono_gc_remove_weak_track_object (MonoDomain *domain, MonoObject *obj)
 634 {
 635         GSList *refs = NULL;
 636
 637         if (domain->track_resurrection_objects_hash) {
 638                 refs = g_hash_table_lookup (domain->track_resurrection_objects_hash, obj);
 639
 640                 if (refs)
 641                         /*
 642                          * Since we don't run finalizers again for resurrected objects,
 643                          * no need to keep these around.
 644                          */
 645                         g_hash_table_remove (domain->track_resurrection_objects_hash, obj);
 646         }
 647
 648         return refs;
 649 }
 650
 651 void
 652 mono_gc_wbarrier_set_field (MonoObject *obj, gpointer field_ptr, MonoObject* value)
 653 {
 654         *(void**)field_ptr = value;
 655 }
 656
 657 void
 658 mono_gc_wbarrier_set_arrayref (MonoArray *arr, gpointer slot_ptr, MonoObject* value)
 659 {
 660         *(void**)slot_ptr = value;
 661 }
 662
 663 void
 664 mono_gc_wbarrier_arrayref_copy (gpointer dest_ptr, gpointer src_ptr, int count)
 665 {
 666         memmove (dest_ptr, src_ptr, count * sizeof (gpointer));
 667 }
 668
 669 void
 670 mono_gc_wbarrier_generic_store (gpointer ptr, MonoObject* value)
 671 {
 672         *(void**)ptr = value;
 673 }
 674
 675 void
 676 mono_gc_wbarrier_generic_nostore (gpointer ptr)
 677 {
 678 }
 679
 680 void
 681 mono_gc_wbarrier_value_copy (gpointer dest, gpointer src, int count, MonoClass *klass)
 682 {
 683         memmove (dest, src, count * mono_class_value_size (klass, NULL));
 684 }
 685
 686 void
 687 mono_gc_wbarrier_object_copy (MonoObject* obj, MonoObject *src)
 688 {
 689         /* do not copy the sync state */
 690         memcpy ((char*)obj + sizeof (MonoObject), (char*)src + sizeof (MonoObject),
 691                         mono_object_class (obj)->instance_size - sizeof (MonoObject));
 692 }
 693
 694 void
 695 mono_gc_clear_domain (MonoDomain *domain)
 696 {
 697 }
 698
 699 int
 700 mono_gc_get_suspend_signal (void)
 701 {
 702 #ifdef USE_INCLUDED_GC
 703         return GC_get_suspend_signal ();
 704 #else
 705         return -1;
 706 #endif
 707 }
 708
 709 #if defined(USE_INCLUDED_LIBGC) && defined(USE_COMPILER_TLS) && defined(__linux__) && (defined(__i386__) || defined(__x86_64__))
 710 extern __thread MONO_TLS_FAST void* GC_thread_tls;
 711 #include "metadata-internals.h"
 712
 713 static int
 714 shift_amount (int v)
 715 {
 716         int i = 0;
 717         while (!(v & (1 << i)))
 718                 i++;
 719         return i;
 720 }
 721
 722 enum {
 723         ATYPE_FREEPTR,
 724         ATYPE_FREEPTR_FOR_BOX,
 725         ATYPE_NORMAL,
 726         ATYPE_GCJ,
 727         ATYPE_STRING,
 728         ATYPE_NUM
 729 };
 730
 731 static MonoMethod*
 732 create_allocator (int atype, int offset)
 733 {
 734         int index_var, bytes_var, my_fl_var, my_entry_var;
 735         guint32 no_freelist_branch, not_small_enough_branch = 0;
 736         guint32 size_overflow_branch = 0;
 737         MonoMethodBuilder *mb;
 738         MonoMethod *res;
 739         MonoMethodSignature *csig;
 740         AllocatorWrapperInfo *info;
 741
 742         if (atype == ATYPE_STRING) {
 743                 csig = mono_metadata_signature_alloc (mono_defaults.corlib, 2);
 744                 csig->ret = &mono_defaults.string_class->byval_arg;
 745                 csig->params [0] = &mono_defaults.int_class->byval_arg;
 746                 csig->params [1] = &mono_defaults.int32_class->byval_arg;
 747         } else {
 748                 csig = mono_metadata_signature_alloc (mono_defaults.corlib, 1);
 749                 csig->ret = &mono_defaults.object_class->byval_arg;
 750                 csig->params [0] = &mono_defaults.int_class->byval_arg;
 751         }
 752
 753         mb = mono_mb_new (mono_defaults.object_class, "Alloc", MONO_WRAPPER_ALLOC);
 754         bytes_var = mono_mb_add_local (mb, &mono_defaults.int32_class->byval_arg);
 755         if (atype == ATYPE_STRING) {
 756                 /* a string alloator method takes the args: (vtable, len) */
 757                 /* bytes = (sizeof (MonoString) + ((len + 1) * 2)); */
 758                 mono_mb_emit_ldarg (mb, 1);
 759                 mono_mb_emit_icon (mb, 1);
 760                 mono_mb_emit_byte (mb, MONO_CEE_ADD);
 761                 mono_mb_emit_icon (mb, 1);
 762                 mono_mb_emit_byte (mb, MONO_CEE_SHL);
 763                 // sizeof (MonoString) might include padding
 764                 mono_mb_emit_icon (mb, G_STRUCT_OFFSET (MonoString, chars));
 765                 mono_mb_emit_byte (mb, MONO_CEE_ADD);
 766                 mono_mb_emit_stloc (mb, bytes_var);
 767         } else {
 768                 /* bytes = vtable->klass->instance_size */
 769                 mono_mb_emit_ldarg (mb, 0);
 770                 mono_mb_emit_icon (mb, G_STRUCT_OFFSET (MonoVTable, klass));
 771                 mono_mb_emit_byte (mb, MONO_CEE_ADD);
 772                 mono_mb_emit_byte (mb, MONO_CEE_LDIND_I);
 773                 mono_mb_emit_icon (mb, G_STRUCT_OFFSET (MonoClass, instance_size));
 774                 mono_mb_emit_byte (mb, MONO_CEE_ADD);
 775                 /* FIXME: assert instance_size stays a 4 byte integer */
 776                 mono_mb_emit_byte (mb, MONO_CEE_LDIND_U4);
 777                 mono_mb_emit_stloc (mb, bytes_var);
 778         }
 779
 780         /* this is needed for strings/arrays only as the other big types are never allocated with this method */
 781         if (atype == ATYPE_STRING) {
 782                 /* check for size */
 783                 /* if (!SMALL_ENOUGH (bytes)) jump slow_path;*/
 784                 mono_mb_emit_ldloc (mb, bytes_var);
 785                 mono_mb_emit_icon (mb, (NFREELISTS-1) * GRANULARITY);
 786                 not_small_enough_branch = mono_mb_emit_short_branch (mb, MONO_CEE_BGT_UN_S);
 787                 /* check for overflow */
 788                 mono_mb_emit_ldloc (mb, bytes_var);
 789                 mono_mb_emit_icon (mb, sizeof (MonoString));
 790                 size_overflow_branch = mono_mb_emit_short_branch (mb, MONO_CEE_BLE_UN_S);
 791         }
 792
 793         /* int index = INDEX_FROM_BYTES(bytes); */
 794         index_var = mono_mb_add_local (mb, &mono_defaults.int32_class->byval_arg);
 795
 796         mono_mb_emit_ldloc (mb, bytes_var);
 797         mono_mb_emit_icon (mb, GRANULARITY - 1);
 798         mono_mb_emit_byte (mb, MONO_CEE_ADD);
 799         mono_mb_emit_icon (mb, shift_amount (GRANULARITY));
 800         mono_mb_emit_byte (mb, MONO_CEE_SHR_UN);
 801         mono_mb_emit_icon (mb, shift_amount (sizeof (gpointer)));
 802         mono_mb_emit_byte (mb, MONO_CEE_SHL);
 803         /* index var is already adjusted into bytes */
 804         mono_mb_emit_stloc (mb, index_var);
 805
 806         my_fl_var = mono_mb_add_local (mb, &mono_defaults.int_class->byval_arg);
 807         my_entry_var = mono_mb_add_local (mb, &mono_defaults.int_class->byval_arg);
 808         /* my_fl = ((GC_thread)tsd) -> ptrfree_freelists + index; */
 809         mono_mb_emit_byte (mb, MONO_CUSTOM_PREFIX);
 810         mono_mb_emit_byte (mb, 0x0D); /* CEE_MONO_TLS */
 811         mono_mb_emit_i4 (mb, offset);
 812         if (atype == ATYPE_FREEPTR || atype == ATYPE_FREEPTR_FOR_BOX || atype == ATYPE_STRING)
 813                 mono_mb_emit_icon (mb, G_STRUCT_OFFSET (struct GC_Thread_Rep, ptrfree_freelists));
 814         else if (atype == ATYPE_NORMAL)
 815                 mono_mb_emit_icon (mb, G_STRUCT_OFFSET (struct GC_Thread_Rep, normal_freelists));
 816         else if (atype == ATYPE_GCJ)
 817                 mono_mb_emit_icon (mb, G_STRUCT_OFFSET (struct GC_Thread_Rep, gcj_freelists));
 818         else
 819                 g_assert_not_reached ();
 820         mono_mb_emit_byte (mb, MONO_CEE_ADD);
 821         mono_mb_emit_ldloc (mb, index_var);
 822         mono_mb_emit_byte (mb, MONO_CEE_ADD);
 823         mono_mb_emit_stloc (mb, my_fl_var);
 824
 825         /* my_entry = *my_fl; */
 826         mono_mb_emit_ldloc (mb, my_fl_var);
 827         mono_mb_emit_byte (mb, MONO_CEE_LDIND_I);
 828         mono_mb_emit_stloc (mb, my_entry_var);
 829
 830         /* if (EXPECT((word)my_entry >= HBLKSIZE, 1)) { */
 831         mono_mb_emit_ldloc (mb, my_entry_var);
 832         mono_mb_emit_icon (mb, HBLKSIZE);
 833         no_freelist_branch = mono_mb_emit_short_branch (mb, MONO_CEE_BLT_UN_S);
 834
 835         /* ptr_t next = obj_link(my_entry); *my_fl = next; */
 836         mono_mb_emit_ldloc (mb, my_fl_var);
 837         mono_mb_emit_ldloc (mb, my_entry_var);
 838         mono_mb_emit_byte (mb, MONO_CEE_LDIND_I);
 839         mono_mb_emit_byte (mb, MONO_CEE_STIND_I);
 840
 841         /* set the vtable and clear the words in the object */
 842         mono_mb_emit_ldloc (mb, my_entry_var);
 843         mono_mb_emit_ldarg (mb, 0);
 844         mono_mb_emit_byte (mb, MONO_CEE_STIND_I);
 845
 846         if (atype == ATYPE_FREEPTR) {
 847                 int start_var, end_var, start_loop;
 848                 /* end = my_entry + bytes; start = my_entry + sizeof (gpointer);
 849                  */
 850                 start_var = mono_mb_add_local (mb, &mono_defaults.int_class->byval_arg);
 851                 end_var = mono_mb_add_local (mb, &mono_defaults.int_class->byval_arg);
 852                 mono_mb_emit_ldloc (mb, my_entry_var);
 853                 mono_mb_emit_ldloc (mb, bytes_var);
 854                 mono_mb_emit_byte (mb, MONO_CEE_ADD);
 855                 mono_mb_emit_stloc (mb, end_var);
 856                 mono_mb_emit_ldloc (mb, my_entry_var);
 857                 mono_mb_emit_icon (mb, G_STRUCT_OFFSET (MonoObject, synchronisation));
 858                 mono_mb_emit_byte (mb, MONO_CEE_ADD);
 859                 mono_mb_emit_stloc (mb, start_var);
 860                 /*
 861                  * do {
 862                  *      *start++ = NULL;
 863                  * } while (start < end);
 864                  */
 865                 start_loop = mono_mb_get_label (mb);
 866                 mono_mb_emit_ldloc (mb, start_var);
 867                 mono_mb_emit_icon (mb, 0);
 868                 mono_mb_emit_byte (mb, MONO_CEE_STIND_I);
 869                 mono_mb_emit_ldloc (mb, start_var);
 870                 mono_mb_emit_icon (mb, sizeof (gpointer));
 871                 mono_mb_emit_byte (mb, MONO_CEE_ADD);
 872                 mono_mb_emit_stloc (mb, start_var);
 873
 874                 mono_mb_emit_ldloc (mb, start_var);
 875                 mono_mb_emit_ldloc (mb, end_var);
 876                 mono_mb_emit_byte (mb, MONO_CEE_BLT_UN_S);
 877                 mono_mb_emit_byte (mb, start_loop - (mono_mb_get_label (mb) + 1));
 878         } else if (atype == ATYPE_FREEPTR_FOR_BOX || atype == ATYPE_STRING) {
 879                 /* need to clear just the sync pointer */
 880                 mono_mb_emit_ldloc (mb, my_entry_var);
 881                 mono_mb_emit_icon (mb, G_STRUCT_OFFSET (MonoObject, synchronisation));
 882                 mono_mb_emit_byte (mb, MONO_CEE_ADD);
 883                 mono_mb_emit_icon (mb, 0);
 884                 mono_mb_emit_byte (mb, MONO_CEE_STIND_I);
 885         }
 886
 887         if (atype == ATYPE_STRING) {
 888                 /* need to set length and clear the last char */
 889                 /* s->length = len; */
 890                 mono_mb_emit_ldloc (mb, my_entry_var);
 891                 mono_mb_emit_icon (mb, G_STRUCT_OFFSET (MonoString, length));
 892                 mono_mb_emit_byte (mb, MONO_CEE_ADD);
 893                 mono_mb_emit_ldarg (mb, 1);
 894                 mono_mb_emit_byte (mb, MONO_CEE_STIND_I4);
 895                 /* s->chars [len] = 0; */
 896                 mono_mb_emit_ldloc (mb, my_entry_var);
 897                 mono_mb_emit_ldloc (mb, bytes_var);
 898                 mono_mb_emit_icon (mb, 2);
 899                 mono_mb_emit_byte (mb, MONO_CEE_SUB);
 900                 mono_mb_emit_byte (mb, MONO_CEE_ADD);
 901                 mono_mb_emit_icon (mb, 0);
 902                 mono_mb_emit_byte (mb, MONO_CEE_STIND_I2);
 903         }
 904
 905         /* return my_entry; */
 906         mono_mb_emit_ldloc (mb, my_entry_var);
 907         mono_mb_emit_byte (mb, MONO_CEE_RET);
 908
 909         mono_mb_patch_short_branch (mb, no_freelist_branch);
 910         if (not_small_enough_branch > 0)
 911                 mono_mb_patch_short_branch (mb, not_small_enough_branch);
 912         if (size_overflow_branch > 0)
 913                 mono_mb_patch_short_branch (mb, size_overflow_branch);
 914         /* the slow path: we just call back into the runtime */
 915         if (atype == ATYPE_STRING) {
 916                 mono_mb_emit_ldarg (mb, 1);
 917                 mono_mb_emit_icall (mb, mono_string_alloc);
 918         } else {
 919                 mono_mb_emit_ldarg (mb, 0);
 920                 mono_mb_emit_icall (mb, mono_object_new_specific);
 921         }
 922
 923         mono_mb_emit_byte (mb, MONO_CEE_RET);
 924
 925         res = mono_mb_create_method (mb, csig, 8);
 926         mono_mb_free (mb);
 927         mono_method_get_header (res)->init_locals = FALSE;
 928
 929         info = mono_image_alloc0 (mono_defaults.corlib, sizeof (AllocatorWrapperInfo));
 930         info->gc_name = "boehm";
 931         info->alloc_type = atype;
 932         mono_marshal_set_wrapper_info (res, info);
 933
 934         return res;
 935 }
 936
 937 static MonoMethod* alloc_method_cache [ATYPE_NUM];
 938
 939 /*
 940  * If possible, generate a managed method that can quickly allocate objects in class
 941  * @klass. The method will typically have an thread-local inline allocation sequence.
 942  * The signature of the called method is:
 943  *      object allocate (MonoVTable *vtable)
 944  * Some of the logic here is similar to mono_class_get_allocation_ftn () i object.c,
 945  * keep in sync.
 946  * The thread local alloc logic is taken from libgc/pthread_support.c.
 947  */
 948
 949 MonoMethod*
 950 mono_gc_get_managed_allocator (MonoVTable *vtable, gboolean for_box)
 951 {
 952         int offset = -1;
 953         int atype;
 954         MonoClass *klass = vtable->klass;
 955         MONO_THREAD_VAR_OFFSET (GC_thread_tls, offset);
 956
 957         /*g_print ("thread tls: %d\n", offset);*/
 958         if (offset == -1)
 959                 return NULL;
 960         if (!SMALL_ENOUGH (klass->instance_size))
 961                 return NULL;
 962         if (klass->has_finalize || klass->marshalbyref || (mono_profiler_get_events () & MONO_PROFILE_ALLOCATIONS))
 963                 return NULL;
 964         if (klass->rank)
 965                 return NULL;
 966         if (klass->byval_arg.type == MONO_TYPE_STRING) {
 967                 atype = ATYPE_STRING;
 968         } else if (!klass->has_references) {
 969                 if (for_box)
 970                         atype = ATYPE_FREEPTR_FOR_BOX;
 971                 else
 972                         atype = ATYPE_FREEPTR;
 973         } else {
 974                 return NULL;
 975                 /*
 976                  * disabled because we currently do a runtime choice anyway, to
 977                  * deal with multiple appdomains.
 978                 if (vtable->gc_descr != GC_NO_DESCRIPTOR)
 979                         atype = ATYPE_GCJ;
 980                 else
 981                         atype = ATYPE_NORMAL;
 982                 */
 983         }
 984         return mono_gc_get_managed_allocator_by_type (atype);
 985 }
 986
 987 MonoMethod*
 988 mono_gc_get_managed_array_allocator (MonoVTable *vtable, int rank)
 989 {
 990         return NULL;
 991 }
 992
 993 /**
 994  * mono_gc_get_managed_allocator_by_type:
 995  *
 996  *   Return a managed allocator method corresponding to allocator type ATYPE.
 997  */
 998 MonoMethod*
 999 mono_gc_get_managed_allocator_by_type (int atype)
1000 {
1001         int offset = -1;
1002         MonoMethod *res;
1003         MONO_THREAD_VAR_OFFSET (GC_thread_tls, offset);
1004
1005         mono_loader_lock ();
1006         res = alloc_method_cache [atype];
1007         if (!res)
1008                 res = alloc_method_cache [atype] = create_allocator (atype, offset);
1009         mono_loader_unlock ();
1010         return res;
1011 }
1012
1013 guint32
1014 mono_gc_get_managed_allocator_types (void)
1015 {
1016         return ATYPE_NUM;
1017 }
1018
1019 MonoMethod*
1020 mono_gc_get_write_barrier (void)
1021 {
1022         g_assert_not_reached ();
1023         return NULL;
1024 }
1025
1026 #else
1027
1028 MonoMethod*
1029 mono_gc_get_managed_allocator (MonoVTable *vtable, gboolean for_box)
1030 {
1031         return NULL;
1032 }
1033
1034 MonoMethod*
1035 mono_gc_get_managed_array_allocator (MonoVTable *vtable, int rank)
1036 {
1037         return NULL;
1038 }
1039
1040 MonoMethod*
1041 mono_gc_get_managed_allocator_by_type (int atype)
1042 {
1043         return NULL;
1044 }
1045
1046 guint32
1047 mono_gc_get_managed_allocator_types (void)
1048 {
1049         return 0;
1050 }
1051
1052 MonoMethod*
1053 mono_gc_get_write_barrier (void)
1054 {
1055         g_assert_not_reached ();
1056         return NULL;
1057 }
1058
1059 #endif
1060
1061 const char *
1062 mono_gc_get_gc_name (void)
1063 {
1064         return "boehm";
1065 }
1066
1067 void*
1068 mono_gc_invoke_with_gc_lock (MonoGCLockedCallbackFunc func, void *data)
1069 {
1070         return GC_call_with_alloc_lock (func, data);
1071 }
1072
1073 char*
1074 mono_gc_get_description (void)
1075 {
1076         return g_strdup (DEFAULT_GC_NAME);
1077 }
1078
1079 void
1080 mono_gc_set_desktop_mode (void)
1081 {
1082         GC_dont_expand = 1;
1083 }
1084
1085 gboolean
1086 mono_gc_is_moving (void)
1087 {
1088         return FALSE;
1089 }
1090
1091 gboolean
1092 mono_gc_is_disabled (void)
1093 {
1094         if (GC_dont_gc || g_getenv ("GC_DONT_GC"))
1095                 return TRUE;
1096         else
1097                 return FALSE;
1098 }
1099
1100 void
1101 mono_gc_wbarrier_value_copy_bitmap (gpointer _dest, gpointer _src, int size, unsigned bitmap)
1102 {
1103         g_assert_not_reached ();
1104 }
1105
1106
1107 guint8*
1108 mono_gc_get_card_table (int *shift_bits, gpointer *card_mask)
1109 {
1110         g_assert_not_reached ();
1111         return NULL;
1112 }
1113
1114 void*
1115 mono_gc_get_nursery (int *shift_bits, size_t *size)
1116 {
1117         return NULL;
1118 }
1119
1120 /*
1121  * These will call the redefined versions in libgc.
1122  */
1123
1124 #ifndef HOST_WIN32
1125
1126 int
1127 mono_gc_pthread_create (pthread_t *new_thread, const pthread_attr_t *attr, void *(*start_routine)(void *), void *arg)
1128 {
1129         return pthread_create (new_thread, attr, start_routine, arg);
1130 }
1131
1132 int
1133 mono_gc_pthread_join (pthread_t thread, void **retval)
1134 {
1135         return pthread_join (thread, retval);
1136 }
1137
1138 int
1139 mono_gc_pthread_detach (pthread_t thread)
1140 {
1141         return pthread_detach (thread);
1142 }
1143
1144 #endif
1145
1146 #endif /* no Boehm GC */