d905784cd8bb466def4c20a04a853fbcc21e6fb1
[mono.git] / mono / metadata / boehm-gc.c
1 /*
2  * boehm-gc.c: GC implementation using either the installed or included Boehm GC.
3  *
4  */
5
6 #include "config.h"
7 #define GC_I_HIDE_POINTERS
8 #include <mono/os/gc_wrapper.h>
9 #include <mono/metadata/mono-gc.h>
10 #include <mono/metadata/gc-internal.h>
11 #include <mono/metadata/profiler-private.h>
12 #include <mono/metadata/class-internals.h>
13 #include <mono/metadata/method-builder.h>
14 #include <mono/metadata/opcodes.h>
15 #include <mono/utils/mono-logger.h>
16
17 #if HAVE_BOEHM_GC
18
19 #ifdef USE_INCLUDED_LIBGC
20 #undef TRUE
21 #undef FALSE
22 #define THREAD_LOCAL_ALLOC 1
23 #include "private/pthread_support.h"
24 #endif
25
26 static void
27 mono_gc_warning (char *msg, GC_word arg)
28 {
29         mono_trace (G_LOG_LEVEL_WARNING, MONO_TRACE_GC, msg, (unsigned long)arg);
30 }
31
32 void
33 mono_gc_base_init (void)
34 {
35         GC_init ();
36         GC_no_dls = TRUE;
37         GC_oom_fn = mono_gc_out_of_memory;
38         GC_set_warn_proc (mono_gc_warning);
39         GC_finalize_on_demand = 1;
40         GC_finalizer_notifier = mono_gc_finalize_notify;
41
42 #ifdef HAVE_GC_GCJ_MALLOC
43         GC_init_gcj_malloc (5, NULL);
44 #endif
45 }
46
47 void
48 mono_gc_collect (int generation)
49 {
50         GC_gcollect ();
51 }
52
53 int
54 mono_gc_max_generation (void)
55 {
56         return 0;
57 }
58
59 int
60 mono_gc_get_generation  (MonoObject *object)
61 {
62         return 0;
63 }
64
65 int
66 mono_gc_collection_count (int generation)
67 {
68         return GC_gc_no;
69 }
70
71 void
72 mono_gc_add_memory_pressure (gint64 value)
73 {
74 }
75
76 gint64
77 mono_gc_get_used_size (void)
78 {
79         return GC_get_heap_size () - GC_get_free_bytes ();
80 }
81
82 gint64
83 mono_gc_get_heap_size (void)
84 {
85         return GC_get_heap_size ();
86 }
87
88 void
89 mono_gc_disable (void)
90 {
91 #ifdef HAVE_GC_ENABLE
92         GC_disable ();
93 #else
94         g_assert_not_reached ();
95 #endif
96 }
97
98 void
99 mono_gc_enable (void)
100 {
101 #ifdef HAVE_GC_ENABLE
102         GC_enable ();
103 #else
104         g_assert_not_reached ();
105 #endif
106 }
107
108 gboolean
109 mono_gc_is_gc_thread (void)
110 {
111 #ifdef USE_INCLUDED_LIBGC
112         return GC_thread_is_registered ();
113 #else
114         return TRUE;
115 #endif
116 }
117
118 extern int GC_thread_register_foreign (void *base_addr);
119
120 gboolean
121 mono_gc_register_thread (void *baseptr)
122 {
123         if (mono_gc_is_gc_thread())
124                 return TRUE;
125 #if defined(USE_INCLUDED_LIBGC) && !defined(PLATFORM_WIN32)
126         return GC_thread_register_foreign (baseptr);
127 #else
128         return FALSE;
129 #endif
130 }
131
132 gboolean
133 mono_object_is_alive (MonoObject* o)
134 {
135 #ifdef USE_INCLUDED_LIBGC
136         return GC_is_marked (o);
137 #else
138         return TRUE;
139 #endif
140 }
141
142 #ifdef USE_INCLUDED_LIBGC
143
144 static void
145 on_gc_notification (GCEventType event)
146 {
147         mono_profiler_gc_event ((MonoGCEvent) event, 0);
148 }
149  
150 static void
151 on_gc_heap_resize (size_t new_size)
152 {
153         mono_profiler_gc_heap_resize (new_size);
154 }
155
156 void
157 mono_gc_enable_events (void)
158 {
159         GC_notify_event = on_gc_notification;
160         GC_on_heap_resize = on_gc_heap_resize;
161 }
162
163 #else
164
165 void
166 mono_gc_enable_events (void)
167 {
168 }
169
170 #endif
171
172 int
173 mono_gc_register_root (char *start, size_t size, void *descr)
174 {
175         /* for some strange reason, they want one extra byte on the end */
176         GC_add_roots (start, start + size + 1);
177
178         return TRUE;
179 }
180
181 void
182 mono_gc_weak_link_add (void **link_addr, MonoObject *obj)
183 {
184         /* libgc requires that we use HIDE_POINTER... */
185         *link_addr = (void*)HIDE_POINTER (obj);
186         GC_GENERAL_REGISTER_DISAPPEARING_LINK (link_addr, obj);
187 }
188
189 void
190 mono_gc_weak_link_remove (void **link_addr)
191 {
192         GC_unregister_disappearing_link (link_addr);
193         *link_addr = NULL;
194 }
195
196 MonoObject*
197 mono_gc_weak_link_get (void **link_addr)
198 {
199         MonoObject *obj = REVEAL_POINTER (*link_addr);
200         if (obj == (MonoObject *) -1)
201                 return NULL;
202         return obj;
203 }
204
205 void*
206 mono_gc_make_descr_from_bitmap (gsize *bitmap, int numbits)
207 {
208         return NULL;
209 }
210
211 void*
212 mono_gc_alloc_fixed (size_t size, void *descr)
213 {
214         return GC_MALLOC (size);
215 }
216
217 void
218 mono_gc_free_fixed (void* addr)
219 {
220 }
221
222 int
223 mono_gc_invoke_finalizers (void)
224 {
225         /* There is a bug in GC_invoke_finalizer () in versions <= 6.2alpha4:
226          * the 'mem_freed' variable is not initialized when there are no
227          * objects to finalize, which leads to strange behavior later on.
228          * The check is necessary to work around that bug.
229          */
230         if (GC_should_invoke_finalizers ())
231                 return GC_invoke_finalizers ();
232         return 0;
233 }
234
235 gboolean
236 mono_gc_pending_finalizers (void)
237 {
238         return GC_should_invoke_finalizers ();
239 }
240
241 void
242 mono_gc_wbarrier_set_field (MonoObject *obj, gpointer field_ptr, MonoObject* value)
243 {
244         *(void**)field_ptr = value;
245 }
246
247 void
248 mono_gc_wbarrier_set_arrayref (MonoArray *arr, gpointer slot_ptr, MonoObject* value)
249 {
250         *(void**)slot_ptr = value;
251 }
252
253 void
254 mono_gc_wbarrier_arrayref_copy (MonoArray *arr, gpointer slot_ptr, int count)
255 {
256         /* no need to do anything */
257 }
258
259 void
260 mono_gc_wbarrier_generic_store (gpointer ptr, MonoObject* value)
261 {
262         *(void**)ptr = value;
263 }
264
265 void
266 mono_gc_wbarrier_value_copy (gpointer dest, gpointer src, int count, MonoClass *klass)
267 {
268 }
269
270 void
271 mono_gc_wbarrier_object (MonoObject *object)
272 {
273 }
274
275 #if defined(USE_INCLUDED_LIBGC) && defined(USE_COMPILER_TLS) && defined(__linux__) && (defined(__i386__) || defined(__x86_64__))
276 extern __thread MONO_TLS_FAST void* GC_thread_tls;
277 #include "metadata-internals.h"
278
279 static int
280 shift_amount (int v)
281 {
282         int i = 0;
283         while (!(v & (1 << i)))
284                 i++;
285         return i;
286 }
287
288 enum {
289         ATYPE_FREEPTR,
290         ATYPE_FREEPTR_FOR_BOX,
291         ATYPE_NORMAL,
292         ATYPE_GCJ,
293         ATYPE_STRING,
294         ATYPE_NUM
295 };
296
297 static MonoMethod*
298 create_allocator (int atype, int offset)
299 {
300         int index_var, bytes_var, my_fl_var, my_entry_var;
301         guint32 no_freelist_branch, not_small_enough_branch = 0;
302         guint32 size_overflow_branch = 0;
303         MonoMethodBuilder *mb;
304         MonoMethod *res;
305         MonoMethodSignature *csig;
306
307         if (atype == ATYPE_STRING) {
308                 csig = mono_metadata_signature_alloc (mono_defaults.corlib, 2);
309                 csig->ret = &mono_defaults.string_class->byval_arg;
310                 csig->params [0] = &mono_defaults.int_class->byval_arg;
311                 csig->params [1] = &mono_defaults.int32_class->byval_arg;
312         } else {
313                 csig = mono_metadata_signature_alloc (mono_defaults.corlib, 1);
314                 csig->ret = &mono_defaults.object_class->byval_arg;
315                 csig->params [0] = &mono_defaults.int_class->byval_arg;
316         }
317
318         mb = mono_mb_new (mono_defaults.object_class, "Alloc", MONO_WRAPPER_ALLOC);
319         bytes_var = mono_mb_add_local (mb, &mono_defaults.int32_class->byval_arg);
320         if (atype == ATYPE_STRING) {
321                 /* a string alloator method takes the args: (vtable, len) */
322                 /* bytes = (sizeof (MonoString) + ((len + 1) * 2)); */
323                 mono_mb_emit_ldarg (mb, 1);
324                 mono_mb_emit_icon (mb, 1);
325                 mono_mb_emit_byte (mb, MONO_CEE_ADD);
326                 mono_mb_emit_icon (mb, 1);
327                 mono_mb_emit_byte (mb, MONO_CEE_SHL);
328                 // sizeof (MonoString) might include padding
329                 mono_mb_emit_icon (mb, G_STRUCT_OFFSET (MonoString, chars));
330                 mono_mb_emit_byte (mb, MONO_CEE_ADD);
331                 mono_mb_emit_stloc (mb, bytes_var);
332         } else {
333                 /* bytes = vtable->klass->instance_size */
334                 mono_mb_emit_ldarg (mb, 0);
335                 mono_mb_emit_icon (mb, G_STRUCT_OFFSET (MonoVTable, klass));
336                 mono_mb_emit_byte (mb, MONO_CEE_ADD);
337                 mono_mb_emit_byte (mb, MONO_CEE_LDIND_I);
338                 mono_mb_emit_icon (mb, G_STRUCT_OFFSET (MonoClass, instance_size));
339                 mono_mb_emit_byte (mb, MONO_CEE_ADD);
340                 /* FIXME: assert instance_size stays a 4 byte integer */
341                 mono_mb_emit_byte (mb, MONO_CEE_LDIND_U4);
342                 mono_mb_emit_stloc (mb, bytes_var);
343         }
344
345         /* this is needed for strings/arrays only as the other big types are never allocated with this method */
346         if (atype == ATYPE_STRING) {
347                 /* check for size */
348                 /* if (!SMALL_ENOUGH (bytes)) jump slow_path;*/
349                 mono_mb_emit_ldloc (mb, bytes_var);
350                 mono_mb_emit_icon (mb, (NFREELISTS-1) * GRANULARITY);
351                 not_small_enough_branch = mono_mb_emit_short_branch (mb, MONO_CEE_BGT_UN_S);
352                 /* check for overflow */
353                 mono_mb_emit_ldloc (mb, bytes_var);
354                 mono_mb_emit_icon (mb, sizeof (MonoString));
355                 size_overflow_branch = mono_mb_emit_short_branch (mb, MONO_CEE_BLE_UN_S);
356         }
357
358         /* int index = INDEX_FROM_BYTES(bytes); */
359         index_var = mono_mb_add_local (mb, &mono_defaults.int32_class->byval_arg);
360         
361         mono_mb_emit_ldloc (mb, bytes_var);
362         mono_mb_emit_icon (mb, GRANULARITY - 1);
363         mono_mb_emit_byte (mb, MONO_CEE_ADD);
364         mono_mb_emit_icon (mb, shift_amount (GRANULARITY));
365         mono_mb_emit_byte (mb, MONO_CEE_SHR_UN);
366         mono_mb_emit_icon (mb, shift_amount (sizeof (gpointer)));
367         mono_mb_emit_byte (mb, MONO_CEE_SHL);
368         /* index var is already adjusted into bytes */
369         mono_mb_emit_stloc (mb, index_var);
370
371         my_fl_var = mono_mb_add_local (mb, &mono_defaults.int_class->byval_arg);
372         my_entry_var = mono_mb_add_local (mb, &mono_defaults.int_class->byval_arg);
373         /* my_fl = ((GC_thread)tsd) -> ptrfree_freelists + index; */
374         mono_mb_emit_byte (mb, MONO_CUSTOM_PREFIX);
375         mono_mb_emit_byte (mb, 0x0D); /* CEE_MONO_TLS */
376         mono_mb_emit_i4 (mb, offset);
377         if (atype == ATYPE_FREEPTR || atype == ATYPE_FREEPTR_FOR_BOX || atype == ATYPE_STRING)
378                 mono_mb_emit_icon (mb, G_STRUCT_OFFSET (struct GC_Thread_Rep, ptrfree_freelists));
379         else if (atype == ATYPE_NORMAL)
380                 mono_mb_emit_icon (mb, G_STRUCT_OFFSET (struct GC_Thread_Rep, normal_freelists));
381         else if (atype == ATYPE_GCJ)
382                 mono_mb_emit_icon (mb, G_STRUCT_OFFSET (struct GC_Thread_Rep, gcj_freelists));
383         else
384                 g_assert_not_reached ();
385         mono_mb_emit_byte (mb, MONO_CEE_ADD);
386         mono_mb_emit_ldloc (mb, index_var);
387         mono_mb_emit_byte (mb, MONO_CEE_ADD);
388         mono_mb_emit_stloc (mb, my_fl_var);
389
390         /* my_entry = *my_fl; */
391         mono_mb_emit_ldloc (mb, my_fl_var);
392         mono_mb_emit_byte (mb, MONO_CEE_LDIND_I);
393         mono_mb_emit_stloc (mb, my_entry_var);
394
395         /* if (EXPECT((word)my_entry >= HBLKSIZE, 1)) { */
396         mono_mb_emit_ldloc (mb, my_entry_var);
397         mono_mb_emit_icon (mb, HBLKSIZE);
398         no_freelist_branch = mono_mb_emit_short_branch (mb, MONO_CEE_BLT_UN_S);
399
400         /* ptr_t next = obj_link(my_entry); *my_fl = next; */
401         mono_mb_emit_ldloc (mb, my_fl_var);
402         mono_mb_emit_ldloc (mb, my_entry_var);
403         mono_mb_emit_byte (mb, MONO_CEE_LDIND_I);
404         mono_mb_emit_byte (mb, MONO_CEE_STIND_I);
405
406         /* set the vtable and clear the words in the object */
407         mono_mb_emit_ldloc (mb, my_entry_var);
408         mono_mb_emit_ldarg (mb, 0);
409         mono_mb_emit_byte (mb, MONO_CEE_STIND_I);
410
411         if (atype == ATYPE_FREEPTR) {
412                 int start_var, end_var, start_loop;
413                 /* end = my_entry + bytes; start = my_entry + sizeof (gpointer);
414                  */
415                 start_var = mono_mb_add_local (mb, &mono_defaults.int_class->byval_arg);
416                 end_var = mono_mb_add_local (mb, &mono_defaults.int_class->byval_arg);
417                 mono_mb_emit_ldloc (mb, my_entry_var);
418                 mono_mb_emit_ldloc (mb, bytes_var);
419                 mono_mb_emit_byte (mb, MONO_CEE_ADD);
420                 mono_mb_emit_stloc (mb, end_var);
421                 mono_mb_emit_ldloc (mb, my_entry_var);
422                 mono_mb_emit_icon (mb, G_STRUCT_OFFSET (MonoObject, synchronisation));
423                 mono_mb_emit_byte (mb, MONO_CEE_ADD);
424                 mono_mb_emit_stloc (mb, start_var);
425                 /*
426                  * do {
427                  *      *start++ = NULL;
428                  * } while (start < end);
429                  */
430                 start_loop = mono_mb_get_label (mb);
431                 mono_mb_emit_ldloc (mb, start_var);
432                 mono_mb_emit_icon (mb, 0);
433                 mono_mb_emit_byte (mb, MONO_CEE_STIND_I);
434                 mono_mb_emit_ldloc (mb, start_var);
435                 mono_mb_emit_icon (mb, sizeof (gpointer));
436                 mono_mb_emit_byte (mb, MONO_CEE_ADD);
437                 mono_mb_emit_stloc (mb, start_var);
438
439                 mono_mb_emit_ldloc (mb, start_var);
440                 mono_mb_emit_ldloc (mb, end_var);
441                 mono_mb_emit_byte (mb, MONO_CEE_BLT_UN_S);
442                 mono_mb_emit_byte (mb, start_loop - (mono_mb_get_label (mb) + 1));
443         } else if (atype == ATYPE_FREEPTR_FOR_BOX || atype == ATYPE_STRING) {
444                 /* need to clear just the sync pointer */
445                 mono_mb_emit_ldloc (mb, my_entry_var);
446                 mono_mb_emit_icon (mb, G_STRUCT_OFFSET (MonoObject, synchronisation));
447                 mono_mb_emit_byte (mb, MONO_CEE_ADD);
448                 mono_mb_emit_icon (mb, 0);
449                 mono_mb_emit_byte (mb, MONO_CEE_STIND_I);
450         }
451
452         if (atype == ATYPE_STRING) {
453                 /* need to set length and clear the last char */
454                 /* s->length = len; */
455                 mono_mb_emit_ldloc (mb, my_entry_var);
456                 mono_mb_emit_icon (mb, G_STRUCT_OFFSET (MonoString, length));
457                 mono_mb_emit_byte (mb, MONO_CEE_ADD);
458                 mono_mb_emit_ldarg (mb, 1);
459                 mono_mb_emit_byte (mb, MONO_CEE_STIND_I4);
460                 /* s->chars [len] = 0; */
461                 mono_mb_emit_ldloc (mb, my_entry_var);
462                 mono_mb_emit_ldloc (mb, bytes_var);
463                 mono_mb_emit_icon (mb, 2);
464                 mono_mb_emit_byte (mb, MONO_CEE_SUB);
465                 mono_mb_emit_byte (mb, MONO_CEE_ADD);
466                 mono_mb_emit_icon (mb, 0);
467                 mono_mb_emit_byte (mb, MONO_CEE_STIND_I2);
468         }
469
470         /* return my_entry; */
471         mono_mb_emit_ldloc (mb, my_entry_var);
472         mono_mb_emit_byte (mb, MONO_CEE_RET);
473         
474         mono_mb_patch_short_branch (mb, no_freelist_branch);
475         if (not_small_enough_branch > 0)
476                 mono_mb_patch_short_branch (mb, not_small_enough_branch);
477         if (size_overflow_branch > 0)
478                 mono_mb_patch_short_branch (mb, size_overflow_branch);
479         /* the slow path: we just call back into the runtime */
480         if (atype == ATYPE_STRING) {
481                 mono_mb_emit_ldarg (mb, 1);
482                 mono_mb_emit_icall (mb, mono_string_alloc);
483         } else {
484                 mono_mb_emit_ldarg (mb, 0);
485                 mono_mb_emit_icall (mb, mono_object_new_specific);
486         }
487
488         mono_mb_emit_byte (mb, MONO_CEE_RET);
489
490         res = mono_mb_create_method (mb, csig, 8);
491         mono_mb_free (mb);
492         mono_method_get_header (res)->init_locals = FALSE;
493         return res;
494 }
495
496 static MonoMethod* alloc_method_cache [ATYPE_NUM];
497 #define GC_NO_DESCRIPTOR ((gpointer)(0 | GC_DS_LENGTH))
498
499 /*
500  * If possible, generate a managed method that can quickly allocate objects in class
501  * @klass. The method will typically have an thread-local inline allocation sequence.
502  * The signature of the called method is:
503  *      object allocate (MonoVTable *vtable)
504  * Some of the logic here is similar to mono_class_get_allocation_ftn () i object.c,
505  * keep in sync.
506  * The thread local alloc logic is taken from libgc/pthread_support.c.
507  */
508
509 MonoMethod*
510 mono_gc_get_managed_allocator (MonoVTable *vtable, gboolean for_box)
511 {
512         int offset = -1;
513         int atype;
514         MonoClass *klass = vtable->klass;
515         MONO_THREAD_VAR_OFFSET (GC_thread_tls, offset);
516
517         /*g_print ("thread tls: %d\n", offset);*/
518         if (offset == -1)
519                 return NULL;
520         if (!SMALL_ENOUGH (klass->instance_size))
521                 return NULL;
522         if (klass->has_finalize || klass->marshalbyref || (mono_profiler_get_events () & MONO_PROFILE_ALLOCATIONS))
523                 return NULL;
524         if (klass->rank)
525                 return NULL;
526         if (klass->byval_arg.type == MONO_TYPE_STRING) {
527                 atype = ATYPE_STRING;
528         } else if (!klass->has_references) {
529                 if (for_box)
530                         atype = ATYPE_FREEPTR_FOR_BOX;
531                 else
532                         atype = ATYPE_FREEPTR;
533         } else {
534                 return NULL;
535                 /*
536                  * disabled because we currently do a runtime choice anyway, to
537                  * deal with multiple appdomains.
538                 if (vtable->gc_descr != GC_NO_DESCRIPTOR)
539                         atype = ATYPE_GCJ;
540                 else
541                         atype = ATYPE_NORMAL;
542                 */
543         }
544         return mono_gc_get_managed_allocator_by_type (atype);
545 }
546
547 /**
548  * mono_gc_get_managed_allocator_id:
549  *
550  *   Return a type for the managed allocator method MANAGED_ALLOC which can later be passed
551  * to mono_gc_get_managed_allocator_by_type () to get back this allocator method. This can be
552  * used by the AOT code to encode references to managed allocator methods.
553  */
554 int
555 mono_gc_get_managed_allocator_type (MonoMethod *managed_alloc)
556 {
557         int i;
558
559         mono_loader_lock ();
560         for (i = 0; i < ATYPE_NUM; ++i) {
561                 if (alloc_method_cache [i] == managed_alloc) {
562                         mono_loader_unlock ();
563                         return i;
564                 }
565         }
566         mono_loader_unlock ();
567
568         return -1;
569 }
570
571 /**
572  * mono_gc_get_managed_allocator_by_type:
573  *
574  *   Return a managed allocator method corresponding to allocator type ATYPE.
575  */
576 MonoMethod*
577 mono_gc_get_managed_allocator_by_type (int atype)
578 {
579         int offset = -1;
580         MonoMethod *res;
581         MONO_THREAD_VAR_OFFSET (GC_thread_tls, offset);
582
583         mono_loader_lock ();
584         res = alloc_method_cache [atype];
585         if (!res)
586                 res = alloc_method_cache [atype] = create_allocator (atype, offset);
587         mono_loader_unlock ();
588         return res;
589 }
590
591 #else
592
593 MonoMethod*
594 mono_gc_get_managed_allocator (MonoVTable *vtable, gboolean for_box)
595 {
596         return NULL;
597 }
598
599 int
600 mono_gc_get_managed_allocator_type (MonoMethod *managed_alloc)
601 {
602         return -1;
603 }
604
605 MonoMethod*
606 mono_gc_get_managed_allocator_by_type (int atype)
607 {
608         return NULL;
609 }
610
611 #endif
612
613 #endif /* no Boehm GC */
614