mono/metadata/threads.c

   1 /*
   2  * threads.c: Thread support internal calls
   3  *
   4  * Author:
   5  *      Dick Porter (dick@ximian.com)
   6  *      Paolo Molaro (lupus@ximian.com)
   7  *      Patrik Torstensson (patrik.torstensson@labs2.com)
   8  *
   9  * Copyright 2001-2003 Ximian, Inc (http://www.ximian.com)
  10  * Copyright 2004-2009 Novell, Inc (http://www.novell.com)
  11  * Copyright 2011 Xamarin, Inc (http://www.xamarin.com)
  12  * Licensed under the MIT license. See LICENSE file in the project root for full license information.
  13  */
  14
  15 #include <config.h>
  16
  17 #include <glib.h>
  18 #include <string.h>
  19
  20 #include <mono/metadata/object.h>
  21 #include <mono/metadata/domain-internals.h>
  22 #include <mono/metadata/profiler-private.h>
  23 #include <mono/metadata/threads.h>
  24 #include <mono/metadata/threads-types.h>
  25 #include <mono/metadata/exception.h>
  26 #include <mono/metadata/environment.h>
  27 #include <mono/metadata/monitor.h>
  28 #include <mono/metadata/gc-internals.h>
  29 #include <mono/metadata/marshal.h>
  30 #include <mono/metadata/runtime.h>
  31 #include <mono/io-layer/io-layer.h>
  32 #include <mono/metadata/object-internals.h>
  33 #include <mono/metadata/mono-debug-debugger.h>
  34 #include <mono/utils/monobitset.h>
  35 #include <mono/utils/mono-compiler.h>
  36 #include <mono/utils/mono-mmap.h>
  37 #include <mono/utils/mono-membar.h>
  38 #include <mono/utils/mono-time.h>
  39 #include <mono/utils/mono-threads.h>
  40 #include <mono/utils/mono-threads-coop.h>
  41 #include <mono/utils/hazard-pointer.h>
  42 #include <mono/utils/mono-tls.h>
  43 #include <mono/utils/atomic.h>
  44 #include <mono/utils/mono-memory-model.h>
  45 #include <mono/utils/mono-threads-coop.h>
  46 #include <mono/utils/mono-error-internals.h>
  47 #include <mono/utils/os-event.h>
  48 #include <mono/utils/mono-threads-debug.h>
  49 #include <mono/metadata/w32handle.h>
  50 #include <mono/metadata/w32event.h>
  51 #include <mono/metadata/w32mutex.h>
  52
  53 #include <mono/metadata/gc-internals.h>
  54 #include <mono/metadata/reflection-internals.h>
  55 #include <mono/metadata/abi-details.h>
  56
  57 #ifdef HAVE_SIGNAL_H
  58 #include <signal.h>
  59 #endif
  60
  61 #if defined(HOST_WIN32)
  62 #include <objbase.h>
  63 #endif
  64
  65 #if defined(PLATFORM_ANDROID) && !defined(TARGET_ARM64) && !defined(TARGET_AMD64)
  66 #define USE_TKILL_ON_ANDROID 1
  67 #endif
  68
  69 #ifdef PLATFORM_ANDROID
  70 #include <errno.h>
  71
  72 #ifdef USE_TKILL_ON_ANDROID
  73 extern int tkill (pid_t tid, int signal);
  74 #endif
  75 #endif
  76
  77 /*#define THREAD_DEBUG(a) do { a; } while (0)*/
  78 #define THREAD_DEBUG(a)
  79 /*#define THREAD_WAIT_DEBUG(a) do { a; } while (0)*/
  80 #define THREAD_WAIT_DEBUG(a)
  81 /*#define LIBGC_DEBUG(a) do { a; } while (0)*/
  82 #define LIBGC_DEBUG(a)
  83
  84 #define SPIN_TRYLOCK(i) (InterlockedCompareExchange (&(i), 1, 0) == 0)
  85 #define SPIN_LOCK(i) do { \
  86                                 if (SPIN_TRYLOCK (i)) \
  87                                         break; \
  88                         } while (1)
  89
  90 #define SPIN_UNLOCK(i) i = 0
  91
  92 #define LOCK_THREAD(thread) lock_thread((thread))
  93 #define UNLOCK_THREAD(thread) unlock_thread((thread))
  94
  95 typedef union {
  96         gint32 ival;
  97         gfloat fval;
  98 } IntFloatUnion;
  99
 100 typedef union {
 101         gint64 ival;
 102         gdouble fval;
 103 } LongDoubleUnion;
 104
 105 typedef struct _StaticDataFreeList StaticDataFreeList;
 106 struct _StaticDataFreeList {
 107         StaticDataFreeList *next;
 108         guint32 offset;
 109         guint32 size;
 110 };
 111
 112 typedef struct {
 113         int idx;
 114         int offset;
 115         StaticDataFreeList *freelist;
 116 } StaticDataInfo;
 117
 118 /* Number of cached culture objects in the MonoThread->cached_culture_info array
 119  * (per-type): we use the first NUM entries for CultureInfo and the last for
 120  * UICultureInfo. So the size of the array is really NUM_CACHED_CULTURES * 2.
 121  */
 122 #define NUM_CACHED_CULTURES 4
 123 #define CULTURES_START_IDX 0
 124 #define UICULTURES_START_IDX NUM_CACHED_CULTURES
 125
 126 /* Controls access to the 'threads' hash table */
 127 static void mono_threads_lock (void);
 128 static void mono_threads_unlock (void);
 129 static MonoCoopMutex threads_mutex;
 130
 131 /* Controls access to the 'joinable_threads' hash table */
 132 #define joinable_threads_lock() mono_os_mutex_lock (&joinable_threads_mutex)
 133 #define joinable_threads_unlock() mono_os_mutex_unlock (&joinable_threads_mutex)
 134 static mono_mutex_t joinable_threads_mutex;
 135
 136 /* Holds current status of static data heap */
 137 static StaticDataInfo thread_static_info;
 138 static StaticDataInfo context_static_info;
 139
 140 /* The hash of existing threads (key is thread ID, value is
 141  * MonoInternalThread*) that need joining before exit
 142  */
 143 static MonoGHashTable *threads=NULL;
 144
 145 /* List of app context GC handles.
 146  * Added to from ves_icall_System_Runtime_Remoting_Contexts_Context_RegisterContext ().
 147  */
 148 static GHashTable *contexts = NULL;
 149
 150 /* Cleanup queue for contexts. */
 151 static MonoReferenceQueue *context_queue;
 152
 153 /*
 154  * Threads which are starting up and they are not in the 'threads' hash yet.
 155  * When mono_thread_attach_internal is called for a thread, it will be removed from this hash table.
 156  * Protected by mono_threads_lock ().
 157  */
 158 static MonoGHashTable *threads_starting_up = NULL;
 159
 160 /* The TLS key that holds the MonoObject assigned to each thread */
 161 static MonoNativeTlsKey current_object_key;
 162
 163 /* Contains tids */
 164 /* Protected by the threads lock */
 165 static GHashTable *joinable_threads;
 166 static int joinable_thread_count;
 167
 168 #ifdef MONO_HAVE_FAST_TLS
 169 /* we need to use both the Tls* functions and __thread because
 170  * the gc needs to see all the threads
 171  */
 172 MONO_FAST_TLS_DECLARE(tls_current_object);
 173 #define SET_CURRENT_OBJECT(x) do { \
 174         MONO_FAST_TLS_SET (tls_current_object, x); \
 175         mono_native_tls_set_value (current_object_key, x); \
 176 } while (FALSE)
 177 #define GET_CURRENT_OBJECT() ((MonoInternalThread*) MONO_FAST_TLS_GET (tls_current_object))
 178 #else
 179 #define SET_CURRENT_OBJECT(x) mono_native_tls_set_value (current_object_key, x)
 180 #define GET_CURRENT_OBJECT() (MonoInternalThread*) mono_native_tls_get_value (current_object_key)
 181 #endif
 182
 183 /* function called at thread start */
 184 static MonoThreadStartCB mono_thread_start_cb = NULL;
 185
 186 /* function called at thread attach */
 187 static MonoThreadAttachCB mono_thread_attach_cb = NULL;
 188
 189 /* function called at thread cleanup */
 190 static MonoThreadCleanupFunc mono_thread_cleanup_fn = NULL;
 191
 192 /* The default stack size for each thread */
 193 static guint32 default_stacksize = 0;
 194 #define default_stacksize_for_thread(thread) ((thread)->stack_size? (thread)->stack_size: default_stacksize)
 195
 196 static void context_adjust_static_data (MonoAppContext *ctx);
 197 static void mono_free_static_data (gpointer* static_data);
 198 static void mono_init_static_data_info (StaticDataInfo *static_data);
 199 static guint32 mono_alloc_static_data_slot (StaticDataInfo *static_data, guint32 size, guint32 align);
 200 static gboolean mono_thread_resume (MonoInternalThread* thread);
 201 static void async_abort_internal (MonoInternalThread *thread, gboolean install_async_abort);
 202 static void self_abort_internal (MonoError *error);
 203 static void async_suspend_internal (MonoInternalThread *thread, gboolean interrupt);
 204 static void self_suspend_internal (void);
 205
 206 static MonoException* mono_thread_execute_interruption (void);
 207 static void ref_stack_destroy (gpointer rs);
 208
 209 /* Spin lock for InterlockedXXX 64 bit functions */
 210 #define mono_interlocked_lock() mono_os_mutex_lock (&interlocked_mutex)
 211 #define mono_interlocked_unlock() mono_os_mutex_unlock (&interlocked_mutex)
 212 static mono_mutex_t interlocked_mutex;
 213
 214 /* global count of thread interruptions requested */
 215 static gint32 thread_interruption_requested = 0;
 216
 217 /* Event signaled when a thread changes its background mode */
 218 static MonoOSEvent background_change_event;
 219
 220 static gboolean shutting_down = FALSE;
 221
 222 static gint32 managed_thread_id_counter = 0;
 223
 224 /* Class lazy loading functions */
 225 static GENERATE_GET_CLASS_WITH_CACHE (appdomain_unloaded_exception, System, AppDomainUnloadedException)
 226
 227 static void
 228 mono_threads_lock (void)
 229 {
 230         mono_locks_coop_acquire (&threads_mutex, ThreadsLock);
 231 }
 232
 233 static void
 234 mono_threads_unlock (void)
 235 {
 236         mono_locks_coop_release (&threads_mutex, ThreadsLock);
 237 }
 238
 239
 240 static guint32
 241 get_next_managed_thread_id (void)
 242 {
 243         return InterlockedIncrement (&managed_thread_id_counter);
 244 }
 245
 246 MonoNativeTlsKey
 247 mono_thread_get_tls_key (void)
 248 {
 249         return current_object_key;
 250 }
 251
 252 gint32
 253 mono_thread_get_tls_offset (void)
 254 {
 255         int offset = -1;
 256
 257 #ifdef HOST_WIN32
 258         if (current_object_key)
 259                 offset = current_object_key;
 260 #else
 261         MONO_THREAD_VAR_OFFSET (tls_current_object,offset);
 262 #endif
 263         return offset;
 264 }
 265
 266 static inline MonoNativeThreadId
 267 thread_get_tid (MonoInternalThread *thread)
 268 {
 269         /* We store the tid as a guint64 to keep the object layout constant between platforms */
 270         return MONO_UINT_TO_NATIVE_THREAD_ID (thread->tid);
 271 }
 272
 273 static void ensure_synch_cs_set (MonoInternalThread *thread)
 274 {
 275         MonoCoopMutex *synch_cs;
 276
 277         if (thread->synch_cs != NULL) {
 278                 return;
 279         }
 280
 281         synch_cs = g_new0 (MonoCoopMutex, 1);
 282         mono_coop_mutex_init_recursive (synch_cs);
 283
 284         if (InterlockedCompareExchangePointer ((gpointer *)&thread->synch_cs,
 285                                                synch_cs, NULL) != NULL) {
 286                 /* Another thread must have installed this CS */
 287                 mono_coop_mutex_destroy (synch_cs);
 288                 g_free (synch_cs);
 289         }
 290 }
 291
 292 static inline void
 293 lock_thread (MonoInternalThread *thread)
 294 {
 295         if (!thread->synch_cs)
 296                 ensure_synch_cs_set (thread);
 297
 298         g_assert (thread->synch_cs);
 299
 300         mono_coop_mutex_lock (thread->synch_cs);
 301 }
 302
 303 static inline void
 304 unlock_thread (MonoInternalThread *thread)
 305 {
 306         mono_coop_mutex_unlock (thread->synch_cs);
 307 }
 308
 309 static inline gboolean
 310 is_appdomainunloaded_exception (MonoClass *klass)
 311 {
 312         return klass == mono_class_get_appdomain_unloaded_exception_class ();
 313 }
 314
 315 static inline gboolean
 316 is_threadabort_exception (MonoClass *klass)
 317 {
 318         return klass == mono_defaults.threadabortexception_class;
 319 }
 320
 321 /*
 322  * NOTE: this function can be called also for threads different from the current one:
 323  * make sure no code called from it will ever assume it is run on the thread that is
 324  * getting cleaned up.
 325  */
 326 static void thread_cleanup (MonoInternalThread *thread)
 327 {
 328         gboolean ret;
 329
 330         g_assert (thread != NULL);
 331
 332         if (thread->abort_state_handle) {
 333                 mono_gchandle_free (thread->abort_state_handle);
 334                 thread->abort_state_handle = 0;
 335         }
 336         thread->abort_exc = NULL;
 337         thread->current_appcontext = NULL;
 338
 339         /*
 340          * This is necessary because otherwise we might have
 341          * cross-domain references which will not get cleaned up when
 342          * the target domain is unloaded.
 343          */
 344         if (thread->cached_culture_info) {
 345                 int i;
 346                 for (i = 0; i < NUM_CACHED_CULTURES * 2; ++i)
 347                         mono_array_set (thread->cached_culture_info, MonoObject*, i, NULL);
 348         }
 349
 350         /*
 351          * thread->synch_cs can be NULL if this was called after
 352          * ves_icall_System_Threading_InternalThread_Thread_free_internal.
 353          * This can happen only during shutdown.
 354          * The shutting_down flag is not always set, so we can't assert on it.
 355          */
 356         if (thread->synch_cs)
 357                 LOCK_THREAD (thread);
 358
 359         thread->state |= ThreadState_Stopped;
 360         thread->state &= ~ThreadState_Background;
 361
 362         if (thread->synch_cs)
 363                 UNLOCK_THREAD (thread);
 364
 365         /*
 366         An interruption request has leaked to cleanup. Adjust the global counter.
 367
 368         This can happen is the abort source thread finds the abortee (this) thread
 369         in unmanaged code. If this thread never trips back to managed code or check
 370         the local flag it will be left set and positively unbalance the global counter.
 371
 372         Leaving the counter unbalanced will cause a performance degradation since all threads
 373         will now keep checking their local flags all the time.
 374         */
 375         if (InterlockedExchange (&thread->interruption_requested, 0))
 376                 InterlockedDecrement (&thread_interruption_requested);
 377
 378         mono_threads_lock ();
 379
 380         if (!threads) {
 381                 ret = FALSE;
 382         } else if (mono_g_hash_table_lookup (threads, (gpointer)thread->tid) != thread) {
 383                 /* We have to check whether the thread object for the
 384                  * tid is still the same in the table because the
 385                  * thread might have been destroyed and the tid reused
 386                  * in the meantime, in which case the tid would be in
 387                  * the table, but with another thread object.
 388                  */
 389                 ret = FALSE;
 390         } else {
 391                 mono_g_hash_table_remove (threads, (gpointer)thread->tid);
 392                 ret = TRUE;
 393         }
 394
 395         mono_threads_unlock ();
 396
 397         /* Don't close the handle here, wait for the object finalizer
 398          * to do it. Otherwise, the following race condition applies:
 399          *
 400          * 1) Thread exits (and thread_cleanup() closes the handle)
 401          *
 402          * 2) Some other handle is reassigned the same slot
 403          *
 404          * 3) Another thread tries to join the first thread, and
 405          * blocks waiting for the reassigned handle to be signalled
 406          * (which might never happen).  This is possible, because the
 407          * thread calling Join() still has a reference to the first
 408          * thread's object.
 409          */
 410
 411         /* if the thread is not in the hash it has been removed already */
 412         if (!ret) {
 413                 if (thread == mono_thread_internal_current ()) {
 414                         mono_domain_unset ();
 415                         mono_memory_barrier ();
 416                 }
 417                 if (mono_thread_cleanup_fn)
 418                         mono_thread_cleanup_fn (thread_get_tid (thread));
 419                 return;
 420         }
 421         mono_release_type_locks (thread);
 422
 423         /* Can happen when we attach the profiler helper thread in order to heapshot. */
 424         if (!mono_thread_info_lookup (MONO_UINT_TO_NATIVE_THREAD_ID (thread->tid))->tools_thread)
 425                 mono_profiler_thread_end (thread->tid);
 426
 427         mono_hazard_pointer_clear (mono_hazard_pointer_get (), 1);
 428
 429         if (thread == mono_thread_internal_current ()) {
 430                 /*
 431                  * This will signal async signal handlers that the thread has exited.
 432                  * The profiler callback needs this to be set, so it cannot be done earlier.
 433                  */
 434                 mono_domain_unset ();
 435                 mono_memory_barrier ();
 436         }
 437
 438         if (thread == mono_thread_internal_current ())
 439                 mono_thread_pop_appdomain_ref ();
 440
 441         thread->cached_culture_info = NULL;
 442
 443         mono_free_static_data (thread->static_data);
 444         thread->static_data = NULL;
 445         ref_stack_destroy (thread->appdomain_refs);
 446         thread->appdomain_refs = NULL;
 447
 448         if (mono_thread_cleanup_fn)
 449                 mono_thread_cleanup_fn (thread_get_tid (thread));
 450
 451         if (mono_gc_is_moving ()) {
 452                 MONO_GC_UNREGISTER_ROOT (thread->thread_pinning_ref);
 453                 thread->thread_pinning_ref = NULL;
 454         }
 455
 456         g_assert (thread->suspended);
 457         mono_os_event_destroy (thread->suspended);
 458         g_free (thread->suspended);
 459         thread->suspended = NULL;
 460 }
 461
 462 /*
 463  * A special static data offset (guint32) consists of 3 parts:
 464  *
 465  * [0]   6-bit index into the array of chunks.
 466  * [6]   25-bit offset into the array.
 467  * [31]  Bit indicating thread or context static.
 468  */
 469
 470 typedef union {
 471         struct {
 472 #if G_BYTE_ORDER != G_LITTLE_ENDIAN
 473                 guint32 type : 1;
 474                 guint32 offset : 25;
 475                 guint32 index : 6;
 476 #else
 477                 guint32 index : 6;
 478                 guint32 offset : 25;
 479                 guint32 type : 1;
 480 #endif
 481         } fields;
 482         guint32 raw;
 483 } SpecialStaticOffset;
 484
 485 #define SPECIAL_STATIC_OFFSET_TYPE_THREAD 0
 486 #define SPECIAL_STATIC_OFFSET_TYPE_CONTEXT 1
 487
 488 #define MAKE_SPECIAL_STATIC_OFFSET(index, offset, type) \
 489         ((SpecialStaticOffset) { .fields = { (index), (offset), (type) } }.raw)
 490 #define ACCESS_SPECIAL_STATIC_OFFSET(x,f) \
 491         (((SpecialStaticOffset *) &(x))->fields.f)
 492
 493 static gpointer
 494 get_thread_static_data (MonoInternalThread *thread, guint32 offset)
 495 {
 496         g_assert (ACCESS_SPECIAL_STATIC_OFFSET (offset, type) == SPECIAL_STATIC_OFFSET_TYPE_THREAD);
 497
 498         int idx = ACCESS_SPECIAL_STATIC_OFFSET (offset, index);
 499         int off = ACCESS_SPECIAL_STATIC_OFFSET (offset, offset);
 500
 501         return ((char *) thread->static_data [idx]) + off;
 502 }
 503
 504 static gpointer
 505 get_context_static_data (MonoAppContext *ctx, guint32 offset)
 506 {
 507         g_assert (ACCESS_SPECIAL_STATIC_OFFSET (offset, type) == SPECIAL_STATIC_OFFSET_TYPE_CONTEXT);
 508
 509         int idx = ACCESS_SPECIAL_STATIC_OFFSET (offset, index);
 510         int off = ACCESS_SPECIAL_STATIC_OFFSET (offset, offset);
 511
 512         return ((char *) ctx->static_data [idx]) + off;
 513 }
 514
 515 static MonoThread**
 516 get_current_thread_ptr_for_domain (MonoDomain *domain, MonoInternalThread *thread)
 517 {
 518         static MonoClassField *current_thread_field = NULL;
 519
 520         guint32 offset;
 521
 522         if (!current_thread_field) {
 523                 current_thread_field = mono_class_get_field_from_name (mono_defaults.thread_class, "current_thread");
 524                 g_assert (current_thread_field);
 525         }
 526
 527         mono_class_vtable (domain, mono_defaults.thread_class);
 528         mono_domain_lock (domain);
 529         offset = GPOINTER_TO_UINT (g_hash_table_lookup (domain->special_static_fields, current_thread_field));
 530         mono_domain_unlock (domain);
 531         g_assert (offset);
 532
 533         return (MonoThread **)get_thread_static_data (thread, offset);
 534 }
 535
 536 static void
 537 set_current_thread_for_domain (MonoDomain *domain, MonoInternalThread *thread, MonoThread *current)
 538 {
 539         MonoThread **current_thread_ptr = get_current_thread_ptr_for_domain (domain, thread);
 540
 541         g_assert (current->obj.vtable->domain == domain);
 542
 543         g_assert (!*current_thread_ptr);
 544         *current_thread_ptr = current;
 545 }
 546
 547 static MonoThread*
 548 create_thread_object (MonoDomain *domain, MonoInternalThread *internal)
 549 {
 550         MonoThread *thread;
 551         MonoVTable *vtable;
 552         MonoError error;
 553
 554         vtable = mono_class_vtable (domain, mono_defaults.thread_class);
 555         g_assert (vtable);
 556
 557         thread = (MonoThread*)mono_object_new_mature (vtable, &error);
 558         /* only possible failure mode is OOM, from which we don't expect to recover. */
 559         mono_error_assert_ok (&error);
 560
 561         MONO_OBJECT_SETREF (thread, internal_thread, internal);
 562
 563         return thread;
 564 }
 565
 566 static MonoInternalThread*
 567 create_internal_thread_object (void)
 568 {
 569         MonoError error;
 570         MonoInternalThread *thread;
 571         MonoVTable *vt;
 572
 573         vt = mono_class_vtable (mono_get_root_domain (), mono_defaults.internal_thread_class);
 574         thread = (MonoInternalThread*) mono_object_new_mature (vt, &error);
 575         /* only possible failure mode is OOM, from which we don't exect to recover */
 576         mono_error_assert_ok (&error);
 577
 578         thread->synch_cs = g_new0 (MonoCoopMutex, 1);
 579         mono_coop_mutex_init_recursive (thread->synch_cs);
 580
 581         thread->apartment_state = ThreadApartmentState_Unknown;
 582         thread->managed_id = get_next_managed_thread_id ();
 583         if (mono_gc_is_moving ()) {
 584                 thread->thread_pinning_ref = thread;
 585                 MONO_GC_REGISTER_ROOT_PINNING (thread->thread_pinning_ref, MONO_ROOT_SOURCE_THREADING, "thread pinning reference");
 586         }
 587
 588         thread->priority = MONO_THREAD_PRIORITY_NORMAL;
 589
 590         thread->suspended = g_new0 (MonoOSEvent, 1);
 591         mono_os_event_init (thread->suspended, TRUE);
 592
 593         return thread;
 594 }
 595
 596 static void
 597 mono_thread_internal_set_priority (MonoInternalThread *internal, MonoThreadPriority priority)
 598 {
 599         g_assert (internal);
 600
 601         g_assert (priority >= MONO_THREAD_PRIORITY_LOWEST);
 602         g_assert (priority <= MONO_THREAD_PRIORITY_HIGHEST);
 603         g_assert (MONO_THREAD_PRIORITY_LOWEST < MONO_THREAD_PRIORITY_HIGHEST);
 604
 605 #ifdef HOST_WIN32
 606         BOOL res;
 607
 608         g_assert (internal->native_handle);
 609
 610         res = SetThreadPriority (internal->native_handle, priority - 2);
 611         if (!res)
 612                 g_error ("%s: SetThreadPriority failed, error %d", __func__, GetLastError ());
 613 #else /* HOST_WIN32 */
 614         pthread_t tid;
 615         int policy;
 616         struct sched_param param;
 617         gint res;
 618
 619         tid = thread_get_tid (internal);
 620
 621         res = pthread_getschedparam (tid, &policy, &param);
 622         if (res != 0)
 623                 g_error ("%s: pthread_getschedparam failed, error: \"%s\" (%d)", __func__, g_strerror (res), res);
 624
 625 #ifdef _POSIX_PRIORITY_SCHEDULING
 626         int max, min;
 627
 628         /* Necessary to get valid priority range */
 629
 630         min = sched_get_priority_min (policy);
 631         max = sched_get_priority_max (policy);
 632
 633         if (max > 0 && min >= 0 && max > min) {
 634                 double srange, drange, sposition, dposition;
 635                 srange = MONO_THREAD_PRIORITY_HIGHEST - MONO_THREAD_PRIORITY_LOWEST;
 636                 drange = max - min;
 637                 sposition = priority - MONO_THREAD_PRIORITY_LOWEST;
 638                 dposition = (sposition / srange) * drange;
 639                 param.sched_priority = (int)(dposition + min);
 640         } else
 641 #endif
 642         {
 643                 switch (policy) {
 644                 case SCHED_FIFO:
 645                 case SCHED_RR:
 646                         param.sched_priority = 50;
 647                         break;
 648 #ifdef SCHED_BATCH
 649                 case SCHED_BATCH:
 650 #endif
 651                 case SCHED_OTHER:
 652                         param.sched_priority = 0;
 653                         break;
 654                 default:
 655                         g_error ("%s: unknown policy %d", __func__, policy);
 656                 }
 657         }
 658
 659         res = pthread_setschedparam (tid, policy, &param);
 660         if (res != 0) {
 661                 if (res == EPERM) {
 662                         g_warning ("%s: pthread_setschedparam failed, error: \"%s\" (%d)", __func__, g_strerror (res), res);
 663                         return;
 664                 }
 665                 g_error ("%s: pthread_setschedparam failed, error: \"%s\" (%d)", __func__, g_strerror (res), res);
 666         }
 667 #endif /* HOST_WIN32 */
 668 }
 669
 670 static void
 671 mono_alloc_static_data (gpointer **static_data_ptr, guint32 offset, gboolean threadlocal);
 672
 673 static gboolean
 674 mono_thread_attach_internal (MonoThread *thread, gboolean force_attach, gboolean force_domain, gsize *stack_ptr)
 675 {
 676         MonoThreadInfo *info;
 677         MonoInternalThread *internal;
 678         MonoDomain *domain, *root_domain;
 679
 680         g_assert (thread);
 681
 682         info = mono_thread_info_current ();
 683
 684         internal = thread->internal_thread;
 685         internal->handle = mono_threads_open_thread_handle (info->handle);
 686 #ifdef HOST_WIN32
 687         internal->native_handle = OpenThread (THREAD_ALL_ACCESS, FALSE, GetCurrentThreadId ());
 688 #endif
 689         internal->tid = MONO_NATIVE_THREAD_ID_TO_UINT (mono_native_thread_id_get ());
 690         internal->thread_info = info;
 691         internal->small_id = info->small_id;
 692         internal->stack_ptr = stack_ptr;
 693
 694         THREAD_DEBUG (g_message ("%s: (%"G_GSIZE_FORMAT") Setting current_object_key to %p", __func__, mono_native_thread_id_get (), internal));
 695
 696         SET_CURRENT_OBJECT (internal);
 697
 698         domain = mono_object_domain (thread);
 699
 700         mono_thread_push_appdomain_ref (domain);
 701         if (!mono_domain_set (domain, force_domain)) {
 702                 mono_thread_pop_appdomain_ref ();
 703                 return FALSE;
 704         }
 705
 706         mono_threads_lock ();
 707
 708         if (threads_starting_up)
 709                 mono_g_hash_table_remove (threads_starting_up, thread);
 710
 711         if (shutting_down && !force_attach) {
 712                 mono_threads_unlock ();
 713                 return FALSE;
 714         }
 715
 716         if (!threads) {
 717                 MONO_GC_REGISTER_ROOT_FIXED (threads, MONO_ROOT_SOURCE_THREADING, "threads table");
 718                 threads = mono_g_hash_table_new_type (NULL, NULL, MONO_HASH_VALUE_GC, MONO_ROOT_SOURCE_THREADING, "threads table");
 719         }
 720
 721         /* We don't need to duplicate thread->handle, because it is
 722          * only closed when the thread object is finalized by the GC. */
 723         mono_g_hash_table_insert (threads, (gpointer)(gsize)(internal->tid), internal);
 724
 725         /* We have to do this here because mono_thread_start_cb
 726          * requires that root_domain_thread is set up. */
 727         if (thread_static_info.offset || thread_static_info.idx > 0) {
 728                 /* get the current allocated size */
 729                 guint32 offset = MAKE_SPECIAL_STATIC_OFFSET (thread_static_info.idx, thread_static_info.offset, 0);
 730                 mono_alloc_static_data (&internal->static_data, offset, TRUE);
 731         }
 732
 733         mono_threads_unlock ();
 734
 735         root_domain = mono_get_root_domain ();
 736
 737         g_assert (!internal->root_domain_thread);
 738         if (domain != root_domain)
 739                 MONO_OBJECT_SETREF (internal, root_domain_thread, create_thread_object (root_domain, internal));
 740         else
 741                 MONO_OBJECT_SETREF (internal, root_domain_thread, thread);
 742
 743         if (domain != root_domain)
 744                 set_current_thread_for_domain (root_domain, internal, internal->root_domain_thread);
 745
 746         set_current_thread_for_domain (domain, internal, thread);
 747
 748         THREAD_DEBUG (g_message ("%s: Attached thread ID %"G_GSIZE_FORMAT" (handle %p)", __func__, internal->tid, internal->handle));
 749
 750         return TRUE;
 751 }
 752
 753 typedef struct {
 754         gint32 ref;
 755         MonoThread *thread;
 756         MonoObject *start_delegate;
 757         MonoObject *start_delegate_arg;
 758         MonoThreadStart start_func;
 759         gpointer start_func_arg;
 760         gboolean failed;
 761         MonoCoopSem registered;
 762 } StartInfo;
 763
 764 static guint32 WINAPI start_wrapper_internal(StartInfo *start_info, gsize *stack_ptr)
 765 {
 766         MonoError error;
 767         MonoThreadStart start_func;
 768         void *start_func_arg;
 769         gsize tid;
 770         /*
 771          * We don't create a local to hold start_info->thread, so hopefully it won't get pinned during a
 772          * GC stack walk.
 773          */
 774         MonoThread *thread;
 775         MonoInternalThread *internal;
 776         MonoObject *start_delegate;
 777         MonoObject *start_delegate_arg;
 778         MonoDomain *domain;
 779
 780         thread = start_info->thread;
 781         internal = thread->internal_thread;
 782         domain = mono_object_domain (start_info->thread);
 783
 784         THREAD_DEBUG (g_message ("%s: (%"G_GSIZE_FORMAT") Start wrapper", __func__, mono_native_thread_id_get ()));
 785
 786         if (!mono_thread_attach_internal (thread, FALSE, FALSE, stack_ptr)) {
 787                 start_info->failed = TRUE;
 788
 789                 mono_coop_sem_post (&start_info->registered);
 790
 791                 if (InterlockedDecrement (&start_info->ref) == 0) {
 792                         mono_coop_sem_destroy (&start_info->registered);
 793                         g_free (start_info);
 794                 }
 795
 796                 return 0;
 797         }
 798
 799         mono_thread_internal_set_priority (internal, internal->priority);
 800
 801         tid = internal->tid;
 802
 803         start_delegate = start_info->start_delegate;
 804         start_delegate_arg = start_info->start_delegate_arg;
 805         start_func = start_info->start_func;
 806         start_func_arg = start_info->start_func_arg;
 807
 808         /* This MUST be called before any managed code can be
 809          * executed, as it calls the callback function that (for the
 810          * jit) sets the lmf marker.
 811          */
 812
 813         if (mono_thread_start_cb)
 814                 mono_thread_start_cb (tid, stack_ptr, start_func);
 815
 816         /* On 2.0 profile (and higher), set explicitly since state might have been
 817            Unknown */
 818         if (internal->apartment_state == ThreadApartmentState_Unknown)
 819                 internal->apartment_state = ThreadApartmentState_MTA;
 820
 821         mono_thread_init_apartment_state ();
 822
 823         /* Let the thread that called Start() know we're ready */
 824         mono_coop_sem_post (&start_info->registered);
 825
 826         if (InterlockedDecrement (&start_info->ref) == 0) {
 827                 mono_coop_sem_destroy (&start_info->registered);
 828                 g_free (start_info);
 829         }
 830
 831         /* start_info is not valid anymore */
 832         start_info = NULL;
 833
 834         /*
 835          * Call this after calling start_notify, since the profiler callback might want
 836          * to lock the thread, and the lock is held by thread_start () which waits for
 837          * start_notify.
 838          */
 839         mono_profiler_thread_start (tid);
 840
 841         /* if the name was set before starting, we didn't invoke the profiler callback */
 842         if (internal->name) {
 843                 char *tname = g_utf16_to_utf8 (internal->name, internal->name_len, NULL, NULL, NULL);
 844                 mono_profiler_thread_name (internal->tid, tname);
 845                 mono_native_thread_set_name (MONO_UINT_TO_NATIVE_THREAD_ID (internal->tid), tname);
 846                 g_free (tname);
 847         }
 848
 849         /* start_func is set only for unmanaged start functions */
 850         if (start_func) {
 851                 start_func (start_func_arg);
 852         } else {
 853                 void *args [1];
 854
 855                 g_assert (start_delegate != NULL);
 856
 857                 /* we may want to handle the exception here. See comment below on unhandled exceptions */
 858                 args [0] = (gpointer) start_delegate_arg;
 859                 mono_runtime_delegate_invoke_checked (start_delegate, args, &error);
 860
 861                 if (!mono_error_ok (&error)) {
 862                         MonoException *ex = mono_error_convert_to_exception (&error);
 863
 864                         g_assert (ex != NULL);
 865                         MonoClass *klass = mono_object_get_class (&ex->object);
 866                         if ((mono_runtime_unhandled_exception_policy_get () != MONO_UNHANDLED_POLICY_LEGACY) &&
 867                             !is_threadabort_exception (klass)) {
 868                                 mono_unhandled_exception (&ex->object);
 869                                 mono_invoke_unhandled_exception_hook (&ex->object);
 870                                 g_assert_not_reached ();
 871                         }
 872                 } else {
 873                         mono_error_cleanup (&error);
 874                 }
 875         }
 876
 877         /* If the thread calls ExitThread at all, this remaining code
 878          * will not be executed, but the main thread will eventually
 879          * call thread_cleanup() on this thread's behalf.
 880          */
 881
 882         THREAD_DEBUG (g_message ("%s: (%"G_GSIZE_FORMAT") Start wrapper terminating", __func__, mono_native_thread_id_get ()));
 883
 884         /* Do any cleanup needed for apartment state. This
 885          * cannot be done in thread_cleanup since thread_cleanup could be
 886          * called for a thread other than the current thread.
 887          * mono_thread_cleanup_apartment_state cleans up apartment
 888          * for the current thead */
 889         mono_thread_cleanup_apartment_state ();
 890
 891         mono_thread_detach_internal (internal);
 892
 893         internal->tid = 0;
 894
 895         return(0);
 896 }
 897
 898 static gsize WINAPI start_wrapper(void *data)
 899 {
 900         volatile gsize dummy;
 901
 902         return start_wrapper_internal ((StartInfo*) data, (gsize*) &dummy);
 903 }
 904
 905 /*
 906  * create_thread:
 907  *
 908  *   Common thread creation code.
 909  * LOCKING: Acquires the threads lock.
 910  */
 911 static gboolean
 912 create_thread (MonoThread *thread, MonoInternalThread *internal, MonoObject *start_delegate, MonoThreadStart start_func, gpointer start_func_arg,
 913         gboolean threadpool_thread, guint32 stack_size, MonoError *error)
 914 {
 915         StartInfo *start_info = NULL;
 916         MonoThreadHandle *thread_handle;
 917         MonoNativeThreadId tid;
 918         gboolean ret;
 919         gsize stack_set_size;
 920
 921         if (start_delegate)
 922                 g_assert (!start_func && !start_func_arg);
 923         if (start_func)
 924                 g_assert (!start_delegate);
 925
 926         /*
 927          * Join joinable threads to prevent running out of threads since the finalizer
 928          * thread might be blocked/backlogged.
 929          */
 930         mono_threads_join_threads ();
 931
 932         mono_error_init (error);
 933
 934         mono_threads_lock ();
 935         if (shutting_down) {
 936                 mono_threads_unlock ();
 937                 return FALSE;
 938         }
 939         if (threads_starting_up == NULL) {
 940                 MONO_GC_REGISTER_ROOT_FIXED (threads_starting_up, MONO_ROOT_SOURCE_THREADING, "starting threads table");
 941                 threads_starting_up = mono_g_hash_table_new_type (NULL, NULL, MONO_HASH_KEY_VALUE_GC, MONO_ROOT_SOURCE_THREADING, "starting threads table");
 942         }
 943         mono_g_hash_table_insert (threads_starting_up, thread, thread);
 944         mono_threads_unlock ();
 945
 946         internal->threadpool_thread = threadpool_thread;
 947         if (threadpool_thread)
 948                 mono_thread_set_state (internal, ThreadState_Background);
 949
 950         start_info = g_new0 (StartInfo, 1);
 951         start_info->ref = 2;
 952         start_info->thread = thread;
 953         start_info->start_delegate = start_delegate;
 954         start_info->start_delegate_arg = thread->start_obj;
 955         start_info->start_func = start_func;
 956         start_info->start_func_arg = start_func_arg;
 957         start_info->failed = FALSE;
 958         mono_coop_sem_init (&start_info->registered, 0);
 959
 960         if (stack_size == 0)
 961                 stack_set_size = default_stacksize_for_thread (internal);
 962         else
 963                 stack_set_size = 0;
 964
 965         thread_handle = mono_threads_create_thread (start_wrapper, start_info, &stack_set_size, &tid);
 966
 967         if (thread_handle == NULL) {
 968                 /* The thread couldn't be created, so set an exception */
 969                 mono_threads_lock ();
 970                 mono_g_hash_table_remove (threads_starting_up, thread);
 971                 mono_threads_unlock ();
 972                 mono_error_set_execution_engine (error, "Couldn't create thread. Error 0x%x", GetLastError());
 973                 /* ref is not going to be decremented in start_wrapper_internal */
 974                 InterlockedDecrement (&start_info->ref);
 975                 ret = FALSE;
 976                 goto done;
 977         }
 978
 979         internal->stack_size = (int) stack_set_size;
 980
 981         THREAD_DEBUG (g_message ("%s: (%"G_GSIZE_FORMAT") Launching thread %p (%"G_GSIZE_FORMAT")", __func__, mono_native_thread_id_get (), internal, (gsize)internal->tid));
 982
 983         /*
 984          * Wait for the thread to set up its TLS data etc, so
 985          * theres no potential race condition if someone tries
 986          * to look up the data believing the thread has
 987          * started
 988          */
 989
 990         mono_coop_sem_wait (&start_info->registered, MONO_SEM_FLAGS_NONE);
 991
 992         mono_threads_close_thread_handle (thread_handle);
 993
 994         THREAD_DEBUG (g_message ("%s: (%"G_GSIZE_FORMAT") Done launching thread %p (%"G_GSIZE_FORMAT")", __func__, mono_native_thread_id_get (), internal, (gsize)internal->tid));
 995
 996         ret = !start_info->failed;
 997
 998 done:
 999         if (InterlockedDecrement (&start_info->ref) == 0) {
1000                 mono_coop_sem_destroy (&start_info->registered);
1001                 g_free (start_info);
1002         }
1003
1004         return ret;
1005 }
1006
1007 void mono_thread_new_init (intptr_t tid, gpointer stack_start, gpointer func)
1008 {
1009         if (mono_thread_start_cb) {
1010                 mono_thread_start_cb (tid, stack_start, func);
1011         }
1012 }
1013
1014 void mono_threads_set_default_stacksize (guint32 stacksize)
1015 {
1016         default_stacksize = stacksize;
1017 }
1018
1019 guint32 mono_threads_get_default_stacksize (void)
1020 {
1021         return default_stacksize;
1022 }
1023
1024 /*
1025  * mono_thread_create_internal:
1026  *
1027  *   ARG should not be a GC reference.
1028  */
1029 MonoInternalThread*
1030 mono_thread_create_internal (MonoDomain *domain, gpointer func, gpointer arg, gboolean threadpool_thread, guint32 stack_size, MonoError *error)
1031 {
1032         MonoThread *thread;
1033         MonoInternalThread *internal;
1034         gboolean res;
1035
1036         mono_error_init (error);
1037
1038         internal = create_internal_thread_object ();
1039
1040         thread = create_thread_object (domain, internal);
1041
1042         LOCK_THREAD (internal);
1043
1044         res = create_thread (thread, internal, NULL, (MonoThreadStart) func, arg, threadpool_thread, stack_size, error);
1045         return_val_if_nok (error, NULL);
1046
1047         UNLOCK_THREAD (internal);
1048
1049         return internal;
1050 }
1051
1052 void
1053 mono_thread_create (MonoDomain *domain, gpointer func, gpointer arg)
1054 {
1055         MonoError error;
1056         if (!mono_thread_create_checked (domain, func, arg, &error))
1057                 mono_error_cleanup (&error);
1058 }
1059
1060 gboolean
1061 mono_thread_create_checked (MonoDomain *domain, gpointer func, gpointer arg, MonoError *error)
1062 {
1063         return (NULL != mono_thread_create_internal (domain, func, arg, FALSE, 0, error));
1064 }
1065
1066 MonoThread *
1067 mono_thread_attach (MonoDomain *domain)
1068 {
1069         MonoThread *thread = mono_thread_attach_full (domain, FALSE);
1070
1071         return thread;
1072 }
1073
1074 MonoThread *
1075 mono_thread_attach_full (MonoDomain *domain, gboolean force_attach)
1076 {
1077         MonoInternalThread *internal;
1078         MonoThread *thread;
1079         MonoNativeThreadId tid;
1080         gsize stack_ptr;
1081
1082         if (mono_thread_internal_current_is_attached ()) {
1083                 if (domain != mono_domain_get ())
1084                         mono_domain_set (domain, TRUE);
1085                 /* Already attached */
1086                 return mono_thread_current ();
1087         }
1088
1089         if (!mono_gc_register_thread (&domain)) {
1090                 g_error ("Thread %"G_GSIZE_FORMAT" calling into managed code is not registered with the GC. On UNIX, this can be fixed by #include-ing <gc.h> before <pthread.h> in the file containing the thread creation code.", mono_native_thread_id_get ());
1091         }
1092
1093         tid=mono_native_thread_id_get ();
1094
1095         internal = create_internal_thread_object ();
1096
1097         thread = create_thread_object (domain, internal);
1098
1099         if (!mono_thread_attach_internal (thread, force_attach, TRUE, &stack_ptr)) {
1100                 /* Mono is shutting down, so just wait for the end */
1101                 for (;;)
1102                         mono_thread_info_sleep (10000, NULL);
1103         }
1104
1105         THREAD_DEBUG (g_message ("%s: Attached thread ID %"G_GSIZE_FORMAT" (handle %p)", __func__, tid, internal->handle));
1106
1107         if (mono_thread_attach_cb) {
1108                 guint8 *staddr;
1109                 size_t stsize;
1110
1111                 mono_thread_info_get_stack_bounds (&staddr, &stsize);
1112
1113                 if (staddr == NULL)
1114                         mono_thread_attach_cb (MONO_NATIVE_THREAD_ID_TO_UINT (tid), &stack_ptr);
1115                 else
1116                         mono_thread_attach_cb (MONO_NATIVE_THREAD_ID_TO_UINT (tid), staddr + stsize);
1117         }
1118
1119         /* Can happen when we attach the profiler helper thread in order to heapshot. */
1120         if (!mono_thread_info_current ()->tools_thread)
1121                 // FIXME: Need a separate callback
1122                 mono_profiler_thread_start (MONO_NATIVE_THREAD_ID_TO_UINT (tid));
1123
1124         return thread;
1125 }
1126
1127 void
1128 mono_thread_detach_internal (MonoInternalThread *thread)
1129 {
1130         g_return_if_fail (thread != NULL);
1131
1132         THREAD_DEBUG (g_message ("%s: mono_thread_detach for %p (%"G_GSIZE_FORMAT")", __func__, thread, (gsize)thread->tid));
1133
1134 #ifndef HOST_WIN32
1135         mono_w32mutex_abandon ();
1136 #endif
1137
1138         thread_cleanup (thread);
1139
1140         SET_CURRENT_OBJECT (NULL);
1141         mono_domain_unset ();
1142
1143         /* Don't need to close the handle to this thread, even though we took a
1144          * reference in mono_thread_attach (), because the GC will do it
1145          * when the Thread object is finalised.
1146          */
1147 }
1148
1149 void
1150 mono_thread_detach (MonoThread *thread)
1151 {
1152         if (thread)
1153                 mono_thread_detach_internal (thread->internal_thread);
1154 }
1155
1156 /*
1157  * mono_thread_detach_if_exiting:
1158  *
1159  *   Detach the current thread from the runtime if it is exiting, i.e. it is running pthread dtors.
1160  * This should be used at the end of embedding code which calls into managed code, and which
1161  * can be called from pthread dtors, like dealloc: implementations in objective-c.
1162  */
1163 mono_bool
1164 mono_thread_detach_if_exiting (void)
1165 {
1166         if (mono_thread_info_is_exiting ()) {
1167                 MonoInternalThread *thread;
1168
1169                 thread = mono_thread_internal_current ();
1170                 if (thread) {
1171                         mono_thread_detach_internal (thread);
1172                         mono_thread_info_detach ();
1173                         return TRUE;
1174                 }
1175         }
1176         return FALSE;
1177 }
1178
1179 gboolean
1180 mono_thread_internal_current_is_attached (void)
1181 {
1182         MonoInternalThread *internal;
1183
1184         internal = GET_CURRENT_OBJECT ();
1185         if (!internal)
1186                 return FALSE;
1187
1188         return TRUE;
1189 }
1190
1191 void
1192 mono_thread_exit (void)
1193 {
1194         MonoInternalThread *thread = mono_thread_internal_current ();
1195
1196         THREAD_DEBUG (g_message ("%s: mono_thread_exit for %p (%"G_GSIZE_FORMAT")", __func__, thread, (gsize)thread->tid));
1197
1198         mono_thread_detach_internal (thread);
1199
1200         /* we could add a callback here for embedders to use. */
1201         if (mono_thread_get_main () && (thread == mono_thread_get_main ()->internal_thread))
1202                 exit (mono_environment_exitcode_get ());
1203
1204         mono_thread_info_exit (0);
1205 }
1206
1207 void
1208 ves_icall_System_Threading_Thread_ConstructInternalThread (MonoThread *this_obj)
1209 {
1210         MonoInternalThread *internal;
1211
1212         internal = create_internal_thread_object ();
1213
1214         internal->state = ThreadState_Unstarted;
1215
1216         InterlockedCompareExchangePointer ((volatile gpointer *)&this_obj->internal_thread, internal, NULL);
1217 }
1218
1219 MonoThread *
1220 ves_icall_System_Threading_Thread_GetCurrentThread (void)
1221 {
1222         return mono_thread_current ();
1223 }
1224
1225 HANDLE
1226 ves_icall_System_Threading_Thread_Thread_internal (MonoThread *this_obj,
1227                                                                                                    MonoObject *start)
1228 {
1229         MonoError error;
1230         MonoInternalThread *internal;
1231         gboolean res;
1232
1233         THREAD_DEBUG (g_message("%s: Trying to start a new thread: this (%p) start (%p)", __func__, this_obj, start));
1234
1235         if (!this_obj->internal_thread)
1236                 ves_icall_System_Threading_Thread_ConstructInternalThread (this_obj);
1237         internal = this_obj->internal_thread;
1238
1239         LOCK_THREAD (internal);
1240
1241         if ((internal->state & ThreadState_Unstarted) == 0) {
1242                 UNLOCK_THREAD (internal);
1243                 mono_set_pending_exception (mono_get_exception_thread_state ("Thread has already been started."));
1244                 return NULL;
1245         }
1246
1247         if ((internal->state & ThreadState_Aborted) != 0) {
1248                 UNLOCK_THREAD (internal);
1249                 return this_obj;
1250         }
1251
1252         res = create_thread (this_obj, internal, start, NULL, NULL, FALSE, 0, &error);
1253         if (!res) {
1254                 mono_error_cleanup (&error);
1255                 UNLOCK_THREAD (internal);
1256                 return NULL;
1257         }
1258
1259         internal->state &= ~ThreadState_Unstarted;
1260
1261         THREAD_DEBUG (g_message ("%s: Started thread ID %"G_GSIZE_FORMAT" (handle %p)", __func__, tid, thread));
1262
1263         UNLOCK_THREAD (internal);
1264         return internal->handle;
1265 }
1266
1267 /*
1268  * This is called from the finalizer of the internal thread object.
1269  */
1270 void
1271 ves_icall_System_Threading_InternalThread_Thread_free_internal (MonoInternalThread *this_obj)
1272 {
1273         THREAD_DEBUG (g_message ("%s: Closing thread %p, handle %p", __func__, this, this_obj->handle));
1274
1275         /*
1276          * Since threads keep a reference to their thread object while running, by the time this function is called,
1277          * the thread has already exited/detached, i.e. thread_cleanup () has ran. The exception is during shutdown,
1278          * when thread_cleanup () can be called after this.
1279          */
1280         if (this_obj->handle) {
1281                 mono_threads_close_thread_handle (this_obj->handle);
1282                 this_obj->handle = NULL;
1283         }
1284
1285 #if HOST_WIN32
1286         CloseHandle (this_obj->native_handle);
1287 #endif
1288
1289         if (this_obj->synch_cs) {
1290                 MonoCoopMutex *synch_cs = this_obj->synch_cs;
1291                 this_obj->synch_cs = NULL;
1292                 mono_coop_mutex_destroy (synch_cs);
1293                 g_free (synch_cs);
1294         }
1295
1296         if (this_obj->name) {
1297                 void *name = this_obj->name;
1298                 this_obj->name = NULL;
1299                 g_free (name);
1300         }
1301 }
1302
1303 void
1304 ves_icall_System_Threading_Thread_Sleep_internal(gint32 ms)
1305 {
1306         guint32 res;
1307         MonoInternalThread *thread = mono_thread_internal_current ();
1308
1309         THREAD_DEBUG (g_message ("%s: Sleeping for %d ms", __func__, ms));
1310
1311         if (mono_thread_current_check_pending_interrupt ())
1312                 return;
1313
1314         while (TRUE) {
1315                 gboolean alerted = FALSE;
1316
1317                 mono_thread_set_state (thread, ThreadState_WaitSleepJoin);
1318
1319                 res = mono_thread_info_sleep (ms, &alerted);
1320
1321                 mono_thread_clr_state (thread, ThreadState_WaitSleepJoin);
1322
1323                 if (alerted) {
1324                         MonoException* exc = mono_thread_execute_interruption ();
1325                         if (exc) {
1326                                 mono_raise_exception (exc);
1327                         } else {
1328                                 // FIXME: !INFINITE
1329                                 if (ms != INFINITE)
1330                                         break;
1331                         }
1332                 } else {
1333                         break;
1334                 }
1335         }
1336 }
1337
1338 void ves_icall_System_Threading_Thread_SpinWait_nop (void)
1339 {
1340 }
1341
1342 gint32
1343 ves_icall_System_Threading_Thread_GetDomainID (void)
1344 {
1345         return mono_domain_get()->domain_id;
1346 }
1347
1348 gboolean
1349 ves_icall_System_Threading_Thread_Yield (void)
1350 {
1351         return mono_thread_info_yield ();
1352 }
1353
1354 /*
1355  * mono_thread_get_name:
1356  *
1357  *   Return the name of the thread. NAME_LEN is set to the length of the name.
1358  * Return NULL if the thread has no name. The returned memory is owned by the
1359  * caller.
1360  */
1361 gunichar2*
1362 mono_thread_get_name (MonoInternalThread *this_obj, guint32 *name_len)
1363 {
1364         gunichar2 *res;
1365
1366         LOCK_THREAD (this_obj);
1367
1368         if (!this_obj->name) {
1369                 *name_len = 0;
1370                 res = NULL;
1371         } else {
1372                 *name_len = this_obj->name_len;
1373                 res = g_new (gunichar2, this_obj->name_len);
1374                 memcpy (res, this_obj->name, sizeof (gunichar2) * this_obj->name_len);
1375         }
1376
1377         UNLOCK_THREAD (this_obj);
1378
1379         return res;
1380 }
1381
1382 /*
1383  * mono_thread_get_name_utf8:
1384  *
1385  * Return the name of the thread in UTF-8.
1386  * Return NULL if the thread has no name.
1387  * The returned memory is owned by the caller.
1388  */
1389 char *
1390 mono_thread_get_name_utf8 (MonoThread *thread)
1391 {
1392         if (thread == NULL)
1393                 return NULL;
1394
1395         MonoInternalThread *internal = thread->internal_thread;
1396         if (internal == NULL)
1397                 return NULL;
1398
1399         LOCK_THREAD (internal);
1400
1401         char *tname = g_utf16_to_utf8 (internal->name, internal->name_len, NULL, NULL, NULL);
1402
1403         UNLOCK_THREAD (internal);
1404
1405         return tname;
1406 }
1407
1408 /*
1409  * mono_thread_get_managed_id:
1410  *
1411  * Return the Thread.ManagedThreadId value of `thread`.
1412  * Returns -1 if `thread` is NULL.
1413  */
1414 int32_t
1415 mono_thread_get_managed_id (MonoThread *thread)
1416 {
1417         if (thread == NULL)
1418                 return -1;
1419
1420         MonoInternalThread *internal = thread->internal_thread;
1421         if (internal == NULL)
1422                 return -1;
1423
1424         int32_t id = internal->managed_id;
1425
1426         return id;
1427 }
1428
1429 MonoString*
1430 ves_icall_System_Threading_Thread_GetName_internal (MonoInternalThread *this_obj)
1431 {
1432         MonoError error;
1433         MonoString* str;
1434
1435         mono_error_init (&error);
1436
1437         LOCK_THREAD (this_obj);
1438
1439         if (!this_obj->name)
1440                 str = NULL;
1441         else
1442                 str = mono_string_new_utf16_checked (mono_domain_get (), this_obj->name, this_obj->name_len, &error);
1443
1444         UNLOCK_THREAD (this_obj);
1445
1446         if (mono_error_set_pending_exception (&error))
1447                 return NULL;
1448
1449         return str;
1450 }
1451
1452 void
1453 mono_thread_set_name_internal (MonoInternalThread *this_obj, MonoString *name, gboolean permanent, MonoError *error)
1454 {
1455         LOCK_THREAD (this_obj);
1456
1457         mono_error_init (error);
1458
1459         if ((this_obj->flags & MONO_THREAD_FLAG_NAME_SET)) {
1460                 UNLOCK_THREAD (this_obj);
1461
1462                 mono_error_set_invalid_operation (error, "Thread.Name can only be set once.");
1463                 return;
1464         }
1465         if (this_obj->name) {
1466                 g_free (this_obj->name);
1467                 this_obj->name_len = 0;
1468         }
1469         if (name) {
1470                 this_obj->name = g_new (gunichar2, mono_string_length (name));
1471                 memcpy (this_obj->name, mono_string_chars (name), mono_string_length (name) * 2);
1472                 this_obj->name_len = mono_string_length (name);
1473
1474                 if (permanent)
1475                         this_obj->flags |= MONO_THREAD_FLAG_NAME_SET;
1476         }
1477         else
1478                 this_obj->name = NULL;
1479
1480
1481         UNLOCK_THREAD (this_obj);
1482
1483         if (this_obj->name && this_obj->tid) {
1484                 char *tname = mono_string_to_utf8_checked (name, error);
1485                 return_if_nok (error);
1486                 mono_profiler_thread_name (this_obj->tid, tname);
1487                 mono_native_thread_set_name (thread_get_tid (this_obj), tname);
1488                 mono_free (tname);
1489         }
1490 }
1491
1492 void
1493 ves_icall_System_Threading_Thread_SetName_internal (MonoInternalThread *this_obj, MonoString *name)
1494 {
1495         MonoError error;
1496         mono_thread_set_name_internal (this_obj, name, TRUE, &error);
1497         mono_error_set_pending_exception (&error);
1498 }
1499
1500 /*
1501  * ves_icall_System_Threading_Thread_GetPriority_internal:
1502  * @param this_obj: The MonoInternalThread on which to operate.
1503  *
1504  * Gets the priority of the given thread.
1505  * @return: The priority of the given thread.
1506  */
1507 int
1508 ves_icall_System_Threading_Thread_GetPriority (MonoThread *this_obj)
1509 {
1510         gint32 priority;
1511         MonoInternalThread *internal = this_obj->internal_thread;
1512
1513         LOCK_THREAD (internal);
1514         priority = internal->priority;
1515         UNLOCK_THREAD (internal);
1516
1517         return priority;
1518 }
1519
1520 /*
1521  * ves_icall_System_Threading_Thread_SetPriority_internal:
1522  * @param this_obj: The MonoInternalThread on which to operate.
1523  * @param priority: The priority to set.
1524  *
1525  * Sets the priority of the given thread.
1526  */
1527 void
1528 ves_icall_System_Threading_Thread_SetPriority (MonoThread *this_obj, int priority)
1529 {
1530         MonoInternalThread *internal = this_obj->internal_thread;
1531
1532         LOCK_THREAD (internal);
1533         internal->priority = priority;
1534         if (internal->thread_info != NULL)
1535                 mono_thread_internal_set_priority (internal, priority);
1536         UNLOCK_THREAD (internal);
1537 }
1538
1539 /* If the array is already in the requested domain, we just return it,
1540    otherwise we return a copy in that domain. */
1541 static MonoArray*
1542 byte_array_to_domain (MonoArray *arr, MonoDomain *domain, MonoError *error)
1543 {
1544         MonoArray *copy;
1545
1546         mono_error_init (error);
1547         if (!arr)
1548                 return NULL;
1549
1550         if (mono_object_domain (arr) == domain)
1551                 return arr;
1552
1553         copy = mono_array_new_checked (domain, mono_defaults.byte_class, arr->max_length, error);
1554         memmove (mono_array_addr (copy, guint8, 0), mono_array_addr (arr, guint8, 0), arr->max_length);
1555         return copy;
1556 }
1557
1558 MonoArray*
1559 ves_icall_System_Threading_Thread_ByteArrayToRootDomain (MonoArray *arr)
1560 {
1561         MonoError error;
1562         MonoArray *result = byte_array_to_domain (arr, mono_get_root_domain (), &error);
1563         mono_error_set_pending_exception (&error);
1564         return result;
1565 }
1566
1567 MonoArray*
1568 ves_icall_System_Threading_Thread_ByteArrayToCurrentDomain (MonoArray *arr)
1569 {
1570         MonoError error;
1571         MonoArray *result = byte_array_to_domain (arr, mono_domain_get (), &error);
1572         mono_error_set_pending_exception (&error);
1573         return result;
1574 }
1575
1576 MonoThread *
1577 mono_thread_current (void)
1578 {
1579         MonoDomain *domain = mono_domain_get ();
1580         MonoInternalThread *internal = mono_thread_internal_current ();
1581         MonoThread **current_thread_ptr;
1582
1583         g_assert (internal);
1584         current_thread_ptr = get_current_thread_ptr_for_domain (domain, internal);
1585
1586         if (!*current_thread_ptr) {
1587                 g_assert (domain != mono_get_root_domain ());
1588                 *current_thread_ptr = create_thread_object (domain, internal);
1589         }
1590         return *current_thread_ptr;
1591 }
1592
1593 /* Return the thread object belonging to INTERNAL in the current domain */
1594 static MonoThread *
1595 mono_thread_current_for_thread (MonoInternalThread *internal)
1596 {
1597         MonoDomain *domain = mono_domain_get ();
1598         MonoThread **current_thread_ptr;
1599
1600         g_assert (internal);
1601         current_thread_ptr = get_current_thread_ptr_for_domain (domain, internal);
1602
1603         if (!*current_thread_ptr) {
1604                 g_assert (domain != mono_get_root_domain ());
1605                 *current_thread_ptr = create_thread_object (domain, internal);
1606         }
1607         return *current_thread_ptr;
1608 }
1609
1610 MonoInternalThread*
1611 mono_thread_internal_current (void)
1612 {
1613         MonoInternalThread *res = GET_CURRENT_OBJECT ();
1614         THREAD_DEBUG (g_message ("%s: returning %p", __func__, res));
1615         return res;
1616 }
1617
1618 gboolean
1619 ves_icall_System_Threading_Thread_Join_internal(MonoThread *this_obj, int ms)
1620 {
1621         MonoInternalThread *thread = this_obj->internal_thread;
1622         MonoThreadHandle *handle = thread->handle;
1623         MonoInternalThread *cur_thread = mono_thread_internal_current ();
1624         gboolean ret;
1625
1626         if (mono_thread_current_check_pending_interrupt ())
1627                 return FALSE;
1628
1629         LOCK_THREAD (thread);
1630
1631         if ((thread->state & ThreadState_Unstarted) != 0) {
1632                 UNLOCK_THREAD (thread);
1633
1634                 mono_set_pending_exception (mono_get_exception_thread_state ("Thread has not been started."));
1635                 return FALSE;
1636         }
1637
1638         UNLOCK_THREAD (thread);
1639
1640         if(ms== -1) {
1641                 ms=INFINITE;
1642         }
1643         THREAD_DEBUG (g_message ("%s: joining thread handle %p, %d ms", __func__, handle, ms));
1644
1645         mono_thread_set_state (cur_thread, ThreadState_WaitSleepJoin);
1646
1647         MONO_ENTER_GC_SAFE;
1648         ret=mono_thread_info_wait_one_handle (handle, ms, TRUE);
1649         MONO_EXIT_GC_SAFE;
1650
1651         mono_thread_clr_state (cur_thread, ThreadState_WaitSleepJoin);
1652
1653         if(ret==MONO_THREAD_INFO_WAIT_RET_SUCCESS_0) {
1654                 THREAD_DEBUG (g_message ("%s: join successful", __func__));
1655
1656                 return(TRUE);
1657         }
1658
1659         THREAD_DEBUG (g_message ("%s: join failed", __func__));
1660
1661         return(FALSE);
1662 }
1663
1664 #define MANAGED_WAIT_FAILED 0x7fffffff
1665
1666 static gint32
1667 map_native_wait_result_to_managed (gint32 val)
1668 {
1669         /* WAIT_FAILED in waithandle.cs is different from WAIT_FAILED in Win32 API */
1670         return val == WAIT_FAILED ? MANAGED_WAIT_FAILED : val;
1671 }
1672
1673 static gint32
1674 mono_wait_uninterrupted (MonoInternalThread *thread, guint32 numhandles, gpointer *handles, gboolean waitall, gint32 ms, MonoError *error)
1675 {
1676         MonoException *exc;
1677         guint32 ret;
1678         gint64 start;
1679         gint32 diff_ms;
1680         gint32 wait = ms;
1681
1682         mono_error_init (error);
1683
1684         start = (ms == -1) ? 0 : mono_100ns_ticks ();
1685         do {
1686                 MONO_ENTER_GC_SAFE;
1687                 if (numhandles != 1)
1688                         ret = WaitForMultipleObjectsEx (numhandles, handles, waitall, wait, TRUE);
1689                 else
1690                         ret = WaitForSingleObjectEx (handles [0], ms, TRUE);
1691                 MONO_EXIT_GC_SAFE;
1692
1693                 if (ret != WAIT_IO_COMPLETION)
1694                         break;
1695
1696                 exc = mono_thread_execute_interruption ();
1697                 if (exc) {
1698                         mono_error_set_exception_instance (error, exc);
1699                         break;
1700                 }
1701
1702                 if (ms == -1)
1703                         continue;
1704
1705                 /* Re-calculate ms according to the time passed */
1706                 diff_ms = (gint32)((mono_100ns_ticks () - start) / 10000);
1707                 if (diff_ms >= ms) {
1708                         ret = WAIT_TIMEOUT;
1709                         break;
1710                 }
1711                 wait = ms - diff_ms;
1712         } while (TRUE);
1713
1714         return ret;
1715 }
1716
1717 gint32 ves_icall_System_Threading_WaitHandle_WaitAll_internal(MonoArray *mono_handles, gint32 ms)
1718 {
1719         MonoError error;
1720         HANDLE *handles;
1721         guint32 numhandles;
1722         guint32 ret;
1723         guint32 i;
1724         MonoObject *waitHandle;
1725         MonoInternalThread *thread = mono_thread_internal_current ();
1726
1727         /* Do this WaitSleepJoin check before creating objects */
1728         if (mono_thread_current_check_pending_interrupt ())
1729                 return map_native_wait_result_to_managed (WAIT_FAILED);
1730
1731         /* We fail in managed if the array has more than 64 elements */
1732         numhandles = (guint32)mono_array_length(mono_handles);
1733         handles = g_new0(HANDLE, numhandles);
1734
1735         for(i = 0; i < numhandles; i++) {
1736                 waitHandle = mono_array_get(mono_handles, MonoObject*, i);
1737                 handles [i] = mono_wait_handle_get_handle ((MonoWaitHandle *) waitHandle);
1738         }
1739
1740         if(ms== -1) {
1741                 ms=INFINITE;
1742         }
1743
1744         mono_thread_set_state (thread, ThreadState_WaitSleepJoin);
1745
1746         ret = mono_wait_uninterrupted (thread, numhandles, handles, TRUE, ms, &error);
1747
1748         mono_thread_clr_state (thread, ThreadState_WaitSleepJoin);
1749
1750         g_free(handles);
1751
1752         mono_error_set_pending_exception (&error);
1753
1754         /* WAIT_FAILED in waithandle.cs is different from WAIT_FAILED in Win32 API */
1755         return map_native_wait_result_to_managed (ret);
1756 }
1757
1758 gint32 ves_icall_System_Threading_WaitHandle_WaitAny_internal(MonoArray *mono_handles, gint32 ms)
1759 {
1760         MonoError error;
1761         HANDLE handles [MONO_W32HANDLE_MAXIMUM_WAIT_OBJECTS];
1762         uintptr_t numhandles;
1763         guint32 ret;
1764         guint32 i;
1765         MonoObject *waitHandle;
1766         MonoInternalThread *thread = mono_thread_internal_current ();
1767
1768         /* Do this WaitSleepJoin check before creating objects */
1769         if (mono_thread_current_check_pending_interrupt ())
1770                 return map_native_wait_result_to_managed (WAIT_FAILED);
1771
1772         numhandles = mono_array_length(mono_handles);
1773         if (numhandles > MONO_W32HANDLE_MAXIMUM_WAIT_OBJECTS)
1774                 return map_native_wait_result_to_managed (WAIT_FAILED);
1775
1776         for(i = 0; i < numhandles; i++) {
1777                 waitHandle = mono_array_get(mono_handles, MonoObject*, i);
1778                 handles [i] = mono_wait_handle_get_handle ((MonoWaitHandle *) waitHandle);
1779         }
1780
1781         if(ms== -1) {
1782                 ms=INFINITE;
1783         }
1784
1785         mono_thread_set_state (thread, ThreadState_WaitSleepJoin);
1786
1787         ret = mono_wait_uninterrupted (thread, numhandles, handles, FALSE, ms, &error);
1788
1789         mono_thread_clr_state (thread, ThreadState_WaitSleepJoin);
1790
1791         THREAD_WAIT_DEBUG (g_message ("%s: (%"G_GSIZE_FORMAT") returning %d", __func__, mono_native_thread_id_get (), ret));
1792
1793         mono_error_set_pending_exception (&error);
1794
1795         /* WAIT_FAILED in waithandle.cs is different from WAIT_FAILED in Win32 API */
1796         return map_native_wait_result_to_managed (ret);
1797 }
1798
1799 gint32 ves_icall_System_Threading_WaitHandle_WaitOne_internal(HANDLE handle, gint32 ms)
1800 {
1801         MonoError error;
1802         guint32 ret;
1803         MonoInternalThread *thread = mono_thread_internal_current ();
1804
1805         THREAD_WAIT_DEBUG (g_message ("%s: (%"G_GSIZE_FORMAT") waiting for %p, %d ms", __func__, mono_native_thread_id_get (), handle, ms));
1806
1807         if(ms== -1) {
1808                 ms=INFINITE;
1809         }
1810
1811         if (mono_thread_current_check_pending_interrupt ())
1812                 return map_native_wait_result_to_managed (WAIT_FAILED);
1813
1814         mono_thread_set_state (thread, ThreadState_WaitSleepJoin);
1815
1816         ret = mono_wait_uninterrupted (thread, 1, &handle, FALSE, ms, &error);
1817
1818         mono_thread_clr_state (thread, ThreadState_WaitSleepJoin);
1819
1820         mono_error_set_pending_exception (&error);
1821         return map_native_wait_result_to_managed (ret);
1822 }
1823
1824 gint32
1825 ves_icall_System_Threading_WaitHandle_SignalAndWait_Internal (HANDLE toSignal, HANDLE toWait, gint32 ms)
1826 {
1827         guint32 ret;
1828         MonoInternalThread *thread = mono_thread_internal_current ();
1829
1830         if (ms == -1)
1831                 ms = INFINITE;
1832
1833         if (mono_thread_current_check_pending_interrupt ())
1834                 return map_native_wait_result_to_managed (WAIT_FAILED);
1835
1836         mono_thread_set_state (thread, ThreadState_WaitSleepJoin);
1837
1838         MONO_ENTER_GC_SAFE;
1839         ret = SignalObjectAndWait (toSignal, toWait, ms, TRUE);
1840         MONO_EXIT_GC_SAFE;
1841
1842         mono_thread_clr_state (thread, ThreadState_WaitSleepJoin);
1843
1844         return map_native_wait_result_to_managed (ret);
1845 }
1846
1847 gint32 ves_icall_System_Threading_Interlocked_Increment_Int (gint32 *location)
1848 {
1849         return InterlockedIncrement (location);
1850 }
1851
1852 gint64 ves_icall_System_Threading_Interlocked_Increment_Long (gint64 *location)
1853 {
1854 #if SIZEOF_VOID_P == 4
1855         if (G_UNLIKELY ((size_t)location & 0x7)) {
1856                 gint64 ret;
1857                 mono_interlocked_lock ();
1858                 (*location)++;
1859                 ret = *location;
1860                 mono_interlocked_unlock ();
1861                 return ret;
1862         }
1863 #endif
1864         return InterlockedIncrement64 (location);
1865 }
1866
1867 gint32 ves_icall_System_Threading_Interlocked_Decrement_Int (gint32 *location)
1868 {
1869         return InterlockedDecrement(location);
1870 }
1871
1872 gint64 ves_icall_System_Threading_Interlocked_Decrement_Long (gint64 * location)
1873 {
1874 #if SIZEOF_VOID_P == 4
1875         if (G_UNLIKELY ((size_t)location & 0x7)) {
1876                 gint64 ret;
1877                 mono_interlocked_lock ();
1878                 (*location)--;
1879                 ret = *location;
1880                 mono_interlocked_unlock ();
1881                 return ret;
1882         }
1883 #endif
1884         return InterlockedDecrement64 (location);
1885 }
1886
1887 gint32 ves_icall_System_Threading_Interlocked_Exchange_Int (gint32 *location, gint32 value)
1888 {
1889         return InterlockedExchange(location, value);
1890 }
1891
1892 MonoObject * ves_icall_System_Threading_Interlocked_Exchange_Object (MonoObject **location, MonoObject *value)
1893 {
1894         MonoObject *res;
1895         res = (MonoObject *) InterlockedExchangePointer((gpointer *) location, value);
1896         mono_gc_wbarrier_generic_nostore (location);
1897         return res;
1898 }
1899
1900 gpointer ves_icall_System_Threading_Interlocked_Exchange_IntPtr (gpointer *location, gpointer value)
1901 {
1902         return InterlockedExchangePointer(location, value);
1903 }
1904
1905 gfloat ves_icall_System_Threading_Interlocked_Exchange_Single (gfloat *location, gfloat value)
1906 {
1907         IntFloatUnion val, ret;
1908
1909         val.fval = value;
1910         ret.ival = InterlockedExchange((gint32 *) location, val.ival);
1911
1912         return ret.fval;
1913 }
1914
1915 gint64
1916 ves_icall_System_Threading_Interlocked_Exchange_Long (gint64 *location, gint64 value)
1917 {
1918 #if SIZEOF_VOID_P == 4
1919         if (G_UNLIKELY ((size_t)location & 0x7)) {
1920                 gint64 ret;
1921                 mono_interlocked_lock ();
1922                 ret = *location;
1923                 *location = value;
1924                 mono_interlocked_unlock ();
1925                 return ret;
1926         }
1927 #endif
1928         return InterlockedExchange64 (location, value);
1929 }
1930
1931 gdouble
1932 ves_icall_System_Threading_Interlocked_Exchange_Double (gdouble *location, gdouble value)
1933 {
1934         LongDoubleUnion val, ret;
1935
1936         val.fval = value;
1937         ret.ival = (gint64)InterlockedExchange64((gint64 *) location, val.ival);
1938
1939         return ret.fval;
1940 }
1941
1942 gint32 ves_icall_System_Threading_Interlocked_CompareExchange_Int(gint32 *location, gint32 value, gint32 comparand)
1943 {
1944         return InterlockedCompareExchange(location, value, comparand);
1945 }
1946
1947 gint32 ves_icall_System_Threading_Interlocked_CompareExchange_Int_Success(gint32 *location, gint32 value, gint32 comparand, MonoBoolean *success)
1948 {
1949         gint32 r = InterlockedCompareExchange(location, value, comparand);
1950         *success = r == comparand;
1951         return r;
1952 }
1953
1954 MonoObject * ves_icall_System_Threading_Interlocked_CompareExchange_Object (MonoObject **location, MonoObject *value, MonoObject *comparand)
1955 {
1956         MonoObject *res;
1957         res = (MonoObject *) InterlockedCompareExchangePointer((gpointer *) location, value, comparand);
1958         mono_gc_wbarrier_generic_nostore (location);
1959         return res;
1960 }
1961
1962 gpointer ves_icall_System_Threading_Interlocked_CompareExchange_IntPtr(gpointer *location, gpointer value, gpointer comparand)
1963 {
1964         return InterlockedCompareExchangePointer(location, value, comparand);
1965 }
1966
1967 gfloat ves_icall_System_Threading_Interlocked_CompareExchange_Single (gfloat *location, gfloat value, gfloat comparand)
1968 {
1969         IntFloatUnion val, ret, cmp;
1970
1971         val.fval = value;
1972         cmp.fval = comparand;
1973         ret.ival = InterlockedCompareExchange((gint32 *) location, val.ival, cmp.ival);
1974
1975         return ret.fval;
1976 }
1977
1978 gdouble
1979 ves_icall_System_Threading_Interlocked_CompareExchange_Double (gdouble *location, gdouble value, gdouble comparand)
1980 {
1981 #if SIZEOF_VOID_P == 8
1982         LongDoubleUnion val, comp, ret;
1983
1984         val.fval = value;
1985         comp.fval = comparand;
1986         ret.ival = (gint64)InterlockedCompareExchangePointer((gpointer *) location, (gpointer)val.ival, (gpointer)comp.ival);
1987
1988         return ret.fval;
1989 #else
1990         gdouble old;
1991
1992         mono_interlocked_lock ();
1993         old = *location;
1994         if (old == comparand)
1995                 *location = value;
1996         mono_interlocked_unlock ();
1997
1998         return old;
1999 #endif
2000 }
2001
2002 gint64
2003 ves_icall_System_Threading_Interlocked_CompareExchange_Long (gint64 *location, gint64 value, gint64 comparand)
2004 {
2005 #if SIZEOF_VOID_P == 4
2006         if (G_UNLIKELY ((size_t)location & 0x7)) {
2007                 gint64 old;
2008                 mono_interlocked_lock ();
2009                 old = *location;
2010                 if (old == comparand)
2011                         *location = value;
2012                 mono_interlocked_unlock ();
2013                 return old;
2014         }
2015 #endif
2016         return InterlockedCompareExchange64 (location, value, comparand);
2017 }
2018
2019 MonoObject*
2020 ves_icall_System_Threading_Interlocked_CompareExchange_T (MonoObject **location, MonoObject *value, MonoObject *comparand)
2021 {
2022         MonoObject *res;
2023         res = (MonoObject *)InterlockedCompareExchangePointer ((volatile gpointer *)location, value, comparand);
2024         mono_gc_wbarrier_generic_nostore (location);
2025         return res;
2026 }
2027
2028 MonoObject*
2029 ves_icall_System_Threading_Interlocked_Exchange_T (MonoObject **location, MonoObject *value)
2030 {
2031         MonoObject *res;
2032         MONO_CHECK_NULL (location, NULL);
2033         res = (MonoObject *)InterlockedExchangePointer ((volatile gpointer *)location, value);
2034         mono_gc_wbarrier_generic_nostore (location);
2035         return res;
2036 }
2037
2038 gint32
2039 ves_icall_System_Threading_Interlocked_Add_Int (gint32 *location, gint32 value)
2040 {
2041         return InterlockedAdd (location, value);
2042 }
2043
2044 gint64
2045 ves_icall_System_Threading_Interlocked_Add_Long (gint64 *location, gint64 value)
2046 {
2047 #if SIZEOF_VOID_P == 4
2048         if (G_UNLIKELY ((size_t)location & 0x7)) {
2049                 gint64 ret;
2050                 mono_interlocked_lock ();
2051                 *location += value;
2052                 ret = *location;
2053                 mono_interlocked_unlock ();
2054                 return ret;
2055         }
2056 #endif
2057         return InterlockedAdd64 (location, value);
2058 }
2059
2060 gint64
2061 ves_icall_System_Threading_Interlocked_Read_Long (gint64 *location)
2062 {
2063 #if SIZEOF_VOID_P == 4
2064         if (G_UNLIKELY ((size_t)location & 0x7)) {
2065                 gint64 ret;
2066                 mono_interlocked_lock ();
2067                 ret = *location;
2068                 mono_interlocked_unlock ();
2069                 return ret;
2070         }
2071 #endif
2072         return InterlockedRead64 (location);
2073 }
2074
2075 void
2076 ves_icall_System_Threading_Thread_MemoryBarrier (void)
2077 {
2078         mono_memory_barrier ();
2079 }
2080
2081 void
2082 ves_icall_System_Threading_Thread_ClrState (MonoInternalThread* this_obj, guint32 state)
2083 {
2084         mono_thread_clr_state (this_obj, (MonoThreadState)state);
2085
2086         if (state & ThreadState_Background) {
2087                 /* If the thread changes the background mode, the main thread has to
2088                  * be notified, since it has to rebuild the list of threads to
2089                  * wait for.
2090                  */
2091                 mono_os_event_set (&background_change_event);
2092         }
2093 }
2094
2095 void
2096 ves_icall_System_Threading_Thread_SetState (MonoInternalThread* this_obj, guint32 state)
2097 {
2098         mono_thread_set_state (this_obj, (MonoThreadState)state);
2099
2100         if (state & ThreadState_Background) {
2101                 /* If the thread changes the background mode, the main thread has to
2102                  * be notified, since it has to rebuild the list of threads to
2103                  * wait for.
2104                  */
2105                 mono_os_event_set (&background_change_event);
2106         }
2107 }
2108
2109 guint32
2110 ves_icall_System_Threading_Thread_GetState (MonoInternalThread* this_obj)
2111 {
2112         guint32 state;
2113
2114         LOCK_THREAD (this_obj);
2115
2116         state = this_obj->state;
2117
2118         UNLOCK_THREAD (this_obj);
2119
2120         return state;
2121 }
2122
2123 void ves_icall_System_Threading_Thread_Interrupt_internal (MonoThread *this_obj)
2124 {
2125         MonoInternalThread *current;
2126         gboolean throw_;
2127         MonoInternalThread *thread = this_obj->internal_thread;
2128
2129         LOCK_THREAD (thread);
2130
2131         current = mono_thread_internal_current ();
2132
2133         thread->thread_interrupt_requested = TRUE;
2134         throw_ = current != thread && (thread->state & ThreadState_WaitSleepJoin);
2135
2136         UNLOCK_THREAD (thread);
2137
2138         if (throw_) {
2139                 async_abort_internal (thread, FALSE);
2140         }
2141 }
2142
2143 /**
2144  * mono_thread_current_check_pending_interrupt:
2145  *
2146  * Checks if there's a interruption request and set the pending exception if so.
2147  *
2148  * @returns true if a pending exception was set
2149  */
2150 gboolean
2151 mono_thread_current_check_pending_interrupt (void)
2152 {
2153         MonoInternalThread *thread = mono_thread_internal_current ();
2154         gboolean throw_ = FALSE;
2155
2156         LOCK_THREAD (thread);
2157
2158         if (thread->thread_interrupt_requested) {
2159                 throw_ = TRUE;
2160                 thread->thread_interrupt_requested = FALSE;
2161         }
2162
2163         UNLOCK_THREAD (thread);
2164
2165         if (throw_)
2166                 mono_set_pending_exception (mono_get_exception_thread_interrupted ());
2167         return throw_;
2168 }
2169
2170 static gboolean
2171 request_thread_abort (MonoInternalThread *thread, MonoObject *state)
2172 {
2173         LOCK_THREAD (thread);
2174
2175         if ((thread->state & ThreadState_AbortRequested) != 0 ||
2176                 (thread->state & ThreadState_StopRequested) != 0 ||
2177                 (thread->state & ThreadState_Stopped) != 0)
2178         {
2179                 UNLOCK_THREAD (thread);
2180                 return FALSE;
2181         }
2182
2183         if ((thread->state & ThreadState_Unstarted) != 0) {
2184                 thread->state |= ThreadState_Aborted;
2185                 UNLOCK_THREAD (thread);
2186                 return FALSE;
2187         }
2188
2189         thread->state |= ThreadState_AbortRequested;
2190         if (thread->abort_state_handle)
2191                 mono_gchandle_free (thread->abort_state_handle);
2192         if (state) {
2193                 thread->abort_state_handle = mono_gchandle_new (state, FALSE);
2194                 g_assert (thread->abort_state_handle);
2195         } else {
2196                 thread->abort_state_handle = 0;
2197         }
2198         thread->abort_exc = NULL;
2199
2200         THREAD_DEBUG (g_message ("%s: (%"G_GSIZE_FORMAT") Abort requested for %p (%"G_GSIZE_FORMAT")", __func__, mono_native_thread_id_get (), thread, (gsize)thread->tid));
2201
2202         /* During shutdown, we can't wait for other threads */
2203         if (!shutting_down)
2204                 /* Make sure the thread is awake */
2205                 mono_thread_resume (thread);
2206
2207         UNLOCK_THREAD (thread);
2208         return TRUE;
2209 }
2210
2211 void
2212 ves_icall_System_Threading_Thread_Abort (MonoInternalThread *thread, MonoObject *state)
2213 {
2214         if (!request_thread_abort (thread, state))
2215                 return;
2216
2217         if (thread == mono_thread_internal_current ()) {
2218                 MonoError error;
2219                 self_abort_internal (&error);
2220                 mono_error_set_pending_exception (&error);
2221         } else {
2222                 async_abort_internal (thread, TRUE);
2223         }
2224 }
2225
2226 /**
2227  * mono_thread_internal_abort:
2228  *
2229  * Request thread @thread to be aborted.
2230  *
2231  * @thread MUST NOT be the current thread.
2232  */
2233 void
2234 mono_thread_internal_abort (MonoInternalThread *thread)
2235 {
2236         g_assert (thread != mono_thread_internal_current ());
2237
2238         if (!request_thread_abort (thread, NULL))
2239                 return;
2240         async_abort_internal (thread, TRUE);
2241 }
2242
2243 void
2244 ves_icall_System_Threading_Thread_ResetAbort (MonoThread *this_obj)
2245 {
2246         MonoInternalThread *thread = mono_thread_internal_current ();
2247         gboolean was_aborting;
2248
2249         LOCK_THREAD (thread);
2250         was_aborting = thread->state & ThreadState_AbortRequested;
2251         thread->state &= ~ThreadState_AbortRequested;
2252         UNLOCK_THREAD (thread);
2253
2254         if (!was_aborting) {
2255                 const char *msg = "Unable to reset abort because no abort was requested";
2256                 mono_set_pending_exception (mono_get_exception_thread_state (msg));
2257                 return;
2258         }
2259
2260         mono_get_eh_callbacks ()->mono_clear_abort_threshold ();
2261         thread->abort_exc = NULL;
2262         if (thread->abort_state_handle) {
2263                 mono_gchandle_free (thread->abort_state_handle);
2264                 /* This is actually not necessary - the handle
2265                    only counts if the exception is set */
2266                 thread->abort_state_handle = 0;
2267         }
2268 }
2269
2270 void
2271 mono_thread_internal_reset_abort (MonoInternalThread *thread)
2272 {
2273         LOCK_THREAD (thread);
2274
2275         thread->state &= ~ThreadState_AbortRequested;
2276
2277         if (thread->abort_exc) {
2278                 mono_get_eh_callbacks ()->mono_clear_abort_threshold ();
2279                 thread->abort_exc = NULL;
2280                 if (thread->abort_state_handle) {
2281                         mono_gchandle_free (thread->abort_state_handle);
2282                         /* This is actually not necessary - the handle
2283                            only counts if the exception is set */
2284                         thread->abort_state_handle = 0;
2285                 }
2286         }
2287
2288         UNLOCK_THREAD (thread);
2289 }
2290
2291 MonoObject*
2292 ves_icall_System_Threading_Thread_GetAbortExceptionState (MonoThread *this_obj)
2293 {
2294         MonoError error;
2295         MonoInternalThread *thread = this_obj->internal_thread;
2296         MonoObject *state, *deserialized = NULL;
2297         MonoDomain *domain;
2298
2299         if (!thread->abort_state_handle)
2300                 return NULL;
2301
2302         state = mono_gchandle_get_target (thread->abort_state_handle);
2303         g_assert (state);
2304
2305         domain = mono_domain_get ();
2306         if (mono_object_domain (state) == domain)
2307                 return state;
2308
2309         deserialized = mono_object_xdomain_representation (state, domain, &error);
2310
2311         if (!deserialized) {
2312                 MonoException *invalid_op_exc = mono_get_exception_invalid_operation ("Thread.ExceptionState cannot access an ExceptionState from a different AppDomain");
2313                 if (!is_ok (&error)) {
2314                         MonoObject *exc = (MonoObject*)mono_error_convert_to_exception (&error);
2315                         MONO_OBJECT_SETREF (invalid_op_exc, inner_ex, exc);
2316                 }
2317                 mono_set_pending_exception (invalid_op_exc);
2318                 return NULL;
2319         }
2320
2321         return deserialized;
2322 }
2323
2324 static gboolean
2325 mono_thread_suspend (MonoInternalThread *thread)
2326 {
2327         LOCK_THREAD (thread);
2328
2329         if ((thread->state & ThreadState_Unstarted) != 0 ||
2330                 (thread->state & ThreadState_Aborted) != 0 ||
2331                 (thread->state & ThreadState_Stopped) != 0)
2332         {
2333                 UNLOCK_THREAD (thread);
2334                 return FALSE;
2335         }
2336
2337         if ((thread->state & ThreadState_Suspended) != 0 ||
2338                 (thread->state & ThreadState_SuspendRequested) != 0 ||
2339                 (thread->state & ThreadState_StopRequested) != 0)
2340         {
2341                 UNLOCK_THREAD (thread);
2342                 return TRUE;
2343         }
2344
2345         thread->state |= ThreadState_SuspendRequested;
2346         mono_os_event_reset (thread->suspended);
2347
2348         if (thread == mono_thread_internal_current ()) {
2349                 /* calls UNLOCK_THREAD (thread) */
2350                 self_suspend_internal ();
2351         } else {
2352                 /* calls UNLOCK_THREAD (thread) */
2353                 async_suspend_internal (thread, FALSE);
2354         }
2355
2356         return TRUE;
2357 }
2358
2359 void
2360 ves_icall_System_Threading_Thread_Suspend (MonoThread *this_obj)
2361 {
2362         if (!mono_thread_suspend (this_obj->internal_thread)) {
2363                 mono_set_pending_exception (mono_get_exception_thread_state ("Thread has not been started, or is dead."));
2364                 return;
2365         }
2366 }
2367
2368 /* LOCKING: LOCK_THREAD(thread) must be held */
2369 static gboolean
2370 mono_thread_resume (MonoInternalThread *thread)
2371 {
2372         if ((thread->state & ThreadState_SuspendRequested) != 0) {
2373                 // MOSTLY_ASYNC_SAFE_PRINTF ("RESUME (1) thread %p\n", thread_get_tid (thread));
2374                 thread->state &= ~ThreadState_SuspendRequested;
2375                 mono_os_event_set (thread->suspended);
2376                 return TRUE;
2377         }
2378
2379         if ((thread->state & ThreadState_Suspended) == 0 ||
2380                 (thread->state & ThreadState_Unstarted) != 0 ||
2381                 (thread->state & ThreadState_Aborted) != 0 ||
2382                 (thread->state & ThreadState_Stopped) != 0)
2383         {
2384                 // MOSTLY_ASYNC_SAFE_PRINTF ("RESUME (2) thread %p\n", thread_get_tid (thread));
2385                 return FALSE;
2386         }
2387
2388         // MOSTLY_ASYNC_SAFE_PRINTF ("RESUME (3) thread %p\n", thread_get_tid (thread));
2389
2390         mono_os_event_set (thread->suspended);
2391
2392         if (!thread->self_suspended) {
2393                 UNLOCK_THREAD (thread);
2394
2395                 /* Awake the thread */
2396                 if (!mono_thread_info_resume (thread_get_tid (thread)))
2397                         return FALSE;
2398
2399                 LOCK_THREAD (thread);
2400         }
2401
2402         thread->state &= ~ThreadState_Suspended;
2403
2404         return TRUE;
2405 }
2406
2407 void
2408 ves_icall_System_Threading_Thread_Resume (MonoThread *thread)
2409 {
2410         if (!thread->internal_thread) {
2411                 mono_set_pending_exception (mono_get_exception_thread_state ("Thread has not been started, or is dead."));
2412         } else {
2413                 LOCK_THREAD (thread->internal_thread);
2414                 if (!mono_thread_resume (thread->internal_thread))
2415                         mono_set_pending_exception (mono_get_exception_thread_state ("Thread has not been started, or is dead."));
2416                 UNLOCK_THREAD (thread->internal_thread);
2417         }
2418 }
2419
2420 static gboolean
2421 mono_threads_is_critical_method (MonoMethod *method)
2422 {
2423         switch (method->wrapper_type) {
2424         case MONO_WRAPPER_RUNTIME_INVOKE:
2425         case MONO_WRAPPER_XDOMAIN_INVOKE:
2426         case MONO_WRAPPER_XDOMAIN_DISPATCH:
2427                 return TRUE;
2428         }
2429         return FALSE;
2430 }
2431
2432 static gboolean
2433 find_wrapper (MonoMethod *m, gint no, gint ilo, gboolean managed, gpointer data)
2434 {
2435         if (managed)
2436                 return TRUE;
2437
2438         if (mono_threads_is_critical_method (m)) {
2439                 *((gboolean*)data) = TRUE;
2440                 return TRUE;
2441         }
2442         return FALSE;
2443 }
2444
2445 static gboolean
2446 is_running_protected_wrapper (void)
2447 {
2448         gboolean found = FALSE;
2449         mono_stack_walk (find_wrapper, &found);
2450         return found;
2451 }
2452
2453 static gboolean
2454 request_thread_stop (MonoInternalThread *thread)
2455 {
2456         LOCK_THREAD (thread);
2457
2458         if ((thread->state & ThreadState_StopRequested) != 0 ||
2459                 (thread->state & ThreadState_Stopped) != 0)
2460         {
2461                 UNLOCK_THREAD (thread);
2462                 return FALSE;
2463         }
2464
2465         /* Make sure the thread is awake */
2466         mono_thread_resume (thread);
2467
2468         thread->state |= ThreadState_StopRequested;
2469         thread->state &= ~ThreadState_AbortRequested;
2470
2471         UNLOCK_THREAD (thread);
2472         return TRUE;
2473 }
2474
2475 /**
2476  * mono_thread_internal_stop:
2477  *
2478  * Request thread @thread to stop.
2479  *
2480  * @thread MUST NOT be the current thread.
2481  */
2482 void
2483 mono_thread_internal_stop (MonoInternalThread *thread)
2484 {
2485         g_assert (thread != mono_thread_internal_current ());
2486
2487         if (!request_thread_stop (thread))
2488                 return;
2489
2490         async_abort_internal (thread, TRUE);
2491 }
2492
2493 void mono_thread_stop (MonoThread *thread)
2494 {
2495         MonoInternalThread *internal = thread->internal_thread;
2496
2497         if (!request_thread_stop (internal))
2498                 return;
2499
2500         if (internal == mono_thread_internal_current ()) {
2501                 MonoError error;
2502                 self_abort_internal (&error);
2503                 /*
2504                 This function is part of the embeding API and has no way to return the exception
2505                 to be thrown. So what we do is keep the old behavior and raise the exception.
2506                 */
2507                 mono_error_raise_exception (&error); /* OK to throw, see note */
2508         } else {
2509                 async_abort_internal (internal, TRUE);
2510         }
2511 }
2512
2513 gint8
2514 ves_icall_System_Threading_Thread_VolatileRead1 (void *ptr)
2515 {
2516         gint8 tmp = *(volatile gint8 *)ptr;
2517         mono_memory_barrier ();
2518         return tmp;
2519 }
2520
2521 gint16
2522 ves_icall_System_Threading_Thread_VolatileRead2 (void *ptr)
2523 {
2524         gint16 tmp = *(volatile gint16 *)ptr;
2525         mono_memory_barrier ();
2526         return tmp;
2527 }
2528
2529 gint32
2530 ves_icall_System_Threading_Thread_VolatileRead4 (void *ptr)
2531 {
2532         gint32 tmp = *(volatile gint32 *)ptr;
2533         mono_memory_barrier ();
2534         return tmp;
2535 }
2536
2537 gint64
2538 ves_icall_System_Threading_Thread_VolatileRead8 (void *ptr)
2539 {
2540         gint64 tmp = *(volatile gint64 *)ptr;
2541         mono_memory_barrier ();
2542         return tmp;
2543 }
2544
2545 void *
2546 ves_icall_System_Threading_Thread_VolatileReadIntPtr (void *ptr)
2547 {
2548         volatile void *tmp = *(volatile void **)ptr;
2549         mono_memory_barrier ();
2550         return (void *) tmp;
2551 }
2552
2553 void *
2554 ves_icall_System_Threading_Thread_VolatileReadObject (void *ptr)
2555 {
2556         volatile MonoObject *tmp = *(volatile MonoObject **)ptr;
2557         mono_memory_barrier ();
2558         return (MonoObject *) tmp;
2559 }
2560
2561 double
2562 ves_icall_System_Threading_Thread_VolatileReadDouble (void *ptr)
2563 {
2564         double tmp = *(volatile double *)ptr;
2565         mono_memory_barrier ();
2566         return tmp;
2567 }
2568
2569 float
2570 ves_icall_System_Threading_Thread_VolatileReadFloat (void *ptr)
2571 {
2572         float tmp = *(volatile float *)ptr;
2573         mono_memory_barrier ();
2574         return tmp;
2575 }
2576
2577 gint8
2578 ves_icall_System_Threading_Volatile_Read1 (void *ptr)
2579 {
2580         return InterlockedRead8 ((volatile gint8 *)ptr);
2581 }
2582
2583 gint16
2584 ves_icall_System_Threading_Volatile_Read2 (void *ptr)
2585 {
2586         return InterlockedRead16 ((volatile gint16 *)ptr);
2587 }
2588
2589 gint32
2590 ves_icall_System_Threading_Volatile_Read4 (void *ptr)
2591 {
2592         return InterlockedRead ((volatile gint32 *)ptr);
2593 }
2594
2595 gint64
2596 ves_icall_System_Threading_Volatile_Read8 (void *ptr)
2597 {
2598 #if SIZEOF_VOID_P == 4
2599         if (G_UNLIKELY ((size_t)ptr & 0x7)) {
2600                 gint64 val;
2601                 mono_interlocked_lock ();
2602                 val = *(gint64*)ptr;
2603                 mono_interlocked_unlock ();
2604                 return val;
2605         }
2606 #endif
2607         return InterlockedRead64 ((volatile gint64 *)ptr);
2608 }
2609
2610 void *
2611 ves_icall_System_Threading_Volatile_ReadIntPtr (void *ptr)
2612 {
2613         return InterlockedReadPointer ((volatile gpointer *)ptr);
2614 }
2615
2616 double
2617 ves_icall_System_Threading_Volatile_ReadDouble (void *ptr)
2618 {
2619         LongDoubleUnion u;
2620
2621 #if SIZEOF_VOID_P == 4
2622         if (G_UNLIKELY ((size_t)ptr & 0x7)) {
2623                 double val;
2624                 mono_interlocked_lock ();
2625                 val = *(double*)ptr;
2626                 mono_interlocked_unlock ();
2627                 return val;
2628         }
2629 #endif
2630
2631         u.ival = InterlockedRead64 ((volatile gint64 *)ptr);
2632
2633         return u.fval;
2634 }
2635
2636 float
2637 ves_icall_System_Threading_Volatile_ReadFloat (void *ptr)
2638 {
2639         IntFloatUnion u;
2640
2641         u.ival = InterlockedRead ((volatile gint32 *)ptr);
2642
2643         return u.fval;
2644 }
2645
2646 MonoObject*
2647 ves_icall_System_Threading_Volatile_Read_T (void *ptr)
2648 {
2649         return (MonoObject *)InterlockedReadPointer ((volatile gpointer *)ptr);
2650 }
2651
2652 void
2653 ves_icall_System_Threading_Thread_VolatileWrite1 (void *ptr, gint8 value)
2654 {
2655         mono_memory_barrier ();
2656         *(volatile gint8 *)ptr = value;
2657 }
2658
2659 void
2660 ves_icall_System_Threading_Thread_VolatileWrite2 (void *ptr, gint16 value)
2661 {
2662         mono_memory_barrier ();
2663         *(volatile gint16 *)ptr = value;
2664 }
2665
2666 void
2667 ves_icall_System_Threading_Thread_VolatileWrite4 (void *ptr, gint32 value)
2668 {
2669         mono_memory_barrier ();
2670         *(volatile gint32 *)ptr = value;
2671 }
2672
2673 void
2674 ves_icall_System_Threading_Thread_VolatileWrite8 (void *ptr, gint64 value)
2675 {
2676         mono_memory_barrier ();
2677         *(volatile gint64 *)ptr = value;
2678 }
2679
2680 void
2681 ves_icall_System_Threading_Thread_VolatileWriteIntPtr (void *ptr, void *value)
2682 {
2683         mono_memory_barrier ();
2684         *(volatile void **)ptr = value;
2685 }
2686
2687 void
2688 ves_icall_System_Threading_Thread_VolatileWriteObject (void *ptr, MonoObject *value)
2689 {
2690         mono_memory_barrier ();
2691         mono_gc_wbarrier_generic_store (ptr, value);
2692 }
2693
2694 void
2695 ves_icall_System_Threading_Thread_VolatileWriteDouble (void *ptr, double value)
2696 {
2697         mono_memory_barrier ();
2698         *(volatile double *)ptr = value;
2699 }
2700
2701 void
2702 ves_icall_System_Threading_Thread_VolatileWriteFloat (void *ptr, float value)
2703 {
2704         mono_memory_barrier ();
2705         *(volatile float *)ptr = value;
2706 }
2707
2708 void
2709 ves_icall_System_Threading_Volatile_Write1 (void *ptr, gint8 value)
2710 {
2711         InterlockedWrite8 ((volatile gint8 *)ptr, value);
2712 }
2713
2714 void
2715 ves_icall_System_Threading_Volatile_Write2 (void *ptr, gint16 value)
2716 {
2717         InterlockedWrite16 ((volatile gint16 *)ptr, value);
2718 }
2719
2720 void
2721 ves_icall_System_Threading_Volatile_Write4 (void *ptr, gint32 value)
2722 {
2723         InterlockedWrite ((volatile gint32 *)ptr, value);
2724 }
2725
2726 void
2727 ves_icall_System_Threading_Volatile_Write8 (void *ptr, gint64 value)
2728 {
2729 #if SIZEOF_VOID_P == 4
2730         if (G_UNLIKELY ((size_t)ptr & 0x7)) {
2731                 mono_interlocked_lock ();
2732                 *(gint64*)ptr = value;
2733                 mono_interlocked_unlock ();
2734                 return;
2735         }
2736 #endif
2737
2738         InterlockedWrite64 ((volatile gint64 *)ptr, value);
2739 }
2740
2741 void
2742 ves_icall_System_Threading_Volatile_WriteIntPtr (void *ptr, void *value)
2743 {
2744         InterlockedWritePointer ((volatile gpointer *)ptr, value);
2745 }
2746
2747 void
2748 ves_icall_System_Threading_Volatile_WriteDouble (void *ptr, double value)
2749 {
2750         LongDoubleUnion u;
2751
2752 #if SIZEOF_VOID_P == 4
2753         if (G_UNLIKELY ((size_t)ptr & 0x7)) {
2754                 mono_interlocked_lock ();
2755                 *(double*)ptr = value;
2756                 mono_interlocked_unlock ();
2757                 return;
2758         }
2759 #endif
2760
2761         u.fval = value;
2762
2763         InterlockedWrite64 ((volatile gint64 *)ptr, u.ival);
2764 }
2765
2766 void
2767 ves_icall_System_Threading_Volatile_WriteFloat (void *ptr, float value)
2768 {
2769         IntFloatUnion u;
2770
2771         u.fval = value;
2772
2773         InterlockedWrite ((volatile gint32 *)ptr, u.ival);
2774 }
2775
2776 void
2777 ves_icall_System_Threading_Volatile_Write_T (void *ptr, MonoObject *value)
2778 {
2779         mono_gc_wbarrier_generic_store_atomic (ptr, value);
2780 }
2781
2782 static void
2783 free_context (void *user_data)
2784 {
2785         ContextStaticData *data = user_data;
2786
2787         mono_threads_lock ();
2788
2789         /*
2790          * There is no guarantee that, by the point this reference queue callback
2791          * has been invoked, the GC handle associated with the object will fail to
2792          * resolve as one might expect. So if we don't free and remove the GC
2793          * handle here, free_context_static_data_helper () could end up resolving
2794          * a GC handle to an actually-dead context which would contain a pointer
2795          * to an already-freed static data segment, resulting in a crash when
2796          * accessing it.
2797          */
2798         g_hash_table_remove (contexts, GUINT_TO_POINTER (data->gc_handle));
2799
2800         mono_threads_unlock ();
2801
2802         mono_gchandle_free (data->gc_handle);
2803         mono_free_static_data (data->static_data);
2804         g_free (data);
2805 }
2806
2807 void
2808 ves_icall_System_Runtime_Remoting_Contexts_Context_RegisterContext (MonoAppContext *ctx)
2809 {
2810         mono_threads_lock ();
2811
2812         //g_print ("Registering context %d in domain %d\n", ctx->context_id, ctx->domain_id);
2813
2814         if (!contexts)
2815                 contexts = g_hash_table_new (NULL, NULL);
2816
2817         if (!context_queue)
2818                 context_queue = mono_gc_reference_queue_new (free_context);
2819
2820         gpointer gch = GUINT_TO_POINTER (mono_gchandle_new_weakref (&ctx->obj, FALSE));
2821         g_hash_table_insert (contexts, gch, gch);
2822
2823         /*
2824          * We use this intermediate structure to contain a duplicate pointer to
2825          * the static data because we can't rely on being able to resolve the GC
2826          * handle in the reference queue callback.
2827          */
2828         ContextStaticData *data = g_new0 (ContextStaticData, 1);
2829         data->gc_handle = GPOINTER_TO_UINT (gch);
2830         ctx->data = data;
2831
2832         context_adjust_static_data (ctx);
2833         mono_gc_reference_queue_add (context_queue, &ctx->obj, data);
2834
2835         mono_threads_unlock ();
2836
2837         mono_profiler_context_loaded (ctx);
2838 }
2839
2840 void
2841 ves_icall_System_Runtime_Remoting_Contexts_Context_ReleaseContext (MonoAppContext *ctx)
2842 {
2843         /*
2844          * NOTE: Since finalizers are unreliable for the purposes of ensuring
2845          * cleanup in exceptional circumstances, we don't actually do any
2846          * cleanup work here. We instead do this via a reference queue.
2847          */
2848
2849         //g_print ("Releasing context %d in domain %d\n", ctx->context_id, ctx->domain_id);
2850
2851         mono_profiler_context_unloaded (ctx);
2852 }
2853
2854 void
2855 mono_thread_init_tls (void)
2856 {
2857         MONO_FAST_TLS_INIT (tls_current_object);
2858         mono_native_tls_alloc (&current_object_key, NULL);
2859 }
2860
2861 void mono_thread_init (MonoThreadStartCB start_cb,
2862                        MonoThreadAttachCB attach_cb)
2863 {
2864         mono_coop_mutex_init_recursive (&threads_mutex);
2865
2866         mono_os_mutex_init_recursive(&interlocked_mutex);
2867         mono_os_mutex_init_recursive(&joinable_threads_mutex);
2868
2869         mono_os_event_init (&background_change_event, FALSE);
2870
2871         mono_init_static_data_info (&thread_static_info);
2872         mono_init_static_data_info (&context_static_info);
2873
2874         THREAD_DEBUG (g_message ("%s: Allocated current_object_key %d", __func__, current_object_key));
2875
2876         mono_thread_start_cb = start_cb;
2877         mono_thread_attach_cb = attach_cb;
2878 }
2879
2880 void mono_thread_cleanup (void)
2881 {
2882 #if !defined(RUN_IN_SUBTHREAD) && !defined(HOST_WIN32)
2883         /* The main thread must abandon any held mutexes (particularly
2884          * important for named mutexes as they are shared across
2885          * processes, see bug 74680.)  This will happen when the
2886          * thread exits, but if it's not running in a subthread it
2887          * won't exit in time.
2888          */
2889         mono_w32mutex_abandon ();
2890 #endif
2891
2892 #if 0
2893         /* This stuff needs more testing, it seems one of these
2894          * critical sections can be locked when mono_thread_cleanup is
2895          * called.
2896          */
2897         mono_coop_mutex_destroy (&threads_mutex);
2898         mono_os_mutex_destroy (&interlocked_mutex);
2899         mono_os_mutex_destroy (&delayed_free_table_mutex);
2900         mono_os_mutex_destroy (&small_id_mutex);
2901         mono_os_event_destroy (&background_change_event);
2902 #endif
2903
2904         mono_native_tls_free (current_object_key);
2905 }
2906
2907 void
2908 mono_threads_install_cleanup (MonoThreadCleanupFunc func)
2909 {
2910         mono_thread_cleanup_fn = func;
2911 }
2912
2913 void
2914 mono_thread_set_manage_callback (MonoThread *thread, MonoThreadManageCallback func)
2915 {
2916         thread->internal_thread->manage_callback = func;
2917 }
2918
2919 G_GNUC_UNUSED
2920 static void print_tids (gpointer key, gpointer value, gpointer user)
2921 {
2922         /* GPOINTER_TO_UINT breaks horribly if sizeof(void *) >
2923          * sizeof(uint) and a cast to uint would overflow
2924          */
2925         /* Older versions of glib don't have G_GSIZE_FORMAT, so just
2926          * print this as a pointer.
2927          */
2928         g_message ("Waiting for: %p", key);
2929 }
2930
2931 struct wait_data
2932 {
2933         MonoThreadHandle *handles[MONO_W32HANDLE_MAXIMUM_WAIT_OBJECTS];
2934         MonoInternalThread *threads[MONO_W32HANDLE_MAXIMUM_WAIT_OBJECTS];
2935         guint32 num;
2936 };
2937
2938 static void
2939 wait_for_tids (struct wait_data *wait, guint32 timeout, gboolean check_state_change)
2940 {
2941         guint32 i;
2942         MonoThreadInfoWaitRet ret;
2943
2944         THREAD_DEBUG (g_message("%s: %d threads to wait for in this batch", __func__, wait->num));
2945
2946         /* Add the thread state change event, so it wakes
2947          * up if a thread changes to background mode. */
2948
2949         MONO_ENTER_GC_SAFE;
2950         if (check_state_change)
2951                 ret = mono_thread_info_wait_multiple_handle (wait->handles, wait->num, &background_change_event, FALSE, timeout, TRUE);
2952         else
2953                 ret = mono_thread_info_wait_multiple_handle (wait->handles, wait->num, NULL, TRUE, timeout, TRUE);
2954         MONO_EXIT_GC_SAFE;
2955
2956         if (ret == MONO_THREAD_INFO_WAIT_RET_FAILED) {
2957                 /* See the comment in build_wait_tids() */
2958                 THREAD_DEBUG (g_message ("%s: Wait failed", __func__));
2959                 return;
2960         }
2961
2962         for( i = 0; i < wait->num; i++)
2963                 mono_threads_close_thread_handle (wait->handles [i]);
2964
2965         if (ret == MONO_THREAD_INFO_WAIT_RET_TIMEOUT)
2966                 return;
2967
2968         if (ret < wait->num) {
2969                 MonoInternalThread *internal;
2970
2971                 internal = wait->threads [ret];
2972
2973                 mono_threads_lock ();
2974                 if (mono_g_hash_table_lookup (threads, (gpointer) internal->tid) == internal)
2975                         g_error ("%s: failed to call mono_thread_detach_internal on thread %p, InternalThread: %p", __func__, internal->tid, internal);
2976                 mono_threads_unlock ();
2977         }
2978 }
2979
2980 static void build_wait_tids (gpointer key, gpointer value, gpointer user)
2981 {
2982         struct wait_data *wait=(struct wait_data *)user;
2983
2984         if(wait->num<MONO_W32HANDLE_MAXIMUM_WAIT_OBJECTS - 1) {
2985                 MonoInternalThread *thread=(MonoInternalThread *)value;
2986
2987                 /* Ignore background threads, we abort them later */
2988                 /* Do not lock here since it is not needed and the caller holds threads_lock */
2989                 if (thread->state & ThreadState_Background) {
2990                         THREAD_DEBUG (g_message ("%s: ignoring background thread %"G_GSIZE_FORMAT, __func__, (gsize)thread->tid));
2991                         return; /* just leave, ignore */
2992                 }
2993
2994                 if (mono_gc_is_finalizer_internal_thread (thread)) {
2995                         THREAD_DEBUG (g_message ("%s: ignoring finalizer thread %"G_GSIZE_FORMAT, __func__, (gsize)thread->tid));
2996                         return;
2997                 }
2998
2999                 if (thread == mono_thread_internal_current ()) {
3000                         THREAD_DEBUG (g_message ("%s: ignoring current thread %"G_GSIZE_FORMAT, __func__, (gsize)thread->tid));
3001                         return;
3002                 }
3003
3004                 if (mono_thread_get_main () && (thread == mono_thread_get_main ()->internal_thread)) {
3005                         THREAD_DEBUG (g_message ("%s: ignoring main thread %"G_GSIZE_FORMAT, __func__, (gsize)thread->tid));
3006                         return;
3007                 }
3008
3009                 if (thread->flags & MONO_THREAD_FLAG_DONT_MANAGE) {
3010                         THREAD_DEBUG (g_message ("%s: ignoring thread %" G_GSIZE_FORMAT "with DONT_MANAGE flag set.", __func__, (gsize)thread->tid));
3011                         return;
3012                 }
3013
3014                 THREAD_DEBUG (g_message ("%s: Invoking mono_thread_manage callback on thread %p", __func__, thread));
3015                 if ((thread->manage_callback == NULL) || (thread->manage_callback (thread->root_domain_thread) == TRUE)) {
3016                         wait->handles[wait->num]=mono_threads_open_thread_handle (thread->handle);
3017                         wait->threads[wait->num]=thread;
3018                         wait->num++;
3019
3020                         THREAD_DEBUG (g_message ("%s: adding thread %"G_GSIZE_FORMAT, __func__, (gsize)thread->tid));
3021                 } else {
3022                         THREAD_DEBUG (g_message ("%s: ignoring (because of callback) thread %"G_GSIZE_FORMAT, __func__, (gsize)thread->tid));
3023                 }
3024
3025
3026         } else {
3027                 /* Just ignore the rest, we can't do anything with
3028                  * them yet
3029                  */
3030         }
3031 }
3032
3033 static gboolean
3034 remove_and_abort_threads (gpointer key, gpointer value, gpointer user)
3035 {
3036         struct wait_data *wait=(struct wait_data *)user;
3037         MonoNativeThreadId self = mono_native_thread_id_get ();
3038         MonoInternalThread *thread = (MonoInternalThread *)value;
3039
3040         if (wait->num >= MONO_W32HANDLE_MAXIMUM_WAIT_OBJECTS)
3041                 return FALSE;
3042
3043         /* The finalizer thread is not a background thread */
3044         if (!mono_native_thread_id_equals (thread_get_tid (thread), self)
3045              && (thread->state & ThreadState_Background) != 0
3046              && (thread->flags & MONO_THREAD_FLAG_DONT_MANAGE) == 0
3047         ) {
3048                 wait->handles[wait->num] = mono_threads_open_thread_handle (thread->handle);
3049                 wait->threads[wait->num] = thread;
3050                 wait->num++;
3051
3052                 THREAD_DEBUG (g_print ("%s: Aborting id: %"G_GSIZE_FORMAT"\n", __func__, (gsize)thread->tid));
3053                 mono_thread_internal_abort (thread);
3054                 return TRUE;
3055         }
3056
3057         return !mono_native_thread_id_equals (thread_get_tid (thread), self)
3058                 && !mono_gc_is_finalizer_internal_thread (thread);
3059 }
3060
3061 /**
3062  * mono_threads_set_shutting_down:
3063  *
3064  * Is called by a thread that wants to shut down Mono. If the runtime is already
3065  * shutting down, the calling thread is suspended/stopped, and this function never
3066  * returns.
3067  */
3068 void
3069 mono_threads_set_shutting_down (void)
3070 {
3071         MonoInternalThread *current_thread = mono_thread_internal_current ();
3072
3073         mono_threads_lock ();
3074
3075         if (shutting_down) {
3076                 mono_threads_unlock ();
3077
3078                 /* Make sure we're properly suspended/stopped */
3079
3080                 LOCK_THREAD (current_thread);
3081
3082                 if ((current_thread->state & ThreadState_SuspendRequested) ||
3083                     (current_thread->state & ThreadState_AbortRequested) ||
3084                     (current_thread->state & ThreadState_StopRequested)) {
3085                         UNLOCK_THREAD (current_thread);
3086                         mono_thread_execute_interruption ();
3087                 } else {
3088                         current_thread->state |= ThreadState_Stopped;
3089                         UNLOCK_THREAD (current_thread);
3090                 }
3091
3092                 /*since we're killing the thread, detach it.*/
3093                 mono_thread_detach_internal (current_thread);
3094
3095                 /* Wake up other threads potentially waiting for us */
3096                 mono_thread_info_exit (0);
3097         } else {
3098                 shutting_down = TRUE;
3099
3100                 /* Not really a background state change, but this will
3101                  * interrupt the main thread if it is waiting for all
3102                  * the other threads.
3103                  */
3104                 mono_os_event_set (&background_change_event);
3105
3106                 mono_threads_unlock ();
3107         }
3108 }
3109
3110 void mono_thread_manage (void)
3111 {
3112         struct wait_data wait_data;
3113         struct wait_data *wait = &wait_data;
3114
3115         memset (wait, 0, sizeof (struct wait_data));
3116         /* join each thread that's still running */
3117         THREAD_DEBUG (g_message ("%s: Joining each running thread...", __func__));
3118
3119         mono_threads_lock ();
3120         if(threads==NULL) {
3121                 THREAD_DEBUG (g_message("%s: No threads", __func__));
3122                 mono_threads_unlock ();
3123                 return;
3124         }
3125         mono_threads_unlock ();
3126
3127         do {
3128                 mono_threads_lock ();
3129                 if (shutting_down) {
3130                         /* somebody else is shutting down */
3131                         mono_threads_unlock ();
3132                         break;
3133                 }
3134                 THREAD_DEBUG (g_message ("%s: There are %d threads to join", __func__, mono_g_hash_table_size (threads));
3135                         mono_g_hash_table_foreach (threads, print_tids, NULL));
3136
3137                 mono_os_event_reset (&background_change_event);
3138                 wait->num=0;
3139                 /* We must zero all InternalThread pointers to avoid making the GC unhappy. */
3140                 memset (wait->threads, 0, MONO_W32HANDLE_MAXIMUM_WAIT_OBJECTS * SIZEOF_VOID_P);
3141                 mono_g_hash_table_foreach (threads, build_wait_tids, wait);
3142                 mono_threads_unlock ();
3143                 if (wait->num > 0)
3144                         /* Something to wait for */
3145                         wait_for_tids (wait, INFINITE, TRUE);
3146                 THREAD_DEBUG (g_message ("%s: I have %d threads after waiting.", __func__, wait->num));
3147         } while(wait->num>0);
3148
3149         /* Mono is shutting down, so just wait for the end */
3150         if (!mono_runtime_try_shutdown ()) {
3151                 /*FIXME mono_thread_suspend probably should call mono_thread_execute_interruption when self interrupting. */
3152                 mono_thread_suspend (mono_thread_internal_current ());
3153                 mono_thread_execute_interruption ();
3154         }
3155
3156         /*
3157          * Remove everything but the finalizer thread and self.
3158          * Also abort all the background threads
3159          * */
3160         do {
3161                 mono_threads_lock ();
3162
3163                 wait->num = 0;
3164                 /*We must zero all InternalThread pointers to avoid making the GC unhappy.*/
3165                 memset (wait->threads, 0, MONO_W32HANDLE_MAXIMUM_WAIT_OBJECTS * SIZEOF_VOID_P);
3166                 mono_g_hash_table_foreach_remove (threads, remove_and_abort_threads, wait);
3167
3168                 mono_threads_unlock ();
3169
3170                 THREAD_DEBUG (g_message ("%s: wait->num is now %d", __func__, wait->num));
3171                 if (wait->num > 0) {
3172                         /* Something to wait for */
3173                         wait_for_tids (wait, INFINITE, FALSE);
3174                 }
3175         } while (wait->num > 0);
3176
3177         /*
3178          * give the subthreads a chance to really quit (this is mainly needed
3179          * to get correct user and system times from getrusage/wait/time(1)).
3180          * This could be removed if we avoid pthread_detach() and use pthread_join().
3181          */
3182         mono_thread_info_yield ();
3183 }
3184
3185 static void
3186 collect_threads_for_suspend (gpointer key, gpointer value, gpointer user_data)
3187 {
3188         MonoInternalThread *thread = (MonoInternalThread*)value;
3189         struct wait_data *wait = (struct wait_data*)user_data;
3190
3191         /*
3192          * We try to exclude threads early, to avoid running into the MONO_W32HANDLE_MAXIMUM_WAIT_OBJECTS
3193          * limitation.
3194          * This needs no locking.
3195          */
3196         if ((thread->state & ThreadState_Suspended) != 0 ||
3197                 (thread->state & ThreadState_Stopped) != 0)
3198                 return;
3199
3200         if (wait->num<MONO_W32HANDLE_MAXIMUM_WAIT_OBJECTS) {
3201                 wait->handles [wait->num] = mono_threads_open_thread_handle (thread->handle);
3202                 wait->threads [wait->num] = thread;
3203                 wait->num++;
3204         }
3205 }
3206
3207 /*
3208  * mono_thread_suspend_all_other_threads:
3209  *
3210  *  Suspend all managed threads except the finalizer thread and this thread. It is
3211  * not possible to resume them later.
3212  */
3213 void mono_thread_suspend_all_other_threads (void)
3214 {
3215         struct wait_data wait_data;
3216         struct wait_data *wait = &wait_data;
3217         int i;
3218         MonoNativeThreadId self = mono_native_thread_id_get ();
3219         guint32 eventidx = 0;
3220         gboolean starting, finished;
3221
3222         memset (wait, 0, sizeof (struct wait_data));
3223         /*
3224          * The other threads could be in an arbitrary state at this point, i.e.
3225          * they could be starting up, shutting down etc. This means that there could be
3226          * threads which are not even in the threads hash table yet.
3227          */
3228
3229         /*
3230          * First we set a barrier which will be checked by all threads before they
3231          * are added to the threads hash table, and they will exit if the flag is set.
3232          * This ensures that no threads could be added to the hash later.
3233          * We will use shutting_down as the barrier for now.
3234          */
3235         g_assert (shutting_down);
3236
3237         /*
3238          * We make multiple calls to WaitForMultipleObjects since:
3239          * - we can only wait for MONO_W32HANDLE_MAXIMUM_WAIT_OBJECTS threads
3240          * - some threads could exit without becoming suspended
3241          */
3242         finished = FALSE;
3243         while (!finished) {
3244                 /*
3245                  * Make a copy of the hashtable since we can't do anything with
3246                  * threads while threads_mutex is held.
3247                  */
3248                 wait->num = 0;
3249                 /*We must zero all InternalThread pointers to avoid making the GC unhappy.*/
3250                 memset (wait->threads, 0, MONO_W32HANDLE_MAXIMUM_WAIT_OBJECTS * SIZEOF_VOID_P);
3251                 mono_threads_lock ();
3252                 mono_g_hash_table_foreach (threads, collect_threads_for_suspend, wait);
3253                 mono_threads_unlock ();
3254
3255                 eventidx = 0;
3256                 /* Get the suspended events that we'll be waiting for */
3257                 for (i = 0; i < wait->num; ++i) {
3258                         MonoInternalThread *thread = wait->threads [i];
3259
3260                         if (mono_native_thread_id_equals (thread_get_tid (thread), self)
3261                              || mono_gc_is_finalizer_internal_thread (thread)
3262                              || (thread->flags & MONO_THREAD_FLAG_DONT_MANAGE)
3263                         ) {
3264                                 mono_threads_close_thread_handle (wait->handles [i]);
3265                                 wait->threads [i] = NULL;
3266                                 continue;
3267                         }
3268
3269                         LOCK_THREAD (thread);
3270
3271                         if ((thread->state & ThreadState_Suspended) != 0 ||
3272                                 (thread->state & ThreadState_StopRequested) != 0 ||
3273                                 (thread->state & ThreadState_Stopped) != 0) {
3274                                 UNLOCK_THREAD (thread);
3275                                 mono_threads_close_thread_handle (wait->handles [i]);
3276                                 wait->threads [i] = NULL;
3277                                 continue;
3278                         }
3279
3280                         ++eventidx;
3281
3282                         /* Convert abort requests into suspend requests */
3283                         if ((thread->state & ThreadState_AbortRequested) != 0)
3284                                 thread->state &= ~ThreadState_AbortRequested;
3285
3286                         thread->state |= ThreadState_SuspendRequested;
3287                         mono_os_event_reset (thread->suspended);
3288
3289                         /* Signal the thread to suspend + calls UNLOCK_THREAD (thread) */
3290                         async_suspend_internal (thread, TRUE);
3291
3292                         mono_threads_close_thread_handle (wait->handles [i]);
3293                         wait->threads [i] = NULL;
3294                 }
3295                 if (eventidx <= 0) {
3296                         /*
3297                          * If there are threads which are starting up, we wait until they
3298                          * are suspended when they try to register in the threads hash.
3299                          * This is guaranteed to finish, since the threads which can create new
3300                          * threads get suspended after a while.
3301                          * FIXME: The finalizer thread can still create new threads.
3302                          */
3303                         mono_threads_lock ();
3304                         if (threads_starting_up)
3305                                 starting = mono_g_hash_table_size (threads_starting_up) > 0;
3306                         else
3307                                 starting = FALSE;
3308                         mono_threads_unlock ();
3309                         if (starting)
3310                                 mono_thread_info_sleep (100, NULL);
3311                         else
3312                                 finished = TRUE;
3313                 }
3314         }
3315 }
3316
3317 typedef struct {
3318         MonoInternalThread *thread;
3319         MonoStackFrameInfo *frames;
3320         int nframes, max_frames;
3321         int nthreads, max_threads;
3322         MonoInternalThread **threads;
3323 } ThreadDumpUserData;
3324
3325 static gboolean thread_dump_requested;
3326
3327 /* This needs to be async safe */
3328 static gboolean
3329 collect_frame (MonoStackFrameInfo *frame, MonoContext *ctx, gpointer data)
3330 {
3331         ThreadDumpUserData *ud = (ThreadDumpUserData *)data;
3332
3333         if (ud->nframes < ud->max_frames) {
3334                 memcpy (&ud->frames [ud->nframes], frame, sizeof (MonoStackFrameInfo));
3335                 ud->nframes ++;
3336         }
3337
3338         return FALSE;
3339 }
3340
3341 /* This needs to be async safe */
3342 static SuspendThreadResult
3343 get_thread_dump (MonoThreadInfo *info, gpointer ud)
3344 {
3345         ThreadDumpUserData *user_data = (ThreadDumpUserData *)ud;
3346         MonoInternalThread *thread = user_data->thread;
3347
3348 #if 0
3349 /* This no longer works with remote unwinding */
3350         g_string_append_printf (text, " tid=0x%p this=0x%p ", (gpointer)(gsize)thread->tid, thread);
3351         mono_thread_internal_describe (thread, text);
3352         g_string_append (text, "\n");
3353 #endif
3354
3355         if (thread == mono_thread_internal_current ())
3356                 mono_get_eh_callbacks ()->mono_walk_stack_with_ctx (collect_frame, NULL, MONO_UNWIND_SIGNAL_SAFE, ud);
3357         else
3358                 mono_get_eh_callbacks ()->mono_walk_stack_with_state (collect_frame, mono_thread_info_get_suspend_state (info), MONO_UNWIND_SIGNAL_SAFE, ud);
3359
3360         return MonoResumeThread;
3361 }
3362
3363 typedef struct {
3364         int nthreads, max_threads;
3365         MonoInternalThread **threads;
3366 } CollectThreadsUserData;
3367
3368 static void
3369 collect_thread (gpointer key, gpointer value, gpointer user)
3370 {
3371         CollectThreadsUserData *ud = (CollectThreadsUserData *)user;
3372         MonoInternalThread *thread = (MonoInternalThread *)value;
3373
3374         if (ud->nthreads < ud->max_threads)
3375                 ud->threads [ud->nthreads ++] = thread;
3376 }
3377
3378 /*
3379  * Collect running threads into the THREADS array.
3380  * THREADS should be an array allocated on the stack.
3381  */
3382 static int
3383 collect_threads (MonoInternalThread **thread_array, int max_threads)
3384 {
3385         CollectThreadsUserData ud;
3386
3387         memset (&ud, 0, sizeof (ud));
3388         /* This array contains refs, but its on the stack, so its ok */
3389         ud.threads = thread_array;
3390         ud.max_threads = max_threads;
3391
3392         mono_threads_lock ();
3393         mono_g_hash_table_foreach (threads, collect_thread, &ud);
3394         mono_threads_unlock ();
3395
3396         return ud.nthreads;
3397 }
3398
3399 static void
3400 dump_thread (MonoInternalThread *thread, ThreadDumpUserData *ud)
3401 {
3402         GString* text = g_string_new (0);
3403         char *name;
3404         GError *error = NULL;
3405         int i;
3406
3407         ud->thread = thread;
3408         ud->nframes = 0;
3409
3410         /* Collect frames for the thread */
3411         if (thread == mono_thread_internal_current ()) {
3412                 get_thread_dump (mono_thread_info_current (), ud);
3413         } else {
3414                 mono_thread_info_safe_suspend_and_run (thread_get_tid (thread), FALSE, get_thread_dump, ud);
3415         }
3416
3417         /*
3418          * Do all the non async-safe work outside of get_thread_dump.
3419          */
3420         if (thread->name) {
3421                 name = g_utf16_to_utf8 (thread->name, thread->name_len, NULL, NULL, &error);
3422                 g_assert (!error);
3423                 g_string_append_printf (text, "\n\"%s\"", name);
3424                 g_free (name);
3425         }
3426         else if (thread->threadpool_thread) {
3427                 g_string_append (text, "\n\"<threadpool thread>\"");
3428         } else {
3429                 g_string_append (text, "\n\"<unnamed thread>\"");
3430         }
3431
3432         for (i = 0; i < ud->nframes; ++i) {
3433                 MonoStackFrameInfo *frame = &ud->frames [i];
3434                 MonoMethod *method = NULL;
3435
3436                 if (frame->type == FRAME_TYPE_MANAGED)
3437                         method = mono_jit_info_get_method (frame->ji);
3438
3439                 if (method) {
3440                         gchar *location = mono_debug_print_stack_frame (method, frame->native_offset, frame->domain);
3441                         g_string_append_printf (text, "  %s\n", location);
3442                         g_free (location);
3443                 } else {
3444                         g_string_append_printf (text, "  at <unknown> <0x%05x>\n", frame->native_offset);
3445                 }
3446         }
3447
3448         fprintf (stdout, "%s", text->str);
3449
3450 #if PLATFORM_WIN32 && TARGET_WIN32 && _DEBUG
3451         OutputDebugStringA(text->str);
3452 #endif
3453
3454         g_string_free (text, TRUE);
3455         fflush (stdout);
3456 }
3457
3458 void
3459 mono_threads_perform_thread_dump (void)
3460 {
3461         ThreadDumpUserData ud;
3462         MonoInternalThread *thread_array [128];
3463         int tindex, nthreads;
3464
3465         if (!thread_dump_requested)
3466                 return;
3467
3468         printf ("Full thread dump:\n");
3469
3470         /* Make a copy of the threads hash to avoid doing work inside threads_lock () */
3471         nthreads = collect_threads (thread_array, 128);
3472
3473         memset (&ud, 0, sizeof (ud));
3474         ud.frames = g_new0 (MonoStackFrameInfo, 256);
3475         ud.max_frames = 256;
3476
3477         for (tindex = 0; tindex < nthreads; ++tindex)
3478                 dump_thread (thread_array [tindex], &ud);
3479
3480         g_free (ud.frames);
3481
3482         thread_dump_requested = FALSE;
3483 }
3484
3485 /* Obtain the thread dump of all threads */
3486 static gboolean
3487 mono_threads_get_thread_dump (MonoArray **out_threads, MonoArray **out_stack_frames, MonoError *error)
3488 {
3489
3490         ThreadDumpUserData ud;
3491         MonoInternalThread *thread_array [128];
3492         MonoDomain *domain = mono_domain_get ();
3493         MonoDebugSourceLocation *location;
3494         int tindex, nthreads;
3495
3496         mono_error_init (error);
3497
3498         *out_threads = NULL;
3499         *out_stack_frames = NULL;
3500
3501         /* Make a copy of the threads hash to avoid doing work inside threads_lock () */
3502         nthreads = collect_threads (thread_array, 128);
3503
3504         memset (&ud, 0, sizeof (ud));
3505         ud.frames = g_new0 (MonoStackFrameInfo, 256);
3506         ud.max_frames = 256;
3507
3508         *out_threads = mono_array_new_checked (domain, mono_defaults.thread_class, nthreads, error);
3509         if (!is_ok (error))
3510                 goto leave;
3511         *out_stack_frames = mono_array_new_checked (domain, mono_defaults.array_class, nthreads, error);
3512         if (!is_ok (error))
3513                 goto leave;
3514
3515         for (tindex = 0; tindex < nthreads; ++tindex) {
3516                 MonoInternalThread *thread = thread_array [tindex];
3517                 MonoArray *thread_frames;
3518                 int i;
3519
3520                 ud.thread = thread;
3521                 ud.nframes = 0;
3522
3523                 /* Collect frames for the thread */
3524                 if (thread == mono_thread_internal_current ()) {
3525                         get_thread_dump (mono_thread_info_current (), &ud);
3526                 } else {
3527                         mono_thread_info_safe_suspend_and_run (thread_get_tid (thread), FALSE, get_thread_dump, &ud);
3528                 }
3529
3530                 mono_array_setref_fast (*out_threads, tindex, mono_thread_current_for_thread (thread));
3531
3532                 thread_frames = mono_array_new_checked (domain, mono_defaults.stack_frame_class, ud.nframes, error);
3533                 if (!is_ok (error))
3534                         goto leave;
3535                 mono_array_setref_fast (*out_stack_frames, tindex, thread_frames);
3536
3537                 for (i = 0; i < ud.nframes; ++i) {
3538                         MonoStackFrameInfo *frame = &ud.frames [i];
3539                         MonoMethod *method = NULL;
3540                         MonoStackFrame *sf = (MonoStackFrame *)mono_object_new_checked (domain, mono_defaults.stack_frame_class, error);
3541                         if (!is_ok (error))
3542                                 goto leave;
3543
3544                         sf->native_offset = frame->native_offset;
3545
3546                         if (frame->type == FRAME_TYPE_MANAGED)
3547                                 method = mono_jit_info_get_method (frame->ji);
3548
3549                         if (method) {
3550                                 sf->method_address = (gsize) frame->ji->code_start;
3551
3552                                 MonoReflectionMethod *rm = mono_method_get_object_checked (domain, method, NULL, error);
3553                                 if (!is_ok (error))
3554                                         goto leave;
3555                                 MONO_OBJECT_SETREF (sf, method, rm);
3556
3557                                 location = mono_debug_lookup_source_location (method, frame->native_offset, domain);
3558                                 if (location) {
3559                                         sf->il_offset = location->il_offset;
3560
3561                                         if (location && location->source_file) {
3562                                                 MONO_OBJECT_SETREF (sf, filename, mono_string_new (domain, location->source_file));
3563                                                 sf->line = location->row;
3564                                                 sf->column = location->column;
3565                                         }
3566                                         mono_debug_free_source_location (location);
3567                                 } else {
3568                                         sf->il_offset = -1;
3569                                 }
3570                         }
3571                         mono_array_setref (thread_frames, i, sf);
3572                 }
3573         }
3574
3575 leave:
3576         g_free (ud.frames);
3577         return is_ok (error);
3578 }
3579
3580 /**
3581  * mono_threads_request_thread_dump:
3582  *
3583  *   Ask all threads except the current to print their stacktrace to stdout.
3584  */
3585 void
3586 mono_threads_request_thread_dump (void)
3587 {
3588         /*The new thread dump code runs out of the finalizer thread. */
3589         thread_dump_requested = TRUE;
3590         mono_gc_finalize_notify ();
3591 }
3592
3593 struct ref_stack {
3594         gpointer *refs;
3595         gint allocated; /* +1 so that refs [allocated] == NULL */
3596         gint bottom;
3597 };
3598
3599 typedef struct ref_stack RefStack;
3600
3601 static RefStack *
3602 ref_stack_new (gint initial_size)
3603 {
3604         RefStack *rs;
3605
3606         initial_size = MAX (initial_size, 16) + 1;
3607         rs = g_new0 (RefStack, 1);
3608         rs->refs = g_new0 (gpointer, initial_size);
3609         rs->allocated = initial_size;
3610         return rs;
3611 }
3612
3613 static void
3614 ref_stack_destroy (gpointer ptr)
3615 {
3616         RefStack *rs = (RefStack *)ptr;
3617
3618         if (rs != NULL) {
3619                 g_free (rs->refs);
3620                 g_free (rs);
3621         }
3622 }
3623
3624 static void
3625 ref_stack_push (RefStack *rs, gpointer ptr)
3626 {
3627         g_assert (rs != NULL);
3628
3629         if (rs->bottom >= rs->allocated) {
3630                 rs->refs = (void **)g_realloc (rs->refs, rs->allocated * 2 * sizeof (gpointer) + 1);
3631                 rs->allocated <<= 1;
3632                 rs->refs [rs->allocated] = NULL;
3633         }
3634         rs->refs [rs->bottom++] = ptr;
3635 }
3636
3637 static void
3638 ref_stack_pop (RefStack *rs)
3639 {
3640         if (rs == NULL || rs->bottom == 0)
3641                 return;
3642
3643         rs->bottom--;
3644         rs->refs [rs->bottom] = NULL;
3645 }
3646
3647 static gboolean
3648 ref_stack_find (RefStack *rs, gpointer ptr)
3649 {
3650         gpointer *refs;
3651
3652         if (rs == NULL)
3653                 return FALSE;
3654
3655         for (refs = rs->refs; refs && *refs; refs++) {
3656                 if (*refs == ptr)
3657                         return TRUE;
3658         }
3659         return FALSE;
3660 }
3661
3662 /*
3663  * mono_thread_push_appdomain_ref:
3664  *
3665  *   Register that the current thread may have references to objects in domain
3666  * @domain on its stack. Each call to this function should be paired with a
3667  * call to pop_appdomain_ref.
3668  */
3669 void
3670 mono_thread_push_appdomain_ref (MonoDomain *domain)
3671 {
3672         MonoInternalThread *thread = mono_thread_internal_current ();
3673
3674         if (thread) {
3675                 /* printf ("PUSH REF: %"G_GSIZE_FORMAT" -> %s.\n", (gsize)thread->tid, domain->friendly_name); */
3676                 SPIN_LOCK (thread->lock_thread_id);
3677                 if (thread->appdomain_refs == NULL)
3678                         thread->appdomain_refs = ref_stack_new (16);
3679                 ref_stack_push ((RefStack *)thread->appdomain_refs, domain);
3680                 SPIN_UNLOCK (thread->lock_thread_id);
3681         }
3682 }
3683
3684 void
3685 mono_thread_pop_appdomain_ref (void)
3686 {
3687         MonoInternalThread *thread = mono_thread_internal_current ();
3688
3689         if (thread) {
3690                 /* printf ("POP REF: %"G_GSIZE_FORMAT" -> %s.\n", (gsize)thread->tid, ((MonoDomain*)(thread->appdomain_refs->data))->friendly_name); */
3691                 SPIN_LOCK (thread->lock_thread_id);
3692                 ref_stack_pop ((RefStack *)thread->appdomain_refs);
3693                 SPIN_UNLOCK (thread->lock_thread_id);
3694         }
3695 }
3696
3697 gboolean
3698 mono_thread_internal_has_appdomain_ref (MonoInternalThread *thread, MonoDomain *domain)
3699 {
3700         gboolean res;
3701         SPIN_LOCK (thread->lock_thread_id);
3702         res = ref_stack_find ((RefStack *)thread->appdomain_refs, domain);
3703         SPIN_UNLOCK (thread->lock_thread_id);
3704         return res;
3705 }
3706
3707 gboolean
3708 mono_thread_has_appdomain_ref (MonoThread *thread, MonoDomain *domain)
3709 {
3710         return mono_thread_internal_has_appdomain_ref (thread->internal_thread, domain);
3711 }
3712
3713 typedef struct abort_appdomain_data {
3714         struct wait_data wait;
3715         MonoDomain *domain;
3716 } abort_appdomain_data;
3717
3718 static void
3719 collect_appdomain_thread (gpointer key, gpointer value, gpointer user_data)
3720 {
3721         MonoInternalThread *thread = (MonoInternalThread*)value;
3722         abort_appdomain_data *data = (abort_appdomain_data*)user_data;
3723         MonoDomain *domain = data->domain;
3724
3725         if (mono_thread_internal_has_appdomain_ref (thread, domain)) {
3726                 /* printf ("ABORTING THREAD %p BECAUSE IT REFERENCES DOMAIN %s.\n", thread->tid, domain->friendly_name); */
3727
3728                 if(data->wait.num<MONO_W32HANDLE_MAXIMUM_WAIT_OBJECTS) {
3729                         data->wait.handles [data->wait.num] = mono_threads_open_thread_handle (thread->handle);
3730                         data->wait.threads [data->wait.num] = thread;
3731                         data->wait.num++;
3732                 } else {
3733                         /* Just ignore the rest, we can't do anything with
3734                          * them yet
3735                          */
3736                 }
3737         }
3738 }
3739
3740 /*
3741  * mono_threads_abort_appdomain_threads:
3742  *
3743  *   Abort threads which has references to the given appdomain.
3744  */
3745 gboolean
3746 mono_threads_abort_appdomain_threads (MonoDomain *domain, int timeout)
3747 {
3748 #ifdef __native_client__
3749         return FALSE;
3750 #endif
3751
3752         abort_appdomain_data user_data;
3753         gint64 start_time;
3754         int orig_timeout = timeout;
3755         int i;
3756
3757         THREAD_DEBUG (g_message ("%s: starting abort", __func__));
3758
3759         start_time = mono_msec_ticks ();
3760         do {
3761                 mono_threads_lock ();
3762
3763                 user_data.domain = domain;
3764                 user_data.wait.num = 0;
3765                 /* This shouldn't take any locks */
3766                 mono_g_hash_table_foreach (threads, collect_appdomain_thread, &user_data);
3767                 mono_threads_unlock ();
3768
3769                 if (user_data.wait.num > 0) {
3770                         /* Abort the threads outside the threads lock */
3771                         for (i = 0; i < user_data.wait.num; ++i)
3772                                 mono_thread_internal_abort (user_data.wait.threads [i]);
3773
3774                         /*
3775                          * We should wait for the threads either to abort, or to leave the
3776                          * domain. We can't do the latter, so we wait with a timeout.
3777                          */
3778                         wait_for_tids (&user_data.wait, 100, FALSE);
3779                 }
3780
3781                 /* Update remaining time */
3782                 timeout -= mono_msec_ticks () - start_time;
3783                 start_time = mono_msec_ticks ();
3784
3785                 if (orig_timeout != -1 && timeout < 0)
3786                         return FALSE;
3787         }
3788         while (user_data.wait.num > 0);
3789
3790         THREAD_DEBUG (g_message ("%s: abort done", __func__));
3791
3792         return TRUE;
3793 }
3794
3795 static void
3796 clear_cached_culture (gpointer key, gpointer value, gpointer user_data)
3797 {
3798         MonoInternalThread *thread = (MonoInternalThread*)value;
3799         MonoDomain *domain = (MonoDomain*)user_data;
3800         int i;
3801
3802         /* No locking needed here */
3803         /* FIXME: why no locking? writes to the cache are protected with synch_cs above */
3804
3805         if (thread->cached_culture_info) {
3806                 for (i = 0; i < NUM_CACHED_CULTURES * 2; ++i) {
3807                         MonoObject *obj = mono_array_get (thread->cached_culture_info, MonoObject*, i);
3808                         if (obj && obj->vtable->domain == domain)
3809                                 mono_array_set (thread->cached_culture_info, MonoObject*, i, NULL);
3810                 }
3811         }
3812 }
3813
3814 /*
3815  * mono_threads_clear_cached_culture:
3816  *
3817  *   Clear the cached_current_culture from all threads if it is in the
3818  * given appdomain.
3819  */
3820 void
3821 mono_threads_clear_cached_culture (MonoDomain *domain)
3822 {
3823         mono_threads_lock ();
3824         mono_g_hash_table_foreach (threads, clear_cached_culture, domain);
3825         mono_threads_unlock ();
3826 }
3827
3828 /*
3829  * mono_thread_get_undeniable_exception:
3830  *
3831  *   Return an exception which needs to be raised when leaving a catch clause.
3832  * This is used for undeniable exception propagation.
3833  */
3834 MonoException*
3835 mono_thread_get_undeniable_exception (void)
3836 {
3837         MonoInternalThread *thread = mono_thread_internal_current ();
3838
3839         if (!(thread && thread->abort_exc && !is_running_protected_wrapper ()))
3840                 return NULL;
3841
3842         // We don't want to have our exception effect calls made by
3843         // the catching block
3844
3845         if (!mono_get_eh_callbacks ()->mono_above_abort_threshold ())
3846                 return NULL;
3847
3848         /*
3849          * FIXME: Clear the abort exception and return an AppDomainUnloaded
3850          * exception if the thread no longer references a dying appdomain.
3851          */
3852         thread->abort_exc->trace_ips = NULL;
3853         thread->abort_exc->stack_trace = NULL;
3854         return thread->abort_exc;
3855 }
3856
3857 #if MONO_SMALL_CONFIG
3858 #define NUM_STATIC_DATA_IDX 4
3859 static const int static_data_size [NUM_STATIC_DATA_IDX] = {
3860         64, 256, 1024, 4096
3861 };
3862 #else
3863 #define NUM_STATIC_DATA_IDX 8
3864 static const int static_data_size [NUM_STATIC_DATA_IDX] = {
3865         1024, 4096, 16384, 65536, 262144, 1048576, 4194304, 16777216
3866 };
3867 #endif
3868
3869 static MonoBitSet *thread_reference_bitmaps [NUM_STATIC_DATA_IDX];
3870 static MonoBitSet *context_reference_bitmaps [NUM_STATIC_DATA_IDX];
3871
3872 static void
3873 mark_slots (void *addr, MonoBitSet **bitmaps, MonoGCMarkFunc mark_func, void *gc_data)
3874 {
3875         gpointer *static_data = (gpointer *)addr;
3876
3877         for (int i = 0; i < NUM_STATIC_DATA_IDX; ++i) {
3878                 void **ptr = (void **)static_data [i];
3879
3880                 if (!ptr)
3881                         continue;
3882
3883                 MONO_BITSET_FOREACH (bitmaps [i], idx, {
3884                         void **p = ptr + idx;
3885
3886                         if (*p)
3887                                 mark_func ((MonoObject**)p, gc_data);
3888                 });
3889         }
3890 }
3891
3892 static void
3893 mark_tls_slots (void *addr, MonoGCMarkFunc mark_func, void *gc_data)
3894 {
3895         mark_slots (addr, thread_reference_bitmaps, mark_func, gc_data);
3896 }
3897
3898 static void
3899 mark_ctx_slots (void *addr, MonoGCMarkFunc mark_func, void *gc_data)
3900 {
3901         mark_slots (addr, context_reference_bitmaps, mark_func, gc_data);
3902 }
3903
3904 /*
3905  *  mono_alloc_static_data
3906  *
3907  *   Allocate memory blocks for storing threads or context static data
3908  */
3909 static void
3910 mono_alloc_static_data (gpointer **static_data_ptr, guint32 offset, gboolean threadlocal)
3911 {
3912         guint idx = ACCESS_SPECIAL_STATIC_OFFSET (offset, index);
3913         int i;
3914
3915         gpointer* static_data = *static_data_ptr;
3916         if (!static_data) {
3917                 static MonoGCDescriptor tls_desc = MONO_GC_DESCRIPTOR_NULL;
3918                 static MonoGCDescriptor ctx_desc = MONO_GC_DESCRIPTOR_NULL;
3919
3920                 if (mono_gc_user_markers_supported ()) {
3921                         if (tls_desc == MONO_GC_DESCRIPTOR_NULL)
3922                                 tls_desc = mono_gc_make_root_descr_user (mark_tls_slots);
3923
3924                         if (ctx_desc == MONO_GC_DESCRIPTOR_NULL)
3925                                 ctx_desc = mono_gc_make_root_descr_user (mark_ctx_slots);
3926                 }
3927
3928                 static_data = (void **)mono_gc_alloc_fixed (static_data_size [0], threadlocal ? tls_desc : ctx_desc,
3929                         threadlocal ? MONO_ROOT_SOURCE_THREAD_STATIC : MONO_ROOT_SOURCE_CONTEXT_STATIC,
3930                         threadlocal ? "managed thread-static variables" : "managed context-static variables");
3931                 *static_data_ptr = static_data;
3932                 static_data [0] = static_data;
3933         }
3934
3935         for (i = 1; i <= idx; ++i) {
3936                 if (static_data [i])
3937                         continue;
3938
3939                 if (mono_gc_user_markers_supported ())
3940                         static_data [i] = g_malloc0 (static_data_size [i]);
3941                 else
3942                         static_data [i] = mono_gc_alloc_fixed (static_data_size [i], MONO_GC_DESCRIPTOR_NULL,
3943                                 threadlocal ? MONO_ROOT_SOURCE_THREAD_STATIC : MONO_ROOT_SOURCE_CONTEXT_STATIC,
3944                                 threadlocal ? "managed thread-static variables" : "managed context-static variables");
3945         }
3946 }
3947
3948 static void
3949 mono_free_static_data (gpointer* static_data)
3950 {
3951         int i;
3952         for (i = 1; i < NUM_STATIC_DATA_IDX; ++i) {
3953                 gpointer p = static_data [i];
3954                 if (!p)
3955                         continue;
3956                 /*
3957                  * At this point, the static data pointer array is still registered with the
3958                  * GC, so must ensure that mark_tls_slots() will not encounter any invalid
3959                  * data.  Freeing the individual arrays without first nulling their slots
3960                  * would make it possible for mark_tls/ctx_slots() to encounter a pointer to
3961                  * such an already freed array.  See bug #13813.
3962                  */
3963                 static_data [i] = NULL;
3964                 mono_memory_write_barrier ();
3965                 if (mono_gc_user_markers_supported ())
3966                         g_free (p);
3967                 else
3968                         mono_gc_free_fixed (p);
3969         }
3970         mono_gc_free_fixed (static_data);
3971 }
3972
3973 /*
3974  *  mono_init_static_data_info
3975  *
3976  *   Initializes static data counters
3977  */
3978 static void mono_init_static_data_info (StaticDataInfo *static_data)
3979 {
3980         static_data->idx = 0;
3981         static_data->offset = 0;
3982         static_data->freelist = NULL;
3983 }
3984
3985 /*
3986  *  mono_alloc_static_data_slot
3987  *
3988  *   Generates an offset for static data. static_data contains the counters
3989  *  used to generate it.
3990  */
3991 static guint32
3992 mono_alloc_static_data_slot (StaticDataInfo *static_data, guint32 size, guint32 align)
3993 {
3994         if (!static_data->idx && !static_data->offset) {
3995                 /*
3996                  * we use the first chunk of the first allocation also as
3997                  * an array for the rest of the data
3998                  */
3999                 static_data->offset = sizeof (gpointer) * NUM_STATIC_DATA_IDX;
4000         }
4001         static_data->offset += align - 1;
4002         static_data->offset &= ~(align - 1);
4003         if (static_data->offset + size >= static_data_size [static_data->idx]) {
4004                 static_data->idx ++;
4005                 g_assert (size <= static_data_size [static_data->idx]);
4006                 g_assert (static_data->idx < NUM_STATIC_DATA_IDX);
4007                 static_data->offset = 0;
4008         }
4009         guint32 offset = MAKE_SPECIAL_STATIC_OFFSET (static_data->idx, static_data->offset, 0);
4010         static_data->offset += size;
4011         return offset;
4012 }
4013
4014 /*
4015  * LOCKING: requires that threads_mutex is held
4016  */
4017 static void
4018 context_adjust_static_data (MonoAppContext *ctx)
4019 {
4020         if (context_static_info.offset || context_static_info.idx > 0) {
4021                 guint32 offset = MAKE_SPECIAL_STATIC_OFFSET (context_static_info.idx, context_static_info.offset, 0);
4022                 mono_alloc_static_data (&ctx->static_data, offset, FALSE);
4023                 ctx->data->static_data = ctx->static_data;
4024         }
4025 }
4026
4027 /*
4028  * LOCKING: requires that threads_mutex is held
4029  */
4030 static void
4031 alloc_thread_static_data_helper (gpointer key, gpointer value, gpointer user)
4032 {
4033         MonoInternalThread *thread = (MonoInternalThread *)value;
4034         guint32 offset = GPOINTER_TO_UINT (user);
4035
4036         mono_alloc_static_data (&(thread->static_data), offset, TRUE);
4037 }
4038
4039 /*
4040  * LOCKING: requires that threads_mutex is held
4041  */
4042 static void
4043 alloc_context_static_data_helper (gpointer key, gpointer value, gpointer user)
4044 {
4045         MonoAppContext *ctx = (MonoAppContext *) mono_gchandle_get_target (GPOINTER_TO_INT (key));
4046
4047         if (!ctx)
4048                 return;
4049
4050         guint32 offset = GPOINTER_TO_UINT (user);
4051         mono_alloc_static_data (&ctx->static_data, offset, FALSE);
4052         ctx->data->static_data = ctx->static_data;
4053 }
4054
4055 static StaticDataFreeList*
4056 search_slot_in_freelist (StaticDataInfo *static_data, guint32 size, guint32 align)
4057 {
4058         StaticDataFreeList* prev = NULL;
4059         StaticDataFreeList* tmp = static_data->freelist;
4060         while (tmp) {
4061                 if (tmp->size == size) {
4062                         if (prev)
4063                                 prev->next = tmp->next;
4064                         else
4065                                 static_data->freelist = tmp->next;
4066                         return tmp;
4067                 }
4068                 prev = tmp;
4069                 tmp = tmp->next;
4070         }
4071         return NULL;
4072 }
4073
4074 #if SIZEOF_VOID_P == 4
4075 #define ONE_P 1
4076 #else
4077 #define ONE_P 1ll
4078 #endif
4079
4080 static void
4081 update_reference_bitmap (MonoBitSet **sets, guint32 offset, uintptr_t *bitmap, int numbits)
4082 {
4083         int idx = ACCESS_SPECIAL_STATIC_OFFSET (offset, index);
4084         if (!sets [idx])
4085                 sets [idx] = mono_bitset_new (static_data_size [idx] / sizeof (uintptr_t), 0);
4086         MonoBitSet *rb = sets [idx];
4087         offset = ACCESS_SPECIAL_STATIC_OFFSET (offset, offset);
4088         offset /= sizeof (uintptr_t);
4089         /* offset is now the bitmap offset */
4090         for (int i = 0; i < numbits; ++i) {
4091                 if (bitmap [i / sizeof (uintptr_t)] & (ONE_P << (i & (sizeof (uintptr_t) * 8 -1))))
4092                         mono_bitset_set_fast (rb, offset + i);
4093         }
4094 }
4095
4096 static void
4097 clear_reference_bitmap (MonoBitSet **sets, guint32 offset, guint32 size)
4098 {
4099         int idx = ACCESS_SPECIAL_STATIC_OFFSET (offset, index);
4100         MonoBitSet *rb = sets [idx];
4101         offset = ACCESS_SPECIAL_STATIC_OFFSET (offset, offset);
4102         offset /= sizeof (uintptr_t);
4103         /* offset is now the bitmap offset */
4104         for (int i = 0; i < size / sizeof (uintptr_t); i++)
4105                 mono_bitset_clear_fast (rb, offset + i);
4106 }
4107
4108 guint32
4109 mono_alloc_special_static_data (guint32 static_type, guint32 size, guint32 align, uintptr_t *bitmap, int numbits)
4110 {
4111         g_assert (static_type == SPECIAL_STATIC_THREAD || static_type == SPECIAL_STATIC_CONTEXT);
4112
4113         StaticDataInfo *info;
4114         MonoBitSet **sets;
4115
4116         if (static_type == SPECIAL_STATIC_THREAD) {
4117                 info = &thread_static_info;
4118                 sets = thread_reference_bitmaps;
4119         } else {
4120                 info = &context_static_info;
4121                 sets = context_reference_bitmaps;
4122         }
4123
4124         mono_threads_lock ();
4125
4126         StaticDataFreeList *item = search_slot_in_freelist (info, size, align);
4127         guint32 offset;
4128
4129         if (item) {
4130                 offset = item->offset;
4131                 g_free (item);
4132         } else {
4133                 offset = mono_alloc_static_data_slot (info, size, align);
4134         }
4135
4136         update_reference_bitmap (sets, offset, bitmap, numbits);
4137
4138         if (static_type == SPECIAL_STATIC_THREAD) {
4139                 /* This can be called during startup */
4140                 if (threads != NULL)
4141                         mono_g_hash_table_foreach (threads, alloc_thread_static_data_helper, GUINT_TO_POINTER (offset));
4142         } else {
4143                 if (contexts != NULL)
4144                         g_hash_table_foreach (contexts, alloc_context_static_data_helper, GUINT_TO_POINTER (offset));
4145
4146                 ACCESS_SPECIAL_STATIC_OFFSET (offset, type) = SPECIAL_STATIC_OFFSET_TYPE_CONTEXT;
4147         }
4148
4149         mono_threads_unlock ();
4150
4151         return offset;
4152 }
4153
4154 gpointer
4155 mono_get_special_static_data_for_thread (MonoInternalThread *thread, guint32 offset)
4156 {
4157         guint32 static_type = ACCESS_SPECIAL_STATIC_OFFSET (offset, type);
4158
4159         if (static_type == SPECIAL_STATIC_OFFSET_TYPE_THREAD) {
4160                 return get_thread_static_data (thread, offset);
4161         } else {
4162                 return get_context_static_data (thread->current_appcontext, offset);
4163         }
4164 }
4165
4166 gpointer
4167 mono_get_special_static_data (guint32 offset)
4168 {
4169         return mono_get_special_static_data_for_thread (mono_thread_internal_current (), offset);
4170 }
4171
4172 typedef struct {
4173         guint32 offset;
4174         guint32 size;
4175 } OffsetSize;
4176
4177 /*
4178  * LOCKING: requires that threads_mutex is held
4179  */
4180 static void
4181 free_thread_static_data_helper (gpointer key, gpointer value, gpointer user)
4182 {
4183         MonoInternalThread *thread = (MonoInternalThread *)value;
4184         OffsetSize *data = (OffsetSize *)user;
4185         int idx = ACCESS_SPECIAL_STATIC_OFFSET (data->offset, index);
4186         int off = ACCESS_SPECIAL_STATIC_OFFSET (data->offset, offset);
4187         char *ptr;
4188
4189         if (!thread->static_data || !thread->static_data [idx])
4190                 return;
4191         ptr = ((char*) thread->static_data [idx]) + off;
4192         mono_gc_bzero_atomic (ptr, data->size);
4193 }
4194
4195 /*
4196  * LOCKING: requires that threads_mutex is held
4197  */
4198 static void
4199 free_context_static_data_helper (gpointer key, gpointer value, gpointer user)
4200 {
4201         MonoAppContext *ctx = (MonoAppContext *) mono_gchandle_get_target (GPOINTER_TO_INT (key));
4202
4203         if (!ctx)
4204                 return;
4205
4206         OffsetSize *data = (OffsetSize *)user;
4207         int idx = ACCESS_SPECIAL_STATIC_OFFSET (data->offset, index);
4208         int off = ACCESS_SPECIAL_STATIC_OFFSET (data->offset, offset);
4209         char *ptr;
4210
4211         if (!ctx->static_data || !ctx->static_data [idx])
4212                 return;
4213
4214         ptr = ((char*) ctx->static_data [idx]) + off;
4215         mono_gc_bzero_atomic (ptr, data->size);
4216 }
4217
4218 static void
4219 do_free_special_slot (guint32 offset, guint32 size)
4220 {
4221         guint32 static_type = ACCESS_SPECIAL_STATIC_OFFSET (offset, type);
4222         MonoBitSet **sets;
4223         StaticDataInfo *info;
4224
4225         if (static_type == SPECIAL_STATIC_OFFSET_TYPE_THREAD) {
4226                 info = &thread_static_info;
4227                 sets = thread_reference_bitmaps;
4228         } else {
4229                 info = &context_static_info;
4230                 sets = context_reference_bitmaps;
4231         }
4232
4233         guint32 data_offset = offset;
4234         ACCESS_SPECIAL_STATIC_OFFSET (data_offset, type) = 0;
4235         OffsetSize data = { data_offset, size };
4236
4237         clear_reference_bitmap (sets, data.offset, data.size);
4238
4239         if (static_type == SPECIAL_STATIC_OFFSET_TYPE_THREAD) {
4240                 if (threads != NULL)
4241                         mono_g_hash_table_foreach (threads, free_thread_static_data_helper, &data);
4242         } else {
4243                 if (contexts != NULL)
4244                         g_hash_table_foreach (contexts, free_context_static_data_helper, &data);
4245         }
4246
4247         if (!mono_runtime_is_shutting_down ()) {
4248                 StaticDataFreeList *item = g_new0 (StaticDataFreeList, 1);
4249
4250                 item->offset = offset;
4251                 item->size = size;
4252
4253                 item->next = info->freelist;
4254                 info->freelist = item;
4255         }
4256 }
4257
4258 static void
4259 do_free_special (gpointer key, gpointer value, gpointer data)
4260 {
4261         MonoClassField *field = (MonoClassField *)key;
4262         guint32 offset = GPOINTER_TO_UINT (value);
4263         gint32 align;
4264         guint32 size;
4265         size = mono_type_size (field->type, &align);
4266         do_free_special_slot (offset, size);
4267 }
4268
4269 void
4270 mono_alloc_special_static_data_free (GHashTable *special_static_fields)
4271 {
4272         mono_threads_lock ();
4273
4274         g_hash_table_foreach (special_static_fields, do_free_special, NULL);
4275
4276         mono_threads_unlock ();
4277 }
4278
4279 #ifdef HOST_WIN32
4280 static void CALLBACK dummy_apc (ULONG_PTR param)
4281 {
4282 }
4283 #endif
4284
4285 /*
4286  * mono_thread_execute_interruption
4287  *
4288  * Performs the operation that the requested thread state requires (abort,
4289  * suspend or stop)
4290  */
4291 static MonoException*
4292 mono_thread_execute_interruption (void)
4293 {
4294         MonoInternalThread *thread = mono_thread_internal_current ();
4295         MonoThread *sys_thread = mono_thread_current ();
4296
4297         LOCK_THREAD (thread);
4298
4299         /* MonoThread::interruption_requested can only be changed with atomics */
4300         if (InterlockedCompareExchange (&thread->interruption_requested, FALSE, TRUE)) {
4301                 /* this will consume pending APC calls */
4302 #ifdef HOST_WIN32
4303                 WaitForSingleObjectEx (GetCurrentThread(), 0, TRUE);
4304 #endif
4305                 InterlockedDecrement (&thread_interruption_requested);
4306
4307                 /* Clear the interrupted flag of the thread so it can wait again */
4308                 mono_thread_info_clear_self_interrupt ();
4309         }
4310
4311         /* If there's a pending exception and an AbortRequested, the pending exception takes precedence */
4312         if (sys_thread->pending_exception) {
4313                 MonoException *exc;
4314
4315                 exc = sys_thread->pending_exception;
4316                 sys_thread->pending_exception = NULL;
4317
4318                 UNLOCK_THREAD (thread);
4319                 return exc;
4320         } else if ((thread->state & ThreadState_AbortRequested) != 0) {
4321                 UNLOCK_THREAD (thread);
4322                 g_assert (sys_thread->pending_exception == NULL);
4323                 if (thread->abort_exc == NULL) {
4324                         /*
4325                          * This might be racy, but it has to be called outside the lock
4326                          * since it calls managed code.
4327                          */
4328                         MONO_OBJECT_SETREF (thread, abort_exc, mono_get_exception_thread_abort ());
4329                 }
4330                 return thread->abort_exc;
4331         }
4332         else if ((thread->state & ThreadState_SuspendRequested) != 0) {
4333                 /* calls UNLOCK_THREAD (thread) */
4334                 self_suspend_internal ();
4335                 return NULL;
4336         }
4337         else if ((thread->state & ThreadState_StopRequested) != 0) {
4338                 /* FIXME: do this through the JIT? */
4339
4340                 UNLOCK_THREAD (thread);
4341
4342                 mono_thread_exit ();
4343                 return NULL;
4344         } else if (thread->thread_interrupt_requested) {
4345
4346                 thread->thread_interrupt_requested = FALSE;
4347                 UNLOCK_THREAD (thread);
4348
4349                 return(mono_get_exception_thread_interrupted ());
4350         }
4351
4352         UNLOCK_THREAD (thread);
4353
4354         return NULL;
4355 }
4356
4357 /*
4358  * mono_thread_request_interruption
4359  *
4360  * A signal handler can call this method to request the interruption of a
4361  * thread. The result of the interruption will depend on the current state of
4362  * the thread. If the result is an exception that needs to be throw, it is
4363  * provided as return value.
4364  */
4365 MonoException*
4366 mono_thread_request_interruption (gboolean running_managed)
4367 {
4368         MonoInternalThread *thread = mono_thread_internal_current ();
4369
4370         /* The thread may already be stopping */
4371         if (thread == NULL)
4372                 return NULL;
4373
4374 #ifdef HOST_WIN32
4375         if (thread->interrupt_on_stop &&
4376                 thread->state & ThreadState_StopRequested &&
4377                 thread->state & ThreadState_Background)
4378                 ExitThread (1);
4379 #endif
4380         if (InterlockedCompareExchange (&thread->interruption_requested, 1, 0) == 1)
4381                 return NULL;
4382         InterlockedIncrement (&thread_interruption_requested);
4383
4384         if (!running_managed || is_running_protected_wrapper ()) {
4385                 /* Can't stop while in unmanaged code. Increase the global interruption
4386                    request count. When exiting the unmanaged method the count will be
4387                    checked and the thread will be interrupted. */
4388
4389                 /* this will awake the thread if it is in WaitForSingleObject
4390                    or similar */
4391                 /* Our implementation of this function ignores the func argument */
4392 #ifdef HOST_WIN32
4393                 QueueUserAPC ((PAPCFUNC)dummy_apc, thread->native_handle, (ULONG_PTR)NULL);
4394 #else
4395                 mono_thread_info_self_interrupt ();
4396 #endif
4397                 return NULL;
4398         }
4399         else {
4400                 return mono_thread_execute_interruption ();
4401         }
4402 }
4403
4404 /*This function should be called by a thread after it has exited all of
4405  * its handle blocks at interruption time.*/
4406 MonoException*
4407 mono_thread_resume_interruption (void)
4408 {
4409         MonoInternalThread *thread = mono_thread_internal_current ();
4410         gboolean still_aborting;
4411
4412         /* The thread may already be stopping */
4413         if (thread == NULL)
4414                 return NULL;
4415
4416         LOCK_THREAD (thread);
4417         still_aborting = (thread->state & (ThreadState_AbortRequested|ThreadState_StopRequested)) != 0;
4418         UNLOCK_THREAD (thread);
4419
4420         /*This can happen if the protected block called Thread::ResetAbort*/
4421         if (!still_aborting)
4422                 return FALSE;
4423
4424         if (InterlockedCompareExchange (&thread->interruption_requested, 1, 0) == 1)
4425                 return NULL;
4426         InterlockedIncrement (&thread_interruption_requested);
4427
4428         mono_thread_info_self_interrupt ();
4429
4430         return mono_thread_execute_interruption ();
4431 }
4432
4433 gboolean mono_thread_interruption_requested ()
4434 {
4435         if (thread_interruption_requested) {
4436                 MonoInternalThread *thread = mono_thread_internal_current ();
4437                 /* The thread may already be stopping */
4438                 if (thread != NULL)
4439                         return (thread->interruption_requested);
4440         }
4441         return FALSE;
4442 }
4443
4444 static MonoException*
4445 mono_thread_interruption_checkpoint_request (gboolean bypass_abort_protection)
4446 {
4447         MonoInternalThread *thread = mono_thread_internal_current ();
4448
4449         /* The thread may already be stopping */
4450         if (!thread)
4451                 return NULL;
4452         if (!thread->interruption_requested)
4453                 return NULL;
4454         if (!bypass_abort_protection && is_running_protected_wrapper ())
4455                 return NULL;
4456
4457         return mono_thread_execute_interruption ();
4458 }
4459
4460 /*
4461  * Performs the interruption of the current thread, if one has been requested,
4462  * and the thread is not running a protected wrapper.
4463  * Return the exception which needs to be thrown, if any.
4464  */
4465 MonoException*
4466 mono_thread_interruption_checkpoint (void)
4467 {
4468         return mono_thread_interruption_checkpoint_request (FALSE);
4469 }
4470
4471 /*
4472  * Performs the interruption of the current thread, if one has been requested.
4473  * Return the exception which needs to be thrown, if any.
4474  */
4475 MonoException*
4476 mono_thread_force_interruption_checkpoint_noraise (void)
4477 {
4478         return mono_thread_interruption_checkpoint_request (TRUE);
4479 }
4480
4481 /*
4482  * mono_set_pending_exception:
4483  *
4484  *   Set the pending exception of the current thread to EXC.
4485  * The exception will be thrown when execution returns to managed code.
4486  */
4487 void
4488 mono_set_pending_exception (MonoException *exc)
4489 {
4490         MonoThread *thread = mono_thread_current ();
4491
4492         /* The thread may already be stopping */
4493         if (thread == NULL)
4494                 return;
4495
4496         MONO_OBJECT_SETREF (thread, pending_exception, exc);
4497
4498     mono_thread_request_interruption (FALSE);
4499 }
4500
4501 /**
4502  * mono_thread_interruption_request_flag:
4503  *
4504  * Returns the address of a flag that will be non-zero if an interruption has
4505  * been requested for a thread. The thread to interrupt may not be the current
4506  * thread, so an additional call to mono_thread_interruption_requested() or
4507  * mono_thread_interruption_checkpoint() is allways needed if the flag is not
4508  * zero.
4509  */
4510 gint32* mono_thread_interruption_request_flag ()
4511 {
4512         return &thread_interruption_requested;
4513 }
4514
4515 void
4516 mono_thread_init_apartment_state (void)
4517 {
4518 #ifdef HOST_WIN32
4519         MonoInternalThread* thread = mono_thread_internal_current ();
4520
4521         /* Positive return value indicates success, either
4522          * S_OK if this is first CoInitialize call, or
4523          * S_FALSE if CoInitialize already called, but with same
4524          * threading model. A negative value indicates failure,
4525          * probably due to trying to change the threading model.
4526          */
4527         if (CoInitializeEx(NULL, (thread->apartment_state == ThreadApartmentState_STA)
4528                         ? COINIT_APARTMENTTHREADED
4529                         : COINIT_MULTITHREADED) < 0) {
4530                 thread->apartment_state = ThreadApartmentState_Unknown;
4531         }
4532 #endif
4533 }
4534
4535 void
4536 mono_thread_cleanup_apartment_state (void)
4537 {
4538 #ifdef HOST_WIN32
4539         MonoInternalThread* thread = mono_thread_internal_current ();
4540
4541         if (thread && thread->apartment_state != ThreadApartmentState_Unknown) {
4542                 CoUninitialize ();
4543         }
4544 #endif
4545 }
4546
4547 void
4548 mono_thread_set_state (MonoInternalThread *thread, MonoThreadState state)
4549 {
4550         LOCK_THREAD (thread);
4551         thread->state |= state;
4552         UNLOCK_THREAD (thread);
4553 }
4554
4555 /**
4556  * mono_thread_test_and_set_state:
4557  *
4558  * Test if current state of @thread include @test. If it does not, OR @set into the state.
4559  *
4560  * Returns TRUE is @set was OR'd in.
4561  */
4562 gboolean
4563 mono_thread_test_and_set_state (MonoInternalThread *thread, MonoThreadState test, MonoThreadState set)
4564 {
4565         LOCK_THREAD (thread);
4566
4567         if ((thread->state & test) != 0) {
4568                 UNLOCK_THREAD (thread);
4569                 return FALSE;
4570         }
4571
4572         thread->state |= set;
4573         UNLOCK_THREAD (thread);
4574
4575         return TRUE;
4576 }
4577
4578 void
4579 mono_thread_clr_state (MonoInternalThread *thread, MonoThreadState state)
4580 {
4581         LOCK_THREAD (thread);
4582         thread->state &= ~state;
4583         UNLOCK_THREAD (thread);
4584 }
4585
4586 gboolean
4587 mono_thread_test_state (MonoInternalThread *thread, MonoThreadState test)
4588 {
4589         gboolean ret = FALSE;
4590
4591         LOCK_THREAD (thread);
4592
4593         if ((thread->state & test) != 0) {
4594                 ret = TRUE;
4595         }
4596
4597         UNLOCK_THREAD (thread);
4598
4599         return ret;
4600 }
4601
4602 static gboolean has_tls_get = FALSE;
4603
4604 void
4605 mono_runtime_set_has_tls_get (gboolean val)
4606 {
4607         has_tls_get = val;
4608 }
4609
4610 gboolean
4611 mono_runtime_has_tls_get (void)
4612 {
4613         return has_tls_get;
4614 }
4615
4616 static void
4617 self_interrupt_thread (void *_unused)
4618 {
4619         MonoException *exc;
4620         MonoThreadInfo *info;
4621
4622         exc = mono_thread_execute_interruption ();
4623         if (!exc) {
4624                 if (mono_threads_is_coop_enabled ()) {
4625                         /* We can return from an async call in coop, as
4626                          * it's simply called when exiting the safepoint */
4627                         return;
4628                 }
4629
4630                 g_error ("%s: we can't resume from an async call", __func__);
4631         }
4632
4633         info = mono_thread_info_current ();
4634
4635         /* We must use _with_context since we didn't trampoline into the runtime */
4636         mono_raise_exception_with_context (exc, &info->thread_saved_state [ASYNC_SUSPEND_STATE_INDEX].ctx); /* FIXME using thread_saved_state [ASYNC_SUSPEND_STATE_INDEX] can race with another suspend coming in. */
4637 }
4638
4639 static gboolean
4640 mono_jit_info_match (MonoJitInfo *ji, gpointer ip)
4641 {
4642         if (!ji)
4643                 return FALSE;
4644         return ji->code_start <= ip && (char*)ip < (char*)ji->code_start + ji->code_size;
4645 }
4646
4647 static gboolean
4648 last_managed (MonoStackFrameInfo *frame, MonoContext *ctx, gpointer data)
4649 {
4650         MonoJitInfo **dest = (MonoJitInfo **)data;
4651         *dest = frame->ji;
4652         return TRUE;
4653 }
4654
4655 static MonoJitInfo*
4656 mono_thread_info_get_last_managed (MonoThreadInfo *info)
4657 {
4658         MonoJitInfo *ji = NULL;
4659         if (!info)
4660                 return NULL;
4661
4662         /*
4663          * The suspended thread might be holding runtime locks. Make sure we don't try taking
4664          * any runtime locks while unwinding. In coop case we shouldn't safepoint in regions
4665          * where we hold runtime locks.
4666          */
4667         if (!mono_threads_is_coop_enabled ())
4668                 mono_thread_info_set_is_async_context (TRUE);
4669         mono_get_eh_callbacks ()->mono_walk_stack_with_state (last_managed, mono_thread_info_get_suspend_state (info), MONO_UNWIND_SIGNAL_SAFE, &ji);
4670         if (!mono_threads_is_coop_enabled ())
4671                 mono_thread_info_set_is_async_context (FALSE);
4672         return ji;
4673 }
4674
4675 typedef struct {
4676         MonoInternalThread *thread;
4677         gboolean install_async_abort;
4678         MonoThreadInfoInterruptToken *interrupt_token;
4679 } AbortThreadData;
4680
4681 static SuspendThreadResult
4682 async_abort_critical (MonoThreadInfo *info, gpointer ud)
4683 {
4684         AbortThreadData *data = (AbortThreadData *)ud;
4685         MonoInternalThread *thread = data->thread;
4686         MonoJitInfo *ji = NULL;
4687         gboolean protected_wrapper;
4688         gboolean running_managed;
4689
4690         if (mono_get_eh_callbacks ()->mono_install_handler_block_guard (mono_thread_info_get_suspend_state (info)))
4691                 return MonoResumeThread;
4692
4693         /*
4694         The target thread is running at least one protected block, which must not be interrupted, so we give up.
4695         The protected block code will give them a chance when appropriate.
4696         */
4697         if (thread->abort_protected_block_count)
4698                 return MonoResumeThread;
4699
4700         /*someone is already interrupting it*/
4701         if (InterlockedCompareExchange (&thread->interruption_requested, 1, 0) == 1)
4702                 return MonoResumeThread;
4703
4704         InterlockedIncrement (&thread_interruption_requested);
4705
4706         ji = mono_thread_info_get_last_managed (info);
4707         protected_wrapper = ji && !ji->is_trampoline && !ji->async && mono_threads_is_critical_method (mono_jit_info_get_method (ji));
4708         running_managed = mono_jit_info_match (ji, MONO_CONTEXT_GET_IP (&mono_thread_info_get_suspend_state (info)->ctx));
4709
4710         if (!protected_wrapper && running_managed) {
4711                 /*We are in managed code*/
4712                 /*Set the thread to call */
4713                 if (data->install_async_abort)
4714                         mono_thread_info_setup_async_call (info, self_interrupt_thread, NULL);
4715                 return MonoResumeThread;
4716         } else {
4717                 /*
4718                  * This will cause waits to be broken.
4719                  * It will also prevent the thread from entering a wait, so if the thread returns
4720                  * from the wait before it receives the abort signal, it will just spin in the wait
4721                  * functions in the io-layer until the signal handler calls QueueUserAPC which will
4722                  * make it return.
4723                  */
4724                 data->interrupt_token = mono_thread_info_prepare_interrupt (info);
4725
4726                 return MonoResumeThread;
4727         }
4728 }
4729
4730 static void
4731 async_abort_internal (MonoInternalThread *thread, gboolean install_async_abort)
4732 {
4733         AbortThreadData data;
4734
4735         g_assert (thread != mono_thread_internal_current ());
4736
4737         data.thread = thread;
4738         data.install_async_abort = install_async_abort;
4739         data.interrupt_token = NULL;
4740
4741         mono_thread_info_safe_suspend_and_run (thread_get_tid (thread), TRUE, async_abort_critical, &data);
4742         if (data.interrupt_token)
4743                 mono_thread_info_finish_interrupt (data.interrupt_token);
4744         /*FIXME we need to wait for interruption to complete -- figure out how much into interruption we should wait for here*/
4745 }
4746
4747 static void
4748 self_abort_internal (MonoError *error)
4749 {
4750         MonoException *exc;
4751
4752         mono_error_init (error);
4753
4754         /* FIXME this is insanely broken, it doesn't cause interruption to happen synchronously
4755          * since passing FALSE to mono_thread_request_interruption makes sure it returns NULL */
4756
4757         /*
4758         Self aborts ignore the protected block logic and raise the TAE regardless. This is verified by one of the tests in mono/tests/abort-cctor.cs.
4759         */
4760         exc = mono_thread_request_interruption (TRUE);
4761         if (exc)
4762                 mono_error_set_exception_instance (error, exc);
4763         else
4764                 mono_thread_info_self_interrupt ();
4765 }
4766
4767 typedef struct {
4768         MonoInternalThread *thread;
4769         gboolean interrupt;
4770         MonoThreadInfoInterruptToken *interrupt_token;
4771 } SuspendThreadData;
4772
4773 static SuspendThreadResult
4774 async_suspend_critical (MonoThreadInfo *info, gpointer ud)
4775 {
4776         SuspendThreadData *data = (SuspendThreadData *)ud;
4777         MonoInternalThread *thread = data->thread;
4778         MonoJitInfo *ji = NULL;
4779         gboolean protected_wrapper;
4780         gboolean running_managed;
4781
4782         ji = mono_thread_info_get_last_managed (info);
4783         protected_wrapper = ji && !ji->is_trampoline && !ji->async && mono_threads_is_critical_method (mono_jit_info_get_method (ji));
4784         running_managed = mono_jit_info_match (ji, MONO_CONTEXT_GET_IP (&mono_thread_info_get_suspend_state (info)->ctx));
4785
4786         if (running_managed && !protected_wrapper) {
4787                 if (mono_threads_is_coop_enabled ()) {
4788                         mono_thread_info_setup_async_call (info, self_interrupt_thread, NULL);
4789                         return MonoResumeThread;
4790                 } else {
4791                         thread->state &= ~ThreadState_SuspendRequested;
4792                         thread->state |= ThreadState_Suspended;
4793                         return KeepSuspended;
4794                 }
4795         } else {
4796                 if (InterlockedCompareExchange (&thread->interruption_requested, 1, 0) == 0)
4797                         InterlockedIncrement (&thread_interruption_requested);
4798                 if (data->interrupt)
4799                         data->interrupt_token = mono_thread_info_prepare_interrupt ((MonoThreadInfo *)thread->thread_info);
4800
4801                 return MonoResumeThread;
4802         }
4803 }
4804
4805 /* LOCKING: called with @thread synch_cs held, and releases it */
4806 static void
4807 async_suspend_internal (MonoInternalThread *thread, gboolean interrupt)
4808 {
4809         SuspendThreadData data;
4810
4811         g_assert (thread != mono_thread_internal_current ());
4812
4813         // MOSTLY_ASYNC_SAFE_PRINTF ("ASYNC SUSPEND thread %p\n", thread_get_tid (thread));
4814
4815         thread->self_suspended = FALSE;
4816
4817         data.thread = thread;
4818         data.interrupt = interrupt;
4819         data.interrupt_token = NULL;
4820
4821         mono_thread_info_safe_suspend_and_run (thread_get_tid (thread), interrupt, async_suspend_critical, &data);
4822         if (data.interrupt_token)
4823                 mono_thread_info_finish_interrupt (data.interrupt_token);
4824
4825         UNLOCK_THREAD (thread);
4826 }
4827
4828 /* LOCKING: called with @thread synch_cs held, and releases it */
4829 static void
4830 self_suspend_internal (void)
4831 {
4832         MonoInternalThread *thread;
4833         MonoOSEvent *event;
4834         MonoOSEventWaitRet res;
4835
4836         thread = mono_thread_internal_current ();
4837
4838         // MOSTLY_ASYNC_SAFE_PRINTF ("SELF SUSPEND thread %p\n", thread_get_tid (thread));
4839
4840         thread->self_suspended = TRUE;
4841
4842         thread->state &= ~ThreadState_SuspendRequested;
4843         thread->state |= ThreadState_Suspended;
4844
4845         UNLOCK_THREAD (thread);
4846
4847         event = thread->suspended;
4848
4849         MONO_ENTER_GC_SAFE;
4850         res = mono_os_event_wait_one (event, MONO_INFINITE_WAIT);
4851         g_assert (res == MONO_OS_EVENT_WAIT_RET_SUCCESS_0 || res == MONO_OS_EVENT_WAIT_RET_ALERTED);
4852         MONO_EXIT_GC_SAFE;
4853 }
4854
4855 /*
4856  * mono_thread_is_foreign:
4857  * @thread: the thread to query
4858  *
4859  * This function allows one to determine if a thread was created by the mono runtime and has
4860  * a well defined lifecycle or it's a foreigh one, created by the native environment.
4861  *
4862  * Returns: TRUE if @thread was not created by the runtime.
4863  */
4864 mono_bool
4865 mono_thread_is_foreign (MonoThread *thread)
4866 {
4867         MonoThreadInfo *info = (MonoThreadInfo *)thread->internal_thread->thread_info;
4868         return info->runtime_thread == FALSE;
4869 }
4870
4871 /*
4872  * mono_add_joinable_thread:
4873  *
4874  *   Add TID to the list of joinable threads.
4875  * LOCKING: Acquires the threads lock.
4876  */
4877 void
4878 mono_threads_add_joinable_thread (gpointer tid)
4879 {
4880 #ifndef HOST_WIN32
4881         /*
4882          * We cannot detach from threads because it causes problems like
4883          * 2fd16f60/r114307. So we collect them and join them when
4884          * we have time (in he finalizer thread).
4885          */
4886         joinable_threads_lock ();
4887         if (!joinable_threads)
4888                 joinable_threads = g_hash_table_new (NULL, NULL);
4889         g_hash_table_insert (joinable_threads, tid, tid);
4890         joinable_thread_count ++;
4891         joinable_threads_unlock ();
4892
4893         mono_gc_finalize_notify ();
4894 #endif
4895 }
4896
4897 /*
4898  * mono_threads_join_threads:
4899  *
4900  *   Join all joinable threads. This is called from the finalizer thread.
4901  * LOCKING: Acquires the threads lock.
4902  */
4903 void
4904 mono_threads_join_threads (void)
4905 {
4906 #ifndef HOST_WIN32
4907         GHashTableIter iter;
4908         gpointer key;
4909         gpointer tid;
4910         pthread_t thread;
4911         gboolean found;
4912
4913         /* Fastpath */
4914         if (!joinable_thread_count)
4915                 return;
4916
4917         while (TRUE) {
4918                 joinable_threads_lock ();
4919                 found = FALSE;
4920                 if (g_hash_table_size (joinable_threads)) {
4921                         g_hash_table_iter_init (&iter, joinable_threads);
4922                         g_hash_table_iter_next (&iter, &key, (void**)&tid);
4923                         thread = (pthread_t)tid;
4924                         g_hash_table_remove (joinable_threads, key);
4925                         joinable_thread_count --;
4926                         found = TRUE;
4927                 }
4928                 joinable_threads_unlock ();
4929                 if (found) {
4930                         if (thread != pthread_self ()) {
4931                                 MONO_ENTER_GC_SAFE;
4932                                 /* This shouldn't block */
4933                                 mono_native_thread_join (thread);
4934                                 MONO_EXIT_GC_SAFE;
4935                         }
4936                 } else {
4937                         break;
4938                 }
4939         }
4940 #endif
4941 }
4942
4943 /*
4944  * mono_thread_join:
4945  *
4946  *   Wait for thread TID to exit.
4947  * LOCKING: Acquires the threads lock.
4948  */
4949 void
4950 mono_thread_join (gpointer tid)
4951 {
4952 #ifndef HOST_WIN32
4953         pthread_t thread;
4954         gboolean found = FALSE;
4955
4956         joinable_threads_lock ();
4957         if (!joinable_threads)
4958                 joinable_threads = g_hash_table_new (NULL, NULL);
4959         if (g_hash_table_lookup (joinable_threads, tid)) {
4960                 g_hash_table_remove (joinable_threads, tid);
4961                 joinable_thread_count --;
4962                 found = TRUE;
4963         }
4964         joinable_threads_unlock ();
4965         if (!found)
4966                 return;
4967         thread = (pthread_t)tid;
4968         MONO_ENTER_GC_SAFE;
4969         mono_native_thread_join (thread);
4970         MONO_EXIT_GC_SAFE;
4971 #endif
4972 }
4973
4974 void
4975 mono_thread_internal_check_for_interruption_critical (MonoInternalThread *thread)
4976 {
4977         if ((thread->state & (ThreadState_StopRequested | ThreadState_SuspendRequested)) != 0)
4978                 mono_thread_interruption_checkpoint ();
4979 }
4980
4981 void
4982 mono_thread_internal_unhandled_exception (MonoObject* exc)
4983 {
4984         MonoClass *klass = exc->vtable->klass;
4985         if (is_threadabort_exception (klass)) {
4986                 mono_thread_internal_reset_abort (mono_thread_internal_current ());
4987         } else if (!is_appdomainunloaded_exception (klass)
4988                 && mono_runtime_unhandled_exception_policy_get () == MONO_UNHANDLED_POLICY_CURRENT) {
4989                 mono_unhandled_exception (exc);
4990                 if (mono_environment_exitcode_get () == 1) {
4991                         mono_environment_exitcode_set (255);
4992                         mono_invoke_unhandled_exception_hook (exc);
4993                         g_assert_not_reached ();
4994                 }
4995         }
4996 }
4997
4998 void
4999 ves_icall_System_Threading_Thread_GetStackTraces (MonoArray **out_threads, MonoArray **out_stack_traces)
5000 {
5001         MonoError error;
5002         mono_threads_get_thread_dump (out_threads, out_stack_traces, &error);
5003         mono_error_set_pending_exception (&error);
5004 }
5005
5006 /*
5007  * mono_threads_attach_coop: called by native->managed wrappers
5008  *
5009  * In non-coop mode:
5010  *  - @dummy: is NULL
5011  *  - @return: the original domain which needs to be restored, or NULL.
5012  *
5013  * In coop mode:
5014  *  - @dummy: contains the original domain
5015  *  - @return: a cookie containing current MonoThreadInfo*.
5016  */
5017 gpointer
5018 mono_threads_attach_coop (MonoDomain *domain, gpointer *dummy)
5019 {
5020         MonoDomain *orig;
5021         gboolean fresh_thread = FALSE;
5022
5023         if (!domain) {
5024                 /* Happens when called from AOTed code which is only used in the root domain. */
5025                 domain = mono_get_root_domain ();
5026         }
5027
5028         g_assert (domain);
5029
5030         /* On coop, when we detached, we moved the thread from  RUNNING->BLOCKING.
5031          * If we try to reattach we do a BLOCKING->RUNNING transition.  If the thread
5032          * is fresh, mono_thread_attach() will do a STARTING->RUNNING transition so
5033          * we're only responsible for making the cookie. */
5034         if (mono_threads_is_coop_enabled ()) {
5035                 MonoThreadInfo *info = mono_thread_info_current_unchecked ();
5036                 fresh_thread = !info || !mono_thread_info_is_live (info);
5037         }
5038
5039         if (!mono_thread_internal_current ()) {
5040                 mono_thread_attach_full (domain, FALSE);
5041
5042                 // #678164
5043                 mono_thread_set_state (mono_thread_internal_current (), ThreadState_Background);
5044         }
5045
5046         orig = mono_domain_get ();
5047         if (orig != domain)
5048                 mono_domain_set (domain, TRUE);
5049
5050         if (!mono_threads_is_coop_enabled ())
5051                 return orig != domain ? orig : NULL;
5052
5053         if (fresh_thread) {
5054                 *dummy = NULL;
5055                 /* mono_thread_attach put the thread in RUNNING mode from STARTING, but we need to
5056                  * return the right cookie. */
5057                 return mono_threads_enter_gc_unsafe_region_cookie ();
5058         } else {
5059                 *dummy = orig;
5060                 /* thread state (BLOCKING|RUNNING) -> RUNNING */
5061                 return mono_threads_enter_gc_unsafe_region (dummy);
5062         }
5063 }
5064
5065 /*
5066  * mono_threads_detach_coop: called by native->managed wrappers
5067  *
5068  * In non-coop mode:
5069  *  - @cookie: the original domain which needs to be restored, or NULL.
5070  *  - @dummy: is NULL
5071  *
5072  * In coop mode:
5073  *  - @cookie: contains current MonoThreadInfo* if it was in BLOCKING mode, NULL otherwise
5074  *  - @dummy: contains the original domain
5075  */
5076 void
5077 mono_threads_detach_coop (gpointer cookie, gpointer *dummy)
5078 {
5079         MonoDomain *domain, *orig;
5080
5081         if (!mono_threads_is_coop_enabled ()) {
5082                 orig = (MonoDomain*) cookie;
5083                 if (orig)
5084                         mono_domain_set (orig, TRUE);
5085         } else {
5086                 orig = (MonoDomain*) *dummy;
5087
5088                 domain = mono_domain_get ();
5089                 g_assert (domain);
5090
5091                 /* it won't do anything if cookie is NULL
5092                  * thread state RUNNING -> (RUNNING|BLOCKING) */
5093                 mono_threads_exit_gc_unsafe_region (cookie, dummy);
5094
5095                 if (orig != domain) {
5096                         if (!orig)
5097                                 mono_domain_unset ();
5098                         else
5099                                 mono_domain_set (orig, TRUE);
5100                 }
5101         }
5102 }
5103
5104 void
5105 mono_threads_begin_abort_protected_block (void)
5106 {
5107         MonoInternalThread *thread;
5108
5109         thread = mono_thread_internal_current ();
5110         ++thread->abort_protected_block_count;
5111         mono_memory_barrier ();
5112 }
5113
5114 void
5115 mono_threads_end_abort_protected_block (void)
5116 {
5117         MonoInternalThread *thread;
5118
5119         thread = mono_thread_internal_current ();
5120
5121         mono_memory_barrier ();
5122         --thread->abort_protected_block_count;
5123 }
5124
5125 MonoException*
5126 mono_thread_try_resume_interruption (void)
5127 {
5128         MonoInternalThread *thread;
5129
5130         thread = mono_thread_internal_current ();
5131         if (thread->abort_protected_block_count || mono_get_eh_callbacks ()->mono_current_thread_has_handle_block_guard ())
5132                 return NULL;
5133
5134         return mono_thread_resume_interruption ();
5135 }
5136
5137 #if 0
5138 /* Returns TRUE if the current thread is ready to be interrupted. */
5139 gboolean
5140 mono_threads_is_ready_to_be_interrupted (void)
5141 {
5142         MonoInternalThread *thread;
5143
5144         thread = mono_thread_internal_current ();
5145         LOCK_THREAD (thread);
5146         if (thread->state & (MonoThreadState)(ThreadState_StopRequested | ThreadState_SuspendRequested | ThreadState_AbortRequested)) {
5147                 UNLOCK_THREAD (thread);
5148                 return FALSE;
5149         }
5150
5151         if (thread->abort_protected_block_count || mono_get_eh_callbacks ()->mono_current_thread_has_handle_block_guard ()) {
5152                 UNLOCK_THREAD (thread);
5153                 return FALSE;
5154         }
5155
5156         UNLOCK_THREAD (thread);
5157         return TRUE;
5158 }
5159 #endif
5160
5161 void
5162 mono_thread_internal_describe (MonoInternalThread *internal, GString *text)
5163 {
5164         g_string_append_printf (text, ", thread handle : %p", internal->handle);
5165
5166         if (internal->thread_info) {
5167                 g_string_append (text, ", state : ");
5168                 mono_thread_info_describe_interrupt_token ((MonoThreadInfo*) internal->thread_info, text);
5169         }
5170
5171         if (internal->owned_mutexes) {
5172                 int i;
5173
5174                 g_string_append (text, ", owns : [");
5175                 for (i = 0; i < internal->owned_mutexes->len; i++)
5176                         g_string_append_printf (text, i == 0 ? "%p" : ", %p", g_ptr_array_index (internal->owned_mutexes, i));
5177                 g_string_append (text, "]");
5178         }
5179 }
5180
5181 gboolean
5182 mono_thread_internal_is_current (MonoInternalThread *internal)
5183 {
5184         g_assert (internal);
5185         return mono_native_thread_id_equals (mono_native_thread_id_get (), MONO_UINT_TO_NATIVE_THREAD_ID (internal->tid));
5186 }