Merge pull request #4050 from akoeplinger/profile-speedup
[mono.git] / mono / utils / mono-threads.h
1 /*
2  * mono-threads.h: Low-level threading
3  *
4  * Author:
5  *      Rodrigo Kumpera (kumpera@gmail.com)
6  *
7  * (C) 2011 Novell, Inc
8  */
9
10 #ifndef __MONO_THREADS_H__
11 #define __MONO_THREADS_H__
12
13 #include <mono/utils/mono-os-semaphore.h>
14 #include <mono/utils/mono-stack-unwinding.h>
15 #include <mono/utils/mono-linked-list-set.h>
16 #include <mono/utils/mono-tls.h>
17 #include <mono/utils/mono-coop-semaphore.h>
18 #include <mono/utils/os-event.h>
19 #include <mono/utils/refcount.h>
20
21 #include <mono/io-layer/io-layer.h>
22
23 #include <glib.h>
24 #include <config.h>
25 #ifdef HOST_WIN32
26
27 #include <windows.h>
28
29 typedef DWORD MonoNativeThreadId;
30 typedef HANDLE MonoNativeThreadHandle; /* unused */
31
32 typedef DWORD mono_native_thread_return_t;
33 typedef DWORD mono_thread_start_return_t;
34
35 #define MONO_NATIVE_THREAD_ID_TO_UINT(tid) (tid)
36 #define MONO_UINT_TO_NATIVE_THREAD_ID(tid) ((MonoNativeThreadId)(tid))
37
38 typedef LPTHREAD_START_ROUTINE MonoThreadStart;
39
40 #else
41
42 #include <pthread.h>
43
44 #if defined(__MACH__)
45 #include <mono/utils/mach-support.h>
46
47 typedef thread_port_t MonoNativeThreadHandle;
48
49 #else
50
51 #include <unistd.h>
52
53 typedef pid_t MonoNativeThreadHandle;
54
55 #endif /* defined(__MACH__) */
56
57 typedef pthread_t MonoNativeThreadId;
58
59 typedef void* mono_native_thread_return_t;
60 typedef gsize mono_thread_start_return_t;
61
62 #define MONO_NATIVE_THREAD_ID_TO_UINT(tid) (gsize)(tid)
63 #define MONO_UINT_TO_NATIVE_THREAD_ID(tid) (MonoNativeThreadId)(gsize)(tid)
64
65 typedef gsize (*MonoThreadStart)(gpointer);
66
67 #endif /* #ifdef HOST_WIN32 */
68
69 #ifndef MONO_INFINITE_WAIT
70 #define MONO_INFINITE_WAIT ((guint32) 0xFFFFFFFF)
71 #endif
72
73 typedef struct {
74         MonoRefCount ref;
75         MonoOSEvent event;
76 } MonoThreadHandle;
77
78 /*
79 THREAD_INFO_TYPE is a way to make the mono-threads module parametric - or sort of.
80 The GC using mono-threads might extend the MonoThreadInfo struct to add its own
81 data, this avoid a pointer indirection on what is on a lot of hot paths.
82
83 But extending MonoThreadInfo has de disavantage that all functions here return type
84 would require a cast, something like the following:
85
86 typedef struct {
87         MonoThreadInfo info;
88         int stuff;
89 }  MyThreadInfo;
90
91 ...
92 ((MyThreadInfo*)mono_thread_info_current ())->stuff = 1;
93
94 While porting sgen to use mono-threads, the number of casts required was too much and
95 code ended up looking horrible. So we use this cute little hack. The idea is that
96 whomever is including this header can set the expected type to be used by functions here
97 and reduce the number of casts drastically.
98
99 */
100 #ifndef THREAD_INFO_TYPE
101 #define THREAD_INFO_TYPE MonoThreadInfo
102 #endif
103
104 /* Mono Threads internal configuration knows*/
105
106 /* If this is defined, use the signals backed on Mach. Debug only as signals can't be made usable on OSX. */
107 // #define USE_SIGNALS_ON_MACH
108
109 #if defined (_POSIX_VERSION) || defined (__native_client__)
110 #if defined (__MACH__) && !defined (USE_SIGNALS_ON_MACH)
111 #define USE_MACH_BACKEND
112 #else
113 #define USE_POSIX_BACKEND
114 #endif
115 #elif HOST_WIN32
116 #define USE_WINDOWS_BACKEND
117 #else
118 #error "no backend support for current platform"
119 #endif /* defined (_POSIX_VERSION) || defined (__native_client__) */
120
121 enum {
122         STATE_STARTING                          = 0x00,
123         STATE_RUNNING                           = 0x01,
124         STATE_DETACHED                          = 0x02,
125
126         STATE_ASYNC_SUSPENDED                   = 0x03,
127         STATE_SELF_SUSPENDED                    = 0x04,
128         STATE_ASYNC_SUSPEND_REQUESTED   = 0x05,
129         STATE_SELF_SUSPEND_REQUESTED    = 0x06,
130         STATE_BLOCKING                                  = 0x07,
131         STATE_BLOCKING_AND_SUSPENDED    = 0x8,
132
133         STATE_MAX                                               = 0x08,
134
135         THREAD_STATE_MASK                       = 0x00FF,
136         THREAD_SUSPEND_COUNT_MASK       = 0xFF00,
137         THREAD_SUSPEND_COUNT_SHIFT      = 8,
138         THREAD_SUSPEND_COUNT_MAX        = 0xFF,
139
140         SELF_SUSPEND_STATE_INDEX = 0,
141         ASYNC_SUSPEND_STATE_INDEX = 1,
142 };
143
144 typedef struct _MonoThreadInfoInterruptToken MonoThreadInfoInterruptToken;
145
146 typedef struct {
147         MonoLinkedListSetNode node;
148         guint32 small_id; /*Used by hazard pointers */
149         MonoNativeThreadHandle native_handle; /* Valid on mach and android */
150         int thread_state;
151
152         /*Tells if this thread was created by the runtime or not.*/
153         gboolean runtime_thread;
154
155         /* Tells if this thread should be ignored or not by runtime services such as GC and profiling */
156         gboolean tools_thread;
157
158         /* Max stack bounds, all valid addresses must be between [stack_start_limit, stack_end[ */
159         void *stack_start_limit, *stack_end;
160
161         /* suspend machinery, fields protected by suspend_semaphore */
162         MonoSemType suspend_semaphore;
163         int suspend_count;
164
165         MonoSemType resume_semaphore;
166
167         /* only needed by the posix backend */
168 #if defined(USE_POSIX_BACKEND)
169         MonoSemType finish_resume_semaphore;
170         gboolean syscall_break_signal;
171         int signal;
172 #endif
173
174         gboolean suspend_can_continue;
175
176         /* This memory pool is used by coop GC to save stack data roots between GC unsafe regions */
177         GByteArray *stackdata;
178
179         /*In theory, only the posix backend needs this, but having it on mach/win32 simplifies things a lot.*/
180         MonoThreadUnwindState thread_saved_state [2]; //0 is self suspend, 1 is async suspend.
181
182         /*async call machinery, thread MUST be suspended before accessing those fields*/
183         void (*async_target)(void*);
184         void *user_data;
185
186         /*
187         If true, this thread is running a critical region of code and cannot be suspended.
188         A critical session is implicitly started when you call mono_thread_info_safe_suspend_sync
189         and is ended when you call either mono_thread_info_resume or mono_thread_info_finish_suspend.
190         */
191         gboolean inside_critical_region;
192
193         /*
194          * If TRUE, the thread is in async context. Code can use this information to avoid async-unsafe
195          * operations like locking without having to pass an 'async' parameter around.
196          */
197         gboolean is_async_context;
198
199         /*
200          * Values of TLS variables for this thread.
201          * This can be used to obtain the values of TLS variable for threads
202          * other than the current one.
203          */
204         gpointer tls [TLS_KEY_NUM];
205
206         /* IO layer handle for this thread */
207         /* Set when the thread is started, or in _wapi_thread_duplicate () */
208         MonoThreadHandle *handle;
209
210         void *jit_data;
211
212         MonoThreadInfoInterruptToken *interrupt_token;
213
214         /* HandleStack for coop handles */
215         gpointer handle_stack;
216
217         /* Stack mark for targets that explicitly require one */
218         gpointer stack_mark;
219 } MonoThreadInfo;
220
221 typedef struct {
222         void* (*thread_register)(THREAD_INFO_TYPE *info, void *baseaddr);
223         /*
224         This callback is called with @info still on the thread list.
225         This call is made while holding the suspend lock, so don't do callbacks.
226         SMR remains functional as its small_id has not been reclaimed.
227         */
228         void (*thread_unregister)(THREAD_INFO_TYPE *info);
229         /*
230         This callback is called right before thread_unregister. This is called
231         without any locks held so it's the place for complicated cleanup.
232
233         The thread must remain operational between this call and thread_unregister.
234         It must be possible to successfully suspend it after thread_unregister completes.
235         */
236         void (*thread_detach)(THREAD_INFO_TYPE *info);
237         void (*thread_attach)(THREAD_INFO_TYPE *info);
238         gboolean (*mono_method_is_critical) (void *method);
239         gboolean (*ip_in_critical_region) (MonoDomain *domain, gpointer ip);
240         gboolean (*mono_thread_in_critical_region) (THREAD_INFO_TYPE *info);
241 } MonoThreadInfoCallbacks;
242
243 typedef struct {
244         void (*setup_async_callback) (MonoContext *ctx, void (*async_cb)(void *fun), gpointer user_data);
245         gboolean (*thread_state_init_from_sigctx) (MonoThreadUnwindState *state, void *sigctx);
246         gboolean (*thread_state_init_from_handle) (MonoThreadUnwindState *tctx, MonoThreadInfo *info);
247         void (*thread_state_init) (MonoThreadUnwindState *tctx);
248 } MonoThreadInfoRuntimeCallbacks;
249
250 //Not using 0 and 1 to ensure callbacks are not returning bad data
251 typedef enum {
252         MonoResumeThread = 0x1234,
253         KeepSuspended = 0x4321,
254 } SuspendThreadResult;
255
256 typedef SuspendThreadResult (*MonoSuspendThreadCallback) (THREAD_INFO_TYPE *info, gpointer user_data);
257
258 static inline gboolean
259 mono_threads_filter_tools_threads (THREAD_INFO_TYPE *info)
260 {
261         return !((MonoThreadInfo*)info)->tools_thread;
262 }
263
264 /*
265 Requires the world to be stoped
266 */
267 #define FOREACH_THREAD(thread) \
268         MONO_LLS_FOREACH_FILTERED (mono_thread_info_list_head (), THREAD_INFO_TYPE, thread, mono_threads_filter_tools_threads)
269
270 #define FOREACH_THREAD_END \
271         MONO_LLS_FOREACH_END
272
273 /*
274 Snapshot iteration.
275 */
276 #define FOREACH_THREAD_SAFE(thread) \
277         MONO_LLS_FOREACH_FILTERED_SAFE (mono_thread_info_list_head (), THREAD_INFO_TYPE, thread, mono_threads_filter_tools_threads)
278
279 #define FOREACH_THREAD_SAFE_END \
280         MONO_LLS_FOREACH_SAFE_END
281
282 static inline MonoNativeThreadId
283 mono_thread_info_get_tid (THREAD_INFO_TYPE *info)
284 {
285         return MONO_UINT_TO_NATIVE_THREAD_ID (((MonoThreadInfo*) info)->node.key);
286 }
287
288 static inline void
289 mono_thread_info_set_tid (THREAD_INFO_TYPE *info, MonoNativeThreadId tid)
290 {
291         ((MonoThreadInfo*) info)->node.key = (uintptr_t) MONO_NATIVE_THREAD_ID_TO_UINT (tid);
292 }
293
294 /*
295  * @thread_info_size is sizeof (GcThreadInfo), a struct the GC defines to make it possible to have
296  * a single block with info from both camps. 
297  */
298 void
299 mono_threads_init (MonoThreadInfoCallbacks *callbacks, size_t thread_info_size);
300
301 void
302 mono_threads_runtime_init (MonoThreadInfoRuntimeCallbacks *callbacks);
303
304 MonoThreadInfoRuntimeCallbacks *
305 mono_threads_get_runtime_callbacks (void);
306
307 int
308 mono_thread_info_register_small_id (void);
309
310 THREAD_INFO_TYPE *
311 mono_thread_info_attach (void *baseptr);
312
313 MONO_API void
314 mono_thread_info_detach (void);
315
316 gboolean
317 mono_thread_info_is_exiting (void);
318
319 THREAD_INFO_TYPE *
320 mono_thread_info_current (void);
321
322 THREAD_INFO_TYPE*
323 mono_thread_info_current_unchecked (void);
324
325 int
326 mono_thread_info_get_small_id (void);
327
328 MonoLinkedListSet*
329 mono_thread_info_list_head (void);
330
331 THREAD_INFO_TYPE*
332 mono_thread_info_lookup (MonoNativeThreadId id);
333
334 gboolean
335 mono_thread_info_resume (MonoNativeThreadId tid);
336
337 void
338 mono_thread_info_safe_suspend_and_run (MonoNativeThreadId id, gboolean interrupt_kernel, MonoSuspendThreadCallback callback, gpointer user_data);
339
340 void
341 mono_thread_info_setup_async_call (THREAD_INFO_TYPE *info, void (*target_func)(void*), void *user_data);
342
343 void
344 mono_thread_info_suspend_lock (void);
345
346 void
347 mono_thread_info_suspend_unlock (void);
348
349 void
350 mono_thread_info_abort_socket_syscall_for_close (MonoNativeThreadId tid);
351
352 void
353 mono_thread_info_set_is_async_context (gboolean async_context);
354
355 gboolean
356 mono_thread_info_is_async_context (void);
357
358 void
359 mono_thread_info_get_stack_bounds (guint8 **staddr, size_t *stsize);
360
361 MONO_API gboolean
362 mono_thread_info_yield (void);
363
364 gint
365 mono_thread_info_sleep (guint32 ms, gboolean *alerted);
366
367 gint
368 mono_thread_info_usleep (guint64 us);
369
370 gpointer
371 mono_thread_info_tls_get (THREAD_INFO_TYPE *info, MonoTlsKey key);
372
373 void
374 mono_thread_info_tls_set (THREAD_INFO_TYPE *info, MonoTlsKey key, gpointer value);
375
376 void
377 mono_thread_info_exit (gsize exit_code);
378
379 void
380 mono_thread_info_install_interrupt (void (*callback) (gpointer data), gpointer data, gboolean *interrupted);
381
382 void
383 mono_thread_info_uninstall_interrupt (gboolean *interrupted);
384
385 MonoThreadInfoInterruptToken*
386 mono_thread_info_prepare_interrupt (THREAD_INFO_TYPE *info);
387
388 void
389 mono_thread_info_finish_interrupt (MonoThreadInfoInterruptToken *token);
390
391 void
392 mono_thread_info_self_interrupt (void);
393
394 void
395 mono_thread_info_clear_self_interrupt (void);
396
397 gboolean
398 mono_thread_info_is_interrupt_state (THREAD_INFO_TYPE *info);
399
400 void
401 mono_thread_info_describe_interrupt_token (THREAD_INFO_TYPE *info, GString *text);
402
403 gboolean
404 mono_thread_info_is_live (THREAD_INFO_TYPE *info);
405
406 MonoThreadHandle*
407 mono_threads_create_thread (MonoThreadStart start, gpointer arg, gsize * const stack_size, MonoNativeThreadId *out_tid);
408
409 int
410 mono_threads_get_max_stack_size (void);
411
412 MonoThreadHandle*
413 mono_threads_open_thread_handle (MonoThreadHandle *handle);
414
415 void
416 mono_threads_close_thread_handle (MonoThreadHandle *handle);
417
418 MONO_API void
419 mono_threads_attach_tools_thread (void);
420
421
422 #if !defined(HOST_WIN32)
423
424 /*Use this instead of pthread_kill */
425 int
426 mono_threads_pthread_kill (THREAD_INFO_TYPE *info, int signum);
427
428 #endif /* !defined(HOST_WIN32) */
429
430 /* Internal API between mono-threads and its backends. */
431
432 /* Backend functions - a backend must implement all of the following */
433 /*
434 This is called very early in the runtime, it cannot access any runtime facilities.
435
436 */
437 void mono_threads_suspend_init (void); //ok
438
439 void mono_threads_suspend_init_signals (void);
440
441 void mono_threads_coop_init (void);
442
443 /*
444 This begins async suspend. This function must do the following:
445
446 -Ensure the target will EINTR any syscalls if @interrupt_kernel is true
447 -Call mono_threads_transition_finish_async_suspend as part of its async suspend.
448 -Register the thread for pending suspend with mono_threads_add_to_pending_operation_set if needed.
449
450 If begin suspend fails the thread must be left uninterrupted and resumed.
451 */
452 gboolean mono_threads_suspend_begin_async_suspend (THREAD_INFO_TYPE *info, gboolean interrupt_kernel);
453
454 /*
455 This verifies the outcome of an async suspend operation.
456
457 Some targets, such as posix, verify suspend results assynchronously. Suspend results must be
458 available (in a non blocking way) after mono_threads_wait_pending_operations completes.
459 */
460 gboolean mono_threads_suspend_check_suspend_result (THREAD_INFO_TYPE *info);
461
462 /*
463 This begins async resume. This function must do the following:
464
465 - Install an async target if one was requested.
466 - Notify the target to resume.
467 - Register the thread for pending ack with mono_threads_add_to_pending_operation_set if needed.
468 */
469 gboolean mono_threads_suspend_begin_async_resume (THREAD_INFO_TYPE *info);
470
471 void mono_threads_suspend_register (THREAD_INFO_TYPE *info); //ok
472 void mono_threads_suspend_free (THREAD_INFO_TYPE *info);
473 void mono_threads_suspend_abort_syscall (THREAD_INFO_TYPE *info);
474 gboolean mono_threads_suspend_needs_abort_syscall (void);
475 gint mono_threads_suspend_search_alternative_signal (void);
476 gint mono_threads_suspend_get_suspend_signal (void);
477 gint mono_threads_suspend_get_restart_signal (void);
478 gint mono_threads_suspend_get_abort_signal (void);
479
480 int mono_threads_platform_create_thread (MonoThreadStart thread_fn, gpointer thread_data, gsize* const stack_size, MonoNativeThreadId *out_tid);
481 void mono_threads_platform_get_stack_bounds (guint8 **staddr, size_t *stsize);
482 gboolean mono_threads_platform_yield (void);
483 void mono_threads_platform_exit (gsize exit_code);
484
485 void mono_threads_coop_begin_global_suspend (void);
486 void mono_threads_coop_end_global_suspend (void);
487
488 MONO_API MonoNativeThreadId
489 mono_native_thread_id_get (void);
490
491 MONO_API gboolean
492 mono_native_thread_id_equals (MonoNativeThreadId id1, MonoNativeThreadId id2);
493
494 MONO_API gboolean
495 mono_native_thread_create (MonoNativeThreadId *tid, gpointer func, gpointer arg);
496
497 MONO_API void
498 mono_native_thread_set_name (MonoNativeThreadId tid, const char *name);
499
500 MONO_API gboolean
501 mono_native_thread_join (MonoNativeThreadId tid);
502
503 /*Mach specific internals */
504 void mono_threads_init_dead_letter (void);
505 void mono_threads_install_dead_letter (void);
506
507 /* mono-threads internal API used by the backends. */
508 /*
509 This tells the suspend initiator that we completed suspend and will now be waiting for resume.
510 */
511 void mono_threads_notify_initiator_of_suspend (THREAD_INFO_TYPE* info);
512 /*
513 This tells the resume initiator that we completed resume duties and will return to runnable state.
514 */
515 void mono_threads_notify_initiator_of_resume (THREAD_INFO_TYPE* info);
516
517 /*
518 This tells the resume initiator that we completed abort duties and will return to previous state.
519 */
520 void mono_threads_notify_initiator_of_abort (THREAD_INFO_TYPE* info);
521
522 /* Thread state machine functions */
523
524 typedef enum {
525         ResumeError,
526         ResumeOk,
527         ResumeInitSelfResume,
528         ResumeInitAsyncResume,
529         ResumeInitBlockingResume,
530 } MonoResumeResult;
531
532 typedef enum {
533         SelfSuspendResumed,
534         SelfSuspendWait,
535         SelfSuspendNotifyAndWait,
536 } MonoSelfSupendResult;
537
538 typedef enum {
539         AsyncSuspendAlreadySuspended,
540         AsyncSuspendWait,
541         AsyncSuspendInitSuspend,
542         AsyncSuspendBlocking,
543 } MonoRequestAsyncSuspendResult;
544
545 typedef enum {
546         DoBlockingContinue, //in blocking mode, continue
547         DoBlockingPollAndRetry, //async suspend raced blocking and won, pool and retry
548 } MonoDoBlockingResult;
549
550 typedef enum {
551         DoneBlockingOk, //exited blocking fine
552         DoneBlockingWait, //thread should end suspended
553 } MonoDoneBlockingResult;
554
555
556 typedef enum {
557         AbortBlockingIgnore, //Ignore
558         AbortBlockingIgnoreAndPoll, //Ignore and poll
559         AbortBlockingOk, //Abort worked
560         AbortBlockingWait, //Abort worked, but should wait for resume
561 } MonoAbortBlockingResult;
562
563
564 void mono_threads_transition_attach (THREAD_INFO_TYPE* info);
565 gboolean mono_threads_transition_detach (THREAD_INFO_TYPE *info);
566 MonoRequestAsyncSuspendResult mono_threads_transition_request_async_suspension (THREAD_INFO_TYPE *info);
567 MonoSelfSupendResult mono_threads_transition_state_poll (THREAD_INFO_TYPE *info);
568 MonoResumeResult mono_threads_transition_request_resume (THREAD_INFO_TYPE* info);
569 gboolean mono_threads_transition_finish_async_suspend (THREAD_INFO_TYPE* info);
570 MonoDoBlockingResult mono_threads_transition_do_blocking (THREAD_INFO_TYPE* info);
571 MonoDoneBlockingResult mono_threads_transition_done_blocking (THREAD_INFO_TYPE* info);
572 MonoAbortBlockingResult mono_threads_transition_abort_blocking (THREAD_INFO_TYPE* info);
573
574 MonoThreadUnwindState* mono_thread_info_get_suspend_state (THREAD_INFO_TYPE *info);
575
576 gpointer
577 mono_threads_enter_gc_unsafe_region_cookie (void);
578
579
580 void mono_thread_info_wait_for_resume (THREAD_INFO_TYPE *info);
581 /* Advanced suspend API, used for suspending multiple threads as once. */
582 gboolean mono_thread_info_is_running (THREAD_INFO_TYPE *info);
583 gboolean mono_thread_info_is_live (THREAD_INFO_TYPE *info);
584 int mono_thread_info_suspend_count (THREAD_INFO_TYPE *info);
585 int mono_thread_info_current_state (THREAD_INFO_TYPE *info);
586 const char* mono_thread_state_name (int state);
587
588 gboolean mono_thread_info_in_critical_location (THREAD_INFO_TYPE *info);
589 gboolean mono_thread_info_begin_suspend (THREAD_INFO_TYPE *info);
590 gboolean mono_thread_info_begin_resume (THREAD_INFO_TYPE *info);
591
592 void mono_threads_add_to_pending_operation_set (THREAD_INFO_TYPE* info); //XXX rename to something to reflect the fact that this is used for both suspend and resume
593 gboolean mono_threads_wait_pending_operations (void);
594 void mono_threads_begin_global_suspend (void);
595 void mono_threads_end_global_suspend (void);
596
597 gboolean
598 mono_thread_info_is_current (THREAD_INFO_TYPE *info);
599
600 typedef enum {
601         MONO_THREAD_INFO_WAIT_RET_SUCCESS_0   =  0,
602         MONO_THREAD_INFO_WAIT_RET_ALERTED     = -1,
603         MONO_THREAD_INFO_WAIT_RET_TIMEOUT     = -2,
604         MONO_THREAD_INFO_WAIT_RET_FAILED      = -3,
605 } MonoThreadInfoWaitRet;
606
607 MonoThreadInfoWaitRet
608 mono_thread_info_wait_one_handle (MonoThreadHandle *handle, guint32 timeout, gboolean alertable);
609
610 MonoThreadInfoWaitRet
611 mono_thread_info_wait_multiple_handle (MonoThreadHandle **thread_handles, gsize nhandles, MonoOSEvent *background_change_event, gboolean waitall, guint32 timeout, gboolean alertable);
612
613 #endif /* __MONO_THREADS_H__ */