mono/mini/exceptions-amd64.c

   1 /*
   2  * exceptions-amd64.c: exception support for AMD64
   3  *
   4  * Authors:
   5  *   Dietmar Maurer (dietmar@ximian.com)
   6  *
   7  * (C) 2001 Ximian, Inc.
   8  */
   9
  10 #include <config.h>
  11 #include <glib.h>
  12 #include <signal.h>
  13 #include <string.h>
  14 #ifdef HAVE_UCONTEXT_H
  15 #include <ucontext.h>
  16 #endif
  17
  18 #include <mono/arch/amd64/amd64-codegen.h>
  19 #include <mono/metadata/appdomain.h>
  20 #include <mono/metadata/tabledefs.h>
  21 #include <mono/metadata/threads.h>
  22 #include <mono/metadata/threads-types.h>
  23 #include <mono/metadata/debug-helpers.h>
  24 #include <mono/metadata/exception.h>
  25 #include <mono/metadata/gc-internal.h>
  26 #include <mono/metadata/mono-debug.h>
  27 #include <mono/utils/mono-mmap.h>
  28
  29 #include "mini.h"
  30 #include "mini-amd64.h"
  31 #include "tasklets.h"
  32 #include "debug-mini.h"
  33
  34 #define ALIGN_TO(val,align) (((val) + ((align) - 1)) & ~((align) - 1))
  35
  36 #ifdef TARGET_WIN32
  37 static MonoW32ExceptionHandler fpe_handler;
  38 static MonoW32ExceptionHandler ill_handler;
  39 static MonoW32ExceptionHandler segv_handler;
  40
  41 static LPTOP_LEVEL_EXCEPTION_FILTER old_handler;
  42
  43 #define W32_SEH_HANDLE_EX(_ex) \
  44         if (_ex##_handler) _ex##_handler(0, er, sctx)
  45
  46 /*
  47  * Unhandled Exception Filter
  48  * Top-level per-process exception handler.
  49  */
  50 LONG CALLBACK seh_handler(EXCEPTION_POINTERS* ep)
  51 {
  52         EXCEPTION_RECORD* er;
  53         CONTEXT* ctx;
  54         MonoContext* sctx;
  55         LONG res;
  56
  57         res = EXCEPTION_CONTINUE_EXECUTION;
  58
  59         er = ep->ExceptionRecord;
  60         ctx = ep->ContextRecord;
  61         sctx = g_malloc(sizeof(MonoContext));
  62
  63         /* Copy Win32 context to UNIX style context */
  64         sctx->rax = ctx->Rax;
  65         sctx->rbx = ctx->Rbx;
  66         sctx->rcx = ctx->Rcx;
  67         sctx->rdx = ctx->Rdx;
  68         sctx->rbp = ctx->Rbp;
  69         sctx->rsp = ctx->Rsp;
  70         sctx->rsi = ctx->Rsi;
  71         sctx->rdi = ctx->Rdi;
  72         sctx->rip = ctx->Rip;
  73         sctx->r12 = ctx->R12;
  74         sctx->r13 = ctx->R13;
  75         sctx->r14 = ctx->R14;
  76         sctx->r15 = ctx->R15;
  77
  78         switch (er->ExceptionCode) {
  79         case EXCEPTION_ACCESS_VIOLATION:
  80                 W32_SEH_HANDLE_EX(segv);
  81                 break;
  82         case EXCEPTION_ILLEGAL_INSTRUCTION:
  83                 W32_SEH_HANDLE_EX(ill);
  84                 break;
  85         case EXCEPTION_INT_DIVIDE_BY_ZERO:
  86         case EXCEPTION_INT_OVERFLOW:
  87         case EXCEPTION_FLT_DIVIDE_BY_ZERO:
  88         case EXCEPTION_FLT_OVERFLOW:
  89         case EXCEPTION_FLT_UNDERFLOW:
  90         case EXCEPTION_FLT_INEXACT_RESULT:
  91                 W32_SEH_HANDLE_EX(fpe);
  92                 break;
  93         default:
  94                 break;
  95         }
  96
  97         /* Copy context back */
  98         /* Nonvolatile */
  99         ctx->Rsp = sctx->rsp;
 100         ctx->Rdi = sctx->rdi;
 101         ctx->Rsi = sctx->rsi;
 102         ctx->Rbx = sctx->rbx;
 103         ctx->Rbp = sctx->rbp;
 104         ctx->R12 = sctx->r12;
 105         ctx->R13 = sctx->r13;
 106         ctx->R14 = sctx->r14;
 107         ctx->R15 = sctx->r15;
 108         ctx->Rip = sctx->rip;
 109
 110         /* Volatile But should not matter?*/
 111         ctx->Rax = sctx->rax;
 112         ctx->Rcx = sctx->rcx;
 113         ctx->Rdx = sctx->rdx;
 114
 115         g_free (sctx);
 116
 117         return res;
 118 }
 119
 120 void win32_seh_init()
 121 {
 122         old_handler = SetUnhandledExceptionFilter(seh_handler);
 123 }
 124
 125 void win32_seh_cleanup()
 126 {
 127         if (old_handler) SetUnhandledExceptionFilter(old_handler);
 128 }
 129
 130 void win32_seh_set_handler(int type, MonoW32ExceptionHandler handler)
 131 {
 132         switch (type) {
 133         case SIGFPE:
 134                 fpe_handler = handler;
 135                 break;
 136         case SIGILL:
 137                 ill_handler = handler;
 138                 break;
 139         case SIGSEGV:
 140                 segv_handler = handler;
 141                 break;
 142         default:
 143                 break;
 144         }
 145 }
 146
 147 #endif /* TARGET_WIN32 */
 148
 149 /*
 150  * mono_arch_get_restore_context:
 151  *
 152  * Returns a pointer to a method which restores a previously saved sigcontext.
 153  */
 154 gpointer
 155 mono_arch_get_restore_context (MonoTrampInfo **info, gboolean aot)
 156 {
 157         guint8 *start = NULL;
 158         guint8 *code;
 159         MonoJumpInfo *ji = NULL;
 160         GSList *unwind_ops = NULL;
 161
 162         /* restore_contect (MonoContext *ctx) */
 163
 164         start = code = mono_global_codeman_reserve (256);
 165
 166         amd64_mov_reg_reg (code, AMD64_R11, AMD64_ARG_REG1, 8);
 167
 168         /* Restore all registers except %rip and %r11 */
 169         amd64_mov_reg_membase (code, AMD64_RAX, AMD64_R11,  G_STRUCT_OFFSET (MonoContext, rax), 8);
 170         amd64_mov_reg_membase (code, AMD64_RCX, AMD64_R11,  G_STRUCT_OFFSET (MonoContext, rcx), 8);
 171         amd64_mov_reg_membase (code, AMD64_RDX, AMD64_R11,  G_STRUCT_OFFSET (MonoContext, rdx), 8);
 172         amd64_mov_reg_membase (code, AMD64_RBX, AMD64_R11,  G_STRUCT_OFFSET (MonoContext, rbx), 8);
 173         amd64_mov_reg_membase (code, AMD64_RBP, AMD64_R11,  G_STRUCT_OFFSET (MonoContext, rbp), 8);
 174         amd64_mov_reg_membase (code, AMD64_RSI, AMD64_R11,  G_STRUCT_OFFSET (MonoContext, rsi), 8);
 175         amd64_mov_reg_membase (code, AMD64_RDI, AMD64_R11,  G_STRUCT_OFFSET (MonoContext, rdi), 8);
 176         //amd64_mov_reg_membase (code, AMD64_R8, AMD64_R11,  G_STRUCT_OFFSET (MonoContext, r8), 8);
 177         //amd64_mov_reg_membase (code, AMD64_R9, AMD64_R11,  G_STRUCT_OFFSET (MonoContext, r9), 8);
 178         //amd64_mov_reg_membase (code, AMD64_R10, AMD64_R11,  G_STRUCT_OFFSET (MonoContext, r10), 8);
 179         amd64_mov_reg_membase (code, AMD64_R12, AMD64_R11,  G_STRUCT_OFFSET (MonoContext, r12), 8);
 180         amd64_mov_reg_membase (code, AMD64_R13, AMD64_R11,  G_STRUCT_OFFSET (MonoContext, r13), 8);
 181         amd64_mov_reg_membase (code, AMD64_R14, AMD64_R11,  G_STRUCT_OFFSET (MonoContext, r14), 8);
 182         amd64_mov_reg_membase (code, AMD64_R15, AMD64_R11,  G_STRUCT_OFFSET (MonoContext, r15), 8);
 183
 184         if (mono_running_on_valgrind ()) {
 185                 /* Prevent 'Address 0x... is just below the stack ptr.' errors */
 186                 amd64_mov_reg_membase (code, AMD64_R8, AMD64_R11,  G_STRUCT_OFFSET (MonoContext, rsp), 8);
 187                 amd64_mov_reg_membase (code, AMD64_R11, AMD64_R11,  G_STRUCT_OFFSET (MonoContext, rip), 8);
 188                 amd64_mov_reg_reg (code, AMD64_RSP, AMD64_R8, 8);
 189         } else {
 190                 amd64_mov_reg_membase (code, AMD64_RSP, AMD64_R11,  G_STRUCT_OFFSET (MonoContext, rsp), 8);
 191                 /* get return address */
 192                 amd64_mov_reg_membase (code, AMD64_R11, AMD64_R11,  G_STRUCT_OFFSET (MonoContext, rip), 8);
 193         }
 194
 195         /* jump to the saved IP */
 196         amd64_jump_reg (code, AMD64_R11);
 197
 198         mono_arch_flush_icache (start, code - start);
 199
 200         if (info)
 201                 *info = mono_tramp_info_create (g_strdup_printf ("restore_context"), start, code - start, ji, unwind_ops);
 202
 203         return start;
 204 }
 205
 206 /*
 207  * mono_arch_get_call_filter:
 208  *
 209  * Returns a pointer to a method which calls an exception filter. We
 210  * also use this function to call finally handlers (we pass NULL as
 211  * @exc object in this case).
 212  */
 213 gpointer
 214 mono_arch_get_call_filter (MonoTrampInfo **info, gboolean aot)
 215 {
 216         guint8 *start;
 217         int i;
 218         guint8 *code;
 219         guint32 pos;
 220         MonoJumpInfo *ji = NULL;
 221         GSList *unwind_ops = NULL;
 222
 223         start = code = mono_global_codeman_reserve (128);
 224
 225         /* call_filter (MonoContext *ctx, unsigned long eip) */
 226         code = start;
 227
 228         /* Alloc new frame */
 229         amd64_push_reg (code, AMD64_RBP);
 230         amd64_mov_reg_reg (code, AMD64_RBP, AMD64_RSP, 8);
 231
 232         /* Save callee saved regs */
 233         pos = 0;
 234         for (i = 0; i < AMD64_NREG; ++i)
 235                 if (AMD64_IS_CALLEE_SAVED_REG (i)) {
 236                         amd64_push_reg (code, i);
 237                         pos += 8;
 238                 }
 239
 240         /* Save EBP */
 241         pos += 8;
 242         amd64_push_reg (code, AMD64_RBP);
 243
 244         /* Make stack misaligned, the call will make it aligned again */
 245         if (! (pos & 8))
 246                 amd64_alu_reg_imm (code, X86_SUB, AMD64_RSP, 8);
 247
 248         /* set new EBP */
 249         amd64_mov_reg_membase (code, AMD64_RBP, AMD64_ARG_REG1, G_STRUCT_OFFSET (MonoContext, rbp), 8);
 250         /* load callee saved regs */
 251         amd64_mov_reg_membase (code, AMD64_RBX, AMD64_ARG_REG1, G_STRUCT_OFFSET (MonoContext, rbx), 8);
 252         amd64_mov_reg_membase (code, AMD64_R12, AMD64_ARG_REG1, G_STRUCT_OFFSET (MonoContext, r12), 8);
 253         amd64_mov_reg_membase (code, AMD64_R13, AMD64_ARG_REG1, G_STRUCT_OFFSET (MonoContext, r13), 8);
 254         amd64_mov_reg_membase (code, AMD64_R14, AMD64_ARG_REG1, G_STRUCT_OFFSET (MonoContext, r14), 8);
 255         amd64_mov_reg_membase (code, AMD64_R15, AMD64_ARG_REG1, G_STRUCT_OFFSET (MonoContext, r15), 8);
 256 #ifdef TARGET_WIN32
 257         amd64_mov_reg_membase (code, AMD64_RDI, AMD64_ARG_REG1,  G_STRUCT_OFFSET (MonoContext, rdi), 8);
 258         amd64_mov_reg_membase (code, AMD64_RSI, AMD64_ARG_REG1,  G_STRUCT_OFFSET (MonoContext, rsi), 8);
 259 #endif
 260
 261         /* call the handler */
 262         amd64_call_reg (code, AMD64_ARG_REG2);
 263
 264         if (! (pos & 8))
 265                 amd64_alu_reg_imm (code, X86_ADD, AMD64_RSP, 8);
 266
 267         /* restore RBP */
 268         amd64_pop_reg (code, AMD64_RBP);
 269
 270         /* Restore callee saved regs */
 271         for (i = AMD64_NREG; i >= 0; --i)
 272                 if (AMD64_IS_CALLEE_SAVED_REG (i))
 273                         amd64_pop_reg (code, i);
 274
 275         amd64_leave (code);
 276         amd64_ret (code);
 277
 278         g_assert ((code - start) < 128);
 279
 280         mono_arch_flush_icache (start, code - start);
 281
 282         if (info)
 283                 *info = mono_tramp_info_create (g_strdup_printf ("call_filter"), start, code - start, ji, unwind_ops);
 284
 285         return start;
 286 }
 287
 288 /*
 289  * The first few arguments are dummy, to force the other arguments to be passed on
 290  * the stack, this avoids overwriting the argument registers in the throw trampoline.
 291  */
 292 void
 293 mono_amd64_throw_exception (guint64 dummy1, guint64 dummy2, guint64 dummy3, guint64 dummy4,
 294                                                         guint64 dummy5, guint64 dummy6,
 295                                                         mgreg_t *regs, mgreg_t rip,
 296                                                         MonoObject *exc, gboolean rethrow)
 297 {
 298         static void (*restore_context) (MonoContext *);
 299         MonoContext ctx;
 300
 301         if (!restore_context)
 302                 restore_context = mono_get_restore_context ();
 303
 304         ctx.rsp = regs [AMD64_RSP];
 305         ctx.rip = rip;
 306         ctx.rbx = regs [AMD64_RBX];
 307         ctx.rbp = regs [AMD64_RBP];
 308         ctx.r12 = regs [AMD64_R12];
 309         ctx.r13 = regs [AMD64_R13];
 310         ctx.r14 = regs [AMD64_R14];
 311         ctx.r15 = regs [AMD64_R15];
 312         ctx.rdi = regs [AMD64_RDI];
 313         ctx.rsi = regs [AMD64_RSI];
 314         ctx.rax = regs [AMD64_RAX];
 315         ctx.rcx = regs [AMD64_RCX];
 316         ctx.rdx = regs [AMD64_RDX];
 317
 318         if (mono_object_isinst (exc, mono_defaults.exception_class)) {
 319                 MonoException *mono_ex = (MonoException*)exc;
 320                 if (!rethrow)
 321                         mono_ex->stack_trace = NULL;
 322         }
 323
 324         if (mono_debug_using_mono_debugger ()) {
 325                 guint8 buf [16], *code;
 326
 327                 mono_breakpoint_clean_code (NULL, (gpointer)rip, 8, buf, sizeof (buf));
 328                 code = buf + 8;
 329
 330                 if (buf [3] == 0xe8) {
 331                         MonoContext ctx_cp = ctx;
 332                         ctx_cp.rip = rip - 5;
 333
 334                         if (mono_debugger_handle_exception (&ctx_cp, exc)) {
 335                                 restore_context (&ctx_cp);
 336                                 g_assert_not_reached ();
 337                         }
 338                 }
 339         }
 340
 341         /* adjust eip so that it point into the call instruction */
 342         ctx.rip -= 1;
 343
 344         mono_handle_exception (&ctx, exc, (gpointer)rip, FALSE);
 345         restore_context (&ctx);
 346
 347         g_assert_not_reached ();
 348 }
 349
 350 void
 351 mono_amd64_throw_corlib_exception (guint64 dummy1, guint64 dummy2, guint64 dummy3, guint64 dummy4,
 352                                                                    guint64 dummy5, guint64 dummy6,
 353                                                                    mgreg_t *regs, mgreg_t rip,
 354                                                                    guint32 ex_token_index, gint64 pc_offset)
 355 {
 356         guint32 ex_token = MONO_TOKEN_TYPE_DEF | ex_token_index;
 357         MonoException *ex;
 358
 359         ex = mono_exception_from_token (mono_defaults.exception_class->image, ex_token);
 360
 361         rip -= pc_offset;
 362
 363         /* Negate the ip adjustment done in mono_amd64_throw_exception () */
 364         rip += 1;
 365
 366         mono_amd64_throw_exception (dummy1, dummy2, dummy3, dummy4, dummy5, dummy6, regs, rip, (MonoObject*)ex, FALSE);
 367 }
 368
 369 static void
 370 mono_amd64_resume_unwind (guint64 dummy1, guint64 dummy2, guint64 dummy3, guint64 dummy4,
 371                                                   guint64 dummy5, guint64 dummy6,
 372                                                   mgreg_t *regs, mgreg_t rip,
 373                                                   guint32 dummy7, gint64 dummy8)
 374 {
 375         /* Only the register parameters are valid */
 376         MonoContext ctx;
 377
 378         ctx.rsp = regs [AMD64_RSP];
 379         ctx.rip = rip;
 380         ctx.rbx = regs [AMD64_RBX];
 381         ctx.rbp = regs [AMD64_RBP];
 382         ctx.r12 = regs [AMD64_R12];
 383         ctx.r13 = regs [AMD64_R13];
 384         ctx.r14 = regs [AMD64_R14];
 385         ctx.r15 = regs [AMD64_R15];
 386         ctx.rdi = regs [AMD64_RDI];
 387         ctx.rsi = regs [AMD64_RSI];
 388         ctx.rax = regs [AMD64_RAX];
 389         ctx.rcx = regs [AMD64_RCX];
 390         ctx.rdx = regs [AMD64_RDX];
 391
 392         mono_resume_unwind (&ctx);
 393 }
 394
 395 /*
 396  * get_throw_trampoline:
 397  *
 398  *  Generate a call to mono_amd64_throw_exception/
 399  * mono_amd64_throw_corlib_exception.
 400  */
 401 static gpointer
 402 get_throw_trampoline (MonoTrampInfo **info, gboolean rethrow, gboolean corlib, gboolean llvm_abs, gboolean resume_unwind, const char *tramp_name, gboolean aot)
 403 {
 404         guint8* start;
 405         guint8 *code;
 406         MonoJumpInfo *ji = NULL;
 407         GSList *unwind_ops = NULL;
 408         int i, buf_size, stack_size, arg_offsets [16], regs_offset;
 409
 410         buf_size = 256;
 411         start = code = mono_global_codeman_reserve (buf_size);
 412
 413         /* The stack is unaligned on entry */
 414         stack_size = 192 + 8;
 415
 416         code = start;
 417
 418         if (info)
 419                 unwind_ops = mono_arch_get_cie_program ();
 420
 421         /* Alloc frame */
 422         amd64_alu_reg_imm (code, X86_SUB, AMD64_RSP, stack_size);
 423         if (info)
 424                 mono_add_unwind_op_def_cfa_offset (unwind_ops, code, start, stack_size + 8);
 425
 426         /*
 427          * To hide linux/windows calling convention differences, we pass all arguments on
 428          * the stack by passing 6 dummy values in registers.
 429          */
 430
 431         arg_offsets [0] = 0;
 432         arg_offsets [1] = sizeof (gpointer);
 433         arg_offsets [2] = sizeof (gpointer) * 2;
 434         arg_offsets [3] = sizeof (gpointer) * 3;
 435         regs_offset = sizeof (gpointer) * 4;
 436
 437         /* Save registers */
 438         for (i = 0; i < AMD64_NREG; ++i)
 439                 if (i != AMD64_RSP)
 440                         amd64_mov_membase_reg (code, AMD64_RSP, regs_offset + (i * sizeof (gpointer)), i, 8);
 441         /* Save RSP */
 442         amd64_lea_membase (code, AMD64_RAX, AMD64_RSP, stack_size + sizeof (gpointer));
 443         amd64_mov_membase_reg (code, AMD64_RSP, regs_offset + (AMD64_RSP * sizeof (gpointer)), X86_EAX, 8);
 444         /* Set arg1 == regs */
 445         amd64_lea_membase (code, AMD64_RAX, AMD64_RSP, regs_offset);
 446         amd64_mov_membase_reg (code, AMD64_RSP, arg_offsets [0], AMD64_RAX, 8);
 447         /* Set arg2 == eip */
 448         if (llvm_abs)
 449                 amd64_alu_reg_reg (code, X86_XOR, AMD64_RAX, AMD64_RAX);
 450         else
 451                 amd64_mov_reg_membase (code, AMD64_RAX, AMD64_RSP, stack_size, 8);
 452         amd64_mov_membase_reg (code, AMD64_RSP, arg_offsets [1], AMD64_RAX, 8);
 453         /* Set arg3 == exc/ex_token_index */
 454         if (resume_unwind)
 455                 amd64_mov_membase_imm (code, AMD64_RSP, arg_offsets [2], 0, 8);
 456         else
 457                 amd64_mov_membase_reg (code, AMD64_RSP, arg_offsets [2], AMD64_ARG_REG1, 8);
 458         /* Set arg4 == rethrow/pc offset */
 459         if (resume_unwind) {
 460                 amd64_mov_membase_imm (code, AMD64_RSP, arg_offsets [3], 0, 8);
 461         } else if (corlib) {
 462                 amd64_mov_membase_reg (code, AMD64_RSP, arg_offsets [3], AMD64_ARG_REG2, 8);
 463                 if (llvm_abs)
 464                         /*
 465                          * The caller is LLVM code which passes the absolute address not a pc offset,
 466                          * so compensate by passing 0 as 'rip' and passing the negated abs address as
 467                          * the pc offset.
 468                          */
 469                         amd64_neg_membase (code, AMD64_RSP, arg_offsets [3]);
 470         } else {
 471                 amd64_mov_membase_imm (code, AMD64_RSP, arg_offsets [3], rethrow, 8);
 472         }
 473
 474         if (aot) {
 475                 ji = mono_patch_info_list_prepend (ji, code - start, MONO_PATCH_INFO_JIT_ICALL_ADDR, corlib ? (llvm_abs ? "mono_amd64_throw_corlib_exception_abs" : "mono_amd64_throw_corlib_exception") : "mono_amd64_throw_exception");
 476                 amd64_mov_reg_membase (code, AMD64_R11, AMD64_RIP, 0, 8);
 477         } else {
 478                 amd64_mov_reg_imm (code, AMD64_R11, resume_unwind ? (mono_amd64_resume_unwind) : (corlib ? (gpointer)mono_amd64_throw_corlib_exception : (gpointer)mono_amd64_throw_exception));
 479         }
 480         amd64_call_reg (code, AMD64_R11);
 481         amd64_breakpoint (code);
 482
 483         mono_arch_flush_icache (start, code - start);
 484
 485         g_assert ((code - start) < buf_size);
 486
 487         if (info)
 488                 *info = mono_tramp_info_create (g_strdup (tramp_name), start, code - start, ji, unwind_ops);
 489
 490         return start;
 491 }
 492
 493 /**
 494  * mono_arch_get_throw_exception:
 495  *
 496  * Returns a function pointer which can be used to raise
 497  * exceptions. The returned function has the following
 498  * signature: void (*func) (MonoException *exc);
 499  *
 500  */
 501 gpointer
 502 mono_arch_get_throw_exception (MonoTrampInfo **info, gboolean aot)
 503 {
 504         return get_throw_trampoline (info, FALSE, FALSE, FALSE, FALSE, "throw_exception", aot);
 505 }
 506
 507 gpointer
 508 mono_arch_get_rethrow_exception (MonoTrampInfo **info, gboolean aot)
 509 {
 510         return get_throw_trampoline (info, TRUE, FALSE, FALSE, FALSE, "rethrow_exception", aot);
 511 }
 512
 513 /**
 514  * mono_arch_get_throw_corlib_exception:
 515  *
 516  * Returns a function pointer which can be used to raise
 517  * corlib exceptions. The returned function has the following
 518  * signature: void (*func) (guint32 ex_token, guint32 offset);
 519  * Here, offset is the offset which needs to be substracted from the caller IP
 520  * to get the IP of the throw. Passing the offset has the advantage that it
 521  * needs no relocations in the caller.
 522  */
 523 gpointer
 524 mono_arch_get_throw_corlib_exception (MonoTrampInfo **info, gboolean aot)
 525 {
 526         return get_throw_trampoline (info, FALSE, TRUE, FALSE, FALSE, "throw_corlib_exception", aot);
 527 }
 528
 529 /*
 530  * mono_arch_find_jit_info_ext:
 531  *
 532  * This function is used to gather information from @ctx, and store it in @frame_info.
 533  * It unwinds one stack frame, and stores the resulting context into @new_ctx. @lmf
 534  * is modified if needed.
 535  * Returns TRUE on success, FALSE otherwise.
 536  * This function is a version of mono_arch_find_jit_info () where all the results are
 537  * returned in a StackFrameInfo structure.
 538  */
 539 gboolean
 540 mono_arch_find_jit_info_ext (MonoDomain *domain, MonoJitTlsData *jit_tls,
 541                                                          MonoJitInfo *ji, MonoContext *ctx,
 542                                                          MonoContext *new_ctx, MonoLMF **lmf,
 543                                                          StackFrameInfo *frame)
 544 {
 545         gpointer ip = MONO_CONTEXT_GET_IP (ctx);
 546
 547         memset (frame, 0, sizeof (StackFrameInfo));
 548         frame->ji = ji;
 549         frame->managed = FALSE;
 550
 551         *new_ctx = *ctx;
 552
 553         if (ji != NULL) {
 554                 gssize regs [MONO_MAX_IREGS + 1];
 555                 guint8 *cfa;
 556                 guint32 unwind_info_len;
 557                 guint8 *unwind_info;
 558
 559                 frame->type = FRAME_TYPE_MANAGED;
 560
 561                 if (!ji->method->wrapper_type || ji->method->wrapper_type == MONO_WRAPPER_DYNAMIC_METHOD)
 562                         frame->managed = TRUE;
 563
 564                 if (ji->from_aot)
 565                         unwind_info = mono_aot_get_unwind_info (ji, &unwind_info_len);
 566                 else
 567                         unwind_info = mono_get_cached_unwind_info (ji->used_regs, &unwind_info_len);
 568
 569                 regs [AMD64_RAX] = new_ctx->rax;
 570                 regs [AMD64_RBX] = new_ctx->rbx;
 571                 regs [AMD64_RCX] = new_ctx->rcx;
 572                 regs [AMD64_RDX] = new_ctx->rdx;
 573                 regs [AMD64_RBP] = new_ctx->rbp;
 574                 regs [AMD64_RSP] = new_ctx->rsp;
 575                 regs [AMD64_RSI] = new_ctx->rsi;
 576                 regs [AMD64_RDI] = new_ctx->rdi;
 577                 regs [AMD64_RIP] = new_ctx->rip;
 578                 regs [AMD64_R12] = new_ctx->r12;
 579                 regs [AMD64_R13] = new_ctx->r13;
 580                 regs [AMD64_R14] = new_ctx->r14;
 581                 regs [AMD64_R15] = new_ctx->r15;
 582
 583                 mono_unwind_frame (unwind_info, unwind_info_len, ji->code_start,
 584                                                    (guint8*)ji->code_start + ji->code_size,
 585                                                    ip, regs, MONO_MAX_IREGS + 1, &cfa);
 586
 587                 new_ctx->rax = regs [AMD64_RAX];
 588                 new_ctx->rbx = regs [AMD64_RBX];
 589                 new_ctx->rcx = regs [AMD64_RCX];
 590                 new_ctx->rdx = regs [AMD64_RDX];
 591                 new_ctx->rbp = regs [AMD64_RBP];
 592                 new_ctx->rsp = regs [AMD64_RSP];
 593                 new_ctx->rsi = regs [AMD64_RSI];
 594                 new_ctx->rdi = regs [AMD64_RDI];
 595                 new_ctx->rip = regs [AMD64_RIP];
 596                 new_ctx->r12 = regs [AMD64_R12];
 597                 new_ctx->r13 = regs [AMD64_R13];
 598                 new_ctx->r14 = regs [AMD64_R14];
 599                 new_ctx->r15 = regs [AMD64_R15];
 600
 601                 /* The CFA becomes the new SP value */
 602                 new_ctx->rsp = (gssize)cfa;
 603
 604                 /* Adjust IP */
 605                 new_ctx->rip --;
 606
 607                 if (*lmf && ((*lmf) != jit_tls->first_lmf) && (MONO_CONTEXT_GET_SP (ctx) >= (gpointer)(*lmf)->rsp)) {
 608                         /* remove any unused lmf */
 609                         *lmf = (gpointer)(((guint64)(*lmf)->previous_lmf) & ~3);
 610                 }
 611
 612 #ifndef MONO_AMD64_NO_PUSHES
 613                 /* Pop arguments off the stack */
 614                 {
 615                         MonoJitArgumentInfo *arg_info = g_newa (MonoJitArgumentInfo, mono_method_signature (ji->method)->param_count + 1);
 616
 617                         guint32 stack_to_pop = mono_arch_get_argument_info (mono_method_signature (ji->method), mono_method_signature (ji->method)->param_count, arg_info);
 618                         new_ctx->rsp += stack_to_pop;
 619                 }
 620 #endif
 621
 622                 return TRUE;
 623         } else if (*lmf) {
 624                 guint64 rip;
 625
 626                 if (((guint64)(*lmf)->previous_lmf) & 2) {
 627                         /*
 628                          * This LMF entry is created by the soft debug code to mark transitions to
 629                          * managed code done during invokes.
 630                          */
 631                         MonoLMFExt *ext = (MonoLMFExt*)(*lmf);
 632
 633                         g_assert (ext->debugger_invoke);
 634
 635                         memcpy (new_ctx, &ext->ctx, sizeof (MonoContext));
 636
 637                         *lmf = (gpointer)(((guint64)(*lmf)->previous_lmf) & ~3);
 638
 639                         frame->type = FRAME_TYPE_DEBUGGER_INVOKE;
 640
 641                         return TRUE;
 642                 }
 643
 644                 if (((guint64)(*lmf)->previous_lmf) & 1) {
 645                         /* This LMF has the rip field set */
 646                         rip = (*lmf)->rip;
 647                 } else if ((*lmf)->rsp == 0) {
 648                         /* Top LMF entry */
 649                         return FALSE;
 650                 } else {
 651                         /*
 652                          * The rsp field is set just before the call which transitioned to native
 653                          * code. Obtain the rip from the stack.
 654                          */
 655                         rip = *(guint64*)((*lmf)->rsp - sizeof (gpointer));
 656                 }
 657
 658                 ji = mini_jit_info_table_find (domain, (gpointer)rip, NULL);
 659                 if (!ji) {
 660                         // FIXME: This can happen with multiple appdomains (bug #444383)
 661                         return FALSE;
 662                 }
 663
 664                 /* Adjust IP */
 665                 rip --;
 666
 667                 frame->ji = ji;
 668                 frame->type = FRAME_TYPE_MANAGED_TO_NATIVE;
 669
 670                 new_ctx->rip = rip;
 671                 new_ctx->rbp = (*lmf)->rbp;
 672                 new_ctx->rsp = (*lmf)->rsp;
 673
 674                 new_ctx->rbx = (*lmf)->rbx;
 675                 new_ctx->r12 = (*lmf)->r12;
 676                 new_ctx->r13 = (*lmf)->r13;
 677                 new_ctx->r14 = (*lmf)->r14;
 678                 new_ctx->r15 = (*lmf)->r15;
 679 #ifdef TARGET_WIN32
 680                 new_ctx->rdi = (*lmf)->rdi;
 681                 new_ctx->rsi = (*lmf)->rsi;
 682 #endif
 683
 684                 *lmf = (gpointer)(((guint64)(*lmf)->previous_lmf) & ~3);
 685
 686                 return TRUE;
 687         }
 688
 689         return FALSE;
 690 }
 691
 692 /*
 693  * handle_exception:
 694  *
 695  *   Called by resuming from a signal handler.
 696  */
 697 static void
 698 handle_signal_exception (gpointer obj, gboolean test_only)
 699 {
 700         MonoJitTlsData *jit_tls = TlsGetValue (mono_jit_tls_id);
 701         MonoContext ctx;
 702         static void (*restore_context) (MonoContext *);
 703
 704         if (!restore_context)
 705                 restore_context = mono_get_restore_context ();
 706
 707         memcpy (&ctx, &jit_tls->ex_ctx, sizeof (MonoContext));
 708
 709         if (mono_debugger_handle_exception (&ctx, (MonoObject *)obj))
 710                 return;
 711
 712         mono_handle_exception (&ctx, obj, MONO_CONTEXT_GET_IP (&ctx), test_only);
 713
 714         restore_context (&ctx);
 715 }
 716
 717 /**
 718  * mono_arch_handle_exception:
 719  *
 720  * @ctx: saved processor state
 721  * @obj: the exception object
 722  */
 723 gboolean
 724 mono_arch_handle_exception (void *sigctx, gpointer obj, gboolean test_only)
 725 {
 726 #if defined(MONO_ARCH_USE_SIGACTION)
 727         ucontext_t *ctx = (ucontext_t*)sigctx;
 728
 729         /*
 730          * Handling the exception in the signal handler is problematic, since the original
 731          * signal is disabled, and we could run arbitrary code though the debugger. So
 732          * resume into the normal stack and do most work there if possible.
 733          */
 734         MonoJitTlsData *jit_tls = TlsGetValue (mono_jit_tls_id);
 735         guint64 sp = UCONTEXT_REG_RSP (ctx);
 736
 737         /* Pass the ctx parameter in TLS */
 738         mono_arch_sigctx_to_monoctx (ctx, &jit_tls->ex_ctx);
 739         /* The others in registers */
 740         UCONTEXT_REG_RDI (ctx) = (guint64)obj;
 741         UCONTEXT_REG_RSI (ctx) = test_only;
 742
 743         /* Allocate a stack frame below the red zone */
 744         sp -= 128;
 745         /* The stack should be unaligned */
 746         if (sp % 8 == 0)
 747                 sp -= 8;
 748         UCONTEXT_REG_RSP (ctx) = sp;
 749
 750         UCONTEXT_REG_RIP (ctx) = (guint64)handle_signal_exception;
 751
 752         return TRUE;
 753 #else
 754         MonoContext mctx;
 755
 756         mono_arch_sigctx_to_monoctx (sigctx, &mctx);
 757
 758         if (mono_debugger_handle_exception (&mctx, (MonoObject *)obj))
 759                 return TRUE;
 760
 761         mono_handle_exception (&mctx, obj, MONO_CONTEXT_GET_IP (&mctx), test_only);
 762
 763         mono_arch_monoctx_to_sigctx (&mctx, sigctx);
 764
 765         return TRUE;
 766 #endif
 767 }
 768
 769 #if defined(MONO_ARCH_USE_SIGACTION) && defined(UCONTEXT_GREGS)
 770 static inline guint64*
 771 gregs_from_ucontext (ucontext_t *ctx)
 772 {
 773         return (guint64 *) UCONTEXT_GREGS (ctx);
 774 }
 775 #endif
 776 void
 777 mono_arch_sigctx_to_monoctx (void *sigctx, MonoContext *mctx)
 778 {
 779 #if defined(MONO_ARCH_USE_SIGACTION)
 780         ucontext_t *ctx = (ucontext_t*)sigctx;
 781
 782         mctx->rax = UCONTEXT_REG_RAX (ctx);
 783         mctx->rbx = UCONTEXT_REG_RBX (ctx);
 784         mctx->rcx = UCONTEXT_REG_RCX (ctx);
 785         mctx->rdx = UCONTEXT_REG_RDX (ctx);
 786         mctx->rbp = UCONTEXT_REG_RBP (ctx);
 787         mctx->rsp = UCONTEXT_REG_RSP (ctx);
 788         mctx->rsi = UCONTEXT_REG_RSI (ctx);
 789         mctx->rdi = UCONTEXT_REG_RDI (ctx);
 790         mctx->rip = UCONTEXT_REG_RIP (ctx);
 791         mctx->r12 = UCONTEXT_REG_R12 (ctx);
 792         mctx->r13 = UCONTEXT_REG_R13 (ctx);
 793         mctx->r14 = UCONTEXT_REG_R14 (ctx);
 794         mctx->r15 = UCONTEXT_REG_R15 (ctx);
 795 #else
 796         MonoContext *ctx = (MonoContext *)sigctx;
 797
 798         mctx->rax = ctx->rax;
 799         mctx->rbx = ctx->rbx;
 800         mctx->rcx = ctx->rcx;
 801         mctx->rdx = ctx->rdx;
 802         mctx->rbp = ctx->rbp;
 803         mctx->rsp = ctx->rsp;
 804         mctx->rsi = ctx->rsi;
 805         mctx->rdi = ctx->rdi;
 806         mctx->rip = ctx->rip;
 807         mctx->r12 = ctx->r12;
 808         mctx->r13 = ctx->r13;
 809         mctx->r14 = ctx->r14;
 810         mctx->r15 = ctx->r15;
 811 #endif
 812 }
 813
 814 void
 815 mono_arch_monoctx_to_sigctx (MonoContext *mctx, void *sigctx)
 816 {
 817 #if defined(MONO_ARCH_USE_SIGACTION)
 818         ucontext_t *ctx = (ucontext_t*)sigctx;
 819
 820         UCONTEXT_REG_RAX (ctx) = mctx->rax;
 821         UCONTEXT_REG_RBX (ctx) = mctx->rbx;
 822         UCONTEXT_REG_RCX (ctx) = mctx->rcx;
 823         UCONTEXT_REG_RDX (ctx) = mctx->rdx;
 824         UCONTEXT_REG_RBP (ctx) = mctx->rbp;
 825         UCONTEXT_REG_RSP (ctx) = mctx->rsp;
 826         UCONTEXT_REG_RSI (ctx) = mctx->rsi;
 827         UCONTEXT_REG_RDI (ctx) = mctx->rdi;
 828         UCONTEXT_REG_RIP (ctx) = mctx->rip;
 829         UCONTEXT_REG_R12 (ctx) = mctx->r12;
 830         UCONTEXT_REG_R13 (ctx) = mctx->r13;
 831         UCONTEXT_REG_R14 (ctx) = mctx->r14;
 832         UCONTEXT_REG_R15 (ctx) = mctx->r15;
 833 #else
 834         MonoContext *ctx = (MonoContext *)sigctx;
 835
 836         ctx->rax = mctx->rax;
 837         ctx->rbx = mctx->rbx;
 838         ctx->rcx = mctx->rcx;
 839         ctx->rdx = mctx->rdx;
 840         ctx->rbp = mctx->rbp;
 841         ctx->rsp = mctx->rsp;
 842         ctx->rsi = mctx->rsi;
 843         ctx->rdi = mctx->rdi;
 844         ctx->rip = mctx->rip;
 845         ctx->r12 = mctx->r12;
 846         ctx->r13 = mctx->r13;
 847         ctx->r14 = mctx->r14;
 848         ctx->r15 = mctx->r15;
 849 #endif
 850 }
 851
 852 gpointer
 853 mono_arch_ip_from_context (void *sigctx)
 854 {
 855 #if defined(MONO_ARCH_USE_SIGACTION)
 856         ucontext_t *ctx = (ucontext_t*)sigctx;
 857
 858         return (gpointer)UCONTEXT_REG_RIP (ctx);
 859 #else
 860         MonoContext *ctx = sigctx;
 861         return (gpointer)ctx->rip;
 862 #endif
 863 }
 864
 865 static void
 866 restore_soft_guard_pages (void)
 867 {
 868         MonoJitTlsData *jit_tls = TlsGetValue (mono_jit_tls_id);
 869         if (jit_tls->stack_ovf_guard_base)
 870                 mono_mprotect (jit_tls->stack_ovf_guard_base, jit_tls->stack_ovf_guard_size, MONO_MMAP_NONE);
 871 }
 872
 873 /*
 874  * this function modifies mctx so that when it is restored, it
 875  * won't execcute starting at mctx.eip, but in a function that
 876  * will restore the protection on the soft-guard pages and return back to
 877  * continue at mctx.eip.
 878  */
 879 static void
 880 prepare_for_guard_pages (MonoContext *mctx)
 881 {
 882         gpointer *sp;
 883         sp = (gpointer)(mctx->rsp);
 884         sp -= 1;
 885         /* the return addr */
 886         sp [0] = (gpointer)(mctx->rip);
 887         mctx->rip = (guint64)restore_soft_guard_pages;
 888         mctx->rsp = (guint64)sp;
 889 }
 890
 891 static void
 892 altstack_handle_and_restore (void *sigctx, gpointer obj, gboolean stack_ovf)
 893 {
 894         void (*restore_context) (MonoContext *);
 895         MonoContext mctx;
 896
 897         restore_context = mono_get_restore_context ();
 898         mono_arch_sigctx_to_monoctx (sigctx, &mctx);
 899
 900         if (mono_debugger_handle_exception (&mctx, (MonoObject *)obj)) {
 901                 if (stack_ovf)
 902                         prepare_for_guard_pages (&mctx);
 903                 restore_context (&mctx);
 904         }
 905
 906         mono_handle_exception (&mctx, obj, MONO_CONTEXT_GET_IP (&mctx), FALSE);
 907         if (stack_ovf)
 908                 prepare_for_guard_pages (&mctx);
 909         restore_context (&mctx);
 910 }
 911
 912 void
 913 mono_arch_handle_altstack_exception (void *sigctx, gpointer fault_addr, gboolean stack_ovf)
 914 {
 915 #if defined(MONO_ARCH_USE_SIGACTION) && defined(UCONTEXT_GREGS)
 916         MonoException *exc = NULL;
 917         ucontext_t *ctx = (ucontext_t*)sigctx;
 918         guint64 *gregs = gregs_from_ucontext (ctx);
 919         MonoJitInfo *ji = mini_jit_info_table_find (mono_domain_get (), (gpointer)gregs [REG_RIP], NULL);
 920         gpointer *sp;
 921         int frame_size;
 922
 923         if (stack_ovf)
 924                 exc = mono_domain_get ()->stack_overflow_ex;
 925         if (!ji)
 926                 mono_handle_native_sigsegv (SIGSEGV, sigctx);
 927
 928         /* setup a call frame on the real stack so that control is returned there
 929          * and exception handling can continue.
 930          * The frame looks like:
 931          *   ucontext struct
 932          *   ...
 933          *   return ip
 934          * 128 is the size of the red zone
 935          */
 936         frame_size = sizeof (ucontext_t) + sizeof (gpointer) * 4 + 128;
 937         frame_size += 15;
 938         frame_size &= ~15;
 939         sp = (gpointer)(gregs [REG_RSP] & ~15);
 940         sp = (gpointer)((char*)sp - frame_size);
 941         /* the arguments must be aligned */
 942         sp [-1] = (gpointer)gregs [REG_RIP];
 943         /* may need to adjust pointers in the new struct copy, depending on the OS */
 944         memcpy (sp + 4, ctx, sizeof (ucontext_t));
 945         /* at the return form the signal handler execution starts in altstack_handle_and_restore() */
 946         gregs [REG_RIP] = (unsigned long)altstack_handle_and_restore;
 947         gregs [REG_RSP] = (unsigned long)(sp - 1);
 948         gregs [REG_RDI] = (unsigned long)(sp + 4);
 949         gregs [REG_RSI] = (guint64)exc;
 950         gregs [REG_RDX] = stack_ovf;
 951 #endif
 952 }
 953
 954 guint64
 955 mono_amd64_get_original_ip (void)
 956 {
 957         MonoLMF *lmf = mono_get_lmf ();
 958
 959         g_assert (lmf);
 960
 961         /* Reset the change to previous_lmf */
 962         lmf->previous_lmf = (gpointer)((guint64)lmf->previous_lmf & ~1);
 963
 964         return lmf->rip;
 965 }
 966
 967 gpointer
 968 mono_arch_get_throw_pending_exception (MonoTrampInfo **info, gboolean aot)
 969 {
 970         guint8 *code, *start;
 971         guint8 *br[1];
 972         gpointer throw_trampoline;
 973         MonoJumpInfo *ji = NULL;
 974         GSList *unwind_ops = NULL;
 975
 976         start = code = mono_global_codeman_reserve (128);
 977
 978         /* We are in the frame of a managed method after a call */
 979         /*
 980          * We would like to throw the pending exception in such a way that it looks to
 981          * be thrown from the managed method.
 982          */
 983
 984         /* Save registers which might contain the return value of the call */
 985         amd64_push_reg (code, AMD64_RAX);
 986         amd64_push_reg (code, AMD64_RDX);
 987
 988         amd64_alu_reg_imm (code, X86_SUB, AMD64_RSP, 8);
 989         amd64_movsd_membase_reg (code, AMD64_RSP, 0, AMD64_XMM0);
 990
 991         /* Align stack */
 992         amd64_alu_reg_imm (code, X86_SUB, AMD64_RSP, 8);
 993
 994         /* Obtain the pending exception */
 995         if (aot) {
 996                 ji = mono_patch_info_list_prepend (ji, code - start, MONO_PATCH_INFO_JIT_ICALL_ADDR, "mono_thread_get_and_clear_pending_exception");
 997                 amd64_mov_reg_membase (code, AMD64_R11, AMD64_RIP, 0, 8);
 998         } else {
 999                 amd64_mov_reg_imm (code, AMD64_R11, mono_thread_get_and_clear_pending_exception);
1000         }
1001         amd64_call_reg (code, AMD64_R11);
1002
1003         /* Check if it is NULL, and branch */
1004         amd64_alu_reg_imm (code, X86_CMP, AMD64_RAX, 0);
1005         br[0] = code; x86_branch8 (code, X86_CC_EQ, 0, FALSE);
1006
1007         /* exc != NULL branch */
1008
1009         /* Save the exc on the stack */
1010         amd64_push_reg (code, AMD64_RAX);
1011         /* Align stack */
1012         amd64_alu_reg_imm (code, X86_SUB, AMD64_RSP, 8);
1013
1014         /* Obtain the original ip and clear the flag in previous_lmf */
1015         if (aot) {
1016                 ji = mono_patch_info_list_prepend (ji, code - start, MONO_PATCH_INFO_JIT_ICALL_ADDR, "mono_amd64_get_original_ip");
1017                 amd64_mov_reg_membase (code, AMD64_R11, AMD64_RIP, 0, 8);
1018         } else {
1019                 amd64_mov_reg_imm (code, AMD64_R11, mono_amd64_get_original_ip);
1020         }
1021         amd64_call_reg (code, AMD64_R11);
1022
1023         /* Load exc */
1024         amd64_mov_reg_membase (code, AMD64_R11, AMD64_RSP, 8, 8);
1025
1026         /* Pop saved stuff from the stack */
1027         amd64_alu_reg_imm (code, X86_ADD, AMD64_RSP, 6 * 8);
1028
1029         /* Setup arguments for the throw trampoline */
1030         /* Exception */
1031         amd64_mov_reg_reg (code, AMD64_ARG_REG1, AMD64_R11, 8);
1032         /* The trampoline expects the caller ip to be pushed on the stack */
1033         amd64_push_reg (code, AMD64_RAX);
1034
1035         /* Call the throw trampoline */
1036         if (aot) {
1037                 ji = mono_patch_info_list_prepend (ji, code - start, MONO_PATCH_INFO_JIT_ICALL_ADDR, "mono_amd64_throw_exception");
1038                 amd64_mov_reg_membase (code, AMD64_R11, AMD64_RIP, 0, 8);
1039         } else {
1040                 throw_trampoline = mono_get_throw_exception ();
1041                 amd64_mov_reg_imm (code, AMD64_R11, throw_trampoline);
1042         }
1043         /* We use a jump instead of a call so we can push the original ip on the stack */
1044         amd64_jump_reg (code, AMD64_R11);
1045
1046         /* ex == NULL branch */
1047         mono_amd64_patch (br [0], code);
1048
1049         /* Obtain the original ip and clear the flag in previous_lmf */
1050         if (aot) {
1051                 ji = mono_patch_info_list_prepend (ji, code - start, MONO_PATCH_INFO_JIT_ICALL_ADDR, "mono_amd64_get_original_ip");
1052                 amd64_mov_reg_membase (code, AMD64_R11, AMD64_RIP, 0, 8);
1053         } else {
1054                 amd64_mov_reg_imm (code, AMD64_R11, mono_amd64_get_original_ip);
1055         }
1056         amd64_call_reg (code, AMD64_R11);
1057         amd64_mov_reg_reg (code, AMD64_R11, AMD64_RAX, 8);
1058
1059         /* Restore registers */
1060         amd64_alu_reg_imm (code, X86_ADD, AMD64_RSP, 8);
1061         amd64_movsd_reg_membase (code, AMD64_XMM0, AMD64_RSP, 0);
1062         amd64_alu_reg_imm (code, X86_ADD, AMD64_RSP, 8);
1063         amd64_pop_reg (code, AMD64_RDX);
1064         amd64_pop_reg (code, AMD64_RAX);
1065
1066         /* Return to original code */
1067         amd64_jump_reg (code, AMD64_R11);
1068
1069         g_assert ((code - start) < 128);
1070
1071         if (info)
1072                 *info = mono_tramp_info_create (g_strdup_printf ("throw_pending_exception"), start, code - start, ji, unwind_ops);
1073
1074         return start;
1075 }
1076
1077 static gpointer throw_pending_exception;
1078
1079 /*
1080  * Called when a thread receives an async exception while executing unmanaged code.
1081  * Instead of checking for this exception in the managed-to-native wrapper, we hijack
1082  * the return address on the stack to point to a helper routine which throws the
1083  * exception.
1084  */
1085 void
1086 mono_arch_notify_pending_exc (void)
1087 {
1088         MonoLMF *lmf = mono_get_lmf ();
1089
1090         if (!lmf)
1091                 /* Not yet started */
1092                 return;
1093
1094         if (lmf->rsp == 0)
1095                 /* Initial LMF */
1096                 return;
1097
1098         if ((guint64)lmf->previous_lmf & 1)
1099                 /* Already hijacked or trampoline LMF entry */
1100                 return;
1101
1102         /* lmf->rsp is set just before making the call which transitions to unmanaged code */
1103         lmf->rip = *(guint64*)(lmf->rsp - 8);
1104         /* Signal that lmf->rip is set */
1105         lmf->previous_lmf = (gpointer)((guint64)lmf->previous_lmf | 1);
1106
1107         *(gpointer*)(lmf->rsp - 8) = throw_pending_exception;
1108 }
1109
1110 void
1111 mono_arch_exceptions_init (void)
1112 {
1113         guint8 *tramp;
1114
1115         if (mono_aot_only) {
1116                 throw_pending_exception = mono_aot_get_trampoline ("throw_pending_exception");
1117         } else {
1118                 /* Call this to avoid initialization races */
1119                 throw_pending_exception = mono_arch_get_throw_pending_exception (NULL, FALSE);
1120
1121                 /* LLVM needs different throw trampolines */
1122                 tramp = get_throw_trampoline (NULL, FALSE, TRUE, FALSE, FALSE, "llvm_throw_corlib_exception_trampoline", FALSE);
1123                 mono_register_jit_icall (tramp, "llvm_throw_corlib_exception_trampoline", NULL, TRUE);
1124
1125                 tramp = get_throw_trampoline (NULL, FALSE, TRUE, TRUE, FALSE, "llvm_throw_corlib_exception_abs_trampoline", FALSE);
1126                 mono_register_jit_icall (tramp, "llvm_throw_corlib_exception_abs_trampoline", NULL, TRUE);
1127
1128                 tramp = get_throw_trampoline (NULL, FALSE, TRUE, TRUE, TRUE, "llvm_resume_unwind_trampoline", FALSE);
1129                 mono_register_jit_icall (tramp, "llvm_resume_unwind_trampoline", NULL, TRUE);
1130         }
1131 }
1132
1133 #ifdef TARGET_WIN32
1134
1135 /*
1136  * The mono_arch_unwindinfo* methods are used to build and add
1137  * function table info for each emitted method from mono.  On Winx64
1138  * the seh handler will not be called if the mono methods are not
1139  * added to the function table.
1140  *
1141  * We should not need to add non-volatile register info to the
1142  * table since mono stores that info elsewhere. (Except for the register
1143  * used for the fp.)
1144  */
1145
1146 #define MONO_MAX_UNWIND_CODES 22
1147
1148 typedef union _UNWIND_CODE {
1149     struct {
1150         guchar CodeOffset;
1151         guchar UnwindOp : 4;
1152         guchar OpInfo   : 4;
1153     };
1154     gushort FrameOffset;
1155 } UNWIND_CODE, *PUNWIND_CODE;
1156
1157 typedef struct _UNWIND_INFO {
1158         guchar Version       : 3;
1159         guchar Flags         : 5;
1160         guchar SizeOfProlog;
1161         guchar CountOfCodes;
1162         guchar FrameRegister : 4;
1163         guchar FrameOffset   : 4;
1164         /* custom size for mono allowing for mono allowing for*/
1165         /*UWOP_PUSH_NONVOL ebp offset = 21*/
1166         /*UWOP_ALLOC_LARGE : requires 2 or 3 offset = 20*/
1167         /*UWOP_SET_FPREG : requires 2 offset = 17*/
1168         /*UWOP_PUSH_NONVOL offset = 15-0*/
1169         UNWIND_CODE UnwindCode[MONO_MAX_UNWIND_CODES];
1170
1171 /*      UNWIND_CODE MoreUnwindCode[((CountOfCodes + 1) & ~1) - 1];
1172  *      union {
1173  *          OPTIONAL ULONG ExceptionHandler;
1174  *          OPTIONAL ULONG FunctionEntry;
1175  *      };
1176  *      OPTIONAL ULONG ExceptionData[]; */
1177 } UNWIND_INFO, *PUNWIND_INFO;
1178
1179 typedef struct
1180 {
1181         RUNTIME_FUNCTION runtimeFunction;
1182         UNWIND_INFO unwindInfo;
1183 } MonoUnwindInfo, *PMonoUnwindInfo;
1184
1185 static void
1186 mono_arch_unwindinfo_create (gpointer* monoui)
1187 {
1188         PMonoUnwindInfo newunwindinfo;
1189         *monoui = newunwindinfo = g_new0 (MonoUnwindInfo, 1);
1190         newunwindinfo->unwindInfo.Version = 1;
1191 }
1192
1193 void
1194 mono_arch_unwindinfo_add_push_nonvol (gpointer* monoui, gpointer codebegin, gpointer nextip, guchar reg )
1195 {
1196         PMonoUnwindInfo unwindinfo;
1197         PUNWIND_CODE unwindcode;
1198         guchar codeindex;
1199         if (!*monoui)
1200                 mono_arch_unwindinfo_create (monoui);
1201
1202         unwindinfo = (MonoUnwindInfo*)*monoui;
1203
1204         if (unwindinfo->unwindInfo.CountOfCodes >= MONO_MAX_UNWIND_CODES)
1205                 g_error ("Larger allocation needed for the unwind information.");
1206
1207         codeindex = MONO_MAX_UNWIND_CODES - (++unwindinfo->unwindInfo.CountOfCodes);
1208         unwindcode = &unwindinfo->unwindInfo.UnwindCode[codeindex];
1209         unwindcode->UnwindOp = 0; /*UWOP_PUSH_NONVOL*/
1210         unwindcode->CodeOffset = (((guchar*)nextip)-((guchar*)codebegin));
1211         unwindcode->OpInfo = reg;
1212
1213         if (unwindinfo->unwindInfo.SizeOfProlog >= unwindcode->CodeOffset)
1214                 g_error ("Adding unwind info in wrong order.");
1215
1216         unwindinfo->unwindInfo.SizeOfProlog = unwindcode->CodeOffset;
1217 }
1218
1219 void
1220 mono_arch_unwindinfo_add_set_fpreg (gpointer* monoui, gpointer codebegin, gpointer nextip, guchar reg )
1221 {
1222         PMonoUnwindInfo unwindinfo;
1223         PUNWIND_CODE unwindcode;
1224         guchar codeindex;
1225         if (!*monoui)
1226                 mono_arch_unwindinfo_create (monoui);
1227
1228         unwindinfo = (MonoUnwindInfo*)*monoui;
1229
1230         if (unwindinfo->unwindInfo.CountOfCodes + 1 >= MONO_MAX_UNWIND_CODES)
1231                 g_error ("Larger allocation needed for the unwind information.");
1232
1233         codeindex = MONO_MAX_UNWIND_CODES - (unwindinfo->unwindInfo.CountOfCodes += 2);
1234         unwindcode = &unwindinfo->unwindInfo.UnwindCode[codeindex];
1235         unwindcode->FrameOffset = 0; /*Assuming no frame pointer offset for mono*/
1236         unwindcode++;
1237         unwindcode->UnwindOp = 3; /*UWOP_SET_FPREG*/
1238         unwindcode->CodeOffset = (((guchar*)nextip)-((guchar*)codebegin));
1239         unwindcode->OpInfo = reg;
1240
1241         unwindinfo->unwindInfo.FrameRegister = reg;
1242
1243         if (unwindinfo->unwindInfo.SizeOfProlog >= unwindcode->CodeOffset)
1244                 g_error ("Adding unwind info in wrong order.");
1245
1246         unwindinfo->unwindInfo.SizeOfProlog = unwindcode->CodeOffset;
1247 }
1248
1249 void
1250 mono_arch_unwindinfo_add_alloc_stack (gpointer* monoui, gpointer codebegin, gpointer nextip, guint size )
1251 {
1252         PMonoUnwindInfo unwindinfo;
1253         PUNWIND_CODE unwindcode;
1254         guchar codeindex;
1255         guchar codesneeded;
1256         if (!*monoui)
1257                 mono_arch_unwindinfo_create (monoui);
1258
1259         unwindinfo = (MonoUnwindInfo*)*monoui;
1260
1261         if (size < 0x8)
1262                 g_error ("Stack allocation must be equal to or greater than 0x8.");
1263
1264         if (size <= 0x80)
1265                 codesneeded = 1;
1266         else if (size <= 0x7FFF8)
1267                 codesneeded = 2;
1268         else
1269                 codesneeded = 3;
1270
1271         if (unwindinfo->unwindInfo.CountOfCodes + codesneeded > MONO_MAX_UNWIND_CODES)
1272                 g_error ("Larger allocation needed for the unwind information.");
1273
1274         codeindex = MONO_MAX_UNWIND_CODES - (unwindinfo->unwindInfo.CountOfCodes += codesneeded);
1275         unwindcode = &unwindinfo->unwindInfo.UnwindCode[codeindex];
1276
1277         if (codesneeded == 1) {
1278                 /*The size of the allocation is
1279                   (the number in the OpInfo member) times 8 plus 8*/
1280                 unwindcode->OpInfo = (size - 8)/8;
1281                 unwindcode->UnwindOp = 2; /*UWOP_ALLOC_SMALL*/
1282         }
1283         else {
1284                 if (codesneeded == 3) {
1285                         /*the unscaled size of the allocation is recorded
1286                           in the next two slots in little-endian format*/
1287                         *((unsigned int*)(&unwindcode->FrameOffset)) = size;
1288                         unwindcode += 2;
1289                         unwindcode->OpInfo = 1;
1290                 }
1291                 else {
1292                         /*the size of the allocation divided by 8
1293                           is recorded in the next slot*/
1294                         unwindcode->FrameOffset = size/8;
1295                         unwindcode++;
1296                         unwindcode->OpInfo = 0;
1297
1298                 }
1299                 unwindcode->UnwindOp = 1; /*UWOP_ALLOC_LARGE*/
1300         }
1301
1302         unwindcode->CodeOffset = (((guchar*)nextip)-((guchar*)codebegin));
1303
1304         if (unwindinfo->unwindInfo.SizeOfProlog >= unwindcode->CodeOffset)
1305                 g_error ("Adding unwind info in wrong order.");
1306
1307         unwindinfo->unwindInfo.SizeOfProlog = unwindcode->CodeOffset;
1308 }
1309
1310 guint
1311 mono_arch_unwindinfo_get_size (gpointer monoui)
1312 {
1313         PMonoUnwindInfo unwindinfo;
1314         if (!monoui)
1315                 return 0;
1316
1317         unwindinfo = (MonoUnwindInfo*)monoui;
1318         return (8 + sizeof (MonoUnwindInfo)) -
1319                 (sizeof (UNWIND_CODE) * (MONO_MAX_UNWIND_CODES - unwindinfo->unwindInfo.CountOfCodes));
1320 }
1321
1322 PRUNTIME_FUNCTION
1323 MONO_GET_RUNTIME_FUNCTION_CALLBACK ( DWORD64 ControlPc, IN PVOID Context )
1324 {
1325         MonoJitInfo *ji;
1326         guint64 pos;
1327         PMonoUnwindInfo targetinfo;
1328         MonoDomain *domain = mono_domain_get ();
1329
1330         ji = mini_jit_info_table_find (domain, (char*)ControlPc, NULL);
1331         if (!ji)
1332                 return 0;
1333
1334         pos = (guint64)(((char*)ji->code_start) + ji->code_size);
1335
1336         targetinfo = (PMonoUnwindInfo)ALIGN_TO (pos, 8);
1337
1338         targetinfo->runtimeFunction.UnwindData = ((DWORD64)&targetinfo->unwindInfo) - ((DWORD64)Context);
1339
1340         return &targetinfo->runtimeFunction;
1341 }
1342
1343 void
1344 mono_arch_unwindinfo_install_unwind_info (gpointer* monoui, gpointer code, guint code_size)
1345 {
1346         PMonoUnwindInfo unwindinfo, targetinfo;
1347         guchar codecount;
1348         guint64 targetlocation;
1349         if (!*monoui)
1350                 return;
1351
1352         unwindinfo = (MonoUnwindInfo*)*monoui;
1353         targetlocation = (guint64)&(((guchar*)code)[code_size]);
1354         targetinfo = (PMonoUnwindInfo) ALIGN_TO(targetlocation, 8);
1355
1356         unwindinfo->runtimeFunction.EndAddress = code_size;
1357         unwindinfo->runtimeFunction.UnwindData = ((guchar*)&targetinfo->unwindInfo) - ((guchar*)code);
1358
1359         memcpy (targetinfo, unwindinfo, sizeof (MonoUnwindInfo) - (sizeof (UNWIND_CODE) * MONO_MAX_UNWIND_CODES));
1360
1361         codecount = unwindinfo->unwindInfo.CountOfCodes;
1362         if (codecount) {
1363                 memcpy (&targetinfo->unwindInfo.UnwindCode[0], &unwindinfo->unwindInfo.UnwindCode[MONO_MAX_UNWIND_CODES-codecount],
1364                         sizeof (UNWIND_CODE) * unwindinfo->unwindInfo.CountOfCodes);
1365         }
1366
1367         g_free (unwindinfo);
1368         *monoui = 0;
1369
1370         RtlInstallFunctionTableCallback (((DWORD64)code) | 0x3, (DWORD64)code, code_size, MONO_GET_RUNTIME_FUNCTION_CALLBACK, code, NULL);
1371 }
1372
1373 #endif
1374
1375 #if MONO_SUPPORT_TASKLETS
1376 MonoContinuationRestore
1377 mono_tasklets_arch_restore (void)
1378 {
1379         static guint8* saved = NULL;
1380         guint8 *code, *start;
1381         int cont_reg = AMD64_R9; /* register usable on both call conventions */
1382
1383         if (saved)
1384                 return (MonoContinuationRestore)saved;
1385         code = start = mono_global_codeman_reserve (64);
1386         /* the signature is: restore (MonoContinuation *cont, int state, MonoLMF **lmf_addr) */
1387         /* cont is in AMD64_ARG_REG1 ($rcx or $rdi)
1388          * state is in AMD64_ARG_REG2 ($rdx or $rsi)
1389          * lmf_addr is in AMD64_ARG_REG3 ($r8 or $rdx)
1390          * We move cont to cont_reg since we need both rcx and rdi for the copy
1391          * state is moved to $rax so it's setup as the return value and we can overwrite $rsi
1392          */
1393         amd64_mov_reg_reg (code, cont_reg, MONO_AMD64_ARG_REG1, 8);
1394         amd64_mov_reg_reg (code, AMD64_RAX, MONO_AMD64_ARG_REG2, 8);
1395         /* setup the copy of the stack */
1396         amd64_mov_reg_membase (code, AMD64_RCX, cont_reg, G_STRUCT_OFFSET (MonoContinuation, stack_used_size), sizeof (int));
1397         amd64_shift_reg_imm (code, X86_SHR, AMD64_RCX, 3);
1398         x86_cld (code);
1399         amd64_mov_reg_membase (code, AMD64_RSI, cont_reg, G_STRUCT_OFFSET (MonoContinuation, saved_stack), sizeof (gpointer));
1400         amd64_mov_reg_membase (code, AMD64_RDI, cont_reg, G_STRUCT_OFFSET (MonoContinuation, return_sp), sizeof (gpointer));
1401         amd64_prefix (code, X86_REP_PREFIX);
1402         amd64_movsl (code);
1403
1404         /* now restore the registers from the LMF */
1405         amd64_mov_reg_membase (code, AMD64_RCX, cont_reg, G_STRUCT_OFFSET (MonoContinuation, lmf), 8);
1406         amd64_mov_reg_membase (code, AMD64_RBX, AMD64_RCX, G_STRUCT_OFFSET (MonoLMF, rbx), 8);
1407         amd64_mov_reg_membase (code, AMD64_RBP, AMD64_RCX, G_STRUCT_OFFSET (MonoLMF, rbp), 8);
1408         amd64_mov_reg_membase (code, AMD64_R12, AMD64_RCX, G_STRUCT_OFFSET (MonoLMF, r12), 8);
1409         amd64_mov_reg_membase (code, AMD64_R13, AMD64_RCX, G_STRUCT_OFFSET (MonoLMF, r13), 8);
1410         amd64_mov_reg_membase (code, AMD64_R14, AMD64_RCX, G_STRUCT_OFFSET (MonoLMF, r14), 8);
1411         amd64_mov_reg_membase (code, AMD64_R15, AMD64_RCX, G_STRUCT_OFFSET (MonoLMF, r15), 8);
1412 #ifdef TARGET_WIN32
1413         amd64_mov_reg_membase (code, AMD64_RDI, AMD64_RCX, G_STRUCT_OFFSET (MonoLMF, rdi), 8);
1414         amd64_mov_reg_membase (code, AMD64_RSI, AMD64_RCX, G_STRUCT_OFFSET (MonoLMF, rsi), 8);
1415 #endif
1416         amd64_mov_reg_membase (code, AMD64_RSP, AMD64_RCX, G_STRUCT_OFFSET (MonoLMF, rsp), 8);
1417
1418         /* restore the lmf chain */
1419         /*x86_mov_reg_membase (code, X86_ECX, X86_ESP, 12, 4);
1420         x86_mov_membase_reg (code, X86_ECX, 0, X86_EDX, 4);*/
1421
1422         /* state is already in rax */
1423         amd64_jump_membase (code, cont_reg, G_STRUCT_OFFSET (MonoContinuation, return_ip));
1424         g_assert ((code - start) <= 64);
1425         saved = start;
1426         return (MonoContinuationRestore)saved;
1427 }
1428 #endif
1429