mono/mini/exceptions-amd64.c

   1 /*
   2  * exceptions-amd64.c: exception support for AMD64
   3  *
   4  * Authors:
   5  *   Dietmar Maurer (dietmar@ximian.com)
   6  *
   7  * (C) 2001 Ximian, Inc.
   8  */
   9
  10 #include <config.h>
  11 #include <glib.h>
  12 #include <signal.h>
  13 #include <string.h>
  14 #ifdef HAVE_UCONTEXT_H
  15 #include <ucontext.h>
  16 #endif
  17
  18 #include <mono/arch/amd64/amd64-codegen.h>
  19 #include <mono/metadata/appdomain.h>
  20 #include <mono/metadata/tabledefs.h>
  21 #include <mono/metadata/threads.h>
  22 #include <mono/metadata/threads-types.h>
  23 #include <mono/metadata/debug-helpers.h>
  24 #include <mono/metadata/exception.h>
  25 #include <mono/metadata/gc-internal.h>
  26 #include <mono/metadata/mono-debug.h>
  27 #include <mono/utils/mono-mmap.h>
  28
  29 #include "mini.h"
  30 #include "mini-amd64.h"
  31 #include "tasklets.h"
  32 #include "debug-mini.h"
  33
  34 #define ALIGN_TO(val,align) (((val) + ((align) - 1)) & ~((align) - 1))
  35
  36 #ifdef TARGET_WIN32
  37 static MonoW32ExceptionHandler fpe_handler;
  38 static MonoW32ExceptionHandler ill_handler;
  39 static MonoW32ExceptionHandler segv_handler;
  40
  41 static LPTOP_LEVEL_EXCEPTION_FILTER old_handler;
  42
  43 #define W32_SEH_HANDLE_EX(_ex) \
  44         if (_ex##_handler) _ex##_handler(0, er, sctx)
  45
  46 /*
  47  * Unhandled Exception Filter
  48  * Top-level per-process exception handler.
  49  */
  50 LONG CALLBACK seh_handler(EXCEPTION_POINTERS* ep)
  51 {
  52         EXCEPTION_RECORD* er;
  53         CONTEXT* ctx;
  54         MonoContext* sctx;
  55         LONG res;
  56
  57         res = EXCEPTION_CONTINUE_EXECUTION;
  58
  59         er = ep->ExceptionRecord;
  60         ctx = ep->ContextRecord;
  61         sctx = g_malloc(sizeof(MonoContext));
  62
  63         /* Copy Win32 context to UNIX style context */
  64         sctx->rax = ctx->Rax;
  65         sctx->rbx = ctx->Rbx;
  66         sctx->rcx = ctx->Rcx;
  67         sctx->rdx = ctx->Rdx;
  68         sctx->rbp = ctx->Rbp;
  69         sctx->rsp = ctx->Rsp;
  70         sctx->rsi = ctx->Rsi;
  71         sctx->rdi = ctx->Rdi;
  72         sctx->rip = ctx->Rip;
  73         sctx->r12 = ctx->R12;
  74         sctx->r13 = ctx->R13;
  75         sctx->r14 = ctx->R14;
  76         sctx->r15 = ctx->R15;
  77
  78         switch (er->ExceptionCode) {
  79         case EXCEPTION_ACCESS_VIOLATION:
  80                 W32_SEH_HANDLE_EX(segv);
  81                 break;
  82         case EXCEPTION_ILLEGAL_INSTRUCTION:
  83                 W32_SEH_HANDLE_EX(ill);
  84                 break;
  85         case EXCEPTION_INT_DIVIDE_BY_ZERO:
  86         case EXCEPTION_INT_OVERFLOW:
  87         case EXCEPTION_FLT_DIVIDE_BY_ZERO:
  88         case EXCEPTION_FLT_OVERFLOW:
  89         case EXCEPTION_FLT_UNDERFLOW:
  90         case EXCEPTION_FLT_INEXACT_RESULT:
  91                 W32_SEH_HANDLE_EX(fpe);
  92                 break;
  93         default:
  94                 break;
  95         }
  96
  97         /* Copy context back */
  98         /* Nonvolatile */
  99         ctx->Rsp = sctx->rsp;
 100         ctx->Rdi = sctx->rdi;
 101         ctx->Rsi = sctx->rsi;
 102         ctx->Rbx = sctx->rbx;
 103         ctx->Rbp = sctx->rbp;
 104         ctx->R12 = sctx->r12;
 105         ctx->R13 = sctx->r13;
 106         ctx->R14 = sctx->r14;
 107         ctx->R15 = sctx->r15;
 108         ctx->Rip = sctx->rip;
 109
 110         /* Volatile But should not matter?*/
 111         ctx->Rax = sctx->rax;
 112         ctx->Rcx = sctx->rcx;
 113         ctx->Rdx = sctx->rdx;
 114
 115         g_free (sctx);
 116
 117         return res;
 118 }
 119
 120 void win32_seh_init()
 121 {
 122         old_handler = SetUnhandledExceptionFilter(seh_handler);
 123 }
 124
 125 void win32_seh_cleanup()
 126 {
 127         if (old_handler) SetUnhandledExceptionFilter(old_handler);
 128 }
 129
 130 void win32_seh_set_handler(int type, MonoW32ExceptionHandler handler)
 131 {
 132         switch (type) {
 133         case SIGFPE:
 134                 fpe_handler = handler;
 135                 break;
 136         case SIGILL:
 137                 ill_handler = handler;
 138                 break;
 139         case SIGSEGV:
 140                 segv_handler = handler;
 141                 break;
 142         default:
 143                 break;
 144         }
 145 }
 146
 147 #endif /* TARGET_WIN32 */
 148
 149 /*
 150  * mono_arch_get_restore_context:
 151  *
 152  * Returns a pointer to a method which restores a previously saved sigcontext.
 153  */
 154 gpointer
 155 mono_arch_get_restore_context (MonoTrampInfo **info, gboolean aot)
 156 {
 157         guint8 *start = NULL;
 158         guint8 *code;
 159         MonoJumpInfo *ji = NULL;
 160         GSList *unwind_ops = NULL;
 161
 162         /* restore_contect (MonoContext *ctx) */
 163
 164         start = code = mono_global_codeman_reserve (256);
 165
 166         amd64_mov_reg_reg (code, AMD64_R11, AMD64_ARG_REG1, 8);
 167
 168         /* Restore all registers except %rip and %r11 */
 169         amd64_mov_reg_membase (code, AMD64_RAX, AMD64_R11,  G_STRUCT_OFFSET (MonoContext, rax), 8);
 170         amd64_mov_reg_membase (code, AMD64_RCX, AMD64_R11,  G_STRUCT_OFFSET (MonoContext, rcx), 8);
 171         amd64_mov_reg_membase (code, AMD64_RDX, AMD64_R11,  G_STRUCT_OFFSET (MonoContext, rdx), 8);
 172         amd64_mov_reg_membase (code, AMD64_RBX, AMD64_R11,  G_STRUCT_OFFSET (MonoContext, rbx), 8);
 173         amd64_mov_reg_membase (code, AMD64_RBP, AMD64_R11,  G_STRUCT_OFFSET (MonoContext, rbp), 8);
 174         amd64_mov_reg_membase (code, AMD64_RSI, AMD64_R11,  G_STRUCT_OFFSET (MonoContext, rsi), 8);
 175         amd64_mov_reg_membase (code, AMD64_RDI, AMD64_R11,  G_STRUCT_OFFSET (MonoContext, rdi), 8);
 176         //amd64_mov_reg_membase (code, AMD64_R8, AMD64_R11,  G_STRUCT_OFFSET (MonoContext, r8), 8);
 177         //amd64_mov_reg_membase (code, AMD64_R9, AMD64_R11,  G_STRUCT_OFFSET (MonoContext, r9), 8);
 178         //amd64_mov_reg_membase (code, AMD64_R10, AMD64_R11,  G_STRUCT_OFFSET (MonoContext, r10), 8);
 179         amd64_mov_reg_membase (code, AMD64_R12, AMD64_R11,  G_STRUCT_OFFSET (MonoContext, r12), 8);
 180         amd64_mov_reg_membase (code, AMD64_R13, AMD64_R11,  G_STRUCT_OFFSET (MonoContext, r13), 8);
 181         amd64_mov_reg_membase (code, AMD64_R14, AMD64_R11,  G_STRUCT_OFFSET (MonoContext, r14), 8);
 182 #if !defined(__native_client_codegen__)
 183         amd64_mov_reg_membase (code, AMD64_R15, AMD64_R11,  G_STRUCT_OFFSET (MonoContext, r15), 8);
 184 #endif
 185
 186         if (mono_running_on_valgrind ()) {
 187                 /* Prevent 'Address 0x... is just below the stack ptr.' errors */
 188                 amd64_mov_reg_membase (code, AMD64_R8, AMD64_R11,  G_STRUCT_OFFSET (MonoContext, rsp), 8);
 189                 amd64_mov_reg_membase (code, AMD64_R11, AMD64_R11,  G_STRUCT_OFFSET (MonoContext, rip), 8);
 190                 amd64_mov_reg_reg (code, AMD64_RSP, AMD64_R8, 8);
 191         } else {
 192                 amd64_mov_reg_membase (code, AMD64_RSP, AMD64_R11,  G_STRUCT_OFFSET (MonoContext, rsp), 8);
 193                 /* get return address */
 194                 amd64_mov_reg_membase (code, AMD64_R11, AMD64_R11,  G_STRUCT_OFFSET (MonoContext, rip), 8);
 195         }
 196
 197         /* jump to the saved IP */
 198         amd64_jump_reg (code, AMD64_R11);
 199
 200         nacl_global_codeman_validate(&start, 256, &code);
 201
 202         mono_arch_flush_icache (start, code - start);
 203
 204         if (info)
 205                 *info = mono_tramp_info_create (g_strdup_printf ("restore_context"), start, code - start, ji, unwind_ops);
 206
 207         return start;
 208 }
 209
 210 /*
 211  * mono_arch_get_call_filter:
 212  *
 213  * Returns a pointer to a method which calls an exception filter. We
 214  * also use this function to call finally handlers (we pass NULL as
 215  * @exc object in this case).
 216  */
 217 gpointer
 218 mono_arch_get_call_filter (MonoTrampInfo **info, gboolean aot)
 219 {
 220         guint8 *start;
 221         int i;
 222         guint8 *code;
 223         guint32 pos;
 224         MonoJumpInfo *ji = NULL;
 225         GSList *unwind_ops = NULL;
 226         const guint kMaxCodeSize = NACL_SIZE (128, 256);
 227
 228         start = code = mono_global_codeman_reserve (kMaxCodeSize);
 229
 230         /* call_filter (MonoContext *ctx, unsigned long eip) */
 231         code = start;
 232
 233         /* Alloc new frame */
 234         amd64_push_reg (code, AMD64_RBP);
 235         amd64_mov_reg_reg (code, AMD64_RBP, AMD64_RSP, 8);
 236
 237         /* Save callee saved regs */
 238         pos = 0;
 239         for (i = 0; i < AMD64_NREG; ++i)
 240                 if (AMD64_IS_CALLEE_SAVED_REG (i)) {
 241                         amd64_push_reg (code, i);
 242                         pos += 8;
 243                 }
 244
 245         /* Save EBP */
 246         pos += 8;
 247         amd64_push_reg (code, AMD64_RBP);
 248
 249         /* Make stack misaligned, the call will make it aligned again */
 250         if (! (pos & 8))
 251                 amd64_alu_reg_imm (code, X86_SUB, AMD64_RSP, 8);
 252
 253         /* set new EBP */
 254         amd64_mov_reg_membase (code, AMD64_RBP, AMD64_ARG_REG1, G_STRUCT_OFFSET (MonoContext, rbp), 8);
 255         /* load callee saved regs */
 256         amd64_mov_reg_membase (code, AMD64_RBX, AMD64_ARG_REG1, G_STRUCT_OFFSET (MonoContext, rbx), 8);
 257         amd64_mov_reg_membase (code, AMD64_R12, AMD64_ARG_REG1, G_STRUCT_OFFSET (MonoContext, r12), 8);
 258         amd64_mov_reg_membase (code, AMD64_R13, AMD64_ARG_REG1, G_STRUCT_OFFSET (MonoContext, r13), 8);
 259         amd64_mov_reg_membase (code, AMD64_R14, AMD64_ARG_REG1, G_STRUCT_OFFSET (MonoContext, r14), 8);
 260 #if !defined(__native_client_codegen__)
 261         amd64_mov_reg_membase (code, AMD64_R15, AMD64_ARG_REG1, G_STRUCT_OFFSET (MonoContext, r15), 8);
 262 #endif
 263 #ifdef TARGET_WIN32
 264         amd64_mov_reg_membase (code, AMD64_RDI, AMD64_ARG_REG1,  G_STRUCT_OFFSET (MonoContext, rdi), 8);
 265         amd64_mov_reg_membase (code, AMD64_RSI, AMD64_ARG_REG1,  G_STRUCT_OFFSET (MonoContext, rsi), 8);
 266 #endif
 267
 268         /* call the handler */
 269         amd64_call_reg (code, AMD64_ARG_REG2);
 270
 271         if (! (pos & 8))
 272                 amd64_alu_reg_imm (code, X86_ADD, AMD64_RSP, 8);
 273
 274         /* restore RBP */
 275         amd64_pop_reg (code, AMD64_RBP);
 276
 277         /* Restore callee saved regs */
 278         for (i = AMD64_NREG; i >= 0; --i)
 279                 if (AMD64_IS_CALLEE_SAVED_REG (i))
 280                         amd64_pop_reg (code, i);
 281
 282         amd64_leave (code);
 283         amd64_ret (code);
 284
 285         g_assert ((code - start) < kMaxCodeSize);
 286
 287         nacl_global_codeman_validate(&start, kMaxCodeSize, &code);
 288
 289         mono_arch_flush_icache (start, code - start);
 290
 291         if (info)
 292                 *info = mono_tramp_info_create (g_strdup_printf ("call_filter"), start, code - start, ji, unwind_ops);
 293
 294         return start;
 295 }
 296
 297 /*
 298  * The first few arguments are dummy, to force the other arguments to be passed on
 299  * the stack, this avoids overwriting the argument registers in the throw trampoline.
 300  */
 301 void
 302 mono_amd64_throw_exception (guint64 dummy1, guint64 dummy2, guint64 dummy3, guint64 dummy4,
 303                                                         guint64 dummy5, guint64 dummy6,
 304                                                         mgreg_t *regs, mgreg_t rip,
 305                                                         MonoObject *exc, gboolean rethrow)
 306 {
 307         static void (*restore_context) (MonoContext *);
 308         MonoContext ctx;
 309
 310         if (!restore_context)
 311                 restore_context = mono_get_restore_context ();
 312
 313         ctx.rsp = regs [AMD64_RSP];
 314         ctx.rip = rip;
 315         ctx.rbx = regs [AMD64_RBX];
 316         ctx.rbp = regs [AMD64_RBP];
 317         ctx.r12 = regs [AMD64_R12];
 318         ctx.r13 = regs [AMD64_R13];
 319         ctx.r14 = regs [AMD64_R14];
 320         ctx.r15 = regs [AMD64_R15];
 321         ctx.rdi = regs [AMD64_RDI];
 322         ctx.rsi = regs [AMD64_RSI];
 323         ctx.rax = regs [AMD64_RAX];
 324         ctx.rcx = regs [AMD64_RCX];
 325         ctx.rdx = regs [AMD64_RDX];
 326
 327         if (mono_object_isinst (exc, mono_defaults.exception_class)) {
 328                 MonoException *mono_ex = (MonoException*)exc;
 329                 if (!rethrow)
 330                         mono_ex->stack_trace = NULL;
 331         }
 332
 333         if (mono_debug_using_mono_debugger ()) {
 334                 guint8 buf [16], *code;
 335
 336                 mono_breakpoint_clean_code (NULL, (gpointer)rip, 8, buf, sizeof (buf));
 337                 code = buf + 8;
 338
 339                 if (buf [3] == 0xe8) {
 340                         MonoContext ctx_cp = ctx;
 341                         ctx_cp.rip = rip - 5;
 342
 343                         if (mono_debugger_handle_exception (&ctx_cp, exc)) {
 344                                 restore_context (&ctx_cp);
 345                                 g_assert_not_reached ();
 346                         }
 347                 }
 348         }
 349
 350         /* adjust eip so that it point into the call instruction */
 351         ctx.rip -= 1;
 352
 353         mono_handle_exception (&ctx, exc, (gpointer)rip, FALSE);
 354         restore_context (&ctx);
 355
 356         g_assert_not_reached ();
 357 }
 358
 359 void
 360 mono_amd64_throw_corlib_exception (guint64 dummy1, guint64 dummy2, guint64 dummy3, guint64 dummy4,
 361                                                                    guint64 dummy5, guint64 dummy6,
 362                                                                    mgreg_t *regs, mgreg_t rip,
 363                                                                    guint32 ex_token_index, gint64 pc_offset)
 364 {
 365         guint32 ex_token = MONO_TOKEN_TYPE_DEF | ex_token_index;
 366         MonoException *ex;
 367
 368         ex = mono_exception_from_token (mono_defaults.exception_class->image, ex_token);
 369
 370         rip -= pc_offset;
 371
 372         /* Negate the ip adjustment done in mono_amd64_throw_exception () */
 373         rip += 1;
 374
 375         mono_amd64_throw_exception (dummy1, dummy2, dummy3, dummy4, dummy5, dummy6, regs, rip, (MonoObject*)ex, FALSE);
 376 }
 377
 378 static void
 379 mono_amd64_resume_unwind (guint64 dummy1, guint64 dummy2, guint64 dummy3, guint64 dummy4,
 380                                                   guint64 dummy5, guint64 dummy6,
 381                                                   mgreg_t *regs, mgreg_t rip,
 382                                                   guint32 dummy7, gint64 dummy8)
 383 {
 384         /* Only the register parameters are valid */
 385         MonoContext ctx;
 386
 387         ctx.rsp = regs [AMD64_RSP];
 388         ctx.rip = rip;
 389         ctx.rbx = regs [AMD64_RBX];
 390         ctx.rbp = regs [AMD64_RBP];
 391         ctx.r12 = regs [AMD64_R12];
 392         ctx.r13 = regs [AMD64_R13];
 393         ctx.r14 = regs [AMD64_R14];
 394         ctx.r15 = regs [AMD64_R15];
 395         ctx.rdi = regs [AMD64_RDI];
 396         ctx.rsi = regs [AMD64_RSI];
 397         ctx.rax = regs [AMD64_RAX];
 398         ctx.rcx = regs [AMD64_RCX];
 399         ctx.rdx = regs [AMD64_RDX];
 400
 401         mono_resume_unwind (&ctx);
 402 }
 403
 404 /*
 405  * get_throw_trampoline:
 406  *
 407  *  Generate a call to mono_amd64_throw_exception/
 408  * mono_amd64_throw_corlib_exception.
 409  */
 410 static gpointer
 411 get_throw_trampoline (MonoTrampInfo **info, gboolean rethrow, gboolean corlib, gboolean llvm_abs, gboolean resume_unwind, const char *tramp_name, gboolean aot)
 412 {
 413         guint8* start;
 414         guint8 *code;
 415         MonoJumpInfo *ji = NULL;
 416         GSList *unwind_ops = NULL;
 417         int i, stack_size, arg_offsets [16], regs_offset;
 418         const guint kMaxCodeSize = NACL_SIZE (256, 512);
 419
 420         start = code = mono_global_codeman_reserve (kMaxCodeSize);
 421
 422         /* The stack is unaligned on entry */
 423         stack_size = 192 + 8;
 424
 425         code = start;
 426
 427         if (info)
 428                 unwind_ops = mono_arch_get_cie_program ();
 429
 430         /* Alloc frame */
 431         amd64_alu_reg_imm (code, X86_SUB, AMD64_RSP, stack_size);
 432         if (info)
 433                 mono_add_unwind_op_def_cfa_offset (unwind_ops, code, start, stack_size + 8);
 434
 435         /*
 436          * To hide linux/windows calling convention differences, we pass all arguments on
 437          * the stack by passing 6 dummy values in registers.
 438          */
 439
 440         arg_offsets [0] = 0;
 441         arg_offsets [1] = sizeof(mgreg_t);
 442         arg_offsets [2] = sizeof(mgreg_t) * 2;
 443         arg_offsets [3] = sizeof(mgreg_t) * 3;
 444         regs_offset = sizeof(mgreg_t) * 4;
 445
 446         /* Save registers */
 447         for (i = 0; i < AMD64_NREG; ++i)
 448                 if (i != AMD64_RSP)
 449                         amd64_mov_membase_reg (code, AMD64_RSP, regs_offset + (i * sizeof(mgreg_t)), i, sizeof(mgreg_t));
 450         /* Save RSP */
 451         amd64_lea_membase (code, AMD64_RAX, AMD64_RSP, stack_size + sizeof(mgreg_t));
 452         amd64_mov_membase_reg (code, AMD64_RSP, regs_offset + (AMD64_RSP * sizeof(mgreg_t)), X86_EAX, sizeof(mgreg_t));
 453         /* Set arg1 == regs */
 454         amd64_lea_membase (code, AMD64_RAX, AMD64_RSP, regs_offset);
 455         amd64_mov_membase_reg (code, AMD64_RSP, arg_offsets [0], AMD64_RAX, sizeof(mgreg_t));
 456         /* Set arg2 == eip */
 457         if (llvm_abs)
 458                 amd64_alu_reg_reg (code, X86_XOR, AMD64_RAX, AMD64_RAX);
 459         else
 460                 amd64_mov_reg_membase (code, AMD64_RAX, AMD64_RSP, stack_size, sizeof(mgreg_t));
 461         amd64_mov_membase_reg (code, AMD64_RSP, arg_offsets [1], AMD64_RAX, sizeof(mgreg_t));
 462         /* Set arg3 == exc/ex_token_index */
 463         if (resume_unwind)
 464                 amd64_mov_membase_imm (code, AMD64_RSP, arg_offsets [2], 0, sizeof(mgreg_t));
 465         else
 466                 amd64_mov_membase_reg (code, AMD64_RSP, arg_offsets [2], AMD64_ARG_REG1, sizeof(mgreg_t));
 467         /* Set arg4 == rethrow/pc offset */
 468         if (resume_unwind) {
 469                 amd64_mov_membase_imm (code, AMD64_RSP, arg_offsets [3], 0, sizeof(mgreg_t));
 470         } else if (corlib) {
 471                 amd64_mov_membase_reg (code, AMD64_RSP, arg_offsets [3], AMD64_ARG_REG2, sizeof(mgreg_t));
 472                 if (llvm_abs)
 473                         /*
 474                          * The caller is LLVM code which passes the absolute address not a pc offset,
 475                          * so compensate by passing 0 as 'rip' and passing the negated abs address as
 476                          * the pc offset.
 477                          */
 478                         amd64_neg_membase (code, AMD64_RSP, arg_offsets [3]);
 479         } else {
 480                 amd64_mov_membase_imm (code, AMD64_RSP, arg_offsets [3], rethrow, sizeof(mgreg_t));
 481         }
 482
 483         if (aot) {
 484                 ji = mono_patch_info_list_prepend (ji, code - start, MONO_PATCH_INFO_JIT_ICALL_ADDR, corlib ? "mono_amd64_throw_corlib_exception" : "mono_amd64_throw_exception");
 485                 amd64_mov_reg_membase (code, AMD64_R11, AMD64_RIP, 0, 8);
 486         } else {
 487                 amd64_mov_reg_imm (code, AMD64_R11, resume_unwind ? (mono_amd64_resume_unwind) : (corlib ? (gpointer)mono_amd64_throw_corlib_exception : (gpointer)mono_amd64_throw_exception));
 488         }
 489         amd64_call_reg (code, AMD64_R11);
 490         amd64_breakpoint (code);
 491
 492         mono_arch_flush_icache (start, code - start);
 493
 494         g_assert ((code - start) < kMaxCodeSize);
 495
 496         nacl_global_codeman_validate(&start, kMaxCodeSize, &code);
 497
 498         if (info)
 499                 *info = mono_tramp_info_create (g_strdup (tramp_name), start, code - start, ji, unwind_ops);
 500
 501         return start;
 502 }
 503
 504 /**
 505  * mono_arch_get_throw_exception:
 506  *
 507  * Returns a function pointer which can be used to raise
 508  * exceptions. The returned function has the following
 509  * signature: void (*func) (MonoException *exc);
 510  *
 511  */
 512 gpointer
 513 mono_arch_get_throw_exception (MonoTrampInfo **info, gboolean aot)
 514 {
 515         return get_throw_trampoline (info, FALSE, FALSE, FALSE, FALSE, "throw_exception", aot);
 516 }
 517
 518 gpointer
 519 mono_arch_get_rethrow_exception (MonoTrampInfo **info, gboolean aot)
 520 {
 521         return get_throw_trampoline (info, TRUE, FALSE, FALSE, FALSE, "rethrow_exception", aot);
 522 }
 523
 524 /**
 525  * mono_arch_get_throw_corlib_exception:
 526  *
 527  * Returns a function pointer which can be used to raise
 528  * corlib exceptions. The returned function has the following
 529  * signature: void (*func) (guint32 ex_token, guint32 offset);
 530  * Here, offset is the offset which needs to be substracted from the caller IP
 531  * to get the IP of the throw. Passing the offset has the advantage that it
 532  * needs no relocations in the caller.
 533  */
 534 gpointer
 535 mono_arch_get_throw_corlib_exception (MonoTrampInfo **info, gboolean aot)
 536 {
 537         return get_throw_trampoline (info, FALSE, TRUE, FALSE, FALSE, "throw_corlib_exception", aot);
 538 }
 539
 540 /*
 541  * mono_arch_find_jit_info:
 542  *
 543  * This function is used to gather information from @ctx, and store it in @frame_info.
 544  * It unwinds one stack frame, and stores the resulting context into @new_ctx. @lmf
 545  * is modified if needed.
 546  * Returns TRUE on success, FALSE otherwise.
 547  */
 548 gboolean
 549 mono_arch_find_jit_info (MonoDomain *domain, MonoJitTlsData *jit_tls,
 550                                                          MonoJitInfo *ji, MonoContext *ctx,
 551                                                          MonoContext *new_ctx, MonoLMF **lmf,
 552                                                          mgreg_t **save_locations,
 553                                                          StackFrameInfo *frame)
 554 {
 555         gpointer ip = MONO_CONTEXT_GET_IP (ctx);
 556
 557         memset (frame, 0, sizeof (StackFrameInfo));
 558         frame->ji = ji;
 559
 560         *new_ctx = *ctx;
 561
 562         if (ji != NULL) {
 563                 mgreg_t regs [MONO_MAX_IREGS + 1];
 564                 guint8 *cfa;
 565                 guint32 unwind_info_len;
 566                 guint8 *unwind_info;
 567
 568                 frame->type = FRAME_TYPE_MANAGED;
 569
 570                 if (ji->from_aot)
 571                         unwind_info = mono_aot_get_unwind_info (ji, &unwind_info_len);
 572                 else
 573                         unwind_info = mono_get_cached_unwind_info (ji->used_regs, &unwind_info_len);
 574
 575                 frame->unwind_info = unwind_info;
 576                 frame->unwind_info_len = unwind_info_len;
 577
 578                 regs [AMD64_RAX] = new_ctx->rax;
 579                 regs [AMD64_RBX] = new_ctx->rbx;
 580                 regs [AMD64_RCX] = new_ctx->rcx;
 581                 regs [AMD64_RDX] = new_ctx->rdx;
 582                 regs [AMD64_RBP] = new_ctx->rbp;
 583                 regs [AMD64_RSP] = new_ctx->rsp;
 584                 regs [AMD64_RSI] = new_ctx->rsi;
 585                 regs [AMD64_RDI] = new_ctx->rdi;
 586                 regs [AMD64_RIP] = new_ctx->rip;
 587                 regs [AMD64_R12] = new_ctx->r12;
 588                 regs [AMD64_R13] = new_ctx->r13;
 589                 regs [AMD64_R14] = new_ctx->r14;
 590                 regs [AMD64_R15] = new_ctx->r15;
 591
 592                 mono_unwind_frame (unwind_info, unwind_info_len, ji->code_start,
 593                                                    (guint8*)ji->code_start + ji->code_size,
 594                                                    ip, regs, MONO_MAX_IREGS + 1,
 595                                                    save_locations, MONO_MAX_IREGS, &cfa);
 596
 597                 new_ctx->rax = regs [AMD64_RAX];
 598                 new_ctx->rbx = regs [AMD64_RBX];
 599                 new_ctx->rcx = regs [AMD64_RCX];
 600                 new_ctx->rdx = regs [AMD64_RDX];
 601                 new_ctx->rbp = regs [AMD64_RBP];
 602                 new_ctx->rsp = regs [AMD64_RSP];
 603                 new_ctx->rsi = regs [AMD64_RSI];
 604                 new_ctx->rdi = regs [AMD64_RDI];
 605                 new_ctx->rip = regs [AMD64_RIP];
 606                 new_ctx->r12 = regs [AMD64_R12];
 607                 new_ctx->r13 = regs [AMD64_R13];
 608                 new_ctx->r14 = regs [AMD64_R14];
 609                 new_ctx->r15 = regs [AMD64_R15];
 610
 611                 /* The CFA becomes the new SP value */
 612                 new_ctx->rsp = (mgreg_t)cfa;
 613
 614                 /* Adjust IP */
 615                 new_ctx->rip --;
 616
 617                 if (*lmf && ((*lmf) != jit_tls->first_lmf) && (MONO_CONTEXT_GET_SP (ctx) >= (gpointer)(*lmf)->rsp)) {
 618                         /* remove any unused lmf */
 619                         *lmf = (gpointer)(((guint64)(*lmf)->previous_lmf) & ~3);
 620                 }
 621
 622 #ifndef MONO_AMD64_NO_PUSHES
 623                 /* Pop arguments off the stack */
 624                 {
 625                         MonoJitArgumentInfo *arg_info = g_newa (MonoJitArgumentInfo, mono_method_signature (ji->method)->param_count + 1);
 626
 627                         guint32 stack_to_pop = mono_arch_get_argument_info (mono_method_signature (ji->method), mono_method_signature (ji->method)->param_count, arg_info);
 628                         new_ctx->rsp += stack_to_pop;
 629                 }
 630 #endif
 631
 632                 return TRUE;
 633         } else if (*lmf) {
 634                 guint64 rip;
 635
 636                 if (((guint64)(*lmf)->previous_lmf) & 2) {
 637                         /*
 638                          * This LMF entry is created by the soft debug code to mark transitions to
 639                          * managed code done during invokes.
 640                          */
 641                         MonoLMFExt *ext = (MonoLMFExt*)(*lmf);
 642
 643                         g_assert (ext->debugger_invoke);
 644
 645                         memcpy (new_ctx, &ext->ctx, sizeof (MonoContext));
 646
 647                         *lmf = (gpointer)(((guint64)(*lmf)->previous_lmf) & ~3);
 648
 649                         frame->type = FRAME_TYPE_DEBUGGER_INVOKE;
 650
 651                         return TRUE;
 652                 }
 653
 654                 if (((guint64)(*lmf)->previous_lmf) & 1) {
 655                         /* This LMF has the rip field set */
 656                         rip = (*lmf)->rip;
 657                 } else if ((*lmf)->rsp == 0) {
 658                         /* Top LMF entry */
 659                         return FALSE;
 660                 } else {
 661                         /*
 662                          * The rsp field is set just before the call which transitioned to native
 663                          * code. Obtain the rip from the stack.
 664                          */
 665                         rip = *(guint64*)((*lmf)->rsp - sizeof(mgreg_t));
 666                 }
 667
 668                 ji = mini_jit_info_table_find (domain, (gpointer)rip, NULL);
 669                 /*
 670                  * FIXME: ji == NULL can happen when a managed-to-native wrapper is interrupted
 671                  * in the soft debugger suspend code, since (*lmf)->rsp no longer points to the
 672                  * return address.
 673                  */
 674                 //g_assert (ji);
 675                 if (!ji)
 676                         return FALSE;
 677
 678                 /* Adjust IP */
 679                 rip --;
 680
 681                 frame->ji = ji;
 682                 frame->type = FRAME_TYPE_MANAGED_TO_NATIVE;
 683
 684                 new_ctx->rip = rip;
 685                 new_ctx->rbp = (*lmf)->rbp;
 686                 new_ctx->rsp = (*lmf)->rsp;
 687
 688                 new_ctx->rbx = (*lmf)->rbx;
 689                 new_ctx->r12 = (*lmf)->r12;
 690                 new_ctx->r13 = (*lmf)->r13;
 691                 new_ctx->r14 = (*lmf)->r14;
 692                 new_ctx->r15 = (*lmf)->r15;
 693 #ifdef TARGET_WIN32
 694                 new_ctx->rdi = (*lmf)->rdi;
 695                 new_ctx->rsi = (*lmf)->rsi;
 696 #endif
 697
 698                 *lmf = (gpointer)(((guint64)(*lmf)->previous_lmf) & ~3);
 699
 700                 return TRUE;
 701         }
 702
 703         return FALSE;
 704 }
 705
 706 /*
 707  * handle_exception:
 708  *
 709  *   Called by resuming from a signal handler.
 710  */
 711 static void
 712 handle_signal_exception (gpointer obj, gboolean test_only)
 713 {
 714         MonoJitTlsData *jit_tls = TlsGetValue (mono_jit_tls_id);
 715         MonoContext ctx;
 716         static void (*restore_context) (MonoContext *);
 717
 718         if (!restore_context)
 719                 restore_context = mono_get_restore_context ();
 720
 721         memcpy (&ctx, &jit_tls->ex_ctx, sizeof (MonoContext));
 722
 723         if (mono_debugger_handle_exception (&ctx, (MonoObject *)obj))
 724                 return;
 725
 726         mono_handle_exception (&ctx, obj, MONO_CONTEXT_GET_IP (&ctx), test_only);
 727
 728         restore_context (&ctx);
 729 }
 730
 731 /**
 732  * mono_arch_handle_exception:
 733  *
 734  * @ctx: saved processor state
 735  * @obj: the exception object
 736  */
 737 gboolean
 738 mono_arch_handle_exception (void *sigctx, gpointer obj, gboolean test_only)
 739 {
 740 #if defined(MONO_ARCH_USE_SIGACTION)
 741         ucontext_t *ctx = (ucontext_t*)sigctx;
 742
 743         /*
 744          * Handling the exception in the signal handler is problematic, since the original
 745          * signal is disabled, and we could run arbitrary code though the debugger. So
 746          * resume into the normal stack and do most work there if possible.
 747          */
 748         MonoJitTlsData *jit_tls = TlsGetValue (mono_jit_tls_id);
 749         guint64 sp = UCONTEXT_REG_RSP (ctx);
 750
 751         /* Pass the ctx parameter in TLS */
 752         mono_arch_sigctx_to_monoctx (ctx, &jit_tls->ex_ctx);
 753         /* The others in registers */
 754         UCONTEXT_REG_RDI (ctx) = (guint64)obj;
 755         UCONTEXT_REG_RSI (ctx) = test_only;
 756
 757         /* Allocate a stack frame below the red zone */
 758         sp -= 128;
 759         /* The stack should be unaligned */
 760         if (sp % 8 == 0)
 761                 sp -= 8;
 762         UCONTEXT_REG_RSP (ctx) = sp;
 763
 764         UCONTEXT_REG_RIP (ctx) = (guint64)handle_signal_exception;
 765
 766         return TRUE;
 767 #else
 768         MonoContext mctx;
 769
 770         mono_arch_sigctx_to_monoctx (sigctx, &mctx);
 771
 772         if (mono_debugger_handle_exception (&mctx, (MonoObject *)obj))
 773                 return TRUE;
 774
 775         mono_handle_exception (&mctx, obj, MONO_CONTEXT_GET_IP (&mctx), test_only);
 776
 777         mono_arch_monoctx_to_sigctx (&mctx, sigctx);
 778
 779         return TRUE;
 780 #endif
 781 }
 782
 783 void
 784 mono_arch_sigctx_to_monoctx (void *sigctx, MonoContext *mctx)
 785 {
 786 #if defined(__native_client_codegen__) || defined(__native_client__)
 787         printf("WARNING: mono_arch_sigctx_to_monoctx() called!\n");
 788 #endif
 789
 790 #if defined(MONO_ARCH_USE_SIGACTION)
 791         ucontext_t *ctx = (ucontext_t*)sigctx;
 792
 793         mctx->rax = UCONTEXT_REG_RAX (ctx);
 794         mctx->rbx = UCONTEXT_REG_RBX (ctx);
 795         mctx->rcx = UCONTEXT_REG_RCX (ctx);
 796         mctx->rdx = UCONTEXT_REG_RDX (ctx);
 797         mctx->rbp = UCONTEXT_REG_RBP (ctx);
 798         mctx->rsp = UCONTEXT_REG_RSP (ctx);
 799         mctx->rsi = UCONTEXT_REG_RSI (ctx);
 800         mctx->rdi = UCONTEXT_REG_RDI (ctx);
 801         mctx->rip = UCONTEXT_REG_RIP (ctx);
 802         mctx->r12 = UCONTEXT_REG_R12 (ctx);
 803         mctx->r13 = UCONTEXT_REG_R13 (ctx);
 804         mctx->r14 = UCONTEXT_REG_R14 (ctx);
 805         mctx->r15 = UCONTEXT_REG_R15 (ctx);
 806 #else
 807         MonoContext *ctx = (MonoContext *)sigctx;
 808
 809         mctx->rax = ctx->rax;
 810         mctx->rbx = ctx->rbx;
 811         mctx->rcx = ctx->rcx;
 812         mctx->rdx = ctx->rdx;
 813         mctx->rbp = ctx->rbp;
 814         mctx->rsp = ctx->rsp;
 815         mctx->rsi = ctx->rsi;
 816         mctx->rdi = ctx->rdi;
 817         mctx->rip = ctx->rip;
 818         mctx->r12 = ctx->r12;
 819         mctx->r13 = ctx->r13;
 820         mctx->r14 = ctx->r14;
 821         mctx->r15 = ctx->r15;
 822 #endif
 823 }
 824
 825 void
 826 mono_arch_monoctx_to_sigctx (MonoContext *mctx, void *sigctx)
 827 {
 828 #if defined(__native_client__) || defined(__native_client_codegen__)
 829   printf("WARNING: mono_arch_monoctx_to_sigctx() called!\n");
 830 #endif
 831
 832 #if defined(MONO_ARCH_USE_SIGACTION)
 833         ucontext_t *ctx = (ucontext_t*)sigctx;
 834
 835         UCONTEXT_REG_RAX (ctx) = mctx->rax;
 836         UCONTEXT_REG_RBX (ctx) = mctx->rbx;
 837         UCONTEXT_REG_RCX (ctx) = mctx->rcx;
 838         UCONTEXT_REG_RDX (ctx) = mctx->rdx;
 839         UCONTEXT_REG_RBP (ctx) = mctx->rbp;
 840         UCONTEXT_REG_RSP (ctx) = mctx->rsp;
 841         UCONTEXT_REG_RSI (ctx) = mctx->rsi;
 842         UCONTEXT_REG_RDI (ctx) = mctx->rdi;
 843         UCONTEXT_REG_RIP (ctx) = mctx->rip;
 844         UCONTEXT_REG_R12 (ctx) = mctx->r12;
 845         UCONTEXT_REG_R13 (ctx) = mctx->r13;
 846         UCONTEXT_REG_R14 (ctx) = mctx->r14;
 847         UCONTEXT_REG_R15 (ctx) = mctx->r15;
 848 #else
 849         MonoContext *ctx = (MonoContext *)sigctx;
 850
 851         ctx->rax = mctx->rax;
 852         ctx->rbx = mctx->rbx;
 853         ctx->rcx = mctx->rcx;
 854         ctx->rdx = mctx->rdx;
 855         ctx->rbp = mctx->rbp;
 856         ctx->rsp = mctx->rsp;
 857         ctx->rsi = mctx->rsi;
 858         ctx->rdi = mctx->rdi;
 859         ctx->rip = mctx->rip;
 860         ctx->r12 = mctx->r12;
 861         ctx->r13 = mctx->r13;
 862         ctx->r14 = mctx->r14;
 863         ctx->r15 = mctx->r15;
 864 #endif
 865 }
 866
 867 gpointer
 868 mono_arch_ip_from_context (void *sigctx)
 869 {
 870 #if defined(MONO_ARCH_USE_SIGACTION)
 871         ucontext_t *ctx = (ucontext_t*)sigctx;
 872
 873         return (gpointer)UCONTEXT_REG_RIP (ctx);
 874 #else
 875         MonoContext *ctx = sigctx;
 876         return (gpointer)ctx->rip;
 877 #endif
 878 }
 879
 880 static void
 881 restore_soft_guard_pages (void)
 882 {
 883         MonoJitTlsData *jit_tls = TlsGetValue (mono_jit_tls_id);
 884         if (jit_tls->stack_ovf_guard_base)
 885                 mono_mprotect (jit_tls->stack_ovf_guard_base, jit_tls->stack_ovf_guard_size, MONO_MMAP_NONE);
 886 }
 887
 888 /*
 889  * this function modifies mctx so that when it is restored, it
 890  * won't execcute starting at mctx.eip, but in a function that
 891  * will restore the protection on the soft-guard pages and return back to
 892  * continue at mctx.eip.
 893  */
 894 static void
 895 prepare_for_guard_pages (MonoContext *mctx)
 896 {
 897         gpointer *sp;
 898         sp = (gpointer)(mctx->rsp);
 899         sp -= 1;
 900         /* the return addr */
 901         sp [0] = (gpointer)(mctx->rip);
 902         mctx->rip = (guint64)restore_soft_guard_pages;
 903         mctx->rsp = (guint64)sp;
 904 }
 905
 906 static void
 907 altstack_handle_and_restore (void *sigctx, gpointer obj, gboolean stack_ovf)
 908 {
 909         void (*restore_context) (MonoContext *);
 910         MonoContext mctx;
 911
 912         restore_context = mono_get_restore_context ();
 913         mono_arch_sigctx_to_monoctx (sigctx, &mctx);
 914
 915         if (mono_debugger_handle_exception (&mctx, (MonoObject *)obj)) {
 916                 if (stack_ovf)
 917                         prepare_for_guard_pages (&mctx);
 918                 restore_context (&mctx);
 919         }
 920
 921         mono_handle_exception (&mctx, obj, MONO_CONTEXT_GET_IP (&mctx), FALSE);
 922         if (stack_ovf)
 923                 prepare_for_guard_pages (&mctx);
 924         restore_context (&mctx);
 925 }
 926
 927 void
 928 mono_arch_handle_altstack_exception (void *sigctx, gpointer fault_addr, gboolean stack_ovf)
 929 {
 930 #if defined(MONO_ARCH_USE_SIGACTION) && defined(UCONTEXT_GREGS)
 931         MonoException *exc = NULL;
 932         ucontext_t *ctx = (ucontext_t*)sigctx;
 933         MonoJitInfo *ji = mini_jit_info_table_find (mono_domain_get (), (gpointer)UCONTEXT_REG_RIP (sigctx), NULL);
 934         gpointer *sp;
 935         int frame_size;
 936
 937         if (stack_ovf)
 938                 exc = mono_domain_get ()->stack_overflow_ex;
 939         if (!ji)
 940                 mono_handle_native_sigsegv (SIGSEGV, sigctx);
 941
 942         /* setup a call frame on the real stack so that control is returned there
 943          * and exception handling can continue.
 944          * The frame looks like:
 945          *   ucontext struct
 946          *   ...
 947          *   return ip
 948          * 128 is the size of the red zone
 949          */
 950         frame_size = sizeof (ucontext_t) + sizeof (gpointer) * 4 + 128;
 951         frame_size += 15;
 952         frame_size &= ~15;
 953         sp = (gpointer)(UCONTEXT_REG_RSP (sigctx) & ~15);
 954         sp = (gpointer)((char*)sp - frame_size);
 955         /* the arguments must be aligned */
 956         sp [-1] = (gpointer)UCONTEXT_REG_RIP (sigctx);
 957         /* may need to adjust pointers in the new struct copy, depending on the OS */
 958         memcpy (sp + 4, ctx, sizeof (ucontext_t));
 959         /* at the return form the signal handler execution starts in altstack_handle_and_restore() */
 960         UCONTEXT_REG_RIP (sigctx) = (unsigned long)altstack_handle_and_restore;
 961         UCONTEXT_REG_RSP (sigctx) = (unsigned long)(sp - 1);
 962         UCONTEXT_REG_RDI (sigctx) = (unsigned long)(sp + 4);
 963         UCONTEXT_REG_RSI (sigctx) = (guint64)exc;
 964         UCONTEXT_REG_RDX (sigctx) = stack_ovf;
 965 #endif
 966 }
 967
 968 guint64
 969 mono_amd64_get_original_ip (void)
 970 {
 971         MonoLMF *lmf = mono_get_lmf ();
 972
 973         g_assert (lmf);
 974
 975         /* Reset the change to previous_lmf */
 976         lmf->previous_lmf = (gpointer)((guint64)lmf->previous_lmf & ~1);
 977
 978         return lmf->rip;
 979 }
 980
 981 gpointer
 982 mono_arch_get_throw_pending_exception (MonoTrampInfo **info, gboolean aot)
 983 {
 984         guint8 *code, *start;
 985         guint8 *br[1];
 986         gpointer throw_trampoline;
 987         MonoJumpInfo *ji = NULL;
 988         GSList *unwind_ops = NULL;
 989         const guint kMaxCodeSize = NACL_SIZE (128, 256);
 990
 991         start = code = mono_global_codeman_reserve (kMaxCodeSize);
 992
 993         /* We are in the frame of a managed method after a call */
 994         /*
 995          * We would like to throw the pending exception in such a way that it looks to
 996          * be thrown from the managed method.
 997          */
 998
 999         /* Save registers which might contain the return value of the call */
1000         amd64_push_reg (code, AMD64_RAX);
1001         amd64_push_reg (code, AMD64_RDX);
1002
1003         amd64_alu_reg_imm (code, X86_SUB, AMD64_RSP, 8);
1004         amd64_movsd_membase_reg (code, AMD64_RSP, 0, AMD64_XMM0);
1005
1006         /* Align stack */
1007         amd64_alu_reg_imm (code, X86_SUB, AMD64_RSP, 8);
1008
1009         /* Obtain the pending exception */
1010         if (aot) {
1011                 ji = mono_patch_info_list_prepend (ji, code - start, MONO_PATCH_INFO_JIT_ICALL_ADDR, "mono_thread_get_and_clear_pending_exception");
1012                 amd64_mov_reg_membase (code, AMD64_R11, AMD64_RIP, 0, 8);
1013         } else {
1014                 amd64_mov_reg_imm (code, AMD64_R11, mono_thread_get_and_clear_pending_exception);
1015         }
1016         amd64_call_reg (code, AMD64_R11);
1017
1018         /* Check if it is NULL, and branch */
1019         amd64_alu_reg_imm (code, X86_CMP, AMD64_RAX, 0);
1020         br[0] = code; x86_branch8 (code, X86_CC_EQ, 0, FALSE);
1021
1022         /* exc != NULL branch */
1023
1024         /* Save the exc on the stack */
1025         amd64_push_reg (code, AMD64_RAX);
1026         /* Align stack */
1027         amd64_alu_reg_imm (code, X86_SUB, AMD64_RSP, 8);
1028
1029         /* Obtain the original ip and clear the flag in previous_lmf */
1030         if (aot) {
1031                 ji = mono_patch_info_list_prepend (ji, code - start, MONO_PATCH_INFO_JIT_ICALL_ADDR, "mono_amd64_get_original_ip");
1032                 amd64_mov_reg_membase (code, AMD64_R11, AMD64_RIP, 0, 8);
1033         } else {
1034                 amd64_mov_reg_imm (code, AMD64_R11, mono_amd64_get_original_ip);
1035         }
1036         amd64_call_reg (code, AMD64_R11);
1037
1038         /* Load exc */
1039         amd64_mov_reg_membase (code, AMD64_R11, AMD64_RSP, 8, 8);
1040
1041         /* Pop saved stuff from the stack */
1042         amd64_alu_reg_imm (code, X86_ADD, AMD64_RSP, 6 * 8);
1043
1044         /* Setup arguments for the throw trampoline */
1045         /* Exception */
1046         amd64_mov_reg_reg (code, AMD64_ARG_REG1, AMD64_R11, 8);
1047         /* The trampoline expects the caller ip to be pushed on the stack */
1048         amd64_push_reg (code, AMD64_RAX);
1049
1050         /* Call the throw trampoline */
1051         if (aot) {
1052                 ji = mono_patch_info_list_prepend (ji, code - start, MONO_PATCH_INFO_JIT_ICALL_ADDR, "mono_amd64_throw_exception");
1053                 amd64_mov_reg_membase (code, AMD64_R11, AMD64_RIP, 0, 8);
1054         } else {
1055                 throw_trampoline = mono_get_throw_exception ();
1056                 amd64_mov_reg_imm (code, AMD64_R11, throw_trampoline);
1057         }
1058         /* We use a jump instead of a call so we can push the original ip on the stack */
1059         amd64_jump_reg (code, AMD64_R11);
1060
1061         /* ex == NULL branch */
1062         mono_amd64_patch (br [0], code);
1063
1064         /* Obtain the original ip and clear the flag in previous_lmf */
1065         if (aot) {
1066                 ji = mono_patch_info_list_prepend (ji, code - start, MONO_PATCH_INFO_JIT_ICALL_ADDR, "mono_amd64_get_original_ip");
1067                 amd64_mov_reg_membase (code, AMD64_R11, AMD64_RIP, 0, 8);
1068         } else {
1069                 amd64_mov_reg_imm (code, AMD64_R11, mono_amd64_get_original_ip);
1070         }
1071         amd64_call_reg (code, AMD64_R11);
1072         amd64_mov_reg_reg (code, AMD64_R11, AMD64_RAX, 8);
1073
1074         /* Restore registers */
1075         amd64_alu_reg_imm (code, X86_ADD, AMD64_RSP, 8);
1076         amd64_movsd_reg_membase (code, AMD64_XMM0, AMD64_RSP, 0);
1077         amd64_alu_reg_imm (code, X86_ADD, AMD64_RSP, 8);
1078         amd64_pop_reg (code, AMD64_RDX);
1079         amd64_pop_reg (code, AMD64_RAX);
1080
1081         /* Return to original code */
1082         amd64_jump_reg (code, AMD64_R11);
1083
1084         g_assert ((code - start) < kMaxCodeSize);
1085
1086         nacl_global_codeman_validate(&start, kMaxCodeSize, &code);
1087
1088         if (info)
1089                 *info = mono_tramp_info_create (g_strdup_printf ("throw_pending_exception"), start, code - start, ji, unwind_ops);
1090
1091         return start;
1092 }
1093
1094 static gpointer throw_pending_exception;
1095
1096 /*
1097  * Called when a thread receives an async exception while executing unmanaged code.
1098  * Instead of checking for this exception in the managed-to-native wrapper, we hijack
1099  * the return address on the stack to point to a helper routine which throws the
1100  * exception.
1101  */
1102 void
1103 mono_arch_notify_pending_exc (void)
1104 {
1105         MonoLMF *lmf = mono_get_lmf ();
1106
1107         if (!lmf)
1108                 /* Not yet started */
1109                 return;
1110
1111         if (lmf->rsp == 0)
1112                 /* Initial LMF */
1113                 return;
1114
1115         if ((guint64)lmf->previous_lmf & 1)
1116                 /* Already hijacked or trampoline LMF entry */
1117                 return;
1118
1119         /* lmf->rsp is set just before making the call which transitions to unmanaged code */
1120         lmf->rip = *(guint64*)(lmf->rsp - 8);
1121         /* Signal that lmf->rip is set */
1122         lmf->previous_lmf = (gpointer)((guint64)lmf->previous_lmf | 1);
1123
1124         *(gpointer*)(lmf->rsp - 8) = throw_pending_exception;
1125 }
1126
1127 GSList*
1128 mono_amd64_get_exception_trampolines (gboolean aot)
1129 {
1130         MonoTrampInfo *info;
1131         GSList *tramps = NULL;
1132
1133         mono_arch_get_throw_pending_exception (&info, aot);
1134         tramps = g_slist_prepend (tramps, info);
1135
1136         /* LLVM needs different throw trampolines */
1137         get_throw_trampoline (&info, FALSE, TRUE, FALSE, FALSE, "llvm_throw_corlib_exception_trampoline", aot);
1138         tramps = g_slist_prepend (tramps, info);
1139
1140         get_throw_trampoline (&info, FALSE, TRUE, TRUE, FALSE, "llvm_throw_corlib_exception_abs_trampoline", aot);
1141         tramps = g_slist_prepend (tramps, info);
1142
1143         get_throw_trampoline (&info, FALSE, TRUE, TRUE, TRUE, "llvm_resume_unwind_trampoline", FALSE);
1144         tramps = g_slist_prepend (tramps, info);
1145
1146         return tramps;
1147 }
1148
1149 void
1150 mono_arch_exceptions_init (void)
1151 {
1152         GSList *tramps, *l;
1153         gpointer tramp;
1154
1155         if (mono_aot_only) {
1156                 throw_pending_exception = mono_aot_get_trampoline ("throw_pending_exception");
1157                 tramp = mono_aot_get_trampoline ("llvm_throw_corlib_exception_trampoline");
1158                 mono_register_jit_icall (tramp, "llvm_throw_corlib_exception_trampoline", NULL, TRUE);
1159                 tramp = mono_aot_get_trampoline ("llvm_throw_corlib_exception_abs_trampoline");
1160                 mono_register_jit_icall (tramp, "llvm_throw_corlib_exception_abs_trampoline", NULL, TRUE);
1161                 tramp = mono_aot_get_trampoline ("llvm_resume_unwind_trampoline");
1162                 mono_register_jit_icall (tramp, "llvm_resume_unwind_trampoline", NULL, TRUE);
1163         } else {
1164                 /* Call this to avoid initialization races */
1165                 throw_pending_exception = mono_arch_get_throw_pending_exception (NULL, FALSE);
1166
1167                 tramps = mono_amd64_get_exception_trampolines (FALSE);
1168                 for (l = tramps; l; l = l->next) {
1169                         MonoTrampInfo *info = l->data;
1170
1171                         mono_register_jit_icall (info->code, g_strdup (info->name), NULL, TRUE);
1172                         mono_save_trampoline_xdebug_info (info);
1173                         mono_tramp_info_free (info);
1174                 }
1175                 g_slist_free (tramps);
1176         }
1177 }
1178
1179 #ifdef TARGET_WIN32
1180
1181 /*
1182  * The mono_arch_unwindinfo* methods are used to build and add
1183  * function table info for each emitted method from mono.  On Winx64
1184  * the seh handler will not be called if the mono methods are not
1185  * added to the function table.
1186  *
1187  * We should not need to add non-volatile register info to the
1188  * table since mono stores that info elsewhere. (Except for the register
1189  * used for the fp.)
1190  */
1191
1192 #define MONO_MAX_UNWIND_CODES 22
1193
1194 typedef union _UNWIND_CODE {
1195     struct {
1196         guchar CodeOffset;
1197         guchar UnwindOp : 4;
1198         guchar OpInfo   : 4;
1199     };
1200     gushort FrameOffset;
1201 } UNWIND_CODE, *PUNWIND_CODE;
1202
1203 typedef struct _UNWIND_INFO {
1204         guchar Version       : 3;
1205         guchar Flags         : 5;
1206         guchar SizeOfProlog;
1207         guchar CountOfCodes;
1208         guchar FrameRegister : 4;
1209         guchar FrameOffset   : 4;
1210         /* custom size for mono allowing for mono allowing for*/
1211         /*UWOP_PUSH_NONVOL ebp offset = 21*/
1212         /*UWOP_ALLOC_LARGE : requires 2 or 3 offset = 20*/
1213         /*UWOP_SET_FPREG : requires 2 offset = 17*/
1214         /*UWOP_PUSH_NONVOL offset = 15-0*/
1215         UNWIND_CODE UnwindCode[MONO_MAX_UNWIND_CODES];
1216
1217 /*      UNWIND_CODE MoreUnwindCode[((CountOfCodes + 1) & ~1) - 1];
1218  *      union {
1219  *          OPTIONAL ULONG ExceptionHandler;
1220  *          OPTIONAL ULONG FunctionEntry;
1221  *      };
1222  *      OPTIONAL ULONG ExceptionData[]; */
1223 } UNWIND_INFO, *PUNWIND_INFO;
1224
1225 typedef struct
1226 {
1227         RUNTIME_FUNCTION runtimeFunction;
1228         UNWIND_INFO unwindInfo;
1229 } MonoUnwindInfo, *PMonoUnwindInfo;
1230
1231 static void
1232 mono_arch_unwindinfo_create (gpointer* monoui)
1233 {
1234         PMonoUnwindInfo newunwindinfo;
1235         *monoui = newunwindinfo = g_new0 (MonoUnwindInfo, 1);
1236         newunwindinfo->unwindInfo.Version = 1;
1237 }
1238
1239 void
1240 mono_arch_unwindinfo_add_push_nonvol (gpointer* monoui, gpointer codebegin, gpointer nextip, guchar reg )
1241 {
1242         PMonoUnwindInfo unwindinfo;
1243         PUNWIND_CODE unwindcode;
1244         guchar codeindex;
1245         if (!*monoui)
1246                 mono_arch_unwindinfo_create (monoui);
1247
1248         unwindinfo = (MonoUnwindInfo*)*monoui;
1249
1250         if (unwindinfo->unwindInfo.CountOfCodes >= MONO_MAX_UNWIND_CODES)
1251                 g_error ("Larger allocation needed for the unwind information.");
1252
1253         codeindex = MONO_MAX_UNWIND_CODES - (++unwindinfo->unwindInfo.CountOfCodes);
1254         unwindcode = &unwindinfo->unwindInfo.UnwindCode[codeindex];
1255         unwindcode->UnwindOp = 0; /*UWOP_PUSH_NONVOL*/
1256         unwindcode->CodeOffset = (((guchar*)nextip)-((guchar*)codebegin));
1257         unwindcode->OpInfo = reg;
1258
1259         if (unwindinfo->unwindInfo.SizeOfProlog >= unwindcode->CodeOffset)
1260                 g_error ("Adding unwind info in wrong order.");
1261
1262         unwindinfo->unwindInfo.SizeOfProlog = unwindcode->CodeOffset;
1263 }
1264
1265 void
1266 mono_arch_unwindinfo_add_set_fpreg (gpointer* monoui, gpointer codebegin, gpointer nextip, guchar reg )
1267 {
1268         PMonoUnwindInfo unwindinfo;
1269         PUNWIND_CODE unwindcode;
1270         guchar codeindex;
1271         if (!*monoui)
1272                 mono_arch_unwindinfo_create (monoui);
1273
1274         unwindinfo = (MonoUnwindInfo*)*monoui;
1275
1276         if (unwindinfo->unwindInfo.CountOfCodes + 1 >= MONO_MAX_UNWIND_CODES)
1277                 g_error ("Larger allocation needed for the unwind information.");
1278
1279         codeindex = MONO_MAX_UNWIND_CODES - (unwindinfo->unwindInfo.CountOfCodes += 2);
1280         unwindcode = &unwindinfo->unwindInfo.UnwindCode[codeindex];
1281         unwindcode->FrameOffset = 0; /*Assuming no frame pointer offset for mono*/
1282         unwindcode++;
1283         unwindcode->UnwindOp = 3; /*UWOP_SET_FPREG*/
1284         unwindcode->CodeOffset = (((guchar*)nextip)-((guchar*)codebegin));
1285         unwindcode->OpInfo = reg;
1286
1287         unwindinfo->unwindInfo.FrameRegister = reg;
1288
1289         if (unwindinfo->unwindInfo.SizeOfProlog >= unwindcode->CodeOffset)
1290                 g_error ("Adding unwind info in wrong order.");
1291
1292         unwindinfo->unwindInfo.SizeOfProlog = unwindcode->CodeOffset;
1293 }
1294
1295 void
1296 mono_arch_unwindinfo_add_alloc_stack (gpointer* monoui, gpointer codebegin, gpointer nextip, guint size )
1297 {
1298         PMonoUnwindInfo unwindinfo;
1299         PUNWIND_CODE unwindcode;
1300         guchar codeindex;
1301         guchar codesneeded;
1302         if (!*monoui)
1303                 mono_arch_unwindinfo_create (monoui);
1304
1305         unwindinfo = (MonoUnwindInfo*)*monoui;
1306
1307         if (size < 0x8)
1308                 g_error ("Stack allocation must be equal to or greater than 0x8.");
1309
1310         if (size <= 0x80)
1311                 codesneeded = 1;
1312         else if (size <= 0x7FFF8)
1313                 codesneeded = 2;
1314         else
1315                 codesneeded = 3;
1316
1317         if (unwindinfo->unwindInfo.CountOfCodes + codesneeded > MONO_MAX_UNWIND_CODES)
1318                 g_error ("Larger allocation needed for the unwind information.");
1319
1320         codeindex = MONO_MAX_UNWIND_CODES - (unwindinfo->unwindInfo.CountOfCodes += codesneeded);
1321         unwindcode = &unwindinfo->unwindInfo.UnwindCode[codeindex];
1322
1323         if (codesneeded == 1) {
1324                 /*The size of the allocation is
1325                   (the number in the OpInfo member) times 8 plus 8*/
1326                 unwindcode->OpInfo = (size - 8)/8;
1327                 unwindcode->UnwindOp = 2; /*UWOP_ALLOC_SMALL*/
1328         }
1329         else {
1330                 if (codesneeded == 3) {
1331                         /*the unscaled size of the allocation is recorded
1332                           in the next two slots in little-endian format*/
1333                         *((unsigned int*)(&unwindcode->FrameOffset)) = size;
1334                         unwindcode += 2;
1335                         unwindcode->OpInfo = 1;
1336                 }
1337                 else {
1338                         /*the size of the allocation divided by 8
1339                           is recorded in the next slot*/
1340                         unwindcode->FrameOffset = size/8;
1341                         unwindcode++;
1342                         unwindcode->OpInfo = 0;
1343
1344                 }
1345                 unwindcode->UnwindOp = 1; /*UWOP_ALLOC_LARGE*/
1346         }
1347
1348         unwindcode->CodeOffset = (((guchar*)nextip)-((guchar*)codebegin));
1349
1350         if (unwindinfo->unwindInfo.SizeOfProlog >= unwindcode->CodeOffset)
1351                 g_error ("Adding unwind info in wrong order.");
1352
1353         unwindinfo->unwindInfo.SizeOfProlog = unwindcode->CodeOffset;
1354 }
1355
1356 guint
1357 mono_arch_unwindinfo_get_size (gpointer monoui)
1358 {
1359         PMonoUnwindInfo unwindinfo;
1360         if (!monoui)
1361                 return 0;
1362
1363         unwindinfo = (MonoUnwindInfo*)monoui;
1364         return (8 + sizeof (MonoUnwindInfo)) -
1365                 (sizeof (UNWIND_CODE) * (MONO_MAX_UNWIND_CODES - unwindinfo->unwindInfo.CountOfCodes));
1366 }
1367
1368 PRUNTIME_FUNCTION
1369 MONO_GET_RUNTIME_FUNCTION_CALLBACK ( DWORD64 ControlPc, IN PVOID Context )
1370 {
1371         MonoJitInfo *ji;
1372         guint64 pos;
1373         PMonoUnwindInfo targetinfo;
1374         MonoDomain *domain = mono_domain_get ();
1375
1376         ji = mini_jit_info_table_find (domain, (char*)ControlPc, NULL);
1377         if (!ji)
1378                 return 0;
1379
1380         pos = (guint64)(((char*)ji->code_start) + ji->code_size);
1381
1382         targetinfo = (PMonoUnwindInfo)ALIGN_TO (pos, 8);
1383
1384         targetinfo->runtimeFunction.UnwindData = ((DWORD64)&targetinfo->unwindInfo) - ((DWORD64)Context);
1385
1386         return &targetinfo->runtimeFunction;
1387 }
1388
1389 void
1390 mono_arch_unwindinfo_install_unwind_info (gpointer* monoui, gpointer code, guint code_size)
1391 {
1392         PMonoUnwindInfo unwindinfo, targetinfo;
1393         guchar codecount;
1394         guint64 targetlocation;
1395         if (!*monoui)
1396                 return;
1397
1398         unwindinfo = (MonoUnwindInfo*)*monoui;
1399         targetlocation = (guint64)&(((guchar*)code)[code_size]);
1400         targetinfo = (PMonoUnwindInfo) ALIGN_TO(targetlocation, 8);
1401
1402         unwindinfo->runtimeFunction.EndAddress = code_size;
1403         unwindinfo->runtimeFunction.UnwindData = ((guchar*)&targetinfo->unwindInfo) - ((guchar*)code);
1404
1405         memcpy (targetinfo, unwindinfo, sizeof (MonoUnwindInfo) - (sizeof (UNWIND_CODE) * MONO_MAX_UNWIND_CODES));
1406
1407         codecount = unwindinfo->unwindInfo.CountOfCodes;
1408         if (codecount) {
1409                 memcpy (&targetinfo->unwindInfo.UnwindCode[0], &unwindinfo->unwindInfo.UnwindCode[MONO_MAX_UNWIND_CODES-codecount],
1410                         sizeof (UNWIND_CODE) * unwindinfo->unwindInfo.CountOfCodes);
1411         }
1412
1413         g_free (unwindinfo);
1414         *monoui = 0;
1415
1416         RtlInstallFunctionTableCallback (((DWORD64)code) | 0x3, (DWORD64)code, code_size, MONO_GET_RUNTIME_FUNCTION_CALLBACK, code, NULL);
1417 }
1418
1419 #endif
1420
1421 #if MONO_SUPPORT_TASKLETS
1422 MonoContinuationRestore
1423 mono_tasklets_arch_restore (void)
1424 {
1425         static guint8* saved = NULL;
1426         guint8 *code, *start;
1427         int cont_reg = AMD64_R9; /* register usable on both call conventions */
1428         const guint kMaxCodeSize = NACL_SIZE (64, 128);
1429
1430
1431         if (saved)
1432                 return (MonoContinuationRestore)saved;
1433         code = start = mono_global_codeman_reserve (kMaxCodeSize);
1434         /* the signature is: restore (MonoContinuation *cont, int state, MonoLMF **lmf_addr) */
1435         /* cont is in AMD64_ARG_REG1 ($rcx or $rdi)
1436          * state is in AMD64_ARG_REG2 ($rdx or $rsi)
1437          * lmf_addr is in AMD64_ARG_REG3 ($r8 or $rdx)
1438          * We move cont to cont_reg since we need both rcx and rdi for the copy
1439          * state is moved to $rax so it's setup as the return value and we can overwrite $rsi
1440          */
1441         amd64_mov_reg_reg (code, cont_reg, MONO_AMD64_ARG_REG1, 8);
1442         amd64_mov_reg_reg (code, AMD64_RAX, MONO_AMD64_ARG_REG2, 8);
1443         /* setup the copy of the stack */
1444         amd64_mov_reg_membase (code, AMD64_RCX, cont_reg, G_STRUCT_OFFSET (MonoContinuation, stack_used_size), sizeof (int));
1445         amd64_shift_reg_imm (code, X86_SHR, AMD64_RCX, 3);
1446         x86_cld (code);
1447         amd64_mov_reg_membase (code, AMD64_RSI, cont_reg, G_STRUCT_OFFSET (MonoContinuation, saved_stack), sizeof (gpointer));
1448         amd64_mov_reg_membase (code, AMD64_RDI, cont_reg, G_STRUCT_OFFSET (MonoContinuation, return_sp), sizeof (gpointer));
1449         amd64_prefix (code, X86_REP_PREFIX);
1450         amd64_movsl (code);
1451
1452         /* now restore the registers from the LMF */
1453         amd64_mov_reg_membase (code, AMD64_RCX, cont_reg, G_STRUCT_OFFSET (MonoContinuation, lmf), 8);
1454         amd64_mov_reg_membase (code, AMD64_RBX, AMD64_RCX, G_STRUCT_OFFSET (MonoLMF, rbx), 8);
1455         amd64_mov_reg_membase (code, AMD64_RBP, AMD64_RCX, G_STRUCT_OFFSET (MonoLMF, rbp), 8);
1456         amd64_mov_reg_membase (code, AMD64_R12, AMD64_RCX, G_STRUCT_OFFSET (MonoLMF, r12), 8);
1457         amd64_mov_reg_membase (code, AMD64_R13, AMD64_RCX, G_STRUCT_OFFSET (MonoLMF, r13), 8);
1458         amd64_mov_reg_membase (code, AMD64_R14, AMD64_RCX, G_STRUCT_OFFSET (MonoLMF, r14), 8);
1459 #if !defined(__native_client_codegen__)
1460         amd64_mov_reg_membase (code, AMD64_R15, AMD64_RCX, G_STRUCT_OFFSET (MonoLMF, r15), 8);
1461 #endif
1462 #ifdef TARGET_WIN32
1463         amd64_mov_reg_membase (code, AMD64_RDI, AMD64_RCX, G_STRUCT_OFFSET (MonoLMF, rdi), 8);
1464         amd64_mov_reg_membase (code, AMD64_RSI, AMD64_RCX, G_STRUCT_OFFSET (MonoLMF, rsi), 8);
1465 #endif
1466         amd64_mov_reg_membase (code, AMD64_RSP, AMD64_RCX, G_STRUCT_OFFSET (MonoLMF, rsp), 8);
1467
1468         /* restore the lmf chain */
1469         /*x86_mov_reg_membase (code, X86_ECX, X86_ESP, 12, 4);
1470         x86_mov_membase_reg (code, X86_ECX, 0, X86_EDX, 4);*/
1471
1472         /* state is already in rax */
1473         amd64_jump_membase (code, cont_reg, G_STRUCT_OFFSET (MonoContinuation, return_ip));
1474         g_assert ((code - start) <= kMaxCodeSize);
1475
1476         nacl_global_codeman_validate(&start, kMaxCodeSize, &code);
1477
1478         saved = start;
1479         return (MonoContinuationRestore)saved;
1480 }
1481 #endif
1482
1483 /*
1484  * mono_arch_setup_resume_sighandler_ctx:
1485  *
1486  *   Setup CTX so execution continues at FUNC.
1487  */
1488 void
1489 mono_arch_setup_resume_sighandler_ctx (MonoContext *ctx, gpointer func)
1490 {
1491         /*
1492          * When resuming from a signal handler, the stack should be misaligned, just like right after
1493          * a call.
1494          */
1495         if ((((guint64)MONO_CONTEXT_GET_SP (ctx)) % 16) == 0)
1496                 MONO_CONTEXT_SET_SP (ctx, (guint64)MONO_CONTEXT_GET_SP (ctx) - 8);
1497         MONO_CONTEXT_SET_IP (ctx, func);
1498 }