mono/mini/tramp-x86.c

   1 /*
   2  * tramp-x86.c: JIT trampoline code for x86
   3  *
   4  * Authors:
   5  *   Dietmar Maurer (dietmar@ximian.com)
   6  *
   7  * (C) 2001 Ximian, Inc.
   8  */
   9
  10 #include <config.h>
  11 #include <glib.h>
  12
  13 #include <mono/metadata/appdomain.h>
  14 #include <mono/metadata/marshal.h>
  15 #include <mono/metadata/tabledefs.h>
  16 #include <mono/arch/x86/x86-codegen.h>
  17 #include <mono/metadata/mono-debug-debugger.h>
  18
  19 #ifdef HAVE_VALGRIND_MEMCHECK_H
  20 #include <valgrind/memcheck.h>
  21 #endif
  22
  23 #include "mini.h"
  24 #include "mini-x86.h"
  25
  26 typedef enum {
  27         MONO_TRAMPOLINE_GENERIC,
  28         MONO_TRAMPOLINE_JUMP,
  29         MONO_TRAMPOLINE_CLASS_INIT
  30 } MonoTrampolineType;
  31
  32 /* adapt to mini later... */
  33 #define mono_jit_share_code (1)
  34
  35 /*
  36  * Address of the x86 trampoline code.  This is used by the debugger to check
  37  * whether a method is a trampoline.
  38  */
  39 guint8 *mono_generic_trampoline_code = NULL;
  40
  41 /*
  42  * get_unbox_trampoline:
  43  * @m: method pointer
  44  * @addr: pointer to native code for @m
  45  *
  46  * when value type methods are called through the vtable we need to unbox the
  47  * this argument. This method returns a pointer to a trampoline which does
  48  * unboxing before calling the method
  49  */
  50 static gpointer
  51 get_unbox_trampoline (MonoMethod *m, gpointer addr)
  52 {
  53         guint8 *code, *start;
  54         int this_pos = 4;
  55
  56         if (!m->signature->ret->byref && MONO_TYPE_ISSTRUCT (m->signature->ret))
  57                 this_pos = 8;
  58
  59         start = code = g_malloc (16);
  60
  61         x86_alu_membase_imm (code, X86_ADD, X86_ESP, this_pos, sizeof (MonoObject));
  62         x86_jump_code (code, addr);
  63         g_assert ((code - start) < 16);
  64
  65         return start;
  66 }
  67
  68 /**
  69  * x86_magic_trampoline:
  70  * @eax: saved x86 register
  71  * @ecx: saved x86 register
  72  * @edx: saved x86 register
  73  * @esi: saved x86 register
  74  * @edi: saved x86 register
  75  * @ebx: saved x86 register
  76  * @code: pointer into caller code
  77  * @method: the method to translate
  78  *
  79  * This method is called by the trampoline functions for virtual
  80  * methods. It inspects the caller code to find the address of the
  81  * vtable slot, then calls the JIT compiler and writes the address
  82  * of the compiled method back to the vtable. All virtual methods
  83  * are called with: x86_call_membase (inst, basereg, disp). We always
  84  * use 32 bit displacement to ensure that the length of the call
  85  * instruction is 6 bytes. We need to get the value of the basereg
  86  * and the constant displacement.
  87  */
  88 static gpointer
  89 x86_magic_trampoline (int eax, int ecx, int edx, int esi, int edi,
  90                       int ebx, guint8 *code, MonoMethod *m)
  91 {
  92         guint8 reg = 0;
  93         gint32 disp = 0;
  94         char *o = NULL;
  95         gpointer addr;
  96
  97         addr = mono_compile_method (m);
  98         g_assert (addr);
  99
 100         /* the method was jumped to */
 101         if (!code)
 102                 return addr;
 103
 104         /* go to the start of the call instruction
 105          *
 106          * address_byte = (m << 6) | (o << 3) | reg
 107          * call opcode: 0xff address_byte displacement
 108          * 0xff m=1,o=2 imm8
 109          * 0xff m=2,o=2 imm32
 110          */
 111         code -= 6;
 112         if ((code [1] != 0xe8) && (code [3] == 0xff) && ((code [4] & 0x18) == 0x10) && ((code [4] >> 6) == 1)) {
 113                 reg = code [4] & 0x07;
 114                 disp = (signed char)code [5];
 115         } else {
 116                 if ((code [0] == 0xff) && ((code [1] & 0x18) == 0x10) && ((code [1] >> 6) == 2)) {
 117                         reg = code [1] & 0x07;
 118                         disp = *((gint32*)(code + 2));
 119                 } else if ((code [1] == 0xe8)) {
 120                         MonoJitInfo *ji =
 121                                 mono_jit_info_table_find (mono_domain_get (), code);
 122                         MonoJitInfo *target_ji =
 123                                 mono_jit_info_table_find (mono_domain_get (), addr);
 124
 125                         if (mono_method_same_domain (ji, target_ji)) {
 126                                 if (!mono_running_on_valgrind ()) {
 127                                         InterlockedExchange ((gint32*)(code + 2), (guint)addr - ((guint)code + 1) - 5);
 128
 129 #ifdef HAVE_VALGRIND_MEMCHECK_H
 130                                         /* Tell valgrind to recompile the patched code */
 131                                         //VALGRIND_DISCARD_TRANSLATIONS (code + 2, code + 6);
 132 #endif
 133                                 }
 134                         }
 135                         return addr;
 136                 } else if ((code [4] == 0xff) && (((code [5] >> 6) & 0x3) == 0) && (((code [5] >> 3) & 0x7) == 2)) {
 137                         /*
 138                          * This is a interface call: should check the above code can't catch it earlier
 139                          * 8b 40 30   mov    0x30(%eax),%eax
 140                          * ff 10      call   *(%eax)
 141                          */
 142                         disp = 0;
 143                         reg = code [5] & 0x07;
 144                 } else {
 145                         printf ("Invalid trampoline sequence: %x %x %x %x %x %x %x\n", code [0], code [1], code [2], code [3],
 146                                 code [4], code [5], code [6]);
 147                         g_assert_not_reached ();
 148                 }
 149         }
 150
 151         switch (reg) {
 152         case X86_EAX:
 153                 o = (gpointer)eax;
 154                 break;
 155         case X86_EDX:
 156                 o = (gpointer)edx;
 157                 break;
 158         case X86_ECX:
 159                 o = (gpointer)ecx;
 160                 break;
 161         case X86_ESI:
 162                 o = (gpointer)esi;
 163                 break;
 164         case X86_EDI:
 165                 o = (gpointer)edi;
 166                 break;
 167         case X86_EBX:
 168                 o = (gpointer)ebx;
 169                 break;
 170         default:
 171                 g_assert_not_reached ();
 172         }
 173
 174         o += disp;
 175
 176         if (m->klass->valuetype && !mono_aot_is_got_entry (code, o))
 177                 addr = get_unbox_trampoline (m, addr);
 178
 179         *((gpointer *)o) = addr;
 180
 181         return addr;
 182 }
 183
 184 /**
 185  * x86_class_init_trampoline:
 186  * @eax: saved x86 register
 187  * @ecx: saved x86 register
 188  * @edx: saved x86 register
 189  * @esi: saved x86 register
 190  * @edi: saved x86 register
 191  * @ebx: saved x86 register
 192  * @code: pointer into caller code
 193  * @vtable: the type to initialize
 194  *
 195  * This method calls mono_runtime_class_init () to run the static constructor
 196  * for the type, then patches the caller code so it is not called again.
 197  */
 198 static void
 199 x86_class_init_trampoline (int eax, int ecx, int edx, int esi, int edi,
 200                                                    int ebx, guint8 *code, MonoVTable *vtable)
 201 {
 202         mono_runtime_class_init (vtable);
 203
 204         code -= 5;
 205         if (code [0] == 0xe8) {
 206                 if (!mono_running_on_valgrind ()) {
 207                         guint32 ops;
 208                         /*
 209                          * Thread safe code patching using the algorithm from the paper
 210                          * 'Practicing JUDO: Java Under Dynamic Optimizations'
 211                          */
 212                         /*
 213                          * First atomically change the the first 2 bytes of the call to a
 214                          * spinning jump.
 215                          */
 216                         ops = 0xfeeb;
 217                         InterlockedExchange ((gint32*)code, ops);
 218
 219                         /* Then change the other bytes to a nop */
 220                         code [2] = 0x90;
 221                         code [3] = 0x90;
 222                         code [4] = 0x90;
 223
 224                         /* Then atomically change the first 4 bytes to a nop as well */
 225                         ops = 0x90909090;
 226                         InterlockedExchange ((guint32*)code, ops);
 227
 228 #ifdef HAVE_VALGRIND_MEMCHECK_H
 229                         /* FIXME: the calltree skin trips on the self modifying code above */
 230
 231                         /* Tell valgrind to recompile the patched code */
 232                         //VALGRIND_DISCARD_TRANSLATIONS (code, code + 8);
 233 #endif
 234                 }
 235         } else if (code [0] == 0x90 || code [0] == 0xeb) {
 236                 /* Already changed by another thread */
 237                 ;
 238         } else if ((code [-1] == 0xff) && (x86_modrm_reg (code [0]) == 0x2)) {
 239                 /* call *<OFFSET>(<REG>) -> Call made from AOT code */
 240                 /* FIXME: Patch up the trampoline */
 241                 ;
 242         } else {
 243                         printf ("Invalid trampoline sequence: %x %x %x %x %x %x %x\n", code [0], code [1], code [2], code [3],
 244                                 code [4], code [5], code [6]);
 245                         g_assert_not_reached ();
 246                 }
 247 }
 248
 249 static guchar*
 250 create_trampoline_code (MonoTrampolineType tramp_type)
 251 {
 252         guint8 *buf, *code;
 253         static guint8* generic_jump_trampoline = NULL;
 254         static guint8 *generic_class_init_trampoline = NULL;
 255
 256         switch (tramp_type) {
 257         case MONO_TRAMPOLINE_GENERIC:
 258                 if (mono_generic_trampoline_code)
 259                         return mono_generic_trampoline_code;
 260                 break;
 261         case MONO_TRAMPOLINE_JUMP:
 262                 if (generic_jump_trampoline)
 263                         return generic_jump_trampoline;
 264                 break;
 265         case MONO_TRAMPOLINE_CLASS_INIT:
 266                 if (generic_class_init_trampoline)
 267                         return generic_class_init_trampoline;
 268                 break;
 269         }
 270
 271         code = buf = g_malloc (256);
 272         /* save caller save regs because we need to do a call */
 273         x86_push_reg (buf, X86_EDX);
 274         x86_push_reg (buf, X86_EAX);
 275         x86_push_reg (buf, X86_ECX);
 276
 277         /* save LMF begin */
 278
 279         /* save the IP (caller ip) */
 280         if (tramp_type == MONO_TRAMPOLINE_JUMP)
 281                 x86_push_imm (buf, 0);
 282         else
 283                 x86_push_membase (buf, X86_ESP, 16);
 284
 285         x86_push_reg (buf, X86_EBP);
 286         x86_push_reg (buf, X86_ESI);
 287         x86_push_reg (buf, X86_EDI);
 288         x86_push_reg (buf, X86_EBX);
 289
 290         /* save method info */
 291         x86_push_membase (buf, X86_ESP, 32);
 292         /* get the address of lmf for the current thread */
 293         x86_call_code (buf, mono_get_lmf_addr);
 294         /* push lmf */
 295         x86_push_reg (buf, X86_EAX);
 296         /* push *lfm (previous_lmf) */
 297         x86_push_membase (buf, X86_EAX, 0);
 298         /* *(lmf) = ESP */
 299         x86_mov_membase_reg (buf, X86_EAX, 0, X86_ESP, 4);
 300         /* save LFM end */
 301
 302         /* push the method info */
 303         x86_push_membase (buf, X86_ESP, 44);
 304         /* push the return address onto the stack */
 305         if (tramp_type == MONO_TRAMPOLINE_JUMP)
 306                 x86_push_imm (buf, 0);
 307         else
 308                 x86_push_membase (buf, X86_ESP, 52);
 309
 310         /* save all register values */
 311         x86_push_reg (buf, X86_EBX);
 312         x86_push_reg (buf, X86_EDI);
 313         x86_push_reg (buf, X86_ESI);
 314         x86_push_membase (buf, X86_ESP, 64); /* EDX */
 315         x86_push_membase (buf, X86_ESP, 64); /* ECX */
 316         x86_push_membase (buf, X86_ESP, 64); /* EAX */
 317
 318         if (tramp_type == MONO_TRAMPOLINE_CLASS_INIT)
 319                 x86_call_code (buf, x86_class_init_trampoline);
 320         else
 321                 x86_call_code (buf, x86_magic_trampoline);
 322         x86_alu_reg_imm (buf, X86_ADD, X86_ESP, 8*4);
 323
 324         /* restore LMF start */
 325         /* ebx = previous_lmf */
 326         x86_pop_reg (buf, X86_EBX);
 327         /* edi = lmf */
 328         x86_pop_reg (buf, X86_EDI);
 329         /* *(lmf) = previous_lmf */
 330         x86_mov_membase_reg (buf, X86_EDI, 0, X86_EBX, 4);
 331         /* discard method info */
 332         x86_pop_reg (buf, X86_ESI);
 333         /* restore caller saved regs */
 334         x86_pop_reg (buf, X86_EBX);
 335         x86_pop_reg (buf, X86_EDI);
 336         x86_pop_reg (buf, X86_ESI);
 337         x86_pop_reg (buf, X86_EBP);
 338
 339         /* discard save IP */
 340         x86_alu_reg_imm (buf, X86_ADD, X86_ESP, 4);
 341         /* restore LMF end */
 342
 343         x86_alu_reg_imm (buf, X86_ADD, X86_ESP, 16);
 344
 345         if (tramp_type == MONO_TRAMPOLINE_CLASS_INIT)
 346                 x86_ret (buf);
 347         else
 348                 /* call the compiled method */
 349                 x86_jump_reg (buf, X86_EAX);
 350
 351         g_assert ((buf - code) <= 256);
 352
 353         switch (tramp_type) {
 354         case MONO_TRAMPOLINE_GENERIC:
 355                 mono_generic_trampoline_code = code;
 356                 break;
 357         case MONO_TRAMPOLINE_JUMP:
 358                 generic_jump_trampoline = code;
 359                 break;
 360         case MONO_TRAMPOLINE_CLASS_INIT:
 361                 generic_class_init_trampoline = code;
 362                 break;
 363         }
 364
 365         return code;
 366 }
 367
 368 #define TRAMPOLINE_SIZE 10
 369
 370 MonoJitInfo*
 371 mono_arch_create_jump_trampoline (MonoMethod *method)
 372 {
 373         guint8 *code, *buf, *tramp;
 374         MonoJitInfo *ji;
 375
 376         tramp = create_trampoline_code (MONO_TRAMPOLINE_JUMP);
 377
 378         code = buf = g_malloc (TRAMPOLINE_SIZE);
 379         x86_push_imm (buf, method);
 380         x86_jump_code (buf, tramp);
 381         g_assert ((buf - code) <= TRAMPOLINE_SIZE);
 382
 383         ji = g_new0 (MonoJitInfo, 1);
 384         ji->method = method;
 385         ji->code_start = code;
 386         ji->code_size = buf - code;
 387
 388         mono_arch_flush_icache (ji->code_start, ji->code_size);
 389
 390         mono_jit_stats.method_trampolines++;
 391
 392         return ji;
 393
 394 }
 395
 396 /**
 397  * mono_arch_create_jit_trampoline:
 398  * @method: pointer to the method info
 399  *
 400  * Creates a trampoline function for virtual methods. If the created
 401  * code is called it first starts JIT compilation of method,
 402  * and then calls the newly created method. I also replaces the
 403  * corresponding vtable entry (see x86_magic_trampoline).
 404  *
 405  * Returns: a pointer to the newly created code
 406  */
 407 gpointer
 408 mono_arch_create_jit_trampoline (MonoMethod *method)
 409 {
 410         guint8 *code, *buf, *tramp;
 411
 412         tramp = create_trampoline_code (MONO_TRAMPOLINE_GENERIC);
 413
 414         code = buf = g_malloc (TRAMPOLINE_SIZE);
 415         x86_push_imm (buf, method);
 416         x86_jump_code (buf, tramp);
 417         g_assert ((buf - code) <= TRAMPOLINE_SIZE);
 418
 419         return code;
 420 }
 421
 422 /**
 423  * mono_arch_create_class_init_trampoline:
 424  *  @vtable: the type to initialize
 425  *
 426  * Creates a trampoline function to run a type initializer.
 427  * If the trampoline is called, it calls mono_runtime_class_init with the
 428  * given vtable, then patches the caller code so it does not get called any
 429  * more.
 430  *
 431  * Returns: a pointer to the newly created code
 432  */
 433 gpointer
 434 mono_arch_create_class_init_trampoline (MonoVTable *vtable)
 435 {
 436         guint8 *code, *buf, *tramp;
 437
 438         tramp = create_trampoline_code (MONO_TRAMPOLINE_CLASS_INIT);
 439
 440         code = buf = g_malloc (TRAMPOLINE_SIZE);
 441         x86_push_imm (buf, vtable);
 442         x86_jump_code (buf, tramp);
 443         g_assert ((buf - code) <= TRAMPOLINE_SIZE);
 444
 445         mono_jit_stats.method_trampolines++;
 446
 447         return code;
 448 }
 449
 450 void
 451 mono_arch_invalidate_method (MonoJitInfo *ji, void *func, gpointer func_arg)
 452 {
 453         /* FIXME: This is not thread safe */
 454         guint8 *code = ji->code_start;
 455
 456         x86_push_imm (code, func_arg);
 457         x86_call_code (code, (guint8*)func);
 458 }
 459
 460 /*
 461  * This method is only called when running in the Mono Debugger.
 462  */
 463 gpointer
 464 mono_debugger_create_notification_function (gpointer *notification_address)
 465 {
 466         guint8 *ptr, *buf;
 467
 468         ptr = buf = g_malloc0 (16);
 469         x86_breakpoint (buf);
 470         if (notification_address)
 471                 *notification_address = buf;
 472         x86_ret (buf);
 473
 474         return ptr;
 475 }
 476