mono/mini/tramp-x86.c

   1 /*
   2  * trampoline.c: JIT trampoline code
   3  *
   4  * Authors:
   5  *   Dietmar Maurer (dietmar@ximian.com)
   6  *
   7  * (C) 2001 Ximian, Inc.
   8  */
   9
  10 #include <config.h>
  11 #include <glib.h>
  12
  13 #include <mono/metadata/appdomain.h>
  14 #include <mono/metadata/marshal.h>
  15 #include <mono/metadata/tabledefs.h>
  16 #include <mono/arch/x86/x86-codegen.h>
  17 #include <mono/metadata/mono-debug-debugger.h>
  18
  19 #ifdef HAVE_VALGRIND_MEMCHECK_H
  20 #include <valgrind/memcheck.h>
  21 #endif
  22
  23 #include "mini.h"
  24 #include "mini-x86.h"
  25
  26 typedef enum {
  27         MONO_TRAMPOLINE_GENERIC,
  28         MONO_TRAMPOLINE_JUMP,
  29         MONO_TRAMPOLINE_CLASS_INIT
  30 } MonoTrampolineType;
  31
  32 /* adapt to mini later... */
  33 #define mono_jit_share_code (1)
  34
  35 /*
  36  * Address of the x86 trampoline code.  This is used by the debugger to check
  37  * whether a method is a trampoline.
  38  */
  39 guint8 *mono_generic_trampoline_code = NULL;
  40
  41 /*
  42  * get_unbox_trampoline:
  43  * @m: method pointer
  44  * @addr: pointer to native code for @m
  45  *
  46  * when value type methods are called through the vtable we need to unbox the
  47  * this argument. This method returns a pointer to a trampoline which does
  48  * unboxing before calling the method
  49  */
  50 static gpointer
  51 get_unbox_trampoline (MonoMethod *m, gpointer addr)
  52 {
  53         guint8 *code, *start;
  54         int this_pos = 4;
  55
  56         if (!m->signature->ret->byref && MONO_TYPE_ISSTRUCT (m->signature->ret))
  57                 this_pos = 8;
  58
  59         start = code = g_malloc (16);
  60
  61         x86_alu_membase_imm (code, X86_ADD, X86_ESP, this_pos, sizeof (MonoObject));
  62         x86_jump_code (code, addr);
  63         g_assert ((code - start) < 16);
  64
  65         return start;
  66 }
  67
  68 /**
  69  * x86_magic_trampoline:
  70  * @eax: saved x86 register
  71  * @ecx: saved x86 register
  72  * @edx: saved x86 register
  73  * @esi: saved x86 register
  74  * @edi: saved x86 register
  75  * @ebx: saved x86 register
  76  * @code: pointer into caller code
  77  * @method: the method to translate
  78  *
  79  * This method is called by the trampoline functions for virtual
  80  * methods. It inspects the caller code to find the address of the
  81  * vtable slot, then calls the JIT compiler and writes the address
  82  * of the compiled method back to the vtable. All virtual methods
  83  * are called with: x86_call_membase (inst, basereg, disp). We always
  84  * use 32 bit displacement to ensure that the length of the call
  85  * instruction is 6 bytes. We need to get the value of the basereg
  86  * and the constant displacement.
  87  */
  88 static gpointer
  89 x86_magic_trampoline (int eax, int ecx, int edx, int esi, int edi,
  90                       int ebx, guint8 *code, MonoMethod *m)
  91 {
  92         guint8 reg;
  93         gint32 disp;
  94         char *o;
  95         gpointer addr;
  96
  97         addr = mono_compile_method (m);
  98         g_assert (addr);
  99
 100         /* the method was jumped to */
 101         if (!code)
 102                 return addr;
 103
 104         /* go to the start of the call instruction
 105          *
 106          * address_byte = (m << 6) | (o << 3) | reg
 107          * call opcode: 0xff address_byte displacement
 108          * 0xff m=1,o=2 imm8
 109          * 0xff m=2,o=2 imm32
 110          */
 111         code -= 6;
 112         if ((code [1] != 0xe8) && (code [3] == 0xff) && ((code [4] & 0x18) == 0x10) && ((code [4] >> 6) == 1)) {
 113                 reg = code [4] & 0x07;
 114                 disp = (signed char)code [5];
 115         } else {
 116                 if ((code [0] == 0xff) && ((code [1] & 0x18) == 0x10) && ((code [1] >> 6) == 2)) {
 117                         reg = code [1] & 0x07;
 118                         disp = *((gint32*)(code + 2));
 119                 } else if ((code [1] == 0xe8)) {
 120                         MonoJitInfo *ji =
 121                                 mono_jit_info_table_find (mono_domain_get (), code);
 122                         MonoJitInfo *target_ji =
 123                                 mono_jit_info_table_find (mono_domain_get (), addr);
 124
 125                         /*
 126                          * If the call was made from domain-neutral to domain-specific
 127                          * code, we can't patch the call site.
 128                          */
 129                         if (ji && target_ji && ! (ji->domain_neutral && !target_ji->domain_neutral)) {
 130                                 *((guint32*)(code + 2)) = (guint)addr - ((guint)code + 1) - 5;
 131 #ifdef HAVE_VALGRIND_MEMCHECK_H
 132                                 /* Tell valgrind to recompile the patched code */
 133                                 VALGRIND_DISCARD_TRANSLATIONS (code + 2, code + 6);
 134 #endif
 135                         }
 136                         return addr;
 137                 } else if ((code [4] == 0xff) && (((code [5] >> 6) & 0x3) == 0) && (((code [5] >> 3) & 0x7) == 2)) {
 138                         /*
 139                          * This is a interface call: should check the above code can't catch it earlier
 140                          * 8b 40 30   mov    0x30(%eax),%eax
 141                          * ff 10      call   *(%eax)
 142                          */
 143                         disp = 0;
 144                         reg = code [5] & 0x07;
 145                 } else {
 146                         printf ("Invalid trampoline sequence: %x %x %x %x %x %x %x\n", code [0], code [1], code [2], code [3],
 147                                 code [4], code [5], code [6]);
 148                         g_assert_not_reached ();
 149                 }
 150         }
 151
 152         switch (reg) {
 153         case X86_EAX:
 154                 o = (gpointer)eax;
 155                 break;
 156         case X86_EDX:
 157                 o = (gpointer)edx;
 158                 break;
 159         case X86_ECX:
 160                 o = (gpointer)ecx;
 161                 break;
 162         case X86_ESI:
 163                 o = (gpointer)esi;
 164                 break;
 165         case X86_EDI:
 166                 o = (gpointer)edi;
 167                 break;
 168         case X86_EBX:
 169                 o = (gpointer)ebx;
 170                 break;
 171         default:
 172                 g_assert_not_reached ();
 173         }
 174
 175         o += disp;
 176
 177         if (m->klass->valuetype)
 178                 addr = get_unbox_trampoline (m, addr);
 179
 180         *((gpointer *)o) = addr;
 181
 182         return addr;
 183 }
 184
 185 /**
 186  * x86_class_init_trampoline:
 187  * @eax: saved x86 register
 188  * @ecx: saved x86 register
 189  * @edx: saved x86 register
 190  * @esi: saved x86 register
 191  * @edi: saved x86 register
 192  * @ebx: saved x86 register
 193  * @code: pointer into caller code
 194  * @vtable: the type to initialize
 195  *
 196  * This method calls mono_runtime_class_init () to run the static constructor
 197  * for the type, then patches the caller code so it is not called again.
 198  */
 199 static void
 200 x86_class_init_trampoline (int eax, int ecx, int edx, int esi, int edi,
 201                                                    int ebx, guint8 *code, MonoVTable *vtable)
 202 {
 203         int i;
 204
 205         mono_runtime_class_init (vtable);
 206
 207         code -= 5;
 208         if (code [0] == 0xe8) {
 209                 for (i = 0; i < 5; ++i)
 210                         x86_nop (code);
 211 #ifdef HAVE_VALGRIND_MEMCHECK_H
 212                 /* FIXME: the calltree skin trips on the self modifying code above */
 213
 214                 /* Tell valgrind to recompile the patched code */
 215                 VALGRIND_DISCARD_TRANSLATIONS (code, code + 8);
 216 #endif
 217         }
 218         else
 219                 g_assert_not_reached ();
 220 }
 221
 222 static guchar*
 223 create_trampoline_code (MonoTrampolineType tramp_type)
 224 {
 225         guint8 *buf, *code;
 226         static guint8* generic_jump_trampoline = NULL;
 227         static guint8 *generic_class_init_trampoline = NULL;
 228
 229         switch (tramp_type) {
 230         case MONO_TRAMPOLINE_GENERIC:
 231                 if (mono_generic_trampoline_code)
 232                         return mono_generic_trampoline_code;
 233                 break;
 234         case MONO_TRAMPOLINE_JUMP:
 235                 if (generic_jump_trampoline)
 236                         return generic_jump_trampoline;
 237                 break;
 238         case MONO_TRAMPOLINE_CLASS_INIT:
 239                 if (generic_class_init_trampoline)
 240                         return generic_class_init_trampoline;
 241                 break;
 242         }
 243
 244         code = buf = g_malloc (256);
 245         /* save caller save regs because we need to do a call */
 246         x86_push_reg (buf, X86_EDX);
 247         x86_push_reg (buf, X86_EAX);
 248         x86_push_reg (buf, X86_ECX);
 249
 250         /* save LMF begin */
 251
 252         /* save the IP (caller ip) */
 253         if (tramp_type == MONO_TRAMPOLINE_JUMP)
 254                 x86_push_imm (buf, 0);
 255         else
 256                 x86_push_membase (buf, X86_ESP, 16);
 257
 258         x86_push_reg (buf, X86_EBX);
 259         x86_push_reg (buf, X86_EDI);
 260         x86_push_reg (buf, X86_ESI);
 261         x86_push_reg (buf, X86_EBP);
 262
 263         /* save method info */
 264         x86_push_membase (buf, X86_ESP, 32);
 265         /* get the address of lmf for the current thread */
 266         x86_call_code (buf, mono_get_lmf_addr);
 267         /* push lmf */
 268         x86_push_reg (buf, X86_EAX);
 269         /* push *lfm (previous_lmf) */
 270         x86_push_membase (buf, X86_EAX, 0);
 271         /* *(lmf) = ESP */
 272         x86_mov_membase_reg (buf, X86_EAX, 0, X86_ESP, 4);
 273         /* save LFM end */
 274
 275         /* push the method info */
 276         x86_push_membase (buf, X86_ESP, 44);
 277         /* push the return address onto the stack */
 278         if (tramp_type == MONO_TRAMPOLINE_JUMP)
 279                 x86_push_imm (buf, 0);
 280         else
 281                 x86_push_membase (buf, X86_ESP, 52);
 282
 283         /* save all register values */
 284         x86_push_reg (buf, X86_EBX);
 285         x86_push_reg (buf, X86_EDI);
 286         x86_push_reg (buf, X86_ESI);
 287         x86_push_membase (buf, X86_ESP, 64); /* EDX */
 288         x86_push_membase (buf, X86_ESP, 64); /* ECX */
 289         x86_push_membase (buf, X86_ESP, 64); /* EAX */
 290
 291         if (tramp_type == MONO_TRAMPOLINE_CLASS_INIT)
 292                 x86_call_code (buf, x86_class_init_trampoline);
 293         else
 294                 x86_call_code (buf, x86_magic_trampoline);
 295         x86_alu_reg_imm (buf, X86_ADD, X86_ESP, 8*4);
 296
 297         /* restore LMF start */
 298         /* ebx = previous_lmf */
 299         x86_pop_reg (buf, X86_EBX);
 300         /* edi = lmf */
 301         x86_pop_reg (buf, X86_EDI);
 302         /* *(lmf) = previous_lmf */
 303         x86_mov_membase_reg (buf, X86_EDI, 0, X86_EBX, 4);
 304         /* discard method info */
 305         x86_pop_reg (buf, X86_ESI);
 306         /* restore caller saved regs */
 307         x86_pop_reg (buf, X86_EBP);
 308         x86_pop_reg (buf, X86_ESI);
 309         x86_pop_reg (buf, X86_EDI);
 310         x86_pop_reg (buf, X86_EBX);
 311         /* discard save IP */
 312         x86_alu_reg_imm (buf, X86_ADD, X86_ESP, 4);
 313         /* restore LMF end */
 314
 315         x86_alu_reg_imm (buf, X86_ADD, X86_ESP, 16);
 316
 317         if (tramp_type == MONO_TRAMPOLINE_CLASS_INIT)
 318                 x86_ret (buf);
 319         else
 320                 /* call the compiled method */
 321                 x86_jump_reg (buf, X86_EAX);
 322
 323         g_assert ((buf - code) <= 256);
 324
 325         switch (tramp_type) {
 326         case MONO_TRAMPOLINE_GENERIC:
 327                 mono_generic_trampoline_code = code;
 328                 break;
 329         case MONO_TRAMPOLINE_JUMP:
 330                 generic_jump_trampoline = code;
 331                 break;
 332         case MONO_TRAMPOLINE_CLASS_INIT:
 333                 generic_class_init_trampoline = code;
 334                 break;
 335         }
 336
 337         return code;
 338 }
 339
 340 #define TRAMPOLINE_SIZE 10
 341
 342 gpointer
 343 mono_arch_create_jump_trampoline (MonoMethod *method)
 344 {
 345         guint8 *code, *buf, *tramp;
 346
 347         if (method->iflags & METHOD_IMPL_ATTRIBUTE_SYNCHRONIZED)
 348                 return mono_arch_create_jump_trampoline (mono_marshal_get_synchronized_wrapper (method));
 349
 350         /* icalls use method->addr */
 351         if ((method->iflags & METHOD_IMPL_ATTRIBUTE_INTERNAL_CALL) ||
 352             (method->flags & METHOD_ATTRIBUTE_PINVOKE_IMPL)) {
 353                 MonoMethod *nm;
 354
 355                 if (!method->addr && (method->flags & METHOD_ATTRIBUTE_PINVOKE_IMPL))
 356                         mono_lookup_pinvoke_call (method);
 357
 358 #ifdef MONO_USE_EXC_TABLES
 359                 if (mono_method_blittable (method)) {
 360                         return method->addr;
 361                 } else {
 362 #endif
 363                         nm = mono_marshal_get_native_wrapper (method);
 364                         return mono_compile_method (nm);
 365 #ifdef MONO_USE_EXC_TABLES
 366                 }
 367 #endif
 368         }
 369
 370         tramp = create_trampoline_code (MONO_TRAMPOLINE_JUMP);
 371
 372         code = buf = g_malloc (TRAMPOLINE_SIZE);
 373         x86_push_imm (buf, method);
 374         x86_jump_code (buf, tramp);
 375         g_assert ((buf - code) <= TRAMPOLINE_SIZE);
 376
 377         mono_jit_stats.method_trampolines++;
 378
 379         return code;
 380
 381 }
 382
 383 /**
 384  * mono_arch_create_jit_trampoline:
 385  * @method: pointer to the method info
 386  *
 387  * Creates a trampoline function for virtual methods. If the created
 388  * code is called it first starts JIT compilation of method,
 389  * and then calls the newly created method. I also replaces the
 390  * corresponding vtable entry (see x86_magic_trampoline).
 391  *
 392  * Returns: a pointer to the newly created code
 393  */
 394 gpointer
 395 mono_arch_create_jit_trampoline (MonoMethod *method)
 396 {
 397         guint8 *code, *buf, *tramp;
 398
 399         /* previously created trampoline code */
 400         if (method->info)
 401                 return method->info;
 402
 403         /* we immediately compile runtime provided functions */
 404         if (method->iflags & METHOD_IMPL_ATTRIBUTE_RUNTIME) {
 405                 method->info = mono_compile_method (method);
 406                 return method->info;
 407         }
 408
 409         /* icalls use method->addr */
 410         if ((method->iflags & METHOD_IMPL_ATTRIBUTE_INTERNAL_CALL) ||
 411             (method->flags & METHOD_ATTRIBUTE_PINVOKE_IMPL)) {
 412                 MonoMethod *nm;
 413
 414                 if (!method->addr && (method->flags & METHOD_ATTRIBUTE_PINVOKE_IMPL))
 415                         mono_lookup_pinvoke_call (method);
 416
 417 #ifdef MONO_USE_EXC_TABLES
 418                 if (mono_method_blittable (method)) {
 419                         method->info = method->addr;
 420                 } else {
 421 #endif
 422                         nm = mono_marshal_get_native_wrapper (method);
 423                         method->info = mono_compile_method (nm);
 424 #ifdef MONO_USE_EXC_TABLES
 425                 }
 426 #endif
 427                 return method->info;
 428         }
 429
 430         if (method->iflags & METHOD_IMPL_ATTRIBUTE_SYNCHRONIZED)
 431                 return mono_arch_create_jit_trampoline (mono_marshal_get_synchronized_wrapper (method));
 432
 433         tramp = create_trampoline_code (MONO_TRAMPOLINE_GENERIC);
 434
 435         code = buf = g_malloc (TRAMPOLINE_SIZE);
 436         x86_push_imm (buf, method);
 437         x86_jump_code (buf, tramp);
 438         g_assert ((buf - code) <= TRAMPOLINE_SIZE);
 439
 440         /* store trampoline address */
 441         method->info = code;
 442
 443         mono_jit_stats.method_trampolines++;
 444
 445         return code;
 446 }
 447
 448 /**
 449  * mono_arch_create_class_init_trampoline:
 450  *  @vtable: the type to initialize
 451  *
 452  * Creates a trampoline function to run a type initializer.
 453  * If the trampoline is called, it calls mono_runtime_class_init with the
 454  * given vtable, then patches the caller code so it does not get called any
 455  * more.
 456  *
 457  * Returns: a pointer to the newly created code
 458  */
 459 gpointer
 460 mono_arch_create_class_init_trampoline (MonoVTable *vtable)
 461 {
 462         guint8 *code, *buf, *tramp;
 463
 464         tramp = create_trampoline_code (MONO_TRAMPOLINE_CLASS_INIT);
 465
 466         code = buf = g_malloc (TRAMPOLINE_SIZE);
 467         x86_push_imm (buf, vtable);
 468         x86_jump_code (buf, tramp);
 469         g_assert ((buf - code) <= TRAMPOLINE_SIZE);
 470
 471         mono_jit_stats.method_trampolines++;
 472
 473         return code;
 474 }
 475
 476 /*
 477  * This method is only called when running in the Mono Debugger.
 478  */
 479 gpointer
 480 mono_debugger_create_notification_function (gpointer *notification_address)
 481 {
 482         guint8 *ptr, *buf;
 483
 484         ptr = buf = g_malloc0 (16);
 485         x86_breakpoint (buf);
 486         if (notification_address)
 487                 *notification_address = buf;
 488         x86_ret (buf);
 489
 490         return ptr;
 491 }
 492