mono/mini/mini-trampolines.c

   1
   2 #include <config.h>
   3 #include <glib.h>
   4
   5 #include <mono/metadata/appdomain.h>
   6 #include <mono/metadata/metadata-internals.h>
   7 #include <mono/metadata/marshal.h>
   8 #include <mono/metadata/tabledefs.h>
   9
  10 #ifdef HAVE_VALGRIND_MEMCHECK_H
  11 #include <valgrind/memcheck.h>
  12 #endif
  13
  14 #include "mini.h"
  15
  16 #ifdef MONO_ARCH_HAVE_IMT
  17
  18 static gpointer*
  19 mono_convert_imt_slot_to_vtable_slot (gpointer* slot, gpointer *regs, guint8 *code, MonoMethod *method, MonoMethod **impl_method)
  20 {
  21         MonoObject *this_argument = mono_arch_find_this_argument (regs, method);
  22         MonoVTable *vt = this_argument->vtable;
  23         int displacement = slot - ((gpointer*)vt);
  24
  25         if (displacement > 0) {
  26                 /* slot is in the vtable, not in the IMT */
  27 #if DEBUG_IMT
  28                 printf ("mono_convert_imt_slot_to_vtable_slot: slot %p is in the vtable, not in the IMT\n", slot);
  29 #endif
  30                 return slot;
  31         } else {
  32                 MonoMethod *imt_method = mono_arch_find_imt_method (regs, code);
  33                 int interface_offset;
  34                 int imt_slot = MONO_IMT_SIZE + displacement;
  35
  36                 mono_class_setup_vtable (vt->klass);
  37                 interface_offset = mono_class_interface_offset (vt->klass, imt_method->klass);
  38
  39                 if (interface_offset < 0) {
  40                         g_print ("%s doesn't implement interface %s\n", mono_type_get_name_full (&vt->klass->byval_arg, 0), mono_type_get_name_full (&imt_method->klass->byval_arg, 0));
  41                         g_assert_not_reached ();
  42                 }
  43                 mono_vtable_build_imt_slot (vt, mono_method_get_imt_slot (imt_method));
  44
  45                 if (impl_method)
  46                         *impl_method = vt->klass->vtable [interface_offset + imt_method->slot];
  47 #if DEBUG_IMT
  48                 printf ("mono_convert_imt_slot_to_vtable_slot: method = %s.%s.%s, imt_method = %s.%s.%s\n",
  49                                 method->klass->name_space, method->klass->name, method->name,
  50                                 imt_method->klass->name_space, imt_method->klass->name, imt_method->name);
  51 #endif
  52                 g_assert (imt_slot < MONO_IMT_SIZE);
  53                 if (vt->imt_collisions_bitmap & (1 << imt_slot)) {
  54                         int vtable_offset = interface_offset + imt_method->slot;
  55                         gpointer *vtable_slot = & (vt->vtable [vtable_offset]);
  56 #if DEBUG_IMT
  57                         printf ("mono_convert_imt_slot_to_vtable_slot: slot %p[%d] is in the IMT, and colliding becomes %p[%d] (interface_offset = %d, method->slot = %d)\n", slot, imt_slot, vtable_slot, vtable_offset, interface_offset, imt_method->slot);
  58 #endif
  59                         return vtable_slot;
  60                 } else {
  61 #if DEBUG_IMT
  62                         printf ("mono_convert_imt_slot_to_vtable_slot: slot %p[%d] is in the IMT, but not colliding\n", slot, imt_slot);
  63 #endif
  64                         return slot;
  65                 }
  66         }
  67 }
  68 #endif
  69
  70 /**
  71  * mono_magic_trampoline:
  72  *
  73  *   This trampoline handles calls from JITted code.
  74  */
  75 gpointer
  76 mono_magic_trampoline (gssize *regs, guint8 *code, MonoMethod *m, guint8* tramp)
  77 {
  78         gpointer addr;
  79         gpointer *vtable_slot;
  80
  81 #if MONO_ARCH_COMMON_VTABLE_TRAMPOLINE
  82         if (m == MONO_FAKE_VTABLE_METHOD) {
  83                 int displacement;
  84                 MonoVTable *vt = mono_arch_get_vcall_slot (code, (gpointer*)regs, &displacement);
  85                 g_assert (vt);
  86                 if (displacement > 0) {
  87                         displacement -= G_STRUCT_OFFSET (MonoVTable, vtable);
  88                         g_assert (displacement >= 0);
  89                         displacement /= sizeof (gpointer);
  90                         mono_class_setup_vtable (vt->klass);
  91                         m = vt->klass->vtable [displacement];
  92                         /*g_print ("%s with disp %d: %s at %p\n", vt->klass->name, displacement, m->name, code);*/
  93                 } else {
  94                         /* We got here from an interface method: redirect to IMT handling */
  95                         m = MONO_FAKE_IMT_METHOD;
  96                         /*g_print ("vtable with disp %d at %p\n", displacement, code);*/
  97                 }
  98         }
  99 #endif
 100         /* this is the IMT trampoline */
 101 #ifdef MONO_ARCH_HAVE_IMT
 102         if (m == MONO_FAKE_IMT_METHOD) {
 103                 MonoMethod *impl_method;
 104                 /* we get the interface method because mono_convert_imt_slot_to_vtable_slot ()
 105                  * needs the signature to be able to find the this argument
 106                  */
 107                 m = mono_arch_find_imt_method (regs, code);
 108                 vtable_slot = mono_arch_get_vcall_slot_addr (code, (gpointer*)regs);
 109                 g_assert (vtable_slot);
 110                 vtable_slot = mono_convert_imt_slot_to_vtable_slot (vtable_slot, (gpointer*)regs, code, m, &impl_method);
 111                 /* mono_convert_imt_slot_to_vtable_slot () also gives us the method that is supposed
 112                  * to be called, so we compile it and go ahead as usual.
 113                  */
 114                 /*g_print ("imt found method %p (%s) at %p\n", impl_method, impl_method->name, code);*/
 115                 m = impl_method;
 116         }
 117 #endif
 118
 119         addr = mono_compile_method (m);
 120         g_assert (addr);
 121
 122         /* the method was jumped to */
 123         if (!code)
 124                 return addr;
 125
 126         vtable_slot = mono_arch_get_vcall_slot_addr (code, (gpointer*)regs);
 127
 128         if (vtable_slot) {
 129                 if (m->klass->valuetype)
 130                         addr = mono_arch_get_unbox_trampoline (m, addr);
 131
 132                 g_assert (*vtable_slot);
 133
 134                 if (mono_aot_is_got_entry (code, (guint8*)vtable_slot) || mono_domain_owns_vtable_slot (mono_domain_get (), vtable_slot)) {
 135 #ifdef MONO_ARCH_HAVE_IMT
 136                         vtable_slot = mono_convert_imt_slot_to_vtable_slot (vtable_slot, (gpointer*)regs, code, m, NULL);
 137 #endif
 138                         *vtable_slot = mono_get_addr_from_ftnptr (addr);
 139                 }
 140         }
 141         else {
 142                 guint8 *plt_entry = mono_aot_get_plt_entry (code);
 143
 144                 /* Patch calling code */
 145                 if (plt_entry) {
 146                         mono_arch_patch_plt_entry (plt_entry, addr);
 147                 } else {
 148                         MonoJitInfo *ji =
 149                                 mono_jit_info_table_find (mono_domain_get (), (char*)code);
 150                         MonoJitInfo *target_ji =
 151                                 mono_jit_info_table_find (mono_domain_get (), mono_get_addr_from_ftnptr (addr));
 152
 153                         if (mono_method_same_domain (ji, target_ji))
 154                                 mono_arch_patch_callsite (code, addr);
 155                 }
 156         }
 157
 158         return addr;
 159 }
 160
 161 /*
 162  * mono_aot_trampoline:
 163  *
 164  *   This trampoline handles calls made from AOT code. We try to bypass the
 165  * normal JIT compilation logic to avoid loading the metadata for the method.
 166  */
 167 #ifdef MONO_ARCH_HAVE_CREATE_TRAMPOLINE_FROM_TOKEN
 168 gpointer
 169 mono_aot_trampoline (gssize *regs, guint8 *code, guint8 *token_info,
 170                                          guint8* tramp)
 171 {
 172         MonoImage *image;
 173         guint32 token;
 174         MonoMethod *method = NULL;
 175         gpointer addr;
 176         gpointer *vtable_slot;
 177         gboolean is_got_entry;
 178
 179         image = *(gpointer*)(gpointer)token_info;
 180         token_info += sizeof (gpointer);
 181         token = *(guint32*)(gpointer)token_info;
 182
 183         addr = mono_aot_get_method_from_token (mono_domain_get (), image, token);
 184         if (!addr) {
 185                 method = mono_get_method (image, token, NULL);
 186                 g_assert (method);
 187
 188                 //printf ("F: %s\n", mono_method_full_name (method, TRUE));
 189
 190                 if (method->iflags & METHOD_IMPL_ATTRIBUTE_SYNCHRONIZED)
 191                         method = mono_marshal_get_synchronized_wrapper (method);
 192
 193                 addr = mono_compile_method (method);
 194                 g_assert (addr);
 195         }
 196
 197         vtable_slot = mono_arch_get_vcall_slot_addr (code, (gpointer*)regs);
 198
 199         if (vtable_slot) {
 200                 is_got_entry = mono_aot_is_got_entry (code, (guint8*)vtable_slot);
 201
 202                 if (!is_got_entry) {
 203                         if (!method)
 204                                 method = mono_get_method (image, token, NULL);
 205                         if (method->klass->valuetype)
 206                                 addr = mono_arch_get_unbox_trampoline (method, addr);
 207                 }
 208         } else {
 209                 /* This is a normal call through a PLT entry */
 210                 guint8 *plt_entry = mono_aot_get_plt_entry (code);
 211
 212                 g_assert (plt_entry);
 213
 214                 mono_arch_patch_plt_entry (plt_entry, addr);
 215
 216                 is_got_entry = FALSE;
 217         }
 218
 219         /*
 220          * Since AOT code is only used in the root domain,
 221          * mono_domain_get () != mono_get_root_domain () means the calling method
 222          * is AppDomain:InvokeInDomain, so this is the same check as in
 223          * mono_method_same_domain () but without loading the metadata for the method.
 224          */
 225         if ((is_got_entry && (mono_domain_get () == mono_get_root_domain ())) || mono_domain_owns_vtable_slot (mono_domain_get (), vtable_slot)) {
 226 #ifdef MONO_ARCH_HAVE_IMT
 227                 if (!method)
 228                         method = mono_get_method (image, token, NULL);
 229                 vtable_slot = mono_convert_imt_slot_to_vtable_slot (vtable_slot, (gpointer*)regs, code, method, NULL);
 230 #endif
 231                 *vtable_slot = addr;
 232         }
 233
 234         return addr;
 235 }
 236
 237 /*
 238  * mono_aot_plt_trampoline:
 239  *
 240  *   This trampoline handles calls made from AOT code through the PLT table.
 241  */
 242 gpointer
 243 mono_aot_plt_trampoline (gssize *regs, guint8 *code, guint8 *aot_module,
 244                                                  guint8* tramp)
 245 {
 246 #ifdef MONO_ARCH_AOT_PLT_OFFSET_REG
 247         guint32 plt_info_offset = regs [MONO_ARCH_AOT_PLT_OFFSET_REG];
 248 #else
 249         guint32 plt_info_offset = -1;
 250 #endif
 251
 252         return mono_aot_plt_resolve (aot_module, plt_info_offset, code);
 253 }
 254 #endif
 255
 256 /**
 257  * mono_class_init_trampoline:
 258  *
 259  * This method calls mono_runtime_class_init () to run the static constructor
 260  * for the type, then patches the caller code so it is not called again.
 261  */
 262 void
 263 mono_class_init_trampoline (gssize *regs, guint8 *code, MonoVTable *vtable, guint8 *tramp)
 264 {
 265         guint8 *plt_entry = mono_aot_get_plt_entry (code);
 266
 267         mono_runtime_class_init (vtable);
 268
 269         if (!mono_running_on_valgrind ()) {
 270                 if (plt_entry) {
 271                         mono_arch_nullify_plt_entry (plt_entry);
 272                 } else {
 273                         mono_arch_nullify_class_init_trampoline (code, regs);
 274                 }
 275         }
 276 }
 277
 278 #ifdef MONO_ARCH_HAVE_CREATE_DELEGATE_TRAMPOLINE
 279
 280 /**
 281  * mono_delegate_trampoline:
 282  *
 283  *   This trampoline handles calls made to Delegate:Invoke ().
 284  */
 285 gpointer
 286 mono_delegate_trampoline (gssize *regs, guint8 *code, MonoClass *klass, guint8* tramp)
 287 {
 288         MonoDomain *domain = mono_domain_get ();
 289         MonoDelegate *delegate;
 290         MonoJitInfo *ji;
 291         gpointer iter;
 292         MonoMethod *invoke;
 293         gboolean multicast;
 294
 295         /* Find the Invoke method */
 296         iter = NULL;
 297         while ((invoke = mono_class_get_methods (klass, &iter))) {
 298                 if (!strcmp (invoke->name, "Invoke"))
 299                         break;
 300         }
 301         g_assert (invoke);
 302
 303         /* Obtain the delegate object according to the calling convention */
 304
 305         delegate = mono_arch_get_this_arg_from_call (mono_method_signature (invoke), regs, code);
 306
 307         /*
 308          * If the called address is a trampoline, replace it with the compiled method so
 309          * further calls don't have to go through the trampoline.
 310          */
 311         ji = mono_jit_info_table_find (domain, mono_get_addr_from_ftnptr (delegate->method_ptr));
 312         if (ji)
 313                 delegate->method_ptr = mono_compile_method (ji->method);
 314
 315         multicast = ((MonoMulticastDelegate*)delegate)->prev != NULL;
 316         if (!multicast) {
 317                 code = mono_arch_get_delegate_invoke_impl (mono_method_signature (invoke), delegate->target != NULL);
 318
 319                 if (code) {
 320                         delegate->invoke_impl = code;
 321                         return code;
 322                 }
 323         }
 324
 325         /* The general, unoptimized case */
 326         delegate->invoke_impl = mono_compile_method (mono_marshal_get_delegate_invoke (invoke));
 327         return delegate->invoke_impl;
 328 }
 329
 330 #endif
 331
 332