mono/jit/emit-x86.c

   1 /*
   2  * emit-x86.c: Support functions for emitting x86 code
   3  *
   4  * Authors:
   5  *   Dietmar Maurer (dietmar@ximian.com)
   6  *   Miguel de Icaza (miguel@ximian.com)
   7  *
   8  * (C) 2001 Ximian, Inc.
   9  */
  10
  11 #include <config.h>
  12 #include <glib.h>
  13
  14 #include <mono/metadata/assembly.h>
  15 #include <mono/metadata/loader.h>
  16 #include <mono/metadata/cil-coff.h>
  17 #include <mono/metadata/tabledefs.h>
  18 #include <mono/metadata/class.h>
  19 #include <mono/metadata/debug-helpers.h>
  20 #include <mono/metadata/mono-endian.h>
  21 #include <mono/arch/x86/x86-codegen.h>
  22 #include <mono/metadata/profiler-private.h>
  23
  24 #include "jit.h"
  25 #include "helpers.h"
  26 #include "codegen.h"
  27
  28
  29 //#define DEBUG_REGALLOC
  30 //#define DEBUG_SPILLS
  31
  32 const char *
  33 arch_get_reg_name (int regnum)
  34 {
  35         switch (regnum) {
  36         case 0:
  37                 return "EAX";
  38         case 1:
  39                 return "ECX";
  40         case 2:
  41                 return "EDX";
  42         case 3:
  43                 return "EBX";
  44         case 4:
  45                 return "ESP";
  46         case 5:
  47                 return "EBP";
  48         case 6:
  49                 return "ESI";
  50         case 7:
  51                 return "EDI";
  52         }
  53
  54         g_assert_not_reached ();
  55         return NULL;
  56 }
  57
  58
  59 /*
  60  * we may want a x86-specific header or we
  61  * can just declare it extern in x86.brg.
  62  */
  63 int mono_x86_have_cmov = 0;
  64
  65 static int
  66 cpuid (int id, int* p_eax, int* p_ebx, int* p_ecx, int* p_edx)
  67 {
  68 #ifdef PIC
  69         return 0;
  70 #else
  71         int have_cpuid = 0;
  72         __asm__  __volatile__ (
  73                 "pushfl\n"
  74                 "popl %%eax\n"
  75                 "movl %%eax, %%edx\n"
  76                 "xorl $0x200000, %%eax\n"
  77                 "pushl %%eax\n"
  78                 "popfl\n"
  79                 "pushfl\n"
  80                 "popl %%eax\n"
  81                 "xorl %%edx, %%eax\n"
  82                 "andl $0x200000, %%eax\n"
  83                 "movl %%eax, %0"
  84                 : "=r" (have_cpuid)
  85                 :
  86                 : "%eax", "%edx"
  87         );
  88
  89         if (have_cpuid) {
  90                 __asm__ __volatile__ ("cpuid"
  91                         : "=a" (*p_eax), "=b" (*p_ebx), "=c" (*p_ecx), "=d" (*p_edx)
  92                         : "a" (id));
  93                 return 1;
  94         }
  95         return 0;
  96 #endif
  97 }
  98
  99 void
 100 mono_cpu_detect (void) {
 101         int eax, ebx, ecx, edx;
 102
 103         /* Feature Flags function, flags returned in EDX. */
 104         if (cpuid(1, &eax, &ebx, &ecx, &edx)) {
 105                 if (edx & (1U << 15)) {
 106                         mono_x86_have_cmov = 1;
 107                 }
 108         }
 109 }
 110
 111 /*
 112  * arch_get_argument_info:
 113  * @csig:  a method signature
 114  * @param_count: the number of parameters to consider
 115  * @arg_info: an array to store the result infos
 116  *
 117  * Gathers information on parameters such as size, alignment and
 118  * padding. arg_info should be large enought to hold param_count + 1 entries.
 119  *
 120  * Returns the size of the activation frame.
 121  */
 122 int
 123 arch_get_argument_info (MonoMethodSignature *csig, int param_count, MonoJitArgumentInfo *arg_info)
 124 {
 125         int k, frame_size = 0;
 126         int size, align, pad;
 127         int offset = 8;
 128
 129         if (MONO_TYPE_ISSTRUCT (csig->ret)) {
 130                 frame_size += sizeof (gpointer);
 131                 offset += 4;
 132         }
 133
 134         arg_info [0].offset = offset;
 135
 136         if (csig->hasthis) {
 137                 frame_size += sizeof (gpointer);
 138                 offset += 4;
 139         }
 140
 141         arg_info [0].size = frame_size;
 142
 143         for (k = 0; k < param_count; k++) {
 144
 145                 if (csig->pinvoke)
 146                         size = mono_type_native_stack_size (csig->params [k], &align);
 147                 else
 148                         size = mono_type_stack_size (csig->params [k], &align);
 149
 150                 frame_size += pad = (align - (frame_size & (align - 1))) & (align - 1);
 151                 arg_info [k].pad = pad;
 152                 frame_size += size;
 153                 arg_info [k + 1].pad = 0;
 154                 arg_info [k + 1].size = size;
 155                 offset += pad;
 156                 arg_info [k + 1].offset = offset;
 157                 offset += size;
 158         }
 159
 160         align = MONO_FRAME_ALIGNMENT;
 161         frame_size += pad = (align - (frame_size & (align - 1))) & (align - 1);
 162         arg_info [k].pad = pad;
 163
 164         return frame_size;
 165 }
 166
 167 static void
 168 enter_method (MonoMethod *method, char *ebp)
 169 {
 170         int i, j;
 171         MonoClass *class;
 172         MonoObject *o;
 173         MonoJitArgumentInfo *arg_info;
 174         MonoMethodSignature *sig;
 175         char *fname;
 176
 177         fname = mono_method_full_name (method, TRUE);
 178         printf ("ENTER: %s\n(", fname);
 179         g_free (fname);
 180
 181         if (((int)ebp & (MONO_FRAME_ALIGNMENT - 1)) != 0) {
 182                 g_error ("unaligned stack detected (%p)", ebp);
 183         }
 184
 185         sig = method->signature;
 186
 187         if (method->wrapper_type == MONO_WRAPPER_MANAGED_TO_NATIVE)
 188                 g_assert (!sig->pinvoke);
 189
 190         arg_info = alloca (sizeof (MonoJitArgumentInfo) * (sig->param_count + 1));
 191
 192         arch_get_argument_info (sig, sig->param_count, arg_info);
 193
 194         if (MONO_TYPE_ISSTRUCT (method->signature->ret)) {
 195                 g_assert (!method->signature->ret->byref);
 196
 197                 printf ("VALUERET:%p, ", *((gpointer *)(ebp + 8)));
 198         }
 199
 200         if (method->signature->hasthis) {
 201                 gpointer *this = (gpointer *)(ebp + arg_info [0].offset);
 202                 if (method->klass->valuetype) {
 203                         printf ("value:%p, ", *this);
 204                 } else {
 205                         o = *((MonoObject **)this);
 206
 207                         if (o) {
 208                                 class = o->vtable->klass;
 209
 210                                 if (class == mono_defaults.string_class) {
 211                                         printf ("this:[STRING:%p:%s], ", o, mono_string_to_utf8 ((MonoString *)o));
 212                                 } else {
 213                                         printf ("this:%p[%s.%s], ", o, class->name_space, class->name);
 214                                 }
 215                         } else
 216                                 printf ("this:NULL, ");
 217                 }
 218         }
 219
 220         for (i = 0; i < method->signature->param_count; ++i) {
 221                 gpointer *cpos = (gpointer *)(ebp + arg_info [i + 1].offset);
 222                 int size = arg_info [i + 1].size;
 223
 224                 MonoType *type = method->signature->params [i];
 225
 226                 if (type->byref) {
 227                         printf ("[BYREF:%p], ", *cpos);
 228                 } else switch (type->type) {
 229
 230                 case MONO_TYPE_BOOLEAN:
 231                 case MONO_TYPE_CHAR:
 232                 case MONO_TYPE_I1:
 233                 case MONO_TYPE_U1:
 234                 case MONO_TYPE_I2:
 235                 case MONO_TYPE_U2:
 236                 case MONO_TYPE_I4:
 237                 case MONO_TYPE_U4:
 238                 case MONO_TYPE_I:
 239                 case MONO_TYPE_U:
 240                         printf ("%d, ", *((int *)(cpos)));
 241                         break;
 242                 case MONO_TYPE_STRING: {
 243                         MonoString *s = *((MonoString **)cpos);
 244                         if (s) {
 245                                 g_assert (((MonoObject *)s)->vtable->klass == mono_defaults.string_class);
 246                                 printf ("[STRING:%p:%s], ", s, mono_string_to_utf8 (s));
 247                         } else
 248                                 printf ("[STRING:null], ");
 249                         break;
 250                 }
 251                 case MONO_TYPE_CLASS:
 252                 case MONO_TYPE_OBJECT: {
 253                         o = *((MonoObject **)cpos);
 254                         if (o) {
 255                                 class = o->vtable->klass;
 256
 257                                 if (class == mono_defaults.string_class) {
 258                                         printf ("[STRING:%p:%s], ", o, mono_string_to_utf8 ((MonoString *)o));
 259                                 } else if (class == mono_defaults.int32_class) {
 260                                         printf ("[INT32:%p:%d], ", o, *(gint32 *)((char *)o + sizeof (MonoObject)));
 261                                 } else
 262                                         printf ("[%s.%s:%p], ", class->name_space, class->name, o);
 263                         } else {
 264                                 printf ("%p, ", *((gpointer *)(cpos)));
 265                         }
 266                         break;
 267                 }
 268                 case MONO_TYPE_PTR:
 269                 case MONO_TYPE_FNPTR:
 270                 case MONO_TYPE_ARRAY:
 271                 case MONO_TYPE_SZARRAY:
 272                         printf ("%p, ", *((gpointer *)(cpos)));
 273                         break;
 274                 case MONO_TYPE_I8:
 275                         printf ("%lld, ", *((gint64 *)(cpos)));
 276                         break;
 277                 case MONO_TYPE_R4:
 278                         printf ("%f, ", *((float *)(cpos)));
 279                         break;
 280                 case MONO_TYPE_R8:
 281                         printf ("%f, ", *((double *)(cpos)));
 282                         break;
 283                 case MONO_TYPE_VALUETYPE:
 284                         printf ("[");
 285                         for (j = 0; j < size; j++)
 286                                 printf ("%02x,", *((guint8*)cpos +j));
 287                         printf ("], ");
 288                         break;
 289                 default:
 290                         printf ("XX, ");
 291                 }
 292         }
 293
 294         printf (")\n");
 295 }
 296
 297 static void
 298 leave_method (MonoMethod *method, int edx, int eax, double test)
 299 {
 300         gint64 l;
 301         char *fname;
 302
 303         fname = mono_method_full_name (method, TRUE);
 304         printf ("LEAVE: %s", fname);
 305         g_free (fname);
 306
 307         switch (method->signature->ret->type) {
 308         case MONO_TYPE_VOID:
 309                 break;
 310         case MONO_TYPE_BOOLEAN:
 311                 if (eax)
 312                         printf ("TRUE:%d", eax);
 313                 else
 314                         printf ("FALSE");
 315
 316                 break;
 317         case MONO_TYPE_CHAR:
 318         case MONO_TYPE_I1:
 319         case MONO_TYPE_U1:
 320         case MONO_TYPE_I2:
 321         case MONO_TYPE_U2:
 322         case MONO_TYPE_I4:
 323         case MONO_TYPE_U4:
 324         case MONO_TYPE_I:
 325         case MONO_TYPE_U:
 326                 printf ("EAX=%d", eax);
 327                 break;
 328         case MONO_TYPE_STRING: {
 329                 MonoString *s = (MonoString *)eax;
 330
 331                 if (s) {
 332                         g_assert (((MonoObject *)s)->vtable->klass == mono_defaults.string_class);
 333                         printf ("[STRING:%p:%s]", s, mono_string_to_utf8 (s));
 334                 } else
 335                         printf ("[STRING:null], ");
 336                 break;
 337         }
 338         case MONO_TYPE_OBJECT: {
 339                 MonoObject *o = (MonoObject *)eax;
 340
 341                 if (o) {
 342                         if (o->vtable->klass == mono_defaults.boolean_class) {
 343                                 printf ("[BOOLEAN:%p:%d]", o, *((guint8 *)o + sizeof (MonoObject)));
 344                         } else if  (o->vtable->klass == mono_defaults.int32_class) {
 345                                 printf ("[INT32:%p:%d]", o, *((gint32 *)((char *)o + sizeof (MonoObject))));
 346                         } else if  (o->vtable->klass == mono_defaults.int64_class) {
 347                                 printf ("[INT64:%p:%lld]", o, *((gint64 *)((char *)o + sizeof (MonoObject))));
 348                         } else
 349                                 printf ("[%s.%s:%p]", o->vtable->klass->name_space, o->vtable->klass->name, o);
 350                 } else
 351                         printf ("[OBJECT:%p]", o);
 352
 353                 break;
 354         }
 355         case MONO_TYPE_CLASS:
 356         case MONO_TYPE_PTR:
 357         case MONO_TYPE_FNPTR:
 358         case MONO_TYPE_ARRAY:
 359         case MONO_TYPE_SZARRAY:
 360                 printf ("EAX=%p", (gpointer)eax);
 361                 break;
 362         case MONO_TYPE_I8:
 363                 *((gint32 *)&l) = eax;
 364                 *((gint32 *)&l + 1) = edx;
 365                 printf ("EAX/EDX=%lld", l);
 366                 break;
 367         case MONO_TYPE_R8:
 368                 printf ("FP=%f\n", test);
 369                 break;
 370         default:
 371                 printf ("(unknown return type)");
 372         }
 373
 374         printf ("\n");
 375 }
 376
 377 /**
 378  * arch_emit_prologue:
 379  * @cfg: pointer to status information
 380  *
 381  * Emits the function prolog.
 382  */
 383 static void
 384 arch_emit_prologue (MonoFlowGraph *cfg)
 385 {
 386         MonoMethod *method = cfg->method;
 387         MonoMethodHeader *header = ((MonoMethodNormal *)method)->header;
 388         int i, j, k, alloc_size, pos;
 389
 390         x86_push_reg (cfg->code, X86_EBP);
 391         x86_mov_reg_reg (cfg->code, X86_EBP, X86_ESP, 4);
 392
 393         alloc_size = cfg->locals_size;
 394         pos = 0;
 395
 396         if (method->save_lmf) {
 397
 398                 pos += sizeof (MonoLMF);
 399
 400                 /* save the current IP */
 401                 cfg->lmfip_offset = cfg->code + 1 - cfg->start;
 402                 x86_push_imm (cfg->code, 0);
 403                 /* save all caller saved regs */
 404                 x86_push_reg (cfg->code, X86_EBX);
 405                 x86_push_reg (cfg->code, X86_EDI);
 406                 x86_push_reg (cfg->code, X86_ESI);
 407                 x86_push_reg (cfg->code, X86_EBP);
 408
 409                 /* save method info */
 410                 x86_push_imm (cfg->code, method);
 411
 412                 /* get the address of lmf for the current thread */
 413                 mono_add_jump_info (cfg, cfg->code, MONO_JUMP_INFO_ABS, mono_get_lmf_addr);
 414                 x86_call_code (cfg->code, 0);
 415
 416                 /* push lmf */
 417                 x86_push_reg (cfg->code, X86_EAX);
 418                 /* push *lfm (previous_lmf) */
 419                 x86_push_membase (cfg->code, X86_EAX, 0);
 420                 /* *(lmf) = ESP */
 421                 x86_mov_membase_reg (cfg->code, X86_EAX, 0, X86_ESP, 4);
 422         } else {
 423
 424 #if 0
 425                 /* activation frame alignment check */
 426                 x86_mov_reg_reg (cfg->code, X86_EAX, X86_ESP, 4);
 427                 x86_alu_reg_imm (cfg->code, X86_AND, X86_EAX, MONO_FRAME_ALIGNMENT - 1);
 428                 x86_alu_reg_imm (cfg->code, X86_CMP, X86_EAX, 0);
 429                 x86_branch32 (cfg->code, X86_CC_EQ, 1, FALSE);
 430                 x86_breakpoint (cfg->code);
 431 #endif
 432
 433                 if (mono_regset_reg_used (cfg->rs, X86_EBX)) {
 434                         x86_push_reg (cfg->code, X86_EBX);
 435                         pos += 4;
 436                 }
 437
 438                 if (mono_regset_reg_used (cfg->rs, X86_EDI)) {
 439                         x86_push_reg (cfg->code, X86_EDI);
 440                         pos += 4;
 441                 }
 442
 443                 if (mono_regset_reg_used (cfg->rs, X86_ESI)) {
 444                         x86_push_reg (cfg->code, X86_ESI);
 445                         pos += 4;
 446                 }
 447         }
 448
 449         alloc_size -= pos;
 450
 451         if (alloc_size)
 452                 x86_alu_reg_imm (cfg->code, X86_SUB, X86_ESP, alloc_size);
 453
 454         if (mono_jit_trace_calls) {
 455                 x86_push_reg (cfg->code, X86_EBP);
 456                 x86_push_imm (cfg->code, cfg->method);
 457                 x86_mov_reg_imm (cfg->code, X86_EAX, enter_method);
 458                 x86_call_reg (cfg->code, X86_EAX);
 459                 x86_alu_reg_imm (cfg->code, X86_ADD, X86_ESP, 8);
 460         }
 461         if (mono_jit_profile) {
 462                 x86_push_imm (cfg->code, cfg->method);
 463                 x86_mov_reg_imm (cfg->code, X86_EAX, mono_profiler_method_enter);
 464                 x86_call_reg (cfg->code, X86_EAX);
 465                 x86_alu_reg_imm (cfg->code, X86_ADD, X86_ESP, 4);
 466         }
 467
 468         /* initialize local vars */
 469         if (header->num_locals) {
 470                 gboolean unassigned_locals = TRUE;
 471
 472                 if (cfg->bblocks [0].live_in_set) {
 473                         i = mono_bitset_find_first (cfg->bblocks [0].live_in_set,
 474                                                     cfg->locals_start_index - 1);
 475                         unassigned_locals = (i >= 0 && i < cfg->locals_start_index +
 476                                              header->num_locals);
 477                 }
 478
 479                 if (unassigned_locals && header->init_locals) {
 480                         MonoVarInfo *vi = &VARINFO (cfg, cfg->locals_start_index + header->num_locals - 1);
 481                         int offset = vi->offset;
 482                         int size = - offset;
 483                         int inited = 0;
 484
 485                         /* do not clear caller saved registers */
 486                         size -= 12;
 487
 488                         for (i = 0; i < header->num_locals; ++i) {
 489                                 MonoVarInfo *rv = &VARINFO (cfg, cfg->locals_start_index + i);
 490
 491                                 if (rv->reg >= 0) {
 492                                         int ind = 1 << rv->reg;
 493                                         if (!(inited & ind))
 494                                                 x86_alu_reg_reg (cfg->code, X86_XOR, rv->reg, rv->reg);
 495                                         inited |= ind;
 496                                 }
 497                         }
 498
 499                         if (size == 1 || size == 2 || size == 4) {
 500                                 x86_mov_membase_imm (cfg->code, X86_EBP, offset, 0, size);
 501                                 return;
 502                         }
 503
 504                         i = size / 4;
 505                         j = size % 4;
 506
 507                         if (i < 3) {
 508                                 for (k = 0; k < i; k++) {
 509                                         x86_mov_membase_imm (cfg->code, X86_EBP, offset, 0, 4);
 510                                         offset += 4;
 511                                 }
 512
 513                                 if (j & 2) {
 514                                         x86_mov_membase_imm (cfg->code, X86_EBP, offset, 0, 2);
 515                                         offset += 2;
 516                                 }
 517                                 if (j & 1)
 518                                         x86_mov_membase_imm (cfg->code, X86_EBP, offset, 0, 1);
 519                                 return;
 520                         }
 521
 522                         if (i) {
 523                                 if (!mono_regset_reg_used (cfg->rs, X86_EDI))
 524                                         x86_push_reg (cfg->code, X86_EDI);
 525                                 x86_lea_membase (cfg->code, X86_EDI, X86_EBP, offset);
 526                                 x86_alu_reg_reg (cfg->code, X86_XOR, X86_EAX, X86_EAX);
 527                                 x86_mov_reg_imm (cfg->code, X86_ECX, i);
 528                                 x86_cld (cfg->code);
 529                                 x86_prefix (cfg->code, X86_REP_PREFIX);
 530                                 x86_stosl (cfg->code);
 531                                 for (i = 0; i < j; i++)
 532                                         x86_stosb (cfg->code);
 533                                 if (!mono_regset_reg_used (cfg->rs, X86_EDI))
 534                                         x86_pop_reg (cfg->code, X86_EDI);
 535                         } else {
 536
 537                                 g_assert (j == 3);
 538                                 x86_mov_membase_imm (cfg->code, X86_EBP, offset, 0, 2);
 539                                 x86_mov_membase_imm (cfg->code, X86_EBP, offset + 2, 0, 1);
 540                         }
 541
 542                 } else {
 543
 544                         /* we always need to initialize object pointers */
 545
 546                         for (i = 0; i < header->num_locals; ++i) {
 547                                 MonoType *t = header->locals [i];
 548                                 int offset = VARINFO (cfg, cfg->locals_start_index + i).offset;
 549
 550                                 if (t->byref) {
 551                                         x86_mov_membase_imm (cfg->code, X86_EBP, offset, 0, 4);
 552                                         continue;
 553                                 }
 554
 555                                 switch (t->type) {
 556                                 case MONO_TYPE_STRING:
 557                                 case MONO_TYPE_CLASS:
 558                                 case MONO_TYPE_ARRAY:
 559                                 case MONO_TYPE_SZARRAY:
 560                                 case MONO_TYPE_OBJECT:
 561                                         x86_mov_membase_imm (cfg->code, X86_EBP, offset, 0, 4);
 562                                         break;
 563                                 }
 564
 565                         }
 566                 }
 567         }
 568 }
 569
 570 /**
 571  * arch_emit_epilogue:
 572  * @cfg: pointer to status information
 573  *
 574  * Emits the function epilog.
 575  */
 576 static void
 577 arch_emit_epilogue (MonoFlowGraph *cfg)
 578 {
 579         int pos;
 580         /*
 581          * note: with trace and profiling the value on the FP stack may get clobbered.
 582          */
 583         if (mono_jit_trace_calls) {
 584                 x86_fld_reg (cfg->code, 0);
 585                 x86_alu_reg_imm (cfg->code, X86_SUB, X86_ESP, 8);
 586                 x86_fst_membase (cfg->code, X86_ESP, 0, TRUE, TRUE);
 587                 x86_push_reg (cfg->code, X86_EAX);
 588                 x86_push_reg (cfg->code, X86_EDX);
 589                 x86_push_imm (cfg->code, cfg->method);
 590                 x86_mov_reg_imm (cfg->code, X86_EAX, leave_method);
 591                 x86_call_reg (cfg->code, X86_EAX);
 592                 x86_alu_reg_imm (cfg->code, X86_ADD, X86_ESP, 4);
 593                 x86_pop_reg (cfg->code, X86_EDX);
 594                 x86_pop_reg (cfg->code, X86_EAX);
 595                 x86_alu_reg_imm (cfg->code, X86_ADD, X86_ESP, 8);
 596         }
 597         if (mono_jit_profile) {
 598                 x86_push_reg (cfg->code, X86_EAX);
 599                 x86_push_reg (cfg->code, X86_EDX);
 600                 x86_push_imm (cfg->code, cfg->method);
 601                 x86_mov_reg_imm (cfg->code, X86_EAX, mono_profiler_method_leave);
 602                 x86_call_reg (cfg->code, X86_EAX);
 603                 x86_alu_reg_imm (cfg->code, X86_ADD, X86_ESP, 4);
 604                 x86_pop_reg (cfg->code, X86_EDX);
 605                 x86_pop_reg (cfg->code, X86_EAX);
 606         }
 607
 608         pos = 0;
 609
 610         if (cfg->method->save_lmf) {
 611                 pos = -sizeof (MonoLMF);
 612         } else {
 613                 if (mono_regset_reg_used (cfg->rs, X86_EBX)) {
 614                         pos -= 4;
 615         }
 616                 if (mono_regset_reg_used (cfg->rs, X86_EDI)) {
 617                         pos -= 4;
 618                 }
 619                 if (mono_regset_reg_used (cfg->rs, X86_ESI)) {
 620                         pos -= 4;
 621                 }
 622         }
 623         if (pos)
 624                 x86_lea_membase (cfg->code, X86_ESP, X86_EBP, pos);
 625
 626         if (cfg->method->save_lmf) {
 627                 /* ebx = previous_lmf */
 628                 x86_pop_reg (cfg->code, X86_EBX);
 629                 /* edi = lmf */
 630                 x86_pop_reg (cfg->code, X86_EDI);
 631                 /* *(lmf) = previous_lmf */
 632                 x86_mov_membase_reg (cfg->code, X86_EDI, 0, X86_EBX, 4);
 633
 634                 /* discard method info */
 635                 x86_pop_reg (cfg->code, X86_ESI);
 636
 637                 /* restore caller saved regs */
 638                 x86_pop_reg (cfg->code, X86_EBP);
 639                 x86_pop_reg (cfg->code, X86_ESI);
 640                 x86_pop_reg (cfg->code, X86_EDI);
 641                 x86_pop_reg (cfg->code, X86_EBX);
 642
 643         } else {
 644
 645                 if (mono_regset_reg_used (cfg->rs, X86_ESI)) {
 646                         x86_pop_reg (cfg->code, X86_ESI);
 647                 }
 648                 if (mono_regset_reg_used (cfg->rs, X86_EDI)) {
 649                         x86_pop_reg (cfg->code, X86_EDI);
 650                 }
 651                 if (mono_regset_reg_used (cfg->rs, X86_EBX)) {
 652                         x86_pop_reg (cfg->code, X86_EBX);
 653                 }
 654         }
 655
 656         x86_leave (cfg->code);
 657         x86_ret (cfg->code);
 658 }
 659
 660 static void
 661 init_varinfo (MonoFlowGraph *cfg, MonoVarInfo *vi)
 662 {
 663         vi->range.last_use.abs_pos = 0;
 664         vi->range.first_use.pos.bid = 0xffff;
 665         vi->range.first_use.pos.tid = 0;
 666         vi->isvolatile = 0;
 667         vi->reg = -1;
 668         vi->varnum = cfg->varinfo->len;
 669 }
 670
 671 int
 672 arch_allocate_arg (MonoFlowGraph *cfg, MonoJitArgumentInfo *info, MonoValueType type)
 673 {
 674         MonoVarInfo vi;
 675
 676         mono_jit_stats.allocate_var++;
 677
 678         init_varinfo (cfg, &vi);
 679         vi.isvolatile = 1;
 680
 681         SET_VARINFO (vi, type, MONO_ARGVAR, info->offset, info->size);
 682         g_array_append_val (cfg->varinfo, vi);
 683
 684         return cfg->varinfo->len - 1;
 685 }
 686
 687 int
 688 arch_allocate_var (MonoFlowGraph *cfg, int size, int align, MonoVarType vartype, MonoValueType type)
 689 {
 690         MonoVarInfo vi;
 691
 692         mono_jit_stats.allocate_var++;
 693
 694         init_varinfo (cfg, &vi);
 695
 696         if (size != sizeof (gpointer))
 697                 vi.isvolatile = 1;
 698
 699         cfg->locals_size += size;
 700         cfg->locals_size += align - 1;
 701         cfg->locals_size &= ~(align - 1);
 702
 703         SET_VARINFO (vi, type, vartype, - cfg->locals_size, size);
 704         g_array_append_val (cfg->varinfo, vi);
 705
 706         return cfg->varinfo->len - 1;
 707 }
 708
 709 static gboolean
 710 mono_label_cfg (MonoFlowGraph *cfg)
 711 {
 712         int i, j;
 713
 714         for (i = 0; i < cfg->block_count; i++) {
 715                 GPtrArray *forest = cfg->bblocks [i].forest;
 716                 int top;
 717
 718                 if (!cfg->bblocks [i].reached) /* unreachable code */
 719                         continue;
 720
 721                 top = forest->len;
 722
 723                 for (j = 0; j < top; j++) {
 724                         MBTree *t1 = (MBTree *) g_ptr_array_index (forest, j);
 725                         MBState *mbstate;
 726
 727                         mbstate =  mono_burg_label (t1, cfg);
 728
 729                         if (!mbstate) {
 730                                 g_warning ("tree does not match in %s: 0x%04x",
 731                                            mono_method_full_name (cfg->method, TRUE), t1->cli_addr);
 732                                 mono_print_ctree (cfg, t1); printf ("\n\n");
 733
 734                                 mono_print_forest (cfg, forest);
 735                                 g_assert_not_reached ();
 736                         }
 737                 }
 738         }
 739
 740         return TRUE;
 741 }
 742
 743 static gboolean
 744 tree_allocate_regs (MonoFlowGraph *cfg, MBTree *tree, int goal, MonoRegSet *rs,
 745                     guint8 exclude_mask, int *spillcount)
 746 {
 747         MBTree *kids[10];
 748         int ern = mono_burg_rule (tree->state, goal);
 749         const guint16 *nts = mono_burg_nts [ern];
 750         guint8 left_exclude_mask = 0, right_exclude_mask = 0;
 751         int i;
 752
 753 #ifdef DEBUG_REGALLOC
 754         printf ("tree_allocate_regs start %d %08x %d %d\n",  tree->op, rs->free_mask, goal,
 755                 (nts [0] && kids [0] == tree));
 756 #endif
 757
 758         mono_burg_kids (tree, ern, kids);
 759
 760         switch (tree->op) {
 761         case MB_TERM_SHL:
 762         case MB_TERM_SHR:
 763         case MB_TERM_SHR_UN:
 764                 exclude_mask |= (1 << X86_ECX);
 765                 left_exclude_mask |= (1 << X86_ECX);
 766                 break;
 767         case MB_TERM_MUL:
 768         case MB_TERM_MUL_OVF:
 769         case MB_TERM_MUL_OVF_UN:
 770         case MB_TERM_DIV:
 771         case MB_TERM_DIV_UN:
 772         case MB_TERM_REM:
 773         case MB_TERM_REM_UN:
 774                 if (goal == MB_NTERM_reg) {
 775                         left_exclude_mask |= (1 << X86_EDX);
 776                         right_exclude_mask |= (1 << X86_EDX) | (1 << X86_EAX);
 777                 }
 778                 break;
 779         default:
 780                 break;
 781         }
 782
 783         if (nts [0] && kids [0] == tree) {
 784                 /* chain rule */
 785                 if (!tree_allocate_regs (cfg, kids [0], nts [0], rs, exclude_mask, spillcount))
 786                         return FALSE;
 787                 return TRUE;
 788         }
 789
 790         if (tree->spilled) {
 791                 if (tree->reg1 >= 0)
 792                         (*spillcount)--;
 793                 if (tree->reg2 >= 0)
 794                         (*spillcount)--;
 795                 if (tree->reg3 >= 0)
 796                         (*spillcount)--;
 797         }
 798
 799         tree->reg1 = -1;
 800         tree->reg2 = -1;
 801         tree->reg3 = -1;
 802
 803         tree->spilled = 0;
 804
 805         if (nts [0]) {
 806                 if (nts [1]) { /* two kids */
 807                         MonoRegSet saved_rs;
 808
 809                         if (!tree_allocate_regs (cfg, kids [0], nts [0], rs, left_exclude_mask, spillcount))
 810                                 return FALSE;
 811
 812                         saved_rs = *rs;
 813
 814                         if (!tree_allocate_regs (cfg, kids [1], nts [1], rs, right_exclude_mask, spillcount)) {
 815
 816 #ifdef DEBUG_REGALLOC
 817                                 printf ("tree_allocate_regs try 1 failed %d %d %d %d\n",
 818                                         nts [1], kids [1]->reg1,
 819                                         kids [1]->reg2,kids [1]->reg3);
 820 #endif
 821                                 *rs = saved_rs;
 822
 823                                 if (kids [0]->reg1 != -1) {
 824                                         right_exclude_mask |= 1 << kids [0]->reg1;
 825                                         (*spillcount)++;
 826                                 }
 827                                 if (kids [0]->reg2 != -1) {
 828                                         right_exclude_mask |= 1 << kids [0]->reg2;
 829                                         (*spillcount)++;
 830                                 }
 831                                 if (kids [0]->reg3 != -1) {
 832                                         right_exclude_mask |= 1 << kids [0]->reg3;
 833                                         (*spillcount)++;
 834                                 }
 835
 836                                 mono_regset_free_reg (rs, kids [0]->reg1);
 837                                 mono_regset_free_reg (rs, kids [0]->reg2);
 838                                 mono_regset_free_reg (rs, kids [0]->reg3);
 839
 840                                 kids [0]->spilled = 1;
 841
 842                                 if (!tree_allocate_regs (cfg, kids [1], nts [1], rs, right_exclude_mask, spillcount)) {
 843 #ifdef DEBUG_REGALLOC
 844                                         printf ("tree_allocate_regs try 2 failed\n");
 845 #endif
 846                                         return FALSE;
 847                                 }
 848 #ifdef DEBUG_REGALLOC
 849                                 printf ("tree_allocate_regs try 2 succesfull\n");
 850 #endif
 851                         }
 852
 853                         if (nts [2]) {
 854                                 if (nts [3]) /* we cant handle four kids */
 855                                         g_assert_not_reached ();
 856
 857                                 if (!tree_allocate_regs (cfg, kids [2], nts [2], rs, right_exclude_mask, spillcount))
 858                                         return FALSE;
 859
 860                         }
 861
 862                 } else { /* one kid */
 863                         if (!tree_allocate_regs (cfg, kids [0], nts [0], rs, left_exclude_mask, spillcount))
 864                                 return FALSE;
 865                 }
 866         }
 867
 868
 869         for (i = 0; nts [i]; i++) {
 870                 mono_regset_free_reg (rs, kids [i]->reg1);
 871                 mono_regset_free_reg (rs, kids [i]->reg2);
 872                 mono_regset_free_reg (rs, kids [i]->reg3);
 873         }
 874
 875         tree->emit = mono_burg_func [ern];
 876
 877         switch (tree->op) {
 878         case MB_TERM_CALL_I4:
 879         case MB_TERM_CALL_I8:
 880         case MB_TERM_CALL_R8:
 881         // case MB_TERM_CALL_VOID :
 882                 if ((tree->reg1 = mono_regset_alloc_reg (rs, X86_EAX, exclude_mask)) == -1)
 883                         return FALSE;
 884                 if ((tree->reg2 = mono_regset_alloc_reg (rs, X86_EDX, exclude_mask)) == -1)
 885                         return FALSE;
 886                 if ((tree->reg3 = mono_regset_alloc_reg (rs, X86_ECX, exclude_mask)) == -1)
 887                         return FALSE;
 888                 return TRUE;
 889         }
 890
 891         switch (goal) {
 892         case MB_NTERM_reg:
 893                 switch (tree->op) {
 894                 case MB_TERM_MUL_OVF_UN:
 895                 case MB_TERM_DIV:
 896                 case MB_TERM_DIV_UN:
 897                 case MB_TERM_REM:
 898                 case MB_TERM_REM_UN:
 899                         if ((tree->reg1 = mono_regset_alloc_reg (rs, X86_EAX, exclude_mask)) == -1)
 900                                 return FALSE;
 901                         if ((tree->reg2 = mono_regset_alloc_reg (rs, X86_EDX, exclude_mask)) == -1)
 902                                 return FALSE;
 903                         break;
 904                 default:
 905                         if ((tree->reg1 = mono_regset_alloc_reg (rs, -1, exclude_mask)) == -1)
 906                                 return FALSE;
 907                 }
 908                 break;
 909
 910         case MB_NTERM_lreg:
 911                 switch (tree->op) {
 912                 case MB_TERM_MUL:
 913                 case MB_TERM_MUL_OVF:
 914                 case MB_TERM_MUL_OVF_UN:
 915                 case MB_TERM_DIV:
 916                 case MB_TERM_DIV_UN:
 917                 case MB_TERM_REM:
 918                 case MB_TERM_REM_UN:
 919                         if ((tree->reg1 = mono_regset_alloc_reg (rs, X86_EAX, exclude_mask)) == -1)
 920                                 return FALSE;
 921                         if ((tree->reg2 = mono_regset_alloc_reg (rs, X86_EDX, exclude_mask)) == -1)
 922                                 return FALSE;
 923                         break;
 924                 default:
 925                         if ((tree->reg1 = mono_regset_alloc_reg (rs, -1, exclude_mask)) == -1)
 926                                 return FALSE;
 927                         if ((tree->reg2 = mono_regset_alloc_reg (rs, -1, exclude_mask)) == -1)
 928                                 return FALSE;
 929                 }
 930                 break;
 931
 932         case MB_NTERM_freg:
 933                 /* fixme: allocate floating point registers */
 934                 break;
 935
 936         case MB_NTERM_addr:
 937                 if (tree->op == MB_TERM_ADD) {
 938                         if ((tree->reg1 = mono_regset_alloc_reg (rs, tree->left->reg1, exclude_mask)) == -1)
 939                                 return FALSE;
 940                         if ((tree->reg2 = mono_regset_alloc_reg (rs, tree->right->reg1, exclude_mask)) == -1)
 941                                 return FALSE;
 942                 }
 943                 break;
 944
 945         case MB_NTERM_base:
 946                 if (tree->op == MB_TERM_ADD) {
 947                         if ((tree->reg1 = mono_regset_alloc_reg (rs, tree->left->reg1, exclude_mask)) == -1)
 948                                 return FALSE;
 949                 }
 950                 break;
 951
 952         case MB_NTERM_index:
 953                 if (tree->op == MB_TERM_SHL ||
 954                     tree->op == MB_TERM_MUL) {
 955                         if ((tree->reg1 = mono_regset_alloc_reg (rs, tree->left->reg1, exclude_mask)) == -1)
 956                                 return FALSE;
 957                 }
 958                 break;
 959
 960         default:
 961                 /* do nothing */
 962                 break;
 963         }
 964
 965 #ifdef DEBUG_REGALLOC
 966         printf ("tree_allocate_regs end %d %08x\n",  tree->op, rs->free_mask);
 967 #endif
 968         return TRUE;
 969 }
 970
 971 static void
 972 arch_allocate_regs (MonoFlowGraph *cfg)
 973 {
 974         int i, j, max_spillcount = 0;
 975
 976         for (i = 0; i < cfg->block_count; i++) {
 977                 GPtrArray *forest = cfg->bblocks [i].forest;
 978                 int top;
 979
 980                 if (!cfg->bblocks [i].reached) /* unreachable code */
 981                         continue;
 982
 983                 top = forest->len;
 984
 985                 for (j = 0; j < top; j++) {
 986                         MBTree *t1 = (MBTree *) g_ptr_array_index (forest, j);
 987                         int spillcount = 0;
 988 #ifdef DEBUG_REGALLOC
 989                         printf ("arch_allocate_regs start %d:%d %08x\n", i, j, cfg->rs->free_mask);
 990 #endif
 991                         if (!tree_allocate_regs (cfg, t1, 1, cfg->rs, 0, &spillcount)) {
 992                                 mono_print_ctree (cfg, t1);
 993                                 printf ("\n");
 994                                 g_error ("register allocation failed");
 995                         }
 996
 997                         max_spillcount = MAX (max_spillcount, spillcount);
 998
 999 #ifdef DEBUG_REGALLOC
1000                         printf ("arch_allocate_regs end %d:%d %08x\n", i, j, cfg->rs->free_mask);
1001 #endif
1002                         g_assert (cfg->rs->free_mask == 0xffffffff);
1003                 }
1004         }
1005
1006         /* allocate space for spilled regs */
1007
1008         cfg->spillvars = mono_mempool_alloc0 (cfg->mp, sizeof (gint) *  max_spillcount);
1009         cfg->spillcount = max_spillcount;
1010
1011         for (i = 0; i < max_spillcount; i++) {
1012                 int spillvar;
1013                 spillvar = arch_allocate_var (cfg, sizeof (gpointer), sizeof (gpointer),
1014                                               MONO_TEMPVAR, VAL_I32);
1015                 cfg->spillvars [i] = VARINFO (cfg, spillvar).offset;
1016         }
1017 }
1018
1019 static void
1020 tree_emit (int goal, MonoFlowGraph *cfg, MBTree *tree, int *spillcount)
1021 {
1022         MBTree *kids[10];
1023         int ern = mono_burg_rule (tree->state, goal);
1024         const guint16 *nts = mono_burg_nts [ern];
1025         MBEmitFunc emit;
1026         int offset;
1027
1028         mono_burg_kids (tree, ern, kids);
1029
1030         if (nts [0]) {
1031                 if (nts [1]) {
1032                         int spilloffset1, spilloffset2, spilloffset3;
1033
1034                         tree_emit (nts [0], cfg, kids [0], spillcount);
1035
1036                         if (kids [0]->spilled) {
1037 #ifdef DEBUG_SPILLS
1038                                 printf ("SPILL_REGS %d %03x %s.%s:%s\n",
1039                                         nts [0], cfg->code - cfg->start,
1040                                         cfg->method->klass->name_space,
1041                                         cfg->method->klass->name, cfg->method->name);
1042
1043                                 mono_print_ctree (cfg, kids [0]);printf ("\n\n");
1044 #endif
1045                                 spilloffset1 = 0;
1046                                 spilloffset2 = 0;
1047                                 spilloffset3 = 0;
1048
1049                                 if (kids [0]->reg1 != -1) {
1050                                         spilloffset1 = cfg->spillvars [(*spillcount)++];
1051                                         x86_mov_membase_reg (cfg->code, X86_EBP, spilloffset1,
1052                                                              kids [0]->reg1, 4);
1053                                 }
1054                                 if (kids [0]->reg2 != -1) {
1055                                         spilloffset2 = cfg->spillvars [(*spillcount)++];
1056                                         x86_mov_membase_reg (cfg->code, X86_EBP, spilloffset2,
1057                                                              kids [0]->reg2, 4);
1058                                 }
1059                                 if (kids [0]->reg3 != -1) {
1060                                         spilloffset3 = cfg->spillvars [(*spillcount)++];
1061                                         x86_mov_membase_reg (cfg->code, X86_EBP, spilloffset3,
1062                                                              kids [0]->reg3, 4);
1063                                 }
1064                         }
1065
1066                         tree_emit (nts [1], cfg, kids [1], spillcount);
1067
1068                         if (kids [0]->spilled) {
1069
1070 #ifdef DEBUG_SPILLS
1071                                 printf ("RELOAD_REGS %03x %s.%s:%s\n",
1072                                         cfg->code - cfg->start,
1073                                         cfg->method->klass->name_space,
1074                                         cfg->method->klass->name, cfg->method->name);
1075 #endif
1076
1077                                 if (kids [0]->reg3 != -1)
1078                                         x86_mov_reg_membase (cfg->code, kids [0]->reg3, X86_EBP,
1079                                                              spilloffset3, 4);
1080                                 if (kids [0]->reg2 != -1)
1081                                         x86_mov_reg_membase (cfg->code, kids [0]->reg2, X86_EBP,
1082                                                              spilloffset2, 4);
1083                                 if (kids [0]->reg1 != -1)
1084                                         x86_mov_reg_membase (cfg->code, kids [0]->reg1, X86_EBP,
1085                                                              spilloffset1, 4);
1086                         }
1087
1088                         if (nts [2]) {
1089                                 g_assert (!nts [3]);
1090                                 tree_emit (nts [2], cfg, kids [2], spillcount);
1091                         }
1092                 } else {
1093                         tree_emit (nts [0], cfg, kids [0], spillcount);
1094                 }
1095         }
1096
1097         g_assert ((*spillcount) <= cfg->spillcount);
1098
1099         tree->addr = offset = cfg->code - cfg->start;
1100
1101         /* we assume an instruction uses a maximum of 128 bytes */
1102         if ((cfg->code_size - offset) <= 128) {
1103                 int add = MIN (cfg->code_size, 128);
1104                 cfg->code_size += add;
1105                 mono_jit_stats.code_reallocs++;
1106                 cfg->start = g_realloc (cfg->start, cfg->code_size);
1107                 g_assert (cfg->start);
1108                 cfg->code = cfg->start + offset;
1109         }
1110
1111         if ((emit = mono_burg_func [ern]))
1112                 emit (tree, cfg);
1113
1114         g_assert ((cfg->code - cfg->start) < cfg->code_size);
1115 }
1116
1117 static void
1118 mono_emit_cfg (MonoFlowGraph *cfg)
1119 {
1120         int i, j, spillcount;
1121
1122         for (i = 0; i < cfg->block_count; i++) {
1123                 MonoBBlock *bb = &cfg->bblocks [i];
1124                 GPtrArray *forest = bb->forest;
1125                 int top;
1126
1127                 if (!bb->reached) /* unreachable code */
1128                         continue;
1129
1130                 top = forest->len;
1131
1132                 bb->addr = cfg->code - cfg->start;
1133
1134                 for (j = 0; j < top; j++) {
1135                         MBTree *t1 = (MBTree *) g_ptr_array_index (forest, j);
1136
1137                         spillcount = 0;
1138                         tree_emit (1, cfg, t1, &spillcount);
1139                 }
1140         }
1141
1142         cfg->epilog = cfg->code - cfg->start;
1143 }
1144
1145 static void
1146 mono_compute_branches (MonoFlowGraph *cfg)
1147 {
1148         MonoJumpInfo *ji;
1149         guint8 *end;
1150         int i, j;
1151
1152         end = cfg->code;
1153
1154         for (j = 0; j < cfg->block_count; j++) {
1155                 MonoBBlock *bb = &cfg->bblocks [j];
1156                 GPtrArray *forest = bb->forest;
1157                 int top;
1158
1159                 if (!bb->reached) /* unreachable code */
1160                         continue;
1161
1162                 top = forest->len;
1163
1164                 for (i = 0; i < top; i++) {
1165                         MBTree *t1 = (MBTree *) g_ptr_array_index (forest, i);
1166
1167                         if (t1->op == MB_TERM_SWITCH) {
1168                                 MonoBBlock **jt = (MonoBBlock **)t1->data.p;
1169                                 guint32 *rt = (guint32 *)t1->data.p;
1170                                 int m = *((guint32 *)t1->data.p) + 1;
1171                                 int k;
1172
1173                                 for (k = 1; k <= m; k++)
1174                                         rt [k] = (int)(jt [k]->addr + cfg->start);
1175
1176                                 /* emit the switch instruction again to update addresses */
1177                                 cfg->code = cfg->start + t1->addr;
1178                                 ((MBEmitFunc)t1->emit) (t1, cfg);
1179                         }
1180                 }
1181         }
1182
1183         cfg->code = end;
1184
1185         for (ji = cfg->jump_info; ji; ji = ji->next) {
1186                 unsigned char *ip = GUINT_TO_POINTER (GPOINTER_TO_UINT (ji->ip) + cfg->start);
1187                 unsigned char *target;
1188
1189                 switch (ji->type) {
1190                 case MONO_JUMP_INFO_BB:
1191                         target = ji->data.bb->addr + cfg->start;
1192                         break;
1193                 case MONO_JUMP_INFO_ABS:
1194                         target = ji->data.target;
1195                         break;
1196                 case MONO_JUMP_INFO_EPILOG:
1197                         target = cfg->epilog + cfg->start;
1198                         break;
1199                 case MONO_JUMP_INFO_IP:
1200                         *(unsigned char**)ip = ip;
1201                         continue;
1202                 default:
1203                         g_assert_not_reached ();
1204                 }
1205                 x86_patch (ip, target);
1206         }
1207
1208         /* patch the IP in the LMF saving code */
1209         if (cfg->lmfip_offset) {
1210                 *((guint32 *)(cfg->start + cfg->lmfip_offset)) =
1211                         (gint32)(cfg->start + cfg->lmfip_offset);
1212         }
1213 }
1214
1215 void
1216 mono_add_jump_info (MonoFlowGraph *cfg, gpointer ip, MonoJumpInfoType type, gpointer target)
1217 {
1218         MonoJumpInfo *ji = mono_mempool_alloc (cfg->mp, sizeof (MonoJumpInfo));
1219
1220         ji->type = type;
1221         ji->ip = GUINT_TO_POINTER (GPOINTER_TO_UINT (ip) - GPOINTER_TO_UINT (cfg->start));
1222         ji->data.target = target;
1223         ji->next = cfg->jump_info;
1224
1225         cfg->jump_info = ji;
1226 }
1227
1228 MonoJitInfo *
1229 arch_jit_compile_cfg (MonoDomain *target_domain, MonoFlowGraph *cfg)
1230 {
1231         MonoJitInfo *ji;
1232         guint32 ls_used_mask = 0;
1233         MonoMethod *method = cfg->method;
1234         int offset, gap;
1235
1236         ji = mono_mempool_alloc0 (target_domain->mp, sizeof (MonoJitInfo));
1237
1238         cfg->rs = mono_regset_new (X86_NREG);
1239         mono_regset_reserve_reg (cfg->rs, X86_ESP);
1240         mono_regset_reserve_reg (cfg->rs, X86_EBP);
1241
1242         /* we can use this regs for global register allocation */
1243         mono_regset_reserve_reg (cfg->rs, X86_EBX);
1244         mono_regset_reserve_reg (cfg->rs, X86_ESI);
1245
1246         if (mono_use_linear_scan) {
1247                 mono_linear_scan (cfg, &ls_used_mask);
1248                 cfg->rs->used_mask |= ls_used_mask;
1249         }
1250
1251         if (mono_jit_dump_forest) {
1252                 int i;
1253                 printf ("FOREST %s\n", mono_method_full_name (method, TRUE));
1254                 for (i = 0; i < cfg->block_count; i++) {
1255                         printf ("BLOCK %d:\n", i);
1256                         mono_print_forest (cfg, cfg->bblocks [i].forest);
1257                 }
1258         }
1259
1260         if (!mono_label_cfg (cfg))
1261                 return NULL;
1262
1263         arch_allocate_regs (cfg);
1264
1265         /* align to 8 byte boundary */
1266         cfg->locals_size += 7;
1267         cfg->locals_size &= ~7;
1268
1269         arch_emit_prologue (cfg);
1270         cfg->prologue_end = cfg->code - cfg->start;
1271         mono_emit_cfg (cfg);
1272         arch_emit_epilogue (cfg);
1273         cfg->epilogue_end = cfg->code - cfg->start;
1274
1275         offset = cfg->code - cfg->start;
1276         gap = cfg->code_size - offset;
1277         if (gap > 0) {
1278                 char *org = cfg->start;
1279 #if 0
1280                 cfg->start = g_realloc (cfg->start, offset);
1281 #else
1282                 cfg->start = mono_mempool_alloc (target_domain->code_mp, offset);
1283                 memcpy (cfg->start, org, offset);
1284                 g_free (org);
1285 #endif
1286                 cfg->code_size = offset;
1287                 cfg->code = cfg->start + offset;
1288         }
1289
1290         mono_compute_branches (cfg);
1291
1292         ji->code_size = cfg->code - cfg->start;
1293         ji->used_regs = cfg->rs->used_mask;
1294         ji->method = method;
1295         ji->code_start = cfg->start;
1296
1297         return ji;
1298 }
1299