mono/jit/emit-x86.c

   1 /*
   2  * emit-x86.c: Support functions for emitting x86 code
   3  *
   4  * Authors:
   5  *   Dietmar Maurer (dietmar@ximian.com)
   6  *   Miguel de Icaza (miguel@ximian.com)
   7  *
   8  * (C) 2001 Ximian, Inc.
   9  */
  10
  11 #include <config.h>
  12 #include <glib.h>
  13
  14 #include <mono/metadata/assembly.h>
  15 #include <mono/metadata/loader.h>
  16 #include <mono/metadata/cil-coff.h>
  17 #include <mono/metadata/tabledefs.h>
  18 #include <mono/metadata/class.h>
  19 #include <mono/metadata/debug-helpers.h>
  20 #include <mono/metadata/mono-endian.h>
  21 #include <mono/arch/x86/x86-codegen.h>
  22 #include <mono/metadata/profiler-private.h>
  23
  24 #include "jit.h"
  25 #include "helpers.h"
  26 #include "codegen.h"
  27 #include "debug.h"
  28
  29
  30 //#define DEBUG_REGALLOC
  31 //#define DEBUG_SPILLS
  32
  33 const char *
  34 arch_get_reg_name (int regnum)
  35 {
  36         switch (regnum) {
  37         case 0:
  38                 return "EAX";
  39         case 1:
  40                 return "ECX";
  41         case 2:
  42                 return "EDX";
  43         case 3:
  44                 return "EBX";
  45         case 4:
  46                 return "ESP";
  47         case 5:
  48                 return "EBP";
  49         case 6:
  50                 return "ESI";
  51         case 7:
  52                 return "EDI";
  53         }
  54
  55         g_assert_not_reached ();
  56         return NULL;
  57 }
  58
  59
  60 /*
  61  * we may want a x86-specific header or we
  62  * can just declare it extern in x86.brg.
  63  */
  64 int mono_x86_have_cmov = 0;
  65
  66 static int
  67 cpuid (int id, int* p_eax, int* p_ebx, int* p_ecx, int* p_edx)
  68 {
  69 #ifdef PIC
  70         return 0;
  71 #else
  72         int have_cpuid = 0;
  73         __asm__  __volatile__ (
  74                 "pushfl\n"
  75                 "popl %%eax\n"
  76                 "movl %%eax, %%edx\n"
  77                 "xorl $0x200000, %%eax\n"
  78                 "pushl %%eax\n"
  79                 "popfl\n"
  80                 "pushfl\n"
  81                 "popl %%eax\n"
  82                 "xorl %%edx, %%eax\n"
  83                 "andl $0x200000, %%eax\n"
  84                 "movl %%eax, %0"
  85                 : "=r" (have_cpuid)
  86                 :
  87                 : "%eax", "%edx"
  88         );
  89
  90         if (have_cpuid) {
  91                 __asm__ __volatile__ ("cpuid"
  92                         : "=a" (*p_eax), "=b" (*p_ebx), "=c" (*p_ecx), "=d" (*p_edx)
  93                         : "a" (id));
  94                 return 1;
  95         }
  96         return 0;
  97 #endif
  98 }
  99
 100 void
 101 mono_cpu_detect (void) {
 102         int eax, ebx, ecx, edx;
 103
 104         /* Feature Flags function, flags returned in EDX. */
 105         if (cpuid(1, &eax, &ebx, &ecx, &edx)) {
 106                 if (edx & (1U << 15)) {
 107                         mono_x86_have_cmov = 1;
 108                 }
 109         }
 110 }
 111
 112 /*
 113  * arch_get_argument_info:
 114  * @csig:  a method signature
 115  * @param_count: the number of parameters to consider
 116  * @arg_info: an array to store the result infos
 117  *
 118  * Gathers information on parameters such as size, alignment and
 119  * padding. arg_info should be large enought to hold param_count + 1 entries.
 120  *
 121  * Returns the size of the activation frame.
 122  */
 123 int
 124 arch_get_argument_info (MonoMethodSignature *csig, int param_count, MonoJitArgumentInfo *arg_info)
 125 {
 126         int k, frame_size = 0;
 127         int size, align, pad;
 128         int offset = 8;
 129
 130         if (MONO_TYPE_ISSTRUCT (csig->ret)) {
 131                 frame_size += sizeof (gpointer);
 132                 offset += 4;
 133         }
 134
 135         arg_info [0].offset = offset;
 136
 137         if (csig->hasthis) {
 138                 frame_size += sizeof (gpointer);
 139                 offset += 4;
 140         }
 141
 142         arg_info [0].size = frame_size;
 143
 144         for (k = 0; k < param_count; k++) {
 145
 146                 if (csig->pinvoke)
 147                         size = mono_type_native_stack_size (csig->params [k], &align);
 148                 else
 149                         size = mono_type_stack_size (csig->params [k], &align);
 150
 151                 frame_size += pad = (align - (frame_size & (align - 1))) & (align - 1);
 152                 arg_info [k].pad = pad;
 153                 frame_size += size;
 154                 arg_info [k + 1].pad = 0;
 155                 arg_info [k + 1].size = size;
 156                 offset += pad;
 157                 arg_info [k + 1].offset = offset;
 158                 offset += size;
 159         }
 160
 161         align = MONO_FRAME_ALIGNMENT;
 162         frame_size += pad = (align - (frame_size & (align - 1))) & (align - 1);
 163         arg_info [k].pad = pad;
 164
 165         return frame_size;
 166 }
 167
 168 static void
 169 enter_method (MonoMethod *method, char *ebp)
 170 {
 171         int i, j;
 172         MonoClass *class;
 173         MonoObject *o;
 174         MonoJitArgumentInfo *arg_info;
 175         MonoMethodSignature *sig;
 176         char *fname;
 177
 178         fname = mono_method_full_name (method, TRUE);
 179         printf ("ENTER: %s\n(", fname);
 180         g_free (fname);
 181
 182         if (((int)ebp & (MONO_FRAME_ALIGNMENT - 1)) != 0) {
 183                 g_error ("unaligned stack detected (%p)", ebp);
 184         }
 185
 186         sig = method->signature;
 187
 188         if (method->wrapper_type == MONO_WRAPPER_MANAGED_TO_NATIVE)
 189                 g_assert (!sig->pinvoke);
 190
 191         arg_info = alloca (sizeof (MonoJitArgumentInfo) * (sig->param_count + 1));
 192
 193         arch_get_argument_info (sig, sig->param_count, arg_info);
 194
 195         if (MONO_TYPE_ISSTRUCT (method->signature->ret)) {
 196                 g_assert (!method->signature->ret->byref);
 197
 198                 printf ("VALUERET:%p, ", *((gpointer *)(ebp + 8)));
 199         }
 200
 201         if (method->signature->hasthis) {
 202                 gpointer *this = (gpointer *)(ebp + arg_info [0].offset);
 203                 if (method->klass->valuetype) {
 204                         printf ("value:%p, ", *this);
 205                 } else {
 206                         o = *((MonoObject **)this);
 207
 208                         if (o) {
 209                                 class = o->vtable->klass;
 210
 211                                 if (class == mono_defaults.string_class) {
 212                                         printf ("this:[STRING:%p:%s], ", o, mono_string_to_utf8 ((MonoString *)o));
 213                                 } else {
 214                                         printf ("this:%p[%s.%s], ", o, class->name_space, class->name);
 215                                 }
 216                         } else
 217                                 printf ("this:NULL, ");
 218                 }
 219         }
 220
 221         for (i = 0; i < method->signature->param_count; ++i) {
 222                 gpointer *cpos = (gpointer *)(ebp + arg_info [i + 1].offset);
 223                 int size = arg_info [i + 1].size;
 224
 225                 MonoType *type = method->signature->params [i];
 226
 227                 if (type->byref) {
 228                         printf ("[BYREF:%p], ", *cpos);
 229                 } else switch (type->type) {
 230
 231                 case MONO_TYPE_BOOLEAN:
 232                 case MONO_TYPE_CHAR:
 233                 case MONO_TYPE_I1:
 234                 case MONO_TYPE_U1:
 235                 case MONO_TYPE_I2:
 236                 case MONO_TYPE_U2:
 237                 case MONO_TYPE_I4:
 238                 case MONO_TYPE_U4:
 239                 case MONO_TYPE_I:
 240                 case MONO_TYPE_U:
 241                         printf ("%d, ", *((int *)(cpos)));
 242                         break;
 243                 case MONO_TYPE_STRING: {
 244                         MonoString *s = *((MonoString **)cpos);
 245                         if (s) {
 246                                 g_assert (((MonoObject *)s)->vtable->klass == mono_defaults.string_class);
 247                                 printf ("[STRING:%p:%s], ", s, mono_string_to_utf8 (s));
 248                         } else
 249                                 printf ("[STRING:null], ");
 250                         break;
 251                 }
 252                 case MONO_TYPE_CLASS:
 253                 case MONO_TYPE_OBJECT: {
 254                         o = *((MonoObject **)cpos);
 255                         if (o) {
 256                                 class = o->vtable->klass;
 257
 258                                 if (class == mono_defaults.string_class) {
 259                                         printf ("[STRING:%p:%s], ", o, mono_string_to_utf8 ((MonoString *)o));
 260                                 } else if (class == mono_defaults.int32_class) {
 261                                         printf ("[INT32:%p:%d], ", o, *(gint32 *)((char *)o + sizeof (MonoObject)));
 262                                 } else
 263                                         printf ("[%s.%s:%p], ", class->name_space, class->name, o);
 264                         } else {
 265                                 printf ("%p, ", *((gpointer *)(cpos)));
 266                         }
 267                         break;
 268                 }
 269                 case MONO_TYPE_PTR:
 270                 case MONO_TYPE_FNPTR:
 271                 case MONO_TYPE_ARRAY:
 272                 case MONO_TYPE_SZARRAY:
 273                         printf ("%p, ", *((gpointer *)(cpos)));
 274                         break;
 275                 case MONO_TYPE_I8:
 276                         printf ("%lld, ", *((gint64 *)(cpos)));
 277                         break;
 278                 case MONO_TYPE_R4:
 279                         printf ("%f, ", *((float *)(cpos)));
 280                         break;
 281                 case MONO_TYPE_R8:
 282                         printf ("%f, ", *((double *)(cpos)));
 283                         break;
 284                 case MONO_TYPE_VALUETYPE:
 285                         printf ("[");
 286                         for (j = 0; j < size; j++)
 287                                 printf ("%02x,", *((guint8*)cpos +j));
 288                         printf ("], ");
 289                         break;
 290                 default:
 291                         printf ("XX, ");
 292                 }
 293         }
 294
 295         printf (")\n");
 296 }
 297
 298 static void
 299 leave_method (MonoMethod *method, int edx, int eax, double test)
 300 {
 301         gint64 l;
 302         char *fname;
 303
 304         fname = mono_method_full_name (method, TRUE);
 305         printf ("LEAVE: %s", fname);
 306         g_free (fname);
 307
 308         switch (method->signature->ret->type) {
 309         case MONO_TYPE_VOID:
 310                 break;
 311         case MONO_TYPE_BOOLEAN:
 312                 if (eax)
 313                         printf ("TRUE:%d", eax);
 314                 else
 315                         printf ("FALSE");
 316
 317                 break;
 318         case MONO_TYPE_CHAR:
 319         case MONO_TYPE_I1:
 320         case MONO_TYPE_U1:
 321         case MONO_TYPE_I2:
 322         case MONO_TYPE_U2:
 323         case MONO_TYPE_I4:
 324         case MONO_TYPE_U4:
 325         case MONO_TYPE_I:
 326         case MONO_TYPE_U:
 327                 printf ("EAX=%d", eax);
 328                 break;
 329         case MONO_TYPE_STRING: {
 330                 MonoString *s = (MonoString *)eax;
 331
 332                 if (s) {
 333                         g_assert (((MonoObject *)s)->vtable->klass == mono_defaults.string_class);
 334                         printf ("[STRING:%p:%s]", s, mono_string_to_utf8 (s));
 335                 } else
 336                         printf ("[STRING:null], ");
 337                 break;
 338         }
 339         case MONO_TYPE_OBJECT: {
 340                 MonoObject *o = (MonoObject *)eax;
 341
 342                 if (o) {
 343                         if (o->vtable->klass == mono_defaults.boolean_class) {
 344                                 printf ("[BOOLEAN:%p:%d]", o, *((guint8 *)o + sizeof (MonoObject)));
 345                         } else if  (o->vtable->klass == mono_defaults.int32_class) {
 346                                 printf ("[INT32:%p:%d]", o, *((gint32 *)((char *)o + sizeof (MonoObject))));
 347                         } else if  (o->vtable->klass == mono_defaults.int64_class) {
 348                                 printf ("[INT64:%p:%lld]", o, *((gint64 *)((char *)o + sizeof (MonoObject))));
 349                         } else
 350                                 printf ("[%s.%s:%p]", o->vtable->klass->name_space, o->vtable->klass->name, o);
 351                 } else
 352                         printf ("[OBJECT:%p]", o);
 353
 354                 break;
 355         }
 356         case MONO_TYPE_CLASS:
 357         case MONO_TYPE_PTR:
 358         case MONO_TYPE_FNPTR:
 359         case MONO_TYPE_ARRAY:
 360         case MONO_TYPE_SZARRAY:
 361                 printf ("EAX=%p", (gpointer)eax);
 362                 break;
 363         case MONO_TYPE_I8:
 364                 *((gint32 *)&l) = eax;
 365                 *((gint32 *)&l + 1) = edx;
 366                 printf ("EAX/EDX=%lld", l);
 367                 break;
 368         case MONO_TYPE_R8:
 369                 printf ("FP=%f\n", test);
 370                 break;
 371         default:
 372                 printf ("(unknown return type)");
 373         }
 374
 375         printf ("\n");
 376 }
 377
 378 /**
 379  * arch_emit_prologue:
 380  * @cfg: pointer to status information
 381  *
 382  * Emits the function prolog.
 383  */
 384 static void
 385 arch_emit_prologue (MonoFlowGraph *cfg)
 386 {
 387         MonoMethod *method = cfg->method;
 388         MonoMethodHeader *header = ((MonoMethodNormal *)method)->header;
 389         int i, j, k, alloc_size, pos;
 390
 391         x86_push_reg (cfg->code, X86_EBP);
 392         x86_mov_reg_reg (cfg->code, X86_EBP, X86_ESP, 4);
 393
 394         alloc_size = cfg->locals_size;
 395         pos = 0;
 396
 397         if (method->save_lmf) {
 398
 399                 pos += sizeof (MonoLMF);
 400
 401                 /* save the current IP */
 402                 cfg->lmfip_offset = cfg->code + 1 - cfg->start;
 403                 x86_push_imm (cfg->code, 0);
 404                 /* save all caller saved regs */
 405                 x86_push_reg (cfg->code, X86_EBX);
 406                 x86_push_reg (cfg->code, X86_EDI);
 407                 x86_push_reg (cfg->code, X86_ESI);
 408                 x86_push_reg (cfg->code, X86_EBP);
 409
 410                 /* save method info */
 411                 x86_push_imm (cfg->code, method);
 412
 413                 /* get the address of lmf for the current thread */
 414                 mono_add_jump_info (cfg, cfg->code, MONO_JUMP_INFO_ABS, mono_get_lmf_addr);
 415                 x86_call_code (cfg->code, 0);
 416
 417                 /* push lmf */
 418                 x86_push_reg (cfg->code, X86_EAX);
 419                 /* push *lfm (previous_lmf) */
 420                 x86_push_membase (cfg->code, X86_EAX, 0);
 421                 /* *(lmf) = ESP */
 422                 x86_mov_membase_reg (cfg->code, X86_EAX, 0, X86_ESP, 4);
 423         } else {
 424
 425 #if 0
 426                 /* activation frame alignment check */
 427                 x86_mov_reg_reg (cfg->code, X86_EAX, X86_ESP, 4);
 428                 x86_alu_reg_imm (cfg->code, X86_AND, X86_EAX, MONO_FRAME_ALIGNMENT - 1);
 429                 x86_alu_reg_imm (cfg->code, X86_CMP, X86_EAX, 0);
 430                 x86_branch32 (cfg->code, X86_CC_EQ, 1, FALSE);
 431                 x86_breakpoint (cfg->code);
 432 #endif
 433
 434                 if (mono_regset_reg_used (cfg->rs, X86_EBX)) {
 435                         x86_push_reg (cfg->code, X86_EBX);
 436                         pos += 4;
 437                 }
 438
 439                 if (mono_regset_reg_used (cfg->rs, X86_EDI)) {
 440                         x86_push_reg (cfg->code, X86_EDI);
 441                         pos += 4;
 442                 }
 443
 444                 if (mono_regset_reg_used (cfg->rs, X86_ESI)) {
 445                         x86_push_reg (cfg->code, X86_ESI);
 446                         pos += 4;
 447                 }
 448         }
 449
 450         alloc_size -= pos;
 451
 452         if (alloc_size)
 453                 x86_alu_reg_imm (cfg->code, X86_SUB, X86_ESP, alloc_size);
 454
 455         if (mono_jit_trace_calls) {
 456                 x86_push_reg (cfg->code, X86_EBP);
 457                 x86_push_imm (cfg->code, cfg->method);
 458                 x86_mov_reg_imm (cfg->code, X86_EAX, enter_method);
 459                 x86_call_reg (cfg->code, X86_EAX);
 460                 x86_alu_reg_imm (cfg->code, X86_ADD, X86_ESP, 8);
 461         }
 462         if (mono_jit_profile) {
 463                 x86_push_imm (cfg->code, cfg->method);
 464                 x86_mov_reg_imm (cfg->code, X86_EAX, mono_profiler_method_enter);
 465                 x86_call_reg (cfg->code, X86_EAX);
 466                 x86_alu_reg_imm (cfg->code, X86_ADD, X86_ESP, 4);
 467         }
 468
 469         /* initialize local vars */
 470         if (header->num_locals) {
 471                 gboolean unassigned_locals = TRUE;
 472
 473                 if (cfg->bblocks [0].live_in_set) {
 474                         i = mono_bitset_find_first (cfg->bblocks [0].live_in_set,
 475                                                     cfg->locals_start_index - 1);
 476                         unassigned_locals = (i >= 0 && i < cfg->locals_start_index +
 477                                              header->num_locals);
 478                 }
 479
 480                 if (unassigned_locals && header->init_locals) {
 481                         MonoVarInfo *vi = &VARINFO (cfg, cfg->locals_start_index + header->num_locals - 1);
 482                         int offset = vi->offset;
 483                         int size = - offset;
 484                         int inited = 0;
 485
 486                         /* do not clear caller saved registers */
 487                         size -= 12;
 488
 489                         for (i = 0; i < header->num_locals; ++i) {
 490                                 MonoVarInfo *rv = &VARINFO (cfg, cfg->locals_start_index + i);
 491
 492                                 if (rv->reg >= 0) {
 493                                         int ind = 1 << rv->reg;
 494                                         if (!(inited & ind))
 495                                                 x86_alu_reg_reg (cfg->code, X86_XOR, rv->reg, rv->reg);
 496                                         inited |= ind;
 497                                 }
 498                         }
 499
 500                         if (size == 1 || size == 2 || size == 4) {
 501                                 x86_mov_membase_imm (cfg->code, X86_EBP, offset, 0, size);
 502                                 return;
 503                         }
 504
 505                         i = size / 4;
 506                         j = size % 4;
 507
 508                         if (i < 3) {
 509                                 for (k = 0; k < i; k++) {
 510                                         x86_mov_membase_imm (cfg->code, X86_EBP, offset, 0, 4);
 511                                         offset += 4;
 512                                 }
 513
 514                                 if (j & 2) {
 515                                         x86_mov_membase_imm (cfg->code, X86_EBP, offset, 0, 2);
 516                                         offset += 2;
 517                                 }
 518                                 if (j & 1)
 519                                         x86_mov_membase_imm (cfg->code, X86_EBP, offset, 0, 1);
 520                                 return;
 521                         }
 522
 523                         if (i) {
 524                                 if (!mono_regset_reg_used (cfg->rs, X86_EDI))
 525                                         x86_push_reg (cfg->code, X86_EDI);
 526                                 x86_lea_membase (cfg->code, X86_EDI, X86_EBP, offset);
 527                                 x86_alu_reg_reg (cfg->code, X86_XOR, X86_EAX, X86_EAX);
 528                                 x86_mov_reg_imm (cfg->code, X86_ECX, i);
 529                                 x86_cld (cfg->code);
 530                                 x86_prefix (cfg->code, X86_REP_PREFIX);
 531                                 x86_stosl (cfg->code);
 532                                 for (i = 0; i < j; i++)
 533                                         x86_stosb (cfg->code);
 534                                 if (!mono_regset_reg_used (cfg->rs, X86_EDI))
 535                                         x86_pop_reg (cfg->code, X86_EDI);
 536                         } else {
 537
 538                                 g_assert (j == 3);
 539                                 x86_mov_membase_imm (cfg->code, X86_EBP, offset, 0, 2);
 540                                 x86_mov_membase_imm (cfg->code, X86_EBP, offset + 2, 0, 1);
 541                         }
 542
 543                 } else {
 544
 545                         /* we always need to initialize object pointers */
 546
 547                         for (i = 0; i < header->num_locals; ++i) {
 548                                 MonoType *t = header->locals [i];
 549                                 int offset = VARINFO (cfg, cfg->locals_start_index + i).offset;
 550
 551                                 if (t->byref) {
 552                                         x86_mov_membase_imm (cfg->code, X86_EBP, offset, 0, 4);
 553                                         continue;
 554                                 }
 555
 556                                 switch (t->type) {
 557                                 case MONO_TYPE_STRING:
 558                                 case MONO_TYPE_CLASS:
 559                                 case MONO_TYPE_ARRAY:
 560                                 case MONO_TYPE_SZARRAY:
 561                                 case MONO_TYPE_OBJECT:
 562                                         x86_mov_membase_imm (cfg->code, X86_EBP, offset, 0, 4);
 563                                         break;
 564                                 }
 565
 566                         }
 567                 }
 568         }
 569 }
 570
 571 /**
 572  * arch_emit_epilogue:
 573  * @cfg: pointer to status information
 574  *
 575  * Emits the function epilog.
 576  */
 577 static void
 578 arch_emit_epilogue (MonoFlowGraph *cfg)
 579 {
 580         int pos;
 581         /*
 582          * note: with trace and profiling the value on the FP stack may get clobbered.
 583          */
 584         if (mono_jit_trace_calls) {
 585                 x86_fld_reg (cfg->code, 0);
 586                 x86_alu_reg_imm (cfg->code, X86_SUB, X86_ESP, 8);
 587                 x86_fst_membase (cfg->code, X86_ESP, 0, TRUE, TRUE);
 588                 x86_push_reg (cfg->code, X86_EAX);
 589                 x86_push_reg (cfg->code, X86_EDX);
 590                 x86_push_imm (cfg->code, cfg->method);
 591                 x86_mov_reg_imm (cfg->code, X86_EAX, leave_method);
 592                 x86_call_reg (cfg->code, X86_EAX);
 593                 x86_alu_reg_imm (cfg->code, X86_ADD, X86_ESP, 4);
 594                 x86_pop_reg (cfg->code, X86_EDX);
 595                 x86_pop_reg (cfg->code, X86_EAX);
 596                 x86_alu_reg_imm (cfg->code, X86_ADD, X86_ESP, 8);
 597         }
 598         if (mono_jit_profile) {
 599                 x86_push_reg (cfg->code, X86_EAX);
 600                 x86_push_reg (cfg->code, X86_EDX);
 601                 x86_push_imm (cfg->code, cfg->method);
 602                 x86_mov_reg_imm (cfg->code, X86_EAX, mono_profiler_method_leave);
 603                 x86_call_reg (cfg->code, X86_EAX);
 604                 x86_alu_reg_imm (cfg->code, X86_ADD, X86_ESP, 4);
 605                 x86_pop_reg (cfg->code, X86_EDX);
 606                 x86_pop_reg (cfg->code, X86_EAX);
 607         }
 608
 609         pos = 0;
 610
 611         if (cfg->method->save_lmf) {
 612                 pos = -sizeof (MonoLMF);
 613         } else {
 614                 if (mono_regset_reg_used (cfg->rs, X86_EBX)) {
 615                         pos -= 4;
 616         }
 617                 if (mono_regset_reg_used (cfg->rs, X86_EDI)) {
 618                         pos -= 4;
 619                 }
 620                 if (mono_regset_reg_used (cfg->rs, X86_ESI)) {
 621                         pos -= 4;
 622                 }
 623         }
 624         if (pos)
 625                 x86_lea_membase (cfg->code, X86_ESP, X86_EBP, pos);
 626
 627         if (cfg->method->save_lmf) {
 628                 /* ebx = previous_lmf */
 629                 x86_pop_reg (cfg->code, X86_EBX);
 630                 /* edi = lmf */
 631                 x86_pop_reg (cfg->code, X86_EDI);
 632                 /* *(lmf) = previous_lmf */
 633                 x86_mov_membase_reg (cfg->code, X86_EDI, 0, X86_EBX, 4);
 634
 635                 /* discard method info */
 636                 x86_pop_reg (cfg->code, X86_ESI);
 637
 638                 /* restore caller saved regs */
 639                 x86_pop_reg (cfg->code, X86_EBP);
 640                 x86_pop_reg (cfg->code, X86_ESI);
 641                 x86_pop_reg (cfg->code, X86_EDI);
 642                 x86_pop_reg (cfg->code, X86_EBX);
 643
 644         } else {
 645
 646                 if (mono_regset_reg_used (cfg->rs, X86_ESI)) {
 647                         x86_pop_reg (cfg->code, X86_ESI);
 648                 }
 649                 if (mono_regset_reg_used (cfg->rs, X86_EDI)) {
 650                         x86_pop_reg (cfg->code, X86_EDI);
 651                 }
 652                 if (mono_regset_reg_used (cfg->rs, X86_EBX)) {
 653                         x86_pop_reg (cfg->code, X86_EBX);
 654                 }
 655         }
 656
 657         x86_leave (cfg->code);
 658         x86_ret (cfg->code);
 659 }
 660
 661 static void
 662 init_varinfo (MonoFlowGraph *cfg, MonoVarInfo *vi)
 663 {
 664         vi->range.last_use.abs_pos = 0;
 665         vi->range.first_use.pos.bid = 0xffff;
 666         vi->range.first_use.pos.tid = 0;
 667         vi->isvolatile = 0;
 668         vi->reg = -1;
 669         vi->varnum = cfg->varinfo->len;
 670 }
 671
 672 int
 673 arch_allocate_arg (MonoFlowGraph *cfg, MonoJitArgumentInfo *info, MonoValueType type)
 674 {
 675         MonoVarInfo vi;
 676
 677         mono_jit_stats.allocate_var++;
 678
 679         init_varinfo (cfg, &vi);
 680         vi.isvolatile = 1;
 681
 682         SET_VARINFO (vi, type, MONO_ARGVAR, info->offset, info->size);
 683         g_array_append_val (cfg->varinfo, vi);
 684
 685         return cfg->varinfo->len - 1;
 686 }
 687
 688 int
 689 arch_allocate_var (MonoFlowGraph *cfg, int size, int align, MonoVarType vartype, MonoValueType type)
 690 {
 691         MonoVarInfo vi;
 692
 693         mono_jit_stats.allocate_var++;
 694
 695         init_varinfo (cfg, &vi);
 696
 697         if (size != sizeof (gpointer))
 698                 vi.isvolatile = 1;
 699
 700         cfg->locals_size += size;
 701         cfg->locals_size += align - 1;
 702         cfg->locals_size &= ~(align - 1);
 703
 704         SET_VARINFO (vi, type, vartype, - cfg->locals_size, size);
 705         g_array_append_val (cfg->varinfo, vi);
 706
 707         return cfg->varinfo->len - 1;
 708 }
 709
 710 static gboolean
 711 mono_label_cfg (MonoFlowGraph *cfg)
 712 {
 713         int i, j;
 714
 715         for (i = 0; i < cfg->block_count; i++) {
 716                 GPtrArray *forest = cfg->bblocks [i].forest;
 717                 int top;
 718
 719                 if (!cfg->bblocks [i].reached) /* unreachable code */
 720                         continue;
 721
 722                 top = forest->len;
 723
 724                 for (j = 0; j < top; j++) {
 725                         MBTree *t1 = (MBTree *) g_ptr_array_index (forest, j);
 726                         MBState *mbstate;
 727
 728                         mbstate =  mono_burg_label (t1, cfg);
 729
 730                         if (!mbstate) {
 731                                 if (mono_debug_format != MONO_DEBUG_FORMAT_NONE)
 732                                         return FALSE;
 733                                 g_warning ("tree does not match in %s: 0x%04x",
 734                                            mono_method_full_name (cfg->method, TRUE), t1->cli_addr);
 735                                 mono_print_ctree (cfg, t1); printf ("\n\n");
 736
 737                                 mono_print_forest (cfg, forest);
 738                                 g_assert_not_reached ();
 739                         }
 740                 }
 741         }
 742
 743         return TRUE;
 744 }
 745
 746 static gboolean
 747 tree_allocate_regs (MonoFlowGraph *cfg, MBTree *tree, int goal, MonoRegSet *rs,
 748                     guint8 exclude_mask, int *spillcount)
 749 {
 750         MBTree *kids[10];
 751         int ern = mono_burg_rule (tree->state, goal);
 752         const guint16 *nts = mono_burg_nts [ern];
 753         guint8 left_exclude_mask = 0, right_exclude_mask = 0;
 754         int i;
 755
 756 #ifdef DEBUG_REGALLOC
 757         printf ("tree_allocate_regs start %d %08x %d %d\n",  tree->op, rs->free_mask, goal,
 758                 (nts [0] && kids [0] == tree));
 759 #endif
 760
 761         mono_burg_kids (tree, ern, kids);
 762
 763         switch (tree->op) {
 764         case MB_TERM_SHL:
 765         case MB_TERM_SHR:
 766         case MB_TERM_SHR_UN:
 767                 exclude_mask |= (1 << X86_ECX);
 768                 left_exclude_mask |= (1 << X86_ECX);
 769                 break;
 770         case MB_TERM_MUL:
 771         case MB_TERM_MUL_OVF:
 772         case MB_TERM_MUL_OVF_UN:
 773         case MB_TERM_DIV:
 774         case MB_TERM_DIV_UN:
 775         case MB_TERM_REM:
 776         case MB_TERM_REM_UN:
 777                 if (goal == MB_NTERM_reg) {
 778                         left_exclude_mask |= (1 << X86_EDX);
 779                         right_exclude_mask |= (1 << X86_EDX) | (1 << X86_EAX);
 780                 }
 781                 break;
 782         default:
 783                 break;
 784         }
 785
 786         if (nts [0] && kids [0] == tree) {
 787                 /* chain rule */
 788                 if (!tree_allocate_regs (cfg, kids [0], nts [0], rs, exclude_mask, spillcount))
 789                         return FALSE;
 790                 return TRUE;
 791         }
 792
 793         if (tree->spilled) {
 794                 if (tree->reg1 >= 0)
 795                         (*spillcount)--;
 796                 if (tree->reg2 >= 0)
 797                         (*spillcount)--;
 798                 if (tree->reg3 >= 0)
 799                         (*spillcount)--;
 800         }
 801
 802         tree->reg1 = -1;
 803         tree->reg2 = -1;
 804         tree->reg3 = -1;
 805
 806         tree->spilled = 0;
 807
 808         if (nts [0]) {
 809                 if (nts [1]) { /* two kids */
 810                         MonoRegSet saved_rs;
 811
 812                         if (!tree_allocate_regs (cfg, kids [0], nts [0], rs, left_exclude_mask, spillcount))
 813                                 return FALSE;
 814
 815                         saved_rs = *rs;
 816
 817                         if (!tree_allocate_regs (cfg, kids [1], nts [1], rs, right_exclude_mask, spillcount)) {
 818
 819 #ifdef DEBUG_REGALLOC
 820                                 printf ("tree_allocate_regs try 1 failed %d %d %d %d\n",
 821                                         nts [1], kids [1]->reg1,
 822                                         kids [1]->reg2,kids [1]->reg3);
 823 #endif
 824                                 *rs = saved_rs;
 825
 826                                 if (kids [0]->reg1 != -1) {
 827                                         right_exclude_mask |= 1 << kids [0]->reg1;
 828                                         (*spillcount)++;
 829                                 }
 830                                 if (kids [0]->reg2 != -1) {
 831                                         right_exclude_mask |= 1 << kids [0]->reg2;
 832                                         (*spillcount)++;
 833                                 }
 834                                 if (kids [0]->reg3 != -1) {
 835                                         right_exclude_mask |= 1 << kids [0]->reg3;
 836                                         (*spillcount)++;
 837                                 }
 838
 839                                 mono_regset_free_reg (rs, kids [0]->reg1);
 840                                 mono_regset_free_reg (rs, kids [0]->reg2);
 841                                 mono_regset_free_reg (rs, kids [0]->reg3);
 842
 843                                 kids [0]->spilled = 1;
 844
 845                                 if (!tree_allocate_regs (cfg, kids [1], nts [1], rs, right_exclude_mask, spillcount)) {
 846 #ifdef DEBUG_REGALLOC
 847                                         printf ("tree_allocate_regs try 2 failed\n");
 848 #endif
 849                                         return FALSE;
 850                                 }
 851 #ifdef DEBUG_REGALLOC
 852                                 printf ("tree_allocate_regs try 2 succesfull\n");
 853 #endif
 854                         }
 855
 856                         if (nts [2]) {
 857                                 if (nts [3]) /* we cant handle four kids */
 858                                         g_assert_not_reached ();
 859
 860                                 if (!tree_allocate_regs (cfg, kids [2], nts [2], rs, right_exclude_mask, spillcount))
 861                                         return FALSE;
 862
 863                         }
 864
 865                 } else { /* one kid */
 866                         if (!tree_allocate_regs (cfg, kids [0], nts [0], rs, left_exclude_mask, spillcount))
 867                                 return FALSE;
 868                 }
 869         }
 870
 871
 872         for (i = 0; nts [i]; i++) {
 873                 mono_regset_free_reg (rs, kids [i]->reg1);
 874                 mono_regset_free_reg (rs, kids [i]->reg2);
 875                 mono_regset_free_reg (rs, kids [i]->reg3);
 876         }
 877
 878         tree->emit = mono_burg_func [ern];
 879
 880         switch (tree->op) {
 881         case MB_TERM_CALL_I4:
 882         case MB_TERM_CALL_I8:
 883         case MB_TERM_CALL_R8:
 884         // case MB_TERM_CALL_VOID :
 885                 if ((tree->reg1 = mono_regset_alloc_reg (rs, X86_EAX, exclude_mask)) == -1)
 886                         return FALSE;
 887                 if ((tree->reg2 = mono_regset_alloc_reg (rs, X86_EDX, exclude_mask)) == -1)
 888                         return FALSE;
 889                 if ((tree->reg3 = mono_regset_alloc_reg (rs, X86_ECX, exclude_mask)) == -1)
 890                         return FALSE;
 891                 return TRUE;
 892         }
 893
 894         switch (goal) {
 895         case MB_NTERM_reg:
 896                 switch (tree->op) {
 897                 case MB_TERM_MUL_OVF_UN:
 898                 case MB_TERM_DIV:
 899                 case MB_TERM_DIV_UN:
 900                 case MB_TERM_REM:
 901                 case MB_TERM_REM_UN:
 902                         if ((tree->reg1 = mono_regset_alloc_reg (rs, X86_EAX, exclude_mask)) == -1)
 903                                 return FALSE;
 904                         if ((tree->reg2 = mono_regset_alloc_reg (rs, X86_EDX, exclude_mask)) == -1)
 905                                 return FALSE;
 906                         break;
 907                 default:
 908                         if ((tree->reg1 = mono_regset_alloc_reg (rs, -1, exclude_mask)) == -1)
 909                                 return FALSE;
 910                 }
 911                 break;
 912
 913         case MB_NTERM_lreg:
 914                 switch (tree->op) {
 915                 case MB_TERM_MUL:
 916                 case MB_TERM_MUL_OVF:
 917                 case MB_TERM_MUL_OVF_UN:
 918                 case MB_TERM_DIV:
 919                 case MB_TERM_DIV_UN:
 920                 case MB_TERM_REM:
 921                 case MB_TERM_REM_UN:
 922                         if ((tree->reg1 = mono_regset_alloc_reg (rs, X86_EAX, exclude_mask)) == -1)
 923                                 return FALSE;
 924                         if ((tree->reg2 = mono_regset_alloc_reg (rs, X86_EDX, exclude_mask)) == -1)
 925                                 return FALSE;
 926                         break;
 927                 default:
 928                         if ((tree->reg1 = mono_regset_alloc_reg (rs, -1, exclude_mask)) == -1)
 929                                 return FALSE;
 930                         if ((tree->reg2 = mono_regset_alloc_reg (rs, -1, exclude_mask)) == -1)
 931                                 return FALSE;
 932                 }
 933                 break;
 934
 935         case MB_NTERM_freg:
 936                 /* fixme: allocate floating point registers */
 937                 break;
 938
 939         case MB_NTERM_addr:
 940                 if (tree->op == MB_TERM_ADD) {
 941                         if ((tree->reg1 = mono_regset_alloc_reg (rs, tree->left->reg1, exclude_mask)) == -1)
 942                                 return FALSE;
 943                         if ((tree->reg2 = mono_regset_alloc_reg (rs, tree->right->reg1, exclude_mask)) == -1)
 944                                 return FALSE;
 945                 }
 946                 break;
 947
 948         case MB_NTERM_base:
 949                 if (tree->op == MB_TERM_ADD) {
 950                         if ((tree->reg1 = mono_regset_alloc_reg (rs, tree->left->reg1, exclude_mask)) == -1)
 951                                 return FALSE;
 952                 }
 953                 break;
 954
 955         case MB_NTERM_index:
 956                 if (tree->op == MB_TERM_SHL ||
 957                     tree->op == MB_TERM_MUL) {
 958                         if ((tree->reg1 = mono_regset_alloc_reg (rs, tree->left->reg1, exclude_mask)) == -1)
 959                                 return FALSE;
 960                 }
 961                 break;
 962
 963         default:
 964                 /* do nothing */
 965                 break;
 966         }
 967
 968 #ifdef DEBUG_REGALLOC
 969         printf ("tree_allocate_regs end %d %08x\n",  tree->op, rs->free_mask);
 970 #endif
 971         return TRUE;
 972 }
 973
 974 static void
 975 arch_allocate_regs (MonoFlowGraph *cfg)
 976 {
 977         int i, j, max_spillcount = 0;
 978
 979         for (i = 0; i < cfg->block_count; i++) {
 980                 GPtrArray *forest = cfg->bblocks [i].forest;
 981                 int top;
 982
 983                 if (!cfg->bblocks [i].reached) /* unreachable code */
 984                         continue;
 985
 986                 top = forest->len;
 987
 988                 for (j = 0; j < top; j++) {
 989                         MBTree *t1 = (MBTree *) g_ptr_array_index (forest, j);
 990                         int spillcount = 0;
 991 #ifdef DEBUG_REGALLOC
 992                         printf ("arch_allocate_regs start %d:%d %08x\n", i, j, cfg->rs->free_mask);
 993 #endif
 994                         if (!tree_allocate_regs (cfg, t1, 1, cfg->rs, 0, &spillcount)) {
 995                                 mono_print_ctree (cfg, t1);
 996                                 printf ("\n");
 997                                 g_error ("register allocation failed");
 998                         }
 999
1000                         max_spillcount = MAX (max_spillcount, spillcount);
1001
1002 #ifdef DEBUG_REGALLOC
1003                         printf ("arch_allocate_regs end %d:%d %08x\n", i, j, cfg->rs->free_mask);
1004 #endif
1005                         g_assert (cfg->rs->free_mask == 0xffffffff);
1006                 }
1007         }
1008
1009         /* allocate space for spilled regs */
1010
1011         cfg->spillvars = mono_mempool_alloc0 (cfg->mp, sizeof (gint) *  max_spillcount);
1012         cfg->spillcount = max_spillcount;
1013
1014         for (i = 0; i < max_spillcount; i++) {
1015                 int spillvar;
1016                 spillvar = arch_allocate_var (cfg, sizeof (gpointer), sizeof (gpointer),
1017                                               MONO_TEMPVAR, VAL_I32);
1018                 cfg->spillvars [i] = VARINFO (cfg, spillvar).offset;
1019         }
1020 }
1021
1022 static void
1023 tree_emit (int goal, MonoFlowGraph *cfg, MBTree *tree, int *spillcount)
1024 {
1025         MBTree *kids[10];
1026         int ern = mono_burg_rule (tree->state, goal);
1027         const guint16 *nts = mono_burg_nts [ern];
1028         MBEmitFunc emit;
1029         int offset;
1030
1031         mono_burg_kids (tree, ern, kids);
1032
1033         if (nts [0]) {
1034                 if (nts [1]) {
1035                         int spilloffset1, spilloffset2, spilloffset3;
1036
1037                         tree_emit (nts [0], cfg, kids [0], spillcount);
1038
1039                         if (kids [0]->spilled) {
1040 #ifdef DEBUG_SPILLS
1041                                 printf ("SPILL_REGS %d %03x %s.%s:%s\n",
1042                                         nts [0], cfg->code - cfg->start,
1043                                         cfg->method->klass->name_space,
1044                                         cfg->method->klass->name, cfg->method->name);
1045
1046                                 mono_print_ctree (cfg, kids [0]);printf ("\n\n");
1047 #endif
1048                                 spilloffset1 = 0;
1049                                 spilloffset2 = 0;
1050                                 spilloffset3 = 0;
1051
1052                                 if (kids [0]->reg1 != -1) {
1053                                         spilloffset1 = cfg->spillvars [(*spillcount)++];
1054                                         x86_mov_membase_reg (cfg->code, X86_EBP, spilloffset1,
1055                                                              kids [0]->reg1, 4);
1056                                 }
1057                                 if (kids [0]->reg2 != -1) {
1058                                         spilloffset2 = cfg->spillvars [(*spillcount)++];
1059                                         x86_mov_membase_reg (cfg->code, X86_EBP, spilloffset2,
1060                                                              kids [0]->reg2, 4);
1061                                 }
1062                                 if (kids [0]->reg3 != -1) {
1063                                         spilloffset3 = cfg->spillvars [(*spillcount)++];
1064                                         x86_mov_membase_reg (cfg->code, X86_EBP, spilloffset3,
1065                                                              kids [0]->reg3, 4);
1066                                 }
1067                         }
1068
1069                         tree_emit (nts [1], cfg, kids [1], spillcount);
1070
1071                         if (kids [0]->spilled) {
1072
1073 #ifdef DEBUG_SPILLS
1074                                 printf ("RELOAD_REGS %03x %s.%s:%s\n",
1075                                         cfg->code - cfg->start,
1076                                         cfg->method->klass->name_space,
1077                                         cfg->method->klass->name, cfg->method->name);
1078 #endif
1079
1080                                 if (kids [0]->reg3 != -1)
1081                                         x86_mov_reg_membase (cfg->code, kids [0]->reg3, X86_EBP,
1082                                                              spilloffset3, 4);
1083                                 if (kids [0]->reg2 != -1)
1084                                         x86_mov_reg_membase (cfg->code, kids [0]->reg2, X86_EBP,
1085                                                              spilloffset2, 4);
1086                                 if (kids [0]->reg1 != -1)
1087                                         x86_mov_reg_membase (cfg->code, kids [0]->reg1, X86_EBP,
1088                                                              spilloffset1, 4);
1089                         }
1090
1091                         if (nts [2]) {
1092                                 g_assert (!nts [3]);
1093                                 tree_emit (nts [2], cfg, kids [2], spillcount);
1094                         }
1095                 } else {
1096                         tree_emit (nts [0], cfg, kids [0], spillcount);
1097                 }
1098         }
1099
1100         g_assert ((*spillcount) <= cfg->spillcount);
1101
1102         tree->addr = offset = cfg->code - cfg->start;
1103
1104         /* we assume an instruction uses a maximum of 128 bytes */
1105         if ((cfg->code_size - offset) <= 128) {
1106                 int add = MIN (cfg->code_size, 128);
1107                 cfg->code_size += add;
1108                 mono_jit_stats.code_reallocs++;
1109                 cfg->start = g_realloc (cfg->start, cfg->code_size);
1110                 g_assert (cfg->start);
1111                 cfg->code = cfg->start + offset;
1112         }
1113
1114         if ((emit = mono_burg_func [ern]))
1115                 emit (tree, cfg);
1116
1117         g_assert ((cfg->code - cfg->start) < cfg->code_size);
1118 }
1119
1120 static void
1121 mono_emit_cfg (MonoFlowGraph *cfg)
1122 {
1123         int i, j, spillcount;
1124
1125         for (i = 0; i < cfg->block_count; i++) {
1126                 MonoBBlock *bb = &cfg->bblocks [i];
1127                 GPtrArray *forest = bb->forest;
1128                 int top;
1129
1130                 if (!bb->reached) /* unreachable code */
1131                         continue;
1132
1133                 top = forest->len;
1134
1135                 bb->addr = cfg->code - cfg->start;
1136
1137                 for (j = 0; j < top; j++) {
1138                         MBTree *t1 = (MBTree *) g_ptr_array_index (forest, j);
1139
1140                         spillcount = 0;
1141                         tree_emit (1, cfg, t1, &spillcount);
1142                 }
1143         }
1144
1145         cfg->epilog = cfg->code - cfg->start;
1146 }
1147
1148 static void
1149 mono_compute_branches (MonoFlowGraph *cfg)
1150 {
1151         MonoJumpInfo *ji;
1152         guint8 *end;
1153         int i, j;
1154
1155         end = cfg->code;
1156
1157         for (j = 0; j < cfg->block_count; j++) {
1158                 MonoBBlock *bb = &cfg->bblocks [j];
1159                 GPtrArray *forest = bb->forest;
1160                 int top;
1161
1162                 if (!bb->reached) /* unreachable code */
1163                         continue;
1164
1165                 top = forest->len;
1166
1167                 for (i = 0; i < top; i++) {
1168                         MBTree *t1 = (MBTree *) g_ptr_array_index (forest, i);
1169
1170                         if (t1->op == MB_TERM_SWITCH) {
1171                                 MonoBBlock **jt = (MonoBBlock **)t1->data.p;
1172                                 guint32 *rt = (guint32 *)t1->data.p;
1173                                 int m = *((guint32 *)t1->data.p) + 1;
1174                                 int k;
1175
1176                                 for (k = 1; k <= m; k++)
1177                                         rt [k] = (int)(jt [k]->addr + cfg->start);
1178
1179                                 /* emit the switch instruction again to update addresses */
1180                                 cfg->code = cfg->start + t1->addr;
1181                                 ((MBEmitFunc)t1->emit) (t1, cfg);
1182                         }
1183                 }
1184         }
1185
1186         cfg->code = end;
1187
1188         for (ji = cfg->jump_info; ji; ji = ji->next) {
1189                 unsigned char *ip = GUINT_TO_POINTER (GPOINTER_TO_UINT (ji->ip) + cfg->start);
1190                 unsigned char *target;
1191
1192                 switch (ji->type) {
1193                 case MONO_JUMP_INFO_BB:
1194                         target = ji->data.bb->addr + cfg->start;
1195                         break;
1196                 case MONO_JUMP_INFO_ABS:
1197                         target = ji->data.target;
1198                         break;
1199                 case MONO_JUMP_INFO_EPILOG:
1200                         target = cfg->epilog + cfg->start;
1201                         break;
1202                 case MONO_JUMP_INFO_IP:
1203                         *(unsigned char**)ip = ip;
1204                         continue;
1205                 default:
1206                         g_assert_not_reached ();
1207                 }
1208                 x86_patch (ip, target);
1209         }
1210
1211         /* patch the IP in the LMF saving code */
1212         if (cfg->lmfip_offset) {
1213                 *((guint32 *)(cfg->start + cfg->lmfip_offset)) =
1214                         (gint32)(cfg->start + cfg->lmfip_offset);
1215         }
1216 }
1217
1218 void
1219 mono_add_jump_info (MonoFlowGraph *cfg, gpointer ip, MonoJumpInfoType type, gpointer target)
1220 {
1221         MonoJumpInfo *ji = mono_mempool_alloc (cfg->mp, sizeof (MonoJumpInfo));
1222
1223         ji->type = type;
1224         ji->ip = GUINT_TO_POINTER (GPOINTER_TO_UINT (ip) - GPOINTER_TO_UINT (cfg->start));
1225         ji->data.target = target;
1226         ji->next = cfg->jump_info;
1227
1228         cfg->jump_info = ji;
1229 }
1230
1231 MonoJitInfo *
1232 arch_jit_compile_cfg (MonoDomain *target_domain, MonoFlowGraph *cfg)
1233 {
1234         MonoJitInfo *ji;
1235         guint32 ls_used_mask = 0;
1236         MonoMethod *method = cfg->method;
1237         int offset, gap;
1238
1239         ji = mono_mempool_alloc0 (target_domain->mp, sizeof (MonoJitInfo));
1240
1241         cfg->rs = mono_regset_new (X86_NREG);
1242         mono_regset_reserve_reg (cfg->rs, X86_ESP);
1243         mono_regset_reserve_reg (cfg->rs, X86_EBP);
1244
1245         /* we can use this regs for global register allocation */
1246         mono_regset_reserve_reg (cfg->rs, X86_EBX);
1247         mono_regset_reserve_reg (cfg->rs, X86_ESI);
1248
1249         if (mono_use_linear_scan) {
1250                 mono_linear_scan (cfg, &ls_used_mask);
1251                 cfg->rs->used_mask |= ls_used_mask;
1252         }
1253
1254         if (mono_jit_dump_forest) {
1255                 int i;
1256                 printf ("FOREST %s\n", mono_method_full_name (method, TRUE));
1257                 for (i = 0; i < cfg->block_count; i++) {
1258                         printf ("BLOCK %d:\n", i);
1259                         mono_print_forest (cfg, cfg->bblocks [i].forest);
1260                 }
1261         }
1262
1263         if (!mono_label_cfg (cfg))
1264                 return NULL;
1265
1266         arch_allocate_regs (cfg);
1267
1268         /* align to 8 byte boundary */
1269         cfg->locals_size += 7;
1270         cfg->locals_size &= ~7;
1271
1272         arch_emit_prologue (cfg);
1273         cfg->prologue_end = cfg->code - cfg->start;
1274         mono_emit_cfg (cfg);
1275         arch_emit_epilogue (cfg);
1276         cfg->epilogue_end = cfg->code - cfg->start;
1277
1278         offset = cfg->code - cfg->start;
1279         gap = cfg->code_size - offset;
1280         if (gap > 0) {
1281                 char *org = cfg->start;
1282 #if 0
1283                 cfg->start = g_realloc (cfg->start, offset);
1284 #else
1285                 cfg->start = mono_mempool_alloc (target_domain->code_mp, offset);
1286                 memcpy (cfg->start, org, offset);
1287                 g_free (org);
1288 #endif
1289                 cfg->code_size = offset;
1290                 cfg->code = cfg->start + offset;
1291         }
1292
1293         mono_compute_branches (cfg);
1294
1295         ji->code_size = cfg->code - cfg->start;
1296         ji->used_regs = cfg->rs->used_mask;
1297         ji->method = method;
1298         ji->code_start = cfg->start;
1299
1300         return ji;
1301 }
1302