mono/mini/inssel.brg

   1 /*
   2  * inssel.brg: instruction selection
   3  *
   4  * Author:
   5  *   Dietmar Maurer (dietmar@ximian.com)
   6  *   Paolo Molaro (lupus@ximian.com)
   7  *
   8  * (C) 2002 Ximian, Inc.
   9  *
  10  */
  11 #include <config.h>
  12 #include <string.h>
  13
  14 #include "mini.h"
  15 #include <mono/metadata/marshal.h>
  16 #include <mono/metadata/debug-helpers.h>
  17
  18 #define MBTREE_TYPE  MonoInst
  19 #define MBCGEN_TYPE  MonoCompile
  20 #define MBCOST_DATA  MonoCompile
  21 #define MBALLOC_STATE mono_mempool_alloc (data->state_pool, sizeof (MBState))
  22 #define MBMAX_OPCODES OP_LAST
  23 #define MBGET_OP_NAME(op) mono_inst_name (op)
  24
  25 #define MBTREE_OP(t) ((t)->opcode)
  26 #define MBTREE_LEFT(t) ((t)->inst_left)
  27 #define MBTREE_RIGHT(t) ((t)->inst_right)
  28
  29 #define MONO_EMIT_UNALU(cfg,inst,op,dr,sr1) do { \
  30                 (inst)->opcode = op; \
  31                 (inst)->dreg = dr; \
  32                 (inst)->sreg1 = sr1; \
  33                 mono_bblock_add_inst (cfg->cbb, inst); \
  34         } while (0)
  35
  36 #define MONO_EMIT_NEW_UNALU(cfg,op,dr,sr1) do { \
  37                 MonoInst *inst; \
  38                 MONO_INST_NEW ((cfg), inst, op);        \
  39                 inst->dreg = dr; \
  40                 inst->sreg1 = sr1; \
  41                 mono_bblock_add_inst (cfg->cbb, inst); \
  42         } while (0)
  43
  44 #define MONO_EMIT_BIALU(cfg,inst,op,dr,sr1,sr2) do { \
  45                 (inst)->opcode = op; \
  46                 (inst)->dreg = dr; \
  47                 (inst)->sreg1 = sr1; \
  48                 (inst)->sreg2 = sr2; \
  49                 mono_bblock_add_inst (cfg->cbb, inst); \
  50         } while (0)
  51
  52 #define MONO_EMIT_NEW_BIALU(cfg,op,dr,sr1,sr2) do { \
  53                 MonoInst *inst; \
  54                 MONO_INST_NEW ((cfg), inst, op);        \
  55                 inst->dreg = dr; \
  56                 inst->sreg1 = sr1; \
  57                 inst->sreg2 = sr2; \
  58                 mono_bblock_add_inst (cfg->cbb, inst); \
  59         } while (0)
  60
  61 #define MONO_EMIT_BIALU_IMM(cfg,inst,op,dr,sr,imm) do { \
  62                 (inst)->opcode = op; \
  63                 (inst)->dreg = dr; \
  64                 (inst)->sreg1 = sr; \
  65                 (inst)->inst_p1 = (gpointer)(gssize)(imm); \
  66                 mono_bblock_add_inst (cfg->cbb, inst); \
  67         } while (0)
  68
  69 #define MONO_EMIT_NEW_BIALU_IMM(cfg,op,dr,sr,imm) do { \
  70                 MonoInst *inst; \
  71                 MONO_INST_NEW ((cfg), inst, op);        \
  72                 inst->dreg = dr; \
  73                 inst->sreg1 = sr; \
  74                 inst->inst_p1 = (gpointer)(gssize)(imm); \
  75                 mono_bblock_add_inst (cfg->cbb, inst); \
  76         } while (0)
  77
  78 #define MONO_EMIT_BIALU_MEMBASE(cfg,tree,op,dr,sr,basereg,offset) do { \
  79                                 tree->opcode = op; \
  80                                 tree->dreg = dr; \
  81                                 tree->sreg1 = sr; \
  82                                 tree->sreg2 = basereg; \
  83                                 tree->inst_offset = offset; \
  84                                 mono_bblock_add_inst (s->cbb, tree); \
  85         } while (0)
  86
  87 #define MONO_EMIT_LOAD_MEMBASE(cfg,inst,dr,base,offset) do { \
  88                 (inst)->opcode = OP_LOAD_MEMBASE; \
  89                 (inst)->dreg = dr; \
  90                 (inst)->inst_basereg = base; \
  91                 (inst)->inst_offset = offset; \
  92                 mono_bblock_add_inst (cfg->cbb, inst); \
  93         } while (0)
  94
  95 #define MONO_EMIT_LOAD_MEMBASE_OP(cfg,inst,op,dr,base,offset) do { \
  96                 (inst)->opcode = op; \
  97                 (inst)->dreg = dr; \
  98                 (inst)->inst_basereg = base; \
  99                 (inst)->inst_offset = offset; \
 100                 mono_bblock_add_inst (cfg->cbb, inst); \
 101         } while (0)
 102
 103 #define MONO_EMIT_NEW_LOAD_MEM(cfg,dr,addr) do { \
 104                 MonoInst *inst; \
 105                 MONO_INST_NEW ((cfg), inst, OP_LOADU4_MEM);     \
 106                 inst->dreg = dr; \
 107                 inst->inst_p0 = addr; \
 108                 mono_bblock_add_inst (cfg->cbb, inst); \
 109         } while (0)
 110
 111 #define MONO_EMIT_NEW_LOAD_MEMBASE(cfg,dr,base,offset) do { \
 112                 MonoInst *inst; \
 113                 MONO_INST_NEW ((cfg), inst, OP_LOAD_MEMBASE);   \
 114                 inst->dreg = dr; \
 115                 inst->inst_basereg = base; \
 116                 inst->inst_offset = offset; \
 117                 mono_bblock_add_inst (cfg->cbb, inst); \
 118         } while (0)
 119
 120 #define MONO_EMIT_NEW_LOAD_MEMBASE_OP(cfg,op,dr,base,offset) do { \
 121                 MonoInst *inst; \
 122                 MONO_INST_NEW ((cfg), inst, op);        \
 123                 inst->dreg = dr; \
 124                 inst->inst_basereg = base; \
 125                 inst->inst_offset = offset; \
 126                 mono_bblock_add_inst (cfg->cbb, inst); \
 127         } while (0)
 128
 129 #define MONO_EMIT_STORE_MEMBASE(cfg,inst,op,base,offset,sr) do { \
 130                 (inst)->opcode = op; \
 131                 (inst)->sreg1 = sr; \
 132                 (inst)->inst_destbasereg = base; \
 133                 (inst)->inst_offset = offset; \
 134                 mono_bblock_add_inst (cfg->cbb, inst); \
 135         } while (0)
 136
 137 #define MONO_EMIT_NEW_STORE_MEMBASE(cfg,op,base,offset,sr) do { \
 138                 MonoInst *inst; \
 139                 MONO_INST_NEW ((cfg), inst, op);        \
 140                 inst->sreg1 = sr; \
 141                 inst->inst_destbasereg = base; \
 142                 inst->inst_offset = offset; \
 143                 mono_bblock_add_inst (cfg->cbb, inst); \
 144         } while (0)
 145
 146 #define MONO_EMIT_STORE_MEMBASE_IMM(cfg,inst,op,base,offset,imm) do { \
 147                 (inst)->opcode = op; \
 148                 (inst)->inst_destbasereg = base; \
 149                 (inst)->inst_offset = offset; \
 150                 (inst)->inst_p1 = (gpointer)imm; \
 151                 mono_bblock_add_inst (cfg->cbb, inst); \
 152         } while (0)
 153
 154 #define MONO_EMIT_NEW_STORE_MEMBASE_IMM(cfg,op,base,offset,imm) do { \
 155                 MonoInst *inst; \
 156                 MONO_INST_NEW ((cfg), inst, op);        \
 157                 inst->inst_destbasereg = base; \
 158                 inst->inst_offset = offset; \
 159                 inst->inst_p1 = (gpointer)imm; \
 160                 mono_bblock_add_inst (cfg->cbb, inst); \
 161         } while (0)
 162
 163 #define MONO_EMIT_NEW_COMPARE_IMM(cfg,sr1,imm) do { \
 164                 MonoInst *inst; \
 165                 MONO_INST_NEW ((cfg), inst, OP_COMPARE_IMM);    \
 166                 inst->sreg1 = sr1; \
 167                 inst->inst_p1 = (gpointer)imm; \
 168                 mono_bblock_add_inst ((cfg)->cbb, inst); \
 169         } while (0)
 170
 171 #define MONO_EMIT_NEW_ICOMPARE_IMM(cfg,sr1,imm) do { \
 172                 MonoInst *inst; \
 173                 MONO_INST_NEW ((cfg), inst, sizeof (void*) == 8 ? OP_ICOMPARE_IMM : OP_COMPARE_IMM);    \
 174                 inst->sreg1 = sr1; \
 175                 inst->inst_p1 = (gpointer)imm; \
 176                 mono_bblock_add_inst ((cfg)->cbb, inst); \
 177         } while (0)
 178
 179 #define MONO_EMIT_NEW_COND_EXC(cfg,cond,name) do { \
 180                 MonoInst *inst; \
 181                 MONO_INST_NEW ((cfg), inst, OP_NOP);    \
 182                 inst->opcode = OP_COND_EXC_##cond;  \
 183                 inst->inst_p1 = (char*)name; \
 184                 mono_bblock_add_inst ((cfg)->cbb, inst); \
 185         } while (0)
 186
 187 #define MONO_EMIT_NEW_ICONST(cfg,dr,imm) do { \
 188                 MonoInst *inst; \
 189                 MONO_INST_NEW ((cfg), inst, OP_ICONST); \
 190                 inst->dreg = dr; \
 191                 inst->inst_c0 = imm; \
 192                 mono_bblock_add_inst ((cfg)->cbb, inst); \
 193         } while (0)
 194
 195 #define MONO_EMIT_NEW_I8CONST(cfg,dr,imm) do { \
 196                 MonoInst *inst; \
 197                 MONO_INST_NEW ((cfg), inst, OP_I8CONST);        \
 198                 inst->dreg = dr; \
 199                 inst->inst_l = imm; \
 200                 mono_bblock_add_inst ((cfg)->cbb, inst); \
 201         } while (0)
 202
 203 #define MONO_EMIT_NEW_PCONST(cfg,dr,imm) do { \
 204                 MonoInst *inst; \
 205                 MONO_INST_NEW ((cfg), inst, OP_ICONST); \
 206                 inst->dreg = dr; \
 207                 inst->inst_p0 = (gpointer) imm; \
 208                 mono_bblock_add_inst ((cfg)->cbb, inst); \
 209         } while (0)
 210
 211
 212 #ifdef MONO_ARCH_NEED_GOT_VAR
 213
 214 #define MONO_EMIT_NEW_AOTCONST(cfg,dr,cons,patch_type) do { \
 215                 mini_emit_aotconst ((cfg), (dr), (patch_type), (cons)); \
 216     } while (0)
 217
 218 #else
 219
 220 #define MONO_EMIT_NEW_AOTCONST(cfg,dr,imm,type) do { \
 221                 MonoInst *inst; \
 222                 MONO_INST_NEW ((cfg), inst, OP_AOTCONST);       \
 223                 inst->dreg = dr; \
 224                 inst->inst_p0 = imm; \
 225                 inst->inst_c1 = type; \
 226                 mono_bblock_add_inst ((cfg)->cbb, inst); \
 227         } while (0)
 228
 229 #endif
 230
 231 #define MONO_EMIT_NEW_CLASSCONST(cfg,dr,imm) MONO_EMIT_NEW_AOTCONST(cfg,dr,imm,MONO_PATCH_INFO_CLASS)
 232 #define MONO_EMIT_NEW_VTABLECONST(cfg,dest,vtable) MONO_EMIT_NEW_AOTCONST ((cfg), (dest), (cfg)->compile_aot ? (gpointer)((vtable)->klass) : (vtable), MONO_PATCH_INFO_VTABLE)
 233
 234 #define MONO_EMIT_NEW_BRANCH_BLOCK(cfg,op,targetbb) do { \
 235                 MonoInst *inst; \
 236                 MonoInst *target_label; \
 237                 target_label = mono_mempool_alloc0 ((cfg)->mempool, sizeof (MonoInst)); \
 238                 target_label->opcode = OP_LABEL;        \
 239                 MONO_INST_LIST_ADD (&target_label->node, \
 240                                    &(targetbb)->ins_list); \
 241                 target_label->inst_c0 = (targetbb)->native_offset; \
 242                 MONO_INST_NEW ((cfg), inst, op);        \
 243                 inst->inst_i0 = target_label;   \
 244                 inst->flags = MONO_INST_BRLABEL;        \
 245                 mono_bblock_add_inst ((cfg)->cbb, inst); \
 246         } while (0)
 247
 248 #define MONO_EMIT_NEW_BRANCH_LABEL(cfg,op,label) do { \
 249                 MonoInst *inst; \
 250                 MONO_INST_NEW ((cfg), inst, op);        \
 251                 inst->inst_i0 = label;  \
 252                 inst->flags = MONO_INST_BRLABEL;        \
 253                 mono_bblock_add_inst ((cfg)->cbb, inst); \
 254         } while (0)
 255
 256 #define MONO_NEW_LABEL(cfg,inst) do { \
 257                 (inst) = mono_mempool_alloc0 ((cfg)->mempool, sizeof (MonoInst));       \
 258                 (inst)->opcode = OP_LABEL;      \
 259         } while (0)
 260
 261 #define MONO_EMIT_BOUNDS_CHECK(cfg, array_reg, array_type, array_length_field, index_reg) do { \
 262                 if (! (state->tree->flags & MONO_INST_NORANGECHECK)) { \
 263                         int _length_reg = mono_regstate_next_int (cfg->rs); \
 264                         MONO_EMIT_NEW_LOAD_MEMBASE_OP (cfg, OP_LOADI4_MEMBASE, _length_reg, array_reg, G_STRUCT_OFFSET (array_type, array_length_field)); \
 265                         MONO_EMIT_NEW_COMPARE_EXC (cfg, LE_UN, _length_reg, index_reg, "IndexOutOfRangeException"); \
 266                 } \
 267         } while (0)
 268
 269 #define MONO_EMIT_BOUNDS_CHECK_IMM(cfg, array_reg, array_type, array_length_field, index_imm) do { \
 270                 if (! (state->tree->flags & MONO_INST_NORANGECHECK)) { \
 271                         int _length_reg = mono_regstate_next_int (cfg->rs); \
 272                         MONO_EMIT_NEW_LOAD_MEMBASE_OP (cfg, OP_LOADI4_MEMBASE, _length_reg, array_reg, G_STRUCT_OFFSET (array_type, array_length_field)); \
 273                         MONO_EMIT_NEW_COMPARE_IMM_EXC (cfg, LE_UN, _length_reg, index_imm, "IndexOutOfRangeException"); \
 274                 } \
 275         } while (0)
 276
 277 #ifndef MONO_EMIT_NEW_COMPARE_EXC
 278 #define MONO_EMIT_NEW_COMPARE_EXC(cfg, cmp_op, sreg1, sreg2, exc) do { \
 279                 MONO_EMIT_NEW_BIALU (cfg, OP_COMPARE, -1, sreg1, sreg2); \
 280                 MONO_EMIT_NEW_COND_EXC (cfg, cmp_op, exc); \
 281         } while (0)
 282 #endif
 283
 284 #ifndef MONO_EMIT_NEW_COMPARE_IMM_EXC
 285 #define MONO_EMIT_NEW_COMPARE_IMM_EXC(cfg, cmp_op, sreg1, imm, exc) do { \
 286                 MONO_EMIT_NEW_BIALU_IMM (cfg, OP_COMPARE_IMM, -1, sreg1, imm); \
 287                 MONO_EMIT_NEW_COND_EXC (cfg, cmp_op, exc); \
 288         } while (0)
 289 #endif
 290
 291 #ifndef MONO_EMIT_NEW_ICOMPARE_IMM_EXC
 292 #define MONO_EMIT_NEW_ICOMPARE_IMM_EXC(cfg, cmp_op, sreg1, imm, exc) do { \
 293                 MONO_EMIT_NEW_ICOMPARE_IMM(cfg, sreg1, imm); \
 294                 MONO_EMIT_NEW_COND_EXC (cfg, cmp_op, exc); \
 295         } while (0)
 296 #endif
 297
 298 #ifndef MONO_EMIT_NEW_COMPARE_BRANCH_LABEL
 299 #define MONO_EMIT_NEW_COMPARE_BRANCH_LABEL(cfg, cmp_op, sreg1, sreg2, label) \
 300         do { \
 301                 MONO_EMIT_NEW_BIALU (s, OP_COMPARE, -1, (sreg1), (sreg2)); \
 302                 MONO_EMIT_NEW_BRANCH_LABEL (s, (cmp_op), (label)); \
 303         } while (0)
 304 #endif
 305
 306 #ifndef MONO_EMIT_NEW_COMPARE_BRANCH_LABEL_CHAINED
 307 #define MONO_EMIT_NEW_COMPARE_BRANCH_LABEL_CHAINED(cfg, cmp_op, sreg1, sreg2, label) \
 308         do { \
 309                 MONO_EMIT_NEW_BRANCH_LABEL (s, (cmp_op), (label)); \
 310 } while (0)
 311 #endif
 312
 313 #ifndef MONO_EMIT_NEW_COMPARE_IMM_BRANCH_LABEL
 314 #define MONO_EMIT_NEW_COMPARE_IMM_BRANCH_LABEL(cfg, cmp_op, sreg1, imm, label) \
 315         do { \
 316                 MONO_EMIT_NEW_BIALU_IMM (s, OP_COMPARE_IMM, -1, (sreg1), (imm)); \
 317                 MONO_EMIT_NEW_BRANCH_LABEL (s, (cmp_op), (label)); \
 318         } while (0)
 319 #endif
 320
 321 #ifndef MONO_EMIT_NEW_COMPARE_IMM_BRANCH_LABEL_CHAINED
 322 #define MONO_EMIT_NEW_COMPARE_IMM_BRANCH_LABEL_CHAINED(cfg, cmp_op, sreg1, imm, label) \
 323         do { \
 324                 MONO_EMIT_NEW_BRANCH_LABEL (s, (cmp_op), (label)); \
 325 } while (0)
 326 #endif
 327
 328 #ifndef MONO_EMIT_NEW_COMPARE_BRANCH_BLOCK
 329 #define MONO_EMIT_NEW_COMPARE_BRANCH_BLOCK(cfg, cmp_op, sreg1, sreg2, block) \
 330         do { \
 331                 MONO_EMIT_NEW_BIALU (s, OP_COMPARE, -1, (sreg1), (sreg2)); \
 332                 MONO_EMIT_NEW_BRANCH_BLOCK (s, (cmp_op), (block)); \
 333         } while (0)
 334 #endif
 335
 336 #ifndef MONO_EMIT_NEW_COMPARE_BRANCH_BLOCK_CHAINED
 337 #define MONO_EMIT_NEW_COMPARE_BRANCH_BLOCK_CHAINED(cfg, cmp_op, sreg1, sreg2, block) \
 338         do { \
 339                 MONO_EMIT_NEW_BRANCH_BLOCK (s, (cmp_op), (block)); \
 340 } while (0)
 341 #endif
 342
 343 #ifndef MONO_EMIT_NEW_COMPARE_IMM_BRANCH_BLOCK
 344 #define MONO_EMIT_NEW_COMPARE_IMM_BRANCH_BLOCK(cfg, cmp_op, sreg1, imm, block) \
 345         do { \
 346                 MONO_EMIT_NEW_BIALU_IMM (s, OP_COMPARE_IMM, -1, (sreg1), (imm)); \
 347                 MONO_EMIT_NEW_BRANCH_BLOCK (s, (cmp_op), (block)); \
 348         } while (0)
 349 #endif
 350
 351 #ifndef MONO_EMIT_NEW_COMPARE_IMM_BRANCH_BLOCK_CHAINED
 352 #define MONO_EMIT_NEW_COMPARE_IMM_BRANCH_BLOCK_CHAINED(cfg, cmp_op, sreg1, imm, block) \
 353         do { \
 354                 MONO_EMIT_NEW_BRANCH_BLOCK (s, (cmp_op), (block)); \
 355 } while (0)
 356 #endif
 357
 358 %%
 359
 360 %termprefix OP_ CEE_
 361
 362 %start stmt
 363
 364 #
 365 # base addressing mode
 366 #
 367
 368 base: reg "0" {
 369         /* we create a new MonoInst in chain rules and set state->tree to it
 370          * since a MBState (and hence state->tree) is reused in chain rules and
 371          * normal rules.
 372          */
 373         MonoInst *inst;
 374     MONO_INST_NEW (s, inst, OP_NOP); /* The opcode doesn't matter */
 375         inst->inst_basereg = state->reg1;
 376         inst->inst_offset = 0;
 377         state->tree = inst;
 378         //g_print ("mybase: (assigned R%d from R%d - R%d)\n", state->reg1, tree->dreg, state->reg2);
 379         //tree->inst_offset = 0;
 380         //tree->inst_basereg = state->reg1;
 381 }
 382
 383 base: CEE_LDIND_I (OP_REGVAR) "0" {
 384         tree->inst_offset = 0;
 385         tree->inst_basereg = state->left->tree->dreg;
 386 }
 387
 388 base: OP_REGOFFSET "0" {
 389         /* nothing to do */
 390 }
 391
 392 base: OP_LDADDR (OP_REGOFFSET),
 393 base: CEE_LDOBJ (OP_REGOFFSET) "0" {
 394         tree->inst_offset = state->left->tree->inst_offset;
 395         tree->inst_basereg = state->left->tree->inst_basereg;
 396 }
 397
 398 base: CEE_ADD (base, OP_ICONST) "0" {
 399         tree->inst_offset = state->left->tree->inst_offset + state->right->tree->inst_c0;
 400         tree->inst_basereg = state->left->tree->inst_basereg;
 401 }
 402
 403 base: CEE_ADD (CEE_LDIND_REF (OP_REGVAR), OP_ICONST),
 404 base: CEE_ADD (CEE_LDIND_I (OP_REGVAR), OP_ICONST) "0" {
 405         tree->inst_offset = state->right->tree->inst_c0;
 406         tree->inst_basereg = state->left->left->tree->dreg;
 407 }
 408
 409 #
 410 # helpers
 411 #
 412
 413 reg: OP_ICONST {
 414         tree->dreg = state->reg1;
 415         MONO_EMIT_NEW_ICONST (s, state->reg1, tree->inst_c0);
 416 }
 417
 418 reg: OP_AOTCONST {
 419         MONO_EMIT_NEW_AOTCONST (s, state->reg1, tree->inst_p0, tree->inst_c1);
 420 }
 421
 422 reg: OP_LOAD_GOTADDR {
 423         tree->dreg = state->reg1;
 424         mono_bblock_add_inst (s->cbb, tree);
 425 }
 426
 427 stmt: CEE_STIND_I (OP_REGVAR, OP_LOAD_GOTADDR) {
 428         tree->opcode = OP_LOAD_GOTADDR;
 429         tree->dreg = state->left->tree->dreg;
 430         mono_bblock_add_inst (s->cbb, tree);
 431 }
 432
 433 reg: OP_GOT_ENTRY (reg, OP_PATCH_INFO) {
 434         tree->inst_basereg = state->left->tree->dreg;
 435         tree->dreg = state->reg1;
 436         mono_bblock_add_inst (s->cbb, tree);
 437 }
 438
 439 reg: OP_GOT_ENTRY (CEE_LDIND_I (OP_REGVAR), OP_PATCH_INFO) {
 440         tree->inst_basereg = state->left->left->tree->dreg;
 441         tree->dreg = state->reg1;
 442         mono_bblock_add_inst (s->cbb, tree);
 443 }
 444
 445 stmt: OP_DUMMY_USE (CEE_LDIND_I (OP_REGVAR)) {
 446 }
 447
 448 stmt: OP_DUMMY_USE (CEE_LDIND_I (OP_REGOFFSET)) {
 449 }
 450
 451 stmt: OP_DUMMY_USE (CEE_LDIND_REF (OP_REGOFFSET)) {
 452 }
 453
 454 stmt: OP_DUMMY_STORE {
 455 }
 456
 457 stmt: OP_NOT_REACHED {
 458 }
 459
 460 stmt: OP_MEMORY_BARRIER {
 461         mono_bblock_add_inst (s->cbb, tree);
 462 }
 463
 464 #
 465 # load/store operations
 466 #
 467
 468 reg: CEE_LDIND_I (base),
 469 reg: CEE_LDIND_REF (base),
 470 reg: CEE_LDIND_I1 (base),
 471 reg: CEE_LDIND_U1 (base),
 472 reg: CEE_LDIND_I2 (base),
 473 reg: CEE_LDIND_U2 (base),
 474 reg: CEE_LDIND_I4 (base),
 475 reg: CEE_LDIND_U4 (base) {
 476         MONO_EMIT_LOAD_MEMBASE_OP (s, tree, ldind_to_load_membase (tree->opcode),
 477                                    state->reg1, state->left->tree->inst_basereg, state->left->tree->inst_offset);
 478 }
 479
 480 reg: OP_LDADDR (OP_REGOFFSET),
 481 reg: CEE_LDOBJ (OP_REGOFFSET) "2" {
 482         /* use LEA */
 483         tree->opcode = OP_MOVE;
 484         tree->sreg1 = state->left->tree->inst_basereg;
 485         tree->dreg = state->reg1;
 486         mono_bblock_add_inst (s->cbb, tree);
 487         if (state->left->tree->inst_offset)
 488                 MONO_EMIT_NEW_BIALU_IMM (s, OP_ADD_IMM, tree->dreg, tree->dreg, state->left->tree->inst_offset);
 489 }
 490
 491 reg: CEE_LDOBJ (reg),
 492 reg: OP_OBJADDR (reg),
 493 reg: OP_VTADDR (reg) {
 494         MONO_EMIT_UNALU (s, tree, OP_MOVE, state->reg1, state->left->reg1);
 495 }
 496
 497 reg: CEE_LDIND_U1 (OP_REGVAR) {
 498         MONO_EMIT_BIALU_IMM (s, tree, OP_AND_IMM, state->reg1, state->left->tree->dreg, 0xff);
 499 }
 500
 501 reg: CEE_LDIND_U2 (OP_REGVAR) {
 502         MONO_EMIT_BIALU_IMM (s, tree, OP_AND_IMM, state->reg1, state->left->tree->dreg, 0xffff);
 503 }
 504
 505 stmt: CEE_STIND_REF (base, CEE_LDIND_REF (OP_REGVAR)),
 506 stmt: CEE_STIND_REF (base, CEE_LDIND_I (OP_REGVAR)),
 507 stmt: CEE_STIND_I (base, CEE_LDIND_REF (OP_REGVAR)),
 508 stmt: CEE_STIND_I (base, CEE_LDIND_I (OP_REGVAR)) {
 509         MONO_EMIT_STORE_MEMBASE (s, tree, OP_STORE_MEMBASE_REG, state->left->tree->inst_basereg,
 510                                  state->left->tree->inst_offset, state->right->left->tree->dreg);
 511 }
 512
 513 stmt: CEE_STIND_REF (OP_REGVAR, CEE_LDIND_REF (OP_REGVAR)),
 514 stmt: CEE_STIND_REF (OP_REGVAR, CEE_LDIND_I (OP_REGVAR)),
 515 stmt: CEE_STIND_I (OP_REGVAR, CEE_LDIND_REF (OP_REGVAR)),
 516 stmt: CEE_STIND_I (OP_REGVAR, CEE_LDIND_I (OP_REGVAR)),
 517 stmt: CEE_STIND_I4 (OP_REGVAR, CEE_LDIND_I4 (OP_REGVAR)) {
 518         MONO_EMIT_UNALU (s, tree, OP_MOVE, state->left->tree->dreg, state->right->left->tree->dreg);
 519 }
 520
 521
 522 stmt: CEE_STIND_I (base, reg),
 523 stmt: CEE_STIND_REF (base, reg) {
 524         MONO_EMIT_STORE_MEMBASE (s, tree, OP_STORE_MEMBASE_REG, state->left->tree->inst_basereg,
 525                                  state->left->tree->inst_offset, state->right->reg1);
 526 }
 527
 528 stmt: CEE_STIND_I (base, OP_ICONST),
 529 stmt: CEE_STIND_REF (base, OP_ICONST) {
 530         MONO_EMIT_STORE_MEMBASE_IMM (s, tree, OP_STORE_MEMBASE_IMM, state->left->tree->inst_basereg,
 531                                      state->left->tree->inst_offset, state->right->tree->inst_c0);
 532 }
 533
 534 reg: CEE_LDIND_REF (OP_REGVAR),
 535 reg: CEE_LDIND_I (OP_REGVAR),
 536 reg: CEE_LDIND_I4 (OP_REGVAR),
 537 reg: CEE_LDIND_U4 (OP_REGVAR) {
 538         MONO_EMIT_UNALU (s, tree, OP_MOVE, state->reg1, state->left->tree->dreg);
 539 }
 540
 541 stmt: CEE_STIND_I4 (base, reg) {
 542         MONO_EMIT_STORE_MEMBASE (s, tree, OP_STOREI4_MEMBASE_REG, state->left->tree->inst_basereg,
 543                                  state->left->tree->inst_offset, state->right->reg1);
 544 }
 545
 546 stmt: CEE_STIND_I4 (base, CEE_LDIND_I4 (OP_REGVAR)) {
 547         MONO_EMIT_STORE_MEMBASE (s, tree, OP_STOREI4_MEMBASE_REG, state->left->tree->inst_basereg,
 548                                  state->left->tree->inst_offset, state->right->left->tree->dreg);
 549 }
 550
 551 stmt: CEE_STIND_I4 (base, OP_ICONST) {
 552         MONO_EMIT_STORE_MEMBASE_IMM (s, tree, OP_STOREI4_MEMBASE_IMM, state->left->tree->inst_basereg,
 553                                      state->left->tree->inst_offset, state->right->tree->inst_c0);
 554 }
 555
 556 stmt: CEE_STIND_I4 (OP_REGVAR, CEE_LDIND_I4 (base)) {
 557         MONO_EMIT_LOAD_MEMBASE_OP (s, tree, OP_LOADI4_MEMBASE, state->left->tree->dreg,
 558                                    state->right->left->tree->inst_basereg,
 559                                    state->right->left->tree->inst_offset);
 560 }
 561
 562 stmt: CEE_STIND_I1 (base, reg) {
 563         MONO_EMIT_STORE_MEMBASE (s, tree, OP_STOREI1_MEMBASE_REG, state->left->tree->inst_basereg,
 564                                  state->left->tree->inst_offset, state->right->reg1);
 565 }
 566
 567 stmt: CEE_STIND_I1 (base, OP_ICONST) {
 568         MONO_EMIT_STORE_MEMBASE_IMM (s, tree, OP_STOREI1_MEMBASE_IMM, state->left->tree->inst_basereg,
 569                                      state->left->tree->inst_offset, state->right->tree->inst_c0);
 570 }
 571
 572 stmt: CEE_STIND_I2 (base, reg) {
 573         MONO_EMIT_STORE_MEMBASE (s, tree, OP_STOREI2_MEMBASE_REG, state->left->tree->inst_basereg,
 574                                  state->left->tree->inst_offset, state->right->reg1);
 575 }
 576
 577 stmt: CEE_STIND_I2 (base, OP_ICONST) {
 578         MONO_EMIT_STORE_MEMBASE_IMM (s, tree, OP_STOREI2_MEMBASE_IMM, state->left->tree->inst_basereg,
 579                                      state->left->tree->inst_offset, state->right->tree->inst_c0);
 580 }
 581
 582 stmt: CEE_STIND_I2 (OP_REGVAR, reg) {
 583         MONO_EMIT_BIALU_IMM (s, tree, OP_AND_IMM, state->left->tree->dreg, state->right->reg1, 0xffff);
 584 }
 585
 586 stmt: CEE_STIND_I1 (OP_REGVAR, reg) {
 587         MONO_EMIT_BIALU_IMM (s, tree, OP_AND_IMM, state->left->tree->dreg, state->right->reg1, 0xff);
 588 }
 589
 590 stmt: CEE_STIND_I1 (OP_REGVAR, CEE_LDIND_U1 (OP_REGVAR)),
 591 stmt: CEE_STIND_I1 (OP_REGVAR, CEE_LDIND_I1 (OP_REGVAR)) {
 592         MONO_EMIT_BIALU_IMM (s, tree, OP_AND_IMM, state->left->tree->dreg, state->right->left->tree->dreg, 0xff);
 593 }
 594
 595 stmt: CEE_STIND_I2 (OP_REGVAR, CEE_LDIND_U2 (OP_REGVAR)),
 596 stmt: CEE_STIND_I2 (OP_REGVAR, CEE_LDIND_I2 (OP_REGVAR)) {
 597         MONO_EMIT_BIALU_IMM (s, tree, OP_AND_IMM, state->left->tree->dreg, state->right->left->tree->dreg, 0xffff);
 598 }
 599
 600 stmt: CEE_STIND_I4 (OP_REGVAR, OP_ICONST),
 601 stmt: CEE_STIND_I2 (OP_REGVAR, OP_ICONST),
 602 stmt: CEE_STIND_I1 (OP_REGVAR, OP_ICONST),
 603 stmt: CEE_STIND_REF (OP_REGVAR, OP_ICONST),
 604 stmt: CEE_STIND_I (OP_REGVAR, OP_ICONST) {
 605         tree->inst_c0 = state->right->tree->inst_c0;
 606         if (tree->opcode == CEE_STIND_I2)
 607                 tree->inst_c0 &= 0xffff;
 608         if (tree->opcode == CEE_STIND_I1)
 609                 tree->inst_c0 &= 0xff;
 610
 611         tree->opcode = OP_ICONST;
 612         tree->dreg = state->left->tree->dreg;
 613         mono_bblock_add_inst (s->cbb, tree);
 614 }
 615
 616 stmt: CEE_STIND_I4 (OP_REGVAR, reg),
 617 stmt: CEE_STIND_REF (OP_REGVAR, reg),
 618 stmt: CEE_STIND_I (OP_REGVAR, reg) {
 619         MONO_EMIT_UNALU (s, tree, OP_MOVE, state->left->tree->dreg, state->right->reg1);
 620 }
 621
 622 stmt: OP_MEMCPY (base, base) {
 623         int size = tree->backend.memcpy_args->size;
 624         int align = tree->backend.memcpy_args->align;
 625         if (size > 0)
 626                 mini_emit_memcpy (s, state->left->tree->inst_basereg, state->left->tree->inst_offset,
 627                                   state->right->tree->inst_basereg, state->right->tree->inst_offset, size, align);
 628 }
 629
 630 stmt: OP_MEMSET (base) {
 631         int size = tree->backend.memcpy_args->size;
 632         int align = tree->backend.memcpy_args->align;
 633         if (size > 0)
 634                 mini_emit_memset (s, state->left->tree->inst_basereg, state->left->tree->inst_offset, size, tree->inst_imm, align);
 635 }
 636
 637 reg: OP_LDELEMA2D (reg, OP_GROUP (reg, reg)) "20" {
 638         int bounds_reg = mono_regstate_next_int (s->rs);
 639         int add_reg = mono_regstate_next_int (s->rs);
 640         int mult_reg = mono_regstate_next_int (s->rs);
 641         int mult2_reg = mono_regstate_next_int (s->rs);
 642         int low1_reg = mono_regstate_next_int (s->rs);
 643         int low2_reg = mono_regstate_next_int (s->rs);
 644         int high1_reg = mono_regstate_next_int (s->rs);
 645         int high2_reg = mono_regstate_next_int (s->rs);
 646         int realidx1_reg = mono_regstate_next_int (s->rs);
 647         int realidx2_reg = mono_regstate_next_int (s->rs);
 648         int sum_reg = mono_regstate_next_int (s->rs);
 649         int index1, index2;
 650         guint32 size = mono_class_array_element_size (tree->klass);
 651
 652         index1 = state->right->left->reg1;
 653         index2 = state->right->right->reg1;
 654
 655         /* range checking */
 656         MONO_EMIT_NEW_LOAD_MEMBASE (s, bounds_reg,
 657                                        state->left->reg1, G_STRUCT_OFFSET (MonoArray, bounds));
 658
 659         MONO_EMIT_NEW_LOAD_MEMBASE_OP (s, OP_LOADI4_MEMBASE, low1_reg,
 660                                        bounds_reg, G_STRUCT_OFFSET (MonoArrayBounds, lower_bound));
 661         MONO_EMIT_NEW_BIALU (s, CEE_SUB, realidx1_reg, index1, low1_reg);
 662         MONO_EMIT_NEW_LOAD_MEMBASE_OP (s, OP_LOADI4_MEMBASE, high1_reg,
 663                                        bounds_reg, G_STRUCT_OFFSET (MonoArrayBounds, length));
 664         MONO_EMIT_NEW_COMPARE_EXC (s, LE_UN, high1_reg, realidx1_reg, "IndexOutOfRangeException");
 665
 666         MONO_EMIT_NEW_LOAD_MEMBASE_OP (s, OP_LOADI4_MEMBASE, low2_reg,
 667                                        bounds_reg, sizeof (MonoArrayBounds) + G_STRUCT_OFFSET (MonoArrayBounds, lower_bound));
 668         MONO_EMIT_NEW_BIALU (s, CEE_SUB, realidx2_reg, index2, low2_reg);
 669         MONO_EMIT_NEW_LOAD_MEMBASE_OP (s, OP_LOADI4_MEMBASE, high2_reg,
 670                                        bounds_reg, sizeof (MonoArrayBounds) + G_STRUCT_OFFSET (MonoArrayBounds, length));
 671         MONO_EMIT_NEW_COMPARE_EXC (s, LE_UN, high2_reg, realidx2_reg, "IndexOutOfRangeException");
 672
 673         MONO_EMIT_NEW_BIALU (s, CEE_MUL, mult_reg, high2_reg, realidx1_reg);
 674         MONO_EMIT_NEW_BIALU (s, CEE_ADD, sum_reg, mult_reg, realidx2_reg);
 675         MONO_EMIT_NEW_BIALU_IMM (s, OP_MUL_IMM, mult2_reg, sum_reg, size);
 676         MONO_EMIT_NEW_BIALU (s, CEE_ADD, add_reg, mult2_reg, state->left->reg1);
 677         MONO_EMIT_NEW_BIALU_IMM (s, OP_ADD_IMM, state->reg1, add_reg, G_STRUCT_OFFSET (MonoArray, vector));
 678 }
 679
 680 #
 681 # conversions: conv_u can be implemented with AND, also all _ovf conversions?
 682 #
 683
 684 reg: CEE_CONV_I1 (reg),
 685 reg: CEE_CONV_I2 (reg),
 686 reg: CEE_CONV_I4 (reg) {
 687         MONO_EMIT_UNALU (s, tree, tree->opcode, state->reg1, state->left->reg1);
 688 }
 689
 690 reg: CEE_CONV_U1 (reg) {
 691         MONO_EMIT_BIALU_IMM (s, tree, OP_AND_IMM, state->reg1, state->left->reg1, 0xff);
 692 }
 693
 694 reg: CEE_CONV_U2 (reg) {
 695         MONO_EMIT_BIALU_IMM (s, tree, OP_AND_IMM, state->reg1, state->left->reg1, 0xffff);
 696 }
 697
 698 reg: CEE_CONV_U4 (reg),
 699 reg: CEE_CONV_U (reg),
 700 reg: CEE_CONV_I (reg) {
 701         if (sizeof (void *) == 8)
 702                 MONO_EMIT_UNALU (s, tree, tree->opcode, state->reg1, state->left->reg1);
 703         else
 704                 MONO_EMIT_UNALU (s, tree, OP_MOVE, state->reg1, state->left->reg1);
 705 }
 706
 707 reg: CEE_CONV_OVF_I4 (reg) {
 708         MONO_EMIT_UNALU (s, tree, OP_MOVE, state->reg1, state->left->reg1);
 709 }
 710
 711 reg: CEE_CONV_OVF_U4 (reg),
 712 reg: CEE_CONV_OVF_I4_UN (reg) {
 713         if (sizeof (void *) == 8) {
 714                 MONO_EMIT_UNALU (s, tree, tree->opcode, state->reg1, state->left->reg1);
 715         } else {
 716                 MONO_EMIT_NEW_COMPARE_IMM_EXC (s, LT, state->left->reg1, 0, "OverflowException");
 717                 MONO_EMIT_UNALU (s, tree, OP_MOVE, state->reg1, state->left->reg1);
 718         }
 719 }
 720
 721 reg: CEE_CONV_OVF_I1 (reg) {
 722         MONO_EMIT_NEW_ICOMPARE_IMM_EXC (s, GT, state->left->reg1, 127, "OverflowException");
 723         MONO_EMIT_NEW_ICOMPARE_IMM_EXC (s, LT, state->left->reg1, -128, "OverflowException");
 724         MONO_EMIT_UNALU (s, tree, CEE_CONV_I1, state->reg1, state->left->reg1);
 725 }
 726
 727 reg: CEE_CONV_OVF_I1_UN (reg) {
 728         /* probe values between 0 to 127 */
 729         MONO_EMIT_NEW_ICOMPARE_IMM_EXC (s, GT_UN, state->left->reg1, 127, "OverflowException");
 730         MONO_EMIT_UNALU (s, tree, CEE_CONV_I1, state->reg1, state->left->reg1);
 731 }
 732
 733 reg: CEE_CONV_OVF_U1 (reg),
 734 reg: CEE_CONV_OVF_U1_UN (reg) {
 735         /* probe value to be within 0 to 255 */
 736         MONO_EMIT_NEW_COMPARE_IMM_EXC (s, GT_UN, state->left->reg1, 255, "OverflowException");
 737         MONO_EMIT_BIALU_IMM (s, tree, OP_AND_IMM, state->reg1, state->left->reg1, 0xff);
 738 }
 739
 740 reg: CEE_CONV_OVF_I2 (reg) {
 741         /* Probe value to be within -32768 and 32767 */
 742         MONO_EMIT_NEW_ICOMPARE_IMM_EXC (s, GT, state->left->reg1, 32767, "OverflowException");
 743         MONO_EMIT_NEW_ICOMPARE_IMM_EXC (s, LT, state->left->reg1, -32768, "OverflowException");
 744         MONO_EMIT_UNALU (s, tree, CEE_CONV_I2, state->reg1, state->left->reg1);
 745 }
 746
 747 reg: CEE_CONV_OVF_I2_UN (reg) {
 748         /* Convert uint value into short, value within 0 and 32767 */
 749         MONO_EMIT_NEW_ICOMPARE_IMM_EXC (s, GT_UN, state->left->reg1, 32767, "OverflowException");
 750         MONO_EMIT_UNALU (s, tree, CEE_CONV_I2, state->reg1, state->left->reg1);
 751 }
 752
 753 reg: CEE_CONV_OVF_U2 (reg),
 754 reg: CEE_CONV_OVF_U2_UN (reg) {
 755         /* Probe value to be within 0 and 65535 */
 756         MONO_EMIT_NEW_ICOMPARE_IMM_EXC (s, GT_UN, state->left->reg1, 0xffff, "OverflowException");
 757         MONO_EMIT_BIALU_IMM (s, tree, OP_AND_IMM, state->reg1, state->left->reg1, 0xffff);
 758 }
 759
 760 #
 761 # other alu operations
 762 #
 763
 764 reg: OP_CEQ (cflags),
 765 reg: OP_CLT (cflags),
 766 reg: OP_CLT_UN (cflags),
 767 reg: OP_CGT (cflags),
 768 reg: OP_CGT_UN (cflags) "2" {
 769         tree->dreg = state->reg1;
 770         mono_bblock_add_inst (s->cbb, tree);
 771 }
 772
 773 #
 774 # control flow commands
 775 #
 776
 777 stmt: OP_LABEL {
 778         mono_bblock_add_inst (s->cbb, tree);
 779 }
 780
 781 stmt: OP_NOP "0" {
 782 }
 783
 784 stmt: OP_BREAK "0" {
 785         mono_bblock_add_inst (s->cbb, tree);
 786 }
 787
 788 reg: OP_TLS_GET {
 789         tree->dreg = state->reg1;
 790         mono_bblock_add_inst (s->cbb, tree);
 791 }
 792
 793 stmt: OP_SWITCH (reg) "2" {
 794         MonoInst *label;
 795         int offset_reg = mono_regstate_next_int (s->rs);
 796         int target_reg = mono_regstate_next_int (s->rs);
 797         int n = GPOINTER_TO_INT (tree->klass);
 798
 799         MONO_NEW_LABEL (s, label);
 800
 801         if (sizeof (gpointer) == 8) {
 802                 MONO_EMIT_NEW_BIALU_IMM (s, OP_ICOMPARE_IMM, -1, state->left->reg1, n);
 803                 MONO_EMIT_NEW_BRANCH_BLOCK (s, OP_IBGE_UN, tree->inst_many_bb [n]);
 804                 MONO_EMIT_NEW_BIALU_IMM (s, OP_SHL_IMM, offset_reg, state->left->reg1, 3);
 805                 /* The upper word might not be zero, and we add it to a 64 bit address later */
 806                 MONO_EMIT_NEW_UNALU (s, CEE_CONV_U8, offset_reg, offset_reg);
 807         } else {
 808                 MONO_EMIT_NEW_BIALU_IMM (s, OP_COMPARE_IMM, -1, state->left->reg1, n);
 809                 MONO_EMIT_NEW_BRANCH_BLOCK (s, CEE_BGE_UN, tree->inst_many_bb [n]);
 810                 MONO_EMIT_NEW_BIALU_IMM (s, OP_SHL_IMM, offset_reg, state->left->reg1, 2);
 811         }
 812         mono_bblock_add_inst (s->cbb, label);
 813         if (s->compile_aot) {
 814                 int table_reg = mono_regstate_next_int (s->rs);
 815                 int sum_reg = mono_regstate_next_int (s->rs);
 816                 MonoJumpInfoBBTable *table;
 817
 818                 table = mono_mempool_alloc (s->mempool, sizeof (MonoJumpInfoBBTable));
 819                 table->table = tree->inst_many_bb;
 820                 table->table_size = n;
 821
 822                 MONO_EMIT_NEW_AOTCONST (s, table_reg, table, MONO_PATCH_INFO_SWITCH);
 823
 824                 MONO_EMIT_NEW_BIALU (s, CEE_ADD, sum_reg, table_reg, offset_reg);
 825                 MONO_EMIT_NEW_LOAD_MEMBASE (s, target_reg, sum_reg, 0);
 826         } else {
 827                 mono_create_jump_table (s, label, tree->inst_many_bb, n);
 828
 829                  /* the backend must patch the address. we use 0xf0f0f0f0 to avoid the usage
 830                   * of special (short) opcodes on x86 */
 831                 if (sizeof (gpointer) == 8)
 832                         MONO_EMIT_NEW_LOAD_MEMBASE (s, target_reg, offset_reg, (gint64)0xf0f0f0f0f0f0f0f1LL);
 833                 else
 834                         MONO_EMIT_NEW_LOAD_MEMBASE (s, target_reg, offset_reg, 0xf0f0f0f0);
 835         }
 836         MONO_EMIT_UNALU (s, tree, OP_BR_REG, -1, target_reg);
 837 }
 838
 839 stmt: OP_BR "0" {
 840         mono_bblock_add_inst (s->cbb, tree);
 841 }
 842
 843 stmt: OP_ARGLIST (reg) {
 844         tree->sreg1 = state->left->reg1;
 845         mono_bblock_add_inst (s->cbb, tree);
 846 }
 847
 848 reg: OP_CALL {
 849         tree->dreg = state->reg1;
 850         mono_bblock_add_inst (s->cbb, tree);
 851 }
 852
 853 reg: OP_CALLVIRT (reg) {
 854         mini_emit_virtual_call (s, state, tree, OP_CALL, OP_CALL_MEMBASE);
 855 }
 856
 857 stmt: OP_VOIDCALLVIRT (reg) {
 858         mini_emit_virtual_call (s, state, tree, OP_VOIDCALL, OP_VOIDCALL_MEMBASE);
 859 }
 860
 861 freg: OP_FCALLVIRT (reg) {
 862         mini_emit_virtual_call (s, state, tree, OP_FCALL, OP_FCALL_MEMBASE);
 863 }
 864
 865 stmt: OP_VCALLVIRT (reg, reg) {
 866         mini_emit_virtual_call (s, state, tree, OP_VCALL, OP_VCALL_MEMBASE);
 867 }
 868
 869 reg: OP_CALLVIRT_IMT (reg, reg) {
 870         tree->opcode = OP_CALLVIRT;
 871         mini_emit_virtual_imt_call (s, state, tree, OP_CALL, OP_CALL_MEMBASE, state->right->reg1);
 872 }
 873
 874 stmt: OP_VOIDCALLVIRT_IMT (reg, reg) {
 875         tree->opcode = OP_VOIDCALLVIRT;
 876         mini_emit_virtual_imt_call (s, state, tree, OP_VOIDCALL, OP_VOIDCALL_MEMBASE, state->right->reg1);
 877 }
 878
 879 freg: OP_FCALLVIRT_IMT (reg, reg) {
 880         tree->opcode = OP_FCALLVIRT;
 881         mini_emit_virtual_imt_call (s, state, tree, OP_FCALL, OP_FCALL_MEMBASE, state->right->reg1);
 882 }
 883
 884 stmt: OP_VCALLVIRT_IMT (OP_GROUP (reg, reg), reg) {
 885         int imt_reg = state->left->right->reg1;
 886         tree->opcode = OP_VCALLVIRT;
 887         tree->inst_left = tree->inst_left->inst_left;
 888         state->left = state->left->left;
 889         mini_emit_virtual_imt_call (s, state, tree, OP_VCALL, OP_VCALL_MEMBASE, imt_reg);
 890 }
 891
 892 reg: OP_CALL_REG (reg) {
 893         tree->sreg1 = state->left->reg1;
 894         tree->dreg = state->reg1;
 895         mono_bblock_add_inst (s->cbb, tree);
 896 }
 897
 898 stmt: OP_VOIDCALL {
 899         mono_bblock_add_inst (s->cbb, tree);
 900 }
 901
 902 stmt: OP_VOIDCALL_REG (reg) {
 903         tree->sreg1 = state->left->reg1;
 904         mono_bblock_add_inst (s->cbb, tree);
 905 }
 906
 907 freg: OP_FCALL {
 908         tree->dreg = state->reg1;
 909         mono_bblock_add_inst (s->cbb, tree);
 910 }
 911
 912 freg: OP_FCALL_REG (reg) {
 913         tree->sreg1 = state->left->reg1;
 914         tree->dreg = state->reg1;
 915         mono_bblock_add_inst (s->cbb, tree);
 916 }
 917
 918 stmt: OP_VCALL (reg) {
 919         mono_arch_emit_this_vret_args (s, (MonoCallInst*)tree, -1, -1, state->left->reg1);
 920         mono_bblock_add_inst (s->cbb, tree);
 921 }
 922
 923 stmt: OP_VCALL_REG (reg, reg) {
 924         mono_arch_emit_this_vret_args (s, (MonoCallInst*)tree, -1, -1, state->right->reg1);
 925
 926         tree->sreg1 = state->left->reg1;
 927         mono_bblock_add_inst (s->cbb, tree);
 928 }
 929
 930 stmt: OP_TRAMPCALL_VTABLE (reg) {
 931         #ifdef MONO_ARCH_VTABLE_REG
 932                 MonoCallInst *call = (MonoCallInst*)tree;
 933                 int vtable_reg = mono_regstate_next_int (s->rs);
 934
 935                 MONO_EMIT_NEW_UNALU (s, OP_MOVE, vtable_reg, state->left->reg1);
 936
 937                 call->inst.opcode = OP_VOIDCALL;
 938
 939                 mono_call_inst_add_outarg_reg (s, call, vtable_reg, MONO_ARCH_VTABLE_REG, FALSE);
 940
 941                 mono_bblock_add_inst (s->cbb, &call->inst);
 942         #else
 943                 g_assert_not_reached ();
 944         #endif
 945 }
 946
 947 reg: OP_CALL_RGCTX (reg) {
 948         emit_rgctx_argument (s, tree, state->left->reg1, OP_CALL);
 949
 950         tree->dreg = state->reg1;
 951         mono_bblock_add_inst (s->cbb, tree);
 952 }
 953
 954 freg: OP_FCALL_RGCTX (reg) {
 955         emit_rgctx_argument (s, tree, state->left->reg1, OP_FCALL);
 956
 957         tree->dreg = state->reg1;
 958         mono_bblock_add_inst (s->cbb, tree);
 959 }
 960
 961 stmt: OP_VOIDCALL_RGCTX (reg) {
 962         emit_rgctx_argument (s, tree, state->left->reg1, OP_VOIDCALL);
 963
 964         mono_bblock_add_inst (s->cbb, tree);
 965 }
 966
 967 stmt: OP_VCALL_RGCTX (reg, reg) {
 968         emit_rgctx_argument (s, tree, state->right->reg1, OP_VCALL);
 969
 970         mono_arch_emit_this_vret_args (s, (MonoCallInst*)tree, -1, -1, state->left->reg1);
 971         mono_bblock_add_inst (s->cbb, tree);
 972 }
 973
 974 reg: OP_CALL_REG_RGCTX (reg, reg) {
 975         emit_rgctx_argument (s, tree, state->right->reg1, OP_CALL_REG);
 976
 977         tree->sreg1 = state->left->reg1;
 978         tree->dreg = state->reg1;
 979         mono_bblock_add_inst (s->cbb, tree);
 980 }
 981
 982 freg: OP_FCALL_REG_RGCTX (reg, reg) {
 983         emit_rgctx_argument (s, tree, state->right->reg1, OP_FCALL_REG);
 984
 985         tree->sreg1 = state->left->reg1;
 986         tree->dreg = state->reg1;
 987         mono_bblock_add_inst (s->cbb, tree);
 988 }
 989
 990 stmt: OP_VOIDCALL_REG_RGCTX (reg, reg) {
 991         emit_rgctx_argument (s, tree, state->right->reg1, OP_VOIDCALL_REG);
 992
 993         tree->sreg1 = state->left->reg1;
 994         mono_bblock_add_inst (s->cbb, tree);
 995 }
 996
 997 stmt: OP_VCALL_REG_RGCTX (OP_GROUP (reg, reg), reg) {
 998         emit_rgctx_argument (s, tree, state->left->right->reg1, OP_VCALL_REG);
 999
1000         tree->inst_left = tree->inst_left->inst_left;
1001         state->left = state->left->left;
1002
1003         mono_arch_emit_this_vret_args (s, (MonoCallInst*)tree, -1, -1, state->right->reg1);
1004
1005         tree->sreg1 = state->left->reg1;
1006         mono_bblock_add_inst (s->cbb, tree);
1007 }
1008
1009 stmt: OP_SAVE_LMF,
1010 stmt: OP_RESTORE_LMF {
1011         mono_bblock_add_inst (s->cbb, tree);
1012 }
1013
1014 #
1015 # Optimized call instructions
1016 #
1017
1018 reg: OP_CALL_REG (OP_ICONST),
1019 reg: OP_CALL_REG (OP_I8CONST) {
1020         tree->opcode = OP_CALL;
1021         ((MonoCallInst*)tree)->fptr = state->left->tree->inst_p0;
1022         tree->dreg = state->reg1;
1023         mono_bblock_add_inst (s->cbb, tree);
1024 }
1025
1026 stmt: OP_VOIDCALL_REG (OP_ICONST),
1027 stmt: OP_VOIDCALL_REG (OP_I8CONST) {
1028         tree->opcode = OP_VOIDCALL;
1029         ((MonoCallInst*)tree)->fptr = state->left->tree->inst_p0;
1030         mono_bblock_add_inst (s->cbb, tree);
1031 }
1032
1033 freg: OP_FCALL_REG (OP_ICONST),
1034 freg: OP_FCALL_REG (OP_I8CONST) {
1035         tree->opcode = OP_FCALL;
1036         ((MonoCallInst*)tree)->fptr = state->left->tree->inst_p0;
1037         tree->dreg = state->reg1;
1038         mono_bblock_add_inst (s->cbb, tree);
1039 }
1040
1041 stmt: CEE_POP (reg)
1042
1043 # remove some common pops without side effects
1044 stmt: CEE_POP (OP_ICONST)
1045 stmt: CEE_POP (CEE_LDIND_I1 (base))
1046 stmt: CEE_POP (CEE_LDIND_U1 (base))
1047 stmt: CEE_POP (CEE_LDIND_I2 (base))
1048 stmt: CEE_POP (CEE_LDIND_U2 (base))
1049 stmt: CEE_POP (CEE_LDIND_I4 (base))
1050 stmt: CEE_POP (CEE_LDIND_U4 (base))
1051 stmt: CEE_POP (CEE_LDIND_I (base))
1052 stmt: CEE_POP (CEE_LDIND_REF (base))
1053 stmt: CEE_POP (CEE_LDIND_I1 (OP_REGVAR))
1054 stmt: CEE_POP (CEE_LDIND_U1 (OP_REGVAR))
1055 stmt: CEE_POP (CEE_LDIND_I2 (OP_REGVAR))
1056 stmt: CEE_POP (CEE_LDIND_U2 (OP_REGVAR))
1057 stmt: CEE_POP (CEE_LDIND_I4 (OP_REGVAR))
1058 stmt: CEE_POP (CEE_LDIND_U4 (OP_REGVAR))
1059 stmt: CEE_POP (CEE_LDIND_I (OP_REGVAR))
1060 stmt: CEE_POP (CEE_LDIND_REF (OP_REGVAR))
1061
1062 stmt: OP_JMP "0" {
1063         mono_bblock_add_inst (s->cbb, tree);
1064 }
1065
1066 # exception handling
1067
1068 stmt: OP_THROW (reg) {
1069         MONO_EMIT_UNALU (s, tree, OP_THROW, -1, state->left->reg1);
1070 }
1071
1072 stmt: OP_RETHROW (reg) {
1073         MONO_EMIT_UNALU (s, tree, OP_RETHROW, -1, state->left->reg1);
1074 }
1075
1076 stmt: OP_THROW_OR_NULL (reg, reg) {
1077         MonoInst *dont_throw;
1078
1079         MONO_NEW_LABEL (s, dont_throw);
1080
1081         /*
1082          * Currently, we allways rethrow the abort exception, despite the fact
1083          * that this is not correct. See thread6.cs for an example. But propagating
1084          * the abort exception is more important than getting the sematics right.
1085          */
1086         MONO_EMIT_NEW_COMPARE_IMM_BRANCH_LABEL (s, CEE_BEQ, state->left->reg1, 0, dont_throw);
1087         MONO_EMIT_UNALU (s, tree, OP_THROW, -1, state->left->reg1);
1088         mono_bblock_add_inst (s->cbb, dont_throw);
1089 }
1090
1091 stmt: OP_THROW (CEE_LDIND_REF (OP_REGVAR)) {
1092         MONO_EMIT_UNALU (s, tree, OP_THROW, -1, state->left->left->tree->dreg);
1093 }
1094
1095 stmt: OP_CALL_HANDLER {
1096         mono_bblock_add_inst (s->cbb, tree);
1097 }
1098
1099 stmt: OP_START_HANDLER "2" {
1100         mono_bblock_add_inst (s->cbb, tree);
1101 }
1102
1103 stmt: OP_ENDFINALLY "2" {
1104         mono_bblock_add_inst (s->cbb, tree);
1105 }
1106
1107 stmt: OP_ENDFILTER (reg) "2" {
1108         MONO_EMIT_UNALU (s, tree, OP_ENDFILTER, -1, state->left->reg1);
1109 }
1110
1111 stmt: OP_CHECK_THIS (reg) {
1112         tree->sreg1 = state->left->reg1;
1113         tree->dreg = state->reg1;
1114         mono_bblock_add_inst (s->cbb, tree);
1115 }
1116
1117 reg: OP_CHECK_THIS_PASSTHROUGH (reg) {
1118         MonoInst *check;
1119
1120         MONO_INST_NEW (s, check, OP_CHECK_THIS);
1121         check->sreg1 = state->left->reg1;
1122         mono_bblock_add_inst (s->cbb, check);
1123
1124         MONO_EMIT_UNALU (s, tree, OP_MOVE, state->reg1, state->left->reg1);
1125 }
1126
1127 # object related opcodes
1128
1129 reg: CEE_ISINST (reg) {
1130         MonoClass *klass = tree->inst_newa_class;
1131         MonoInst *object_is_null, *end_label, *false_label;
1132         int obj_reg = state->left->reg1;
1133         int vtable_reg = mono_regstate_next_int (s->rs);
1134
1135         MONO_NEW_LABEL (s, object_is_null);
1136         MONO_NEW_LABEL (s, end_label);
1137         MONO_NEW_LABEL (s, false_label);
1138
1139         MONO_EMIT_NEW_COMPARE_IMM_BRANCH_LABEL (s, CEE_BEQ, obj_reg, 0, object_is_null);
1140
1141         if (klass->flags & TYPE_ATTRIBUTE_INTERFACE) {
1142                 MONO_EMIT_NEW_LOAD_MEMBASE (s, vtable_reg, obj_reg, G_STRUCT_OFFSET (MonoObject, vtable));
1143                 /* the object_is_null target simply copies the input register to the output */
1144                 mini_emit_isinst_iface (s, vtable_reg, klass, false_label, object_is_null);
1145         } else {
1146                 int klass_reg = mono_regstate_next_int (s->rs);
1147
1148                 MONO_EMIT_NEW_LOAD_MEMBASE (s, vtable_reg, obj_reg, G_STRUCT_OFFSET (MonoObject, vtable));
1149
1150                 if (klass->rank) {
1151                         int rank_reg = mono_regstate_next_int (s->rs);
1152                         int eclass_reg = mono_regstate_next_int (s->rs);
1153
1154                         MONO_EMIT_NEW_LOAD_MEMBASE_OP (s, OP_LOADU1_MEMBASE, rank_reg, vtable_reg, G_STRUCT_OFFSET (MonoVTable, rank));
1155                         MONO_EMIT_NEW_COMPARE_IMM_BRANCH_LABEL (s, CEE_BNE_UN, rank_reg, klass->rank, false_label);
1156                         MONO_EMIT_NEW_LOAD_MEMBASE (s, klass_reg, vtable_reg, G_STRUCT_OFFSET (MonoVTable, klass));
1157                         MONO_EMIT_NEW_LOAD_MEMBASE (s, eclass_reg, klass_reg, G_STRUCT_OFFSET (MonoClass, cast_class));
1158                         if (klass->cast_class == mono_defaults.object_class) {
1159                                 int parent_reg = mono_regstate_next_int (s->rs);
1160                                 int const_reg = -1;
1161                                 MONO_EMIT_NEW_LOAD_MEMBASE (s, parent_reg, eclass_reg, G_STRUCT_OFFSET (MonoClass, parent));
1162                                 if (s->compile_aot) {
1163                                         const_reg = mono_regstate_next_int (s->rs);
1164                                         MONO_EMIT_NEW_CLASSCONST (s, const_reg, mono_defaults.enum_class->parent);
1165                                         MONO_EMIT_NEW_COMPARE_BRANCH_LABEL (s, CEE_BNE_UN, parent_reg,
1166                                                         const_reg, object_is_null);
1167                                 } else {
1168                                         MONO_EMIT_NEW_COMPARE_IMM_BRANCH_LABEL (s, CEE_BNE_UN, parent_reg,
1169                                                         mono_defaults.enum_class->parent, object_is_null);
1170                                 }
1171                                 if (s->compile_aot) {
1172                                         MONO_EMIT_NEW_CLASSCONST (s, const_reg, mono_defaults.enum_class);
1173                                         MONO_EMIT_NEW_COMPARE_BRANCH_LABEL (s, CEE_BEQ, eclass_reg, const_reg, object_is_null);
1174                                 } else {
1175                                         MONO_EMIT_NEW_COMPARE_IMM_BRANCH_LABEL (s, CEE_BEQ, eclass_reg,
1176                                                 mono_defaults.enum_class, object_is_null);
1177                                 }
1178                                 MONO_EMIT_NEW_BRANCH_LABEL (s, OP_BR, false_label);
1179                         } else if (klass->cast_class == mono_defaults.enum_class->parent) {
1180                                 int const_reg = -1;
1181
1182                                 if (s->compile_aot) {
1183                                         const_reg = mono_regstate_next_int (s->rs);
1184                                         MONO_EMIT_NEW_CLASSCONST (s, const_reg, mono_defaults.enum_class->parent);
1185                                         MONO_EMIT_NEW_COMPARE_BRANCH_LABEL (s, CEE_BEQ, eclass_reg, const_reg, object_is_null);
1186                                 } else {
1187                                         MONO_EMIT_NEW_COMPARE_IMM_BRANCH_LABEL (s, CEE_BEQ, eclass_reg,
1188                                                 mono_defaults.enum_class->parent, object_is_null);
1189                                 }
1190                                 if (s->compile_aot) {
1191                                         MONO_EMIT_NEW_CLASSCONST (s, const_reg, mono_defaults.enum_class);
1192                                         MONO_EMIT_NEW_COMPARE_BRANCH_LABEL (s, CEE_BEQ, eclass_reg, const_reg, object_is_null);
1193                                 } else {
1194                                         MONO_EMIT_NEW_COMPARE_IMM_BRANCH_LABEL (s, CEE_BEQ, eclass_reg,
1195                                                 mono_defaults.enum_class, object_is_null);
1196                                 }
1197                                 MONO_EMIT_NEW_BRANCH_LABEL (s, OP_BR, false_label);
1198                         } else if (klass->cast_class == mono_defaults.enum_class) {
1199                                 if (s->compile_aot) {
1200                                         int const_reg = mono_regstate_next_int (s->rs);
1201                                         MONO_EMIT_NEW_CLASSCONST (s, const_reg, mono_defaults.enum_class);
1202                                         MONO_EMIT_NEW_COMPARE_BRANCH_LABEL (s, CEE_BEQ, eclass_reg, const_reg, object_is_null);
1203                                 } else {
1204                                         MONO_EMIT_NEW_COMPARE_IMM_BRANCH_LABEL (s, CEE_BEQ, eclass_reg,
1205                                                 mono_defaults.enum_class, object_is_null);
1206                                 }
1207                                 MONO_EMIT_NEW_BRANCH_LABEL (s, OP_BR, false_label);
1208                         } else if (klass->cast_class->flags & TYPE_ATTRIBUTE_INTERFACE) {
1209                                 mini_emit_isinst_iface_class (s, eclass_reg, klass->cast_class, false_label, object_is_null);
1210                         } else {
1211                                 if ((klass->rank == 1) && (klass->byval_arg.type == MONO_TYPE_SZARRAY)) {
1212                                         /* Check that the object is a vector too */
1213                                         int bounds_reg = mono_regstate_next_int (s->rs);
1214                                         MONO_EMIT_NEW_LOAD_MEMBASE (s, bounds_reg, obj_reg, G_STRUCT_OFFSET (MonoArray, bounds));
1215                                         MONO_EMIT_NEW_COMPARE_IMM_BRANCH_LABEL (s, CEE_BNE_UN, bounds_reg, 0, false_label);
1216                                 }
1217
1218                                 /* the object_is_null target simply copies the input register to the output */
1219                                 mini_emit_isinst (s, eclass_reg, klass->cast_class, false_label, object_is_null);
1220                         }
1221                 } else if (mono_class_is_nullable (klass)) {
1222                         MONO_EMIT_NEW_LOAD_MEMBASE (s, klass_reg, vtable_reg, G_STRUCT_OFFSET (MonoVTable, klass));
1223                         /* the object_is_null target simply copies the input register to the output */
1224                         mini_emit_isinst (s, klass_reg, klass->cast_class, false_label, object_is_null);
1225                 } else {
1226                         if (!s->compile_aot && !(s->opt & MONO_OPT_SHARED) && (klass->flags & TYPE_ATTRIBUTE_SEALED)) {
1227                                 /* the remoting code is broken, access the class for now */
1228                                 if (0) {
1229                                         MonoVTable *vt = mono_class_vtable (s->domain, klass);
1230                                         MONO_EMIT_NEW_COMPARE_IMM_BRANCH_LABEL (s, CEE_BNE_UN, vtable_reg, vt, false_label);
1231                                 } else {
1232                                         MONO_EMIT_NEW_LOAD_MEMBASE (s, klass_reg, vtable_reg, G_STRUCT_OFFSET (MonoVTable, klass));
1233                                         MONO_EMIT_NEW_COMPARE_IMM_BRANCH_LABEL (s, CEE_BNE_UN, klass_reg, klass, false_label);
1234                                 }
1235                                 MONO_EMIT_NEW_BRANCH_LABEL (s, OP_BR, object_is_null);
1236                         } else {
1237                                 MONO_EMIT_NEW_LOAD_MEMBASE (s, klass_reg, vtable_reg, G_STRUCT_OFFSET (MonoVTable, klass));
1238                                 /* the object_is_null target simply copies the input register to the output */
1239                                 mini_emit_isinst (s, klass_reg, klass, false_label, object_is_null);
1240                         }
1241                 }
1242         }
1243
1244         mono_bblock_add_inst (s->cbb, false_label);
1245         MONO_EMIT_NEW_ICONST (s, state->reg1, 0);
1246         MONO_EMIT_NEW_BRANCH_LABEL (s, OP_BR, end_label);
1247         mono_bblock_add_inst (s->cbb, object_is_null);
1248         MONO_EMIT_UNALU (s, tree, OP_MOVE, state->reg1, obj_reg);
1249         mono_bblock_add_inst (s->cbb, end_label);
1250 }
1251
1252 reg: OP_CISINST (reg) {
1253         /* This opcode takes as input an object reference and a class, and returns:
1254         0) if the object is an instance of the class,
1255         1) if the object is not instance of the class,
1256         2) if the object is a proxy whose type cannot be determined */
1257
1258         MonoClass *klass = tree->inst_newa_class;
1259         MonoInst *end_label, *true_label, *false_label, *false2_label;
1260         MonoInst *no_proxy_label, *interface_fail_label;
1261         int obj_reg = state->left->reg1;
1262         int tmp_reg = mono_regstate_next_int (s->rs);
1263         int klass_reg = mono_regstate_next_int (s->rs);
1264
1265         MONO_NEW_LABEL (s, end_label);
1266         MONO_NEW_LABEL (s, true_label);
1267         MONO_NEW_LABEL (s, false_label);
1268         MONO_NEW_LABEL (s, false2_label);
1269
1270         MONO_EMIT_NEW_COMPARE_IMM_BRANCH_LABEL (s, CEE_BEQ, obj_reg, 0, false_label);
1271
1272         if (klass->flags & TYPE_ATTRIBUTE_INTERFACE) {
1273                 MONO_NEW_LABEL (s, interface_fail_label);
1274                 MONO_EMIT_NEW_LOAD_MEMBASE (s, tmp_reg, obj_reg, G_STRUCT_OFFSET (MonoObject, vtable));
1275                 mini_emit_isinst_iface (s, tmp_reg, klass, interface_fail_label, true_label);
1276
1277                 mono_bblock_add_inst (s->cbb, interface_fail_label);
1278                 MONO_EMIT_NEW_LOAD_MEMBASE (s, klass_reg, tmp_reg, G_STRUCT_OFFSET (MonoVTable, klass));
1279
1280                 if (s->compile_aot) {
1281                         int tproxy_reg = mono_regstate_next_int (s->rs);
1282                         MONO_EMIT_NEW_CLASSCONST (s, tproxy_reg, mono_defaults.transparent_proxy_class);
1283                         MONO_EMIT_NEW_COMPARE_BRANCH_LABEL (s, CEE_BNE_UN, klass_reg, tproxy_reg, false_label);
1284                 } else {
1285                         MONO_EMIT_NEW_COMPARE_IMM_BRANCH_LABEL (s, CEE_BNE_UN, klass_reg,
1286                                 mono_defaults.transparent_proxy_class, false_label);
1287                 }
1288
1289                 MONO_EMIT_NEW_LOAD_MEMBASE (s, tmp_reg, obj_reg, G_STRUCT_OFFSET (MonoTransparentProxy, custom_type_info));
1290                 MONO_EMIT_NEW_COMPARE_IMM_BRANCH_LABEL (s, CEE_BNE_UN, tmp_reg, 0, false2_label);
1291
1292         } else {
1293                 MONO_EMIT_NEW_LOAD_MEMBASE (s, tmp_reg, obj_reg, G_STRUCT_OFFSET (MonoObject, vtable));
1294                 MONO_EMIT_NEW_LOAD_MEMBASE (s, klass_reg, tmp_reg, G_STRUCT_OFFSET (MonoVTable, klass));
1295
1296                 MONO_NEW_LABEL (s, no_proxy_label);
1297
1298                 if (s->compile_aot) {
1299                         int tproxy_reg = mono_regstate_next_int (s->rs);
1300                         MONO_EMIT_NEW_CLASSCONST (s, tproxy_reg, mono_defaults.transparent_proxy_class);
1301                         MONO_EMIT_NEW_COMPARE_BRANCH_LABEL (s, CEE_BNE_UN, klass_reg, tproxy_reg, no_proxy_label);
1302                 } else {
1303                         MONO_EMIT_NEW_COMPARE_IMM_BRANCH_LABEL (s, CEE_BNE_UN, klass_reg,
1304                                 mono_defaults.transparent_proxy_class, no_proxy_label);
1305                 }
1306                 MONO_EMIT_NEW_LOAD_MEMBASE (s, tmp_reg, obj_reg, G_STRUCT_OFFSET (MonoTransparentProxy, remote_class));
1307                 MONO_EMIT_NEW_LOAD_MEMBASE (s, klass_reg, tmp_reg, G_STRUCT_OFFSET (MonoRemoteClass, proxy_class));
1308
1309                 MONO_EMIT_NEW_LOAD_MEMBASE (s, tmp_reg, obj_reg, G_STRUCT_OFFSET (MonoTransparentProxy, custom_type_info));
1310                 MONO_EMIT_NEW_COMPARE_IMM_BRANCH_LABEL (s, CEE_BEQ, tmp_reg, 0, no_proxy_label);
1311
1312                 mini_emit_isinst (s, klass_reg, klass, false2_label, true_label);
1313                 MONO_EMIT_NEW_BRANCH_LABEL (s, OP_BR, false2_label);
1314
1315                 mono_bblock_add_inst (s->cbb, no_proxy_label);
1316                 mini_emit_isinst (s, klass_reg, klass, false_label, true_label);
1317         }
1318
1319         mono_bblock_add_inst (s->cbb, false_label);
1320         MONO_EMIT_NEW_ICONST (s, state->reg1, 1);
1321         MONO_EMIT_NEW_BRANCH_LABEL (s, OP_BR, end_label);
1322         mono_bblock_add_inst (s->cbb, false2_label);
1323         MONO_EMIT_NEW_ICONST (s, state->reg1, 2);
1324         MONO_EMIT_NEW_BRANCH_LABEL (s, OP_BR, end_label);
1325         mono_bblock_add_inst (s->cbb, true_label);
1326         MONO_EMIT_NEW_ICONST (s, state->reg1, 0);
1327         mono_bblock_add_inst (s->cbb, end_label);
1328 }
1329
1330 reg: OP_UNBOXCAST (reg) {
1331         MonoClass *klass = tree->inst_newa_class;
1332         int obj_reg = state->left->reg1;
1333         int vtable_reg = mono_regstate_next_int (s->rs);
1334         int klass_reg = mono_regstate_next_int (s->rs);
1335         int eclass_reg = mono_regstate_next_int (s->rs);
1336         int rank_reg = mono_regstate_next_int (s->rs);
1337
1338         MONO_EMIT_NEW_LOAD_MEMBASE (s, vtable_reg, obj_reg, G_STRUCT_OFFSET (MonoObject, vtable));
1339         MONO_EMIT_NEW_LOAD_MEMBASE_OP (s, OP_LOADU1_MEMBASE, rank_reg, vtable_reg, G_STRUCT_OFFSET (MonoVTable, rank));
1340
1341         /* FIXME: generics */
1342         g_assert (klass->rank == 0);
1343
1344         // Check rank == 0
1345         MONO_EMIT_NEW_COMPARE_IMM_EXC (s, NE_UN, rank_reg, 0, "InvalidCastException");
1346
1347         MONO_EMIT_NEW_LOAD_MEMBASE (s, klass_reg, vtable_reg, G_STRUCT_OFFSET (MonoVTable, klass));
1348         MONO_EMIT_NEW_LOAD_MEMBASE (s, eclass_reg, klass_reg, G_STRUCT_OFFSET (MonoClass, element_class));
1349
1350         if (s->compile_aot) {
1351                 int const_reg = mono_regstate_next_int (s->rs);
1352                 MONO_EMIT_NEW_CLASSCONST (s, const_reg, klass->element_class);
1353                 MONO_EMIT_NEW_COMPARE_EXC (s, NE_UN, eclass_reg, const_reg, "InvalidCastException");
1354         } else {
1355                 MONO_EMIT_NEW_COMPARE_IMM_EXC (s, NE_UN, eclass_reg, klass->element_class, "InvalidCastException");
1356         }
1357
1358         MONO_EMIT_UNALU (s, tree, OP_MOVE, state->reg1, obj_reg);
1359 }
1360
1361 reg: OP_UNBOXCAST_REG (reg, reg) {
1362         int obj_reg = state->left->reg1;
1363         int element_klass_reg = state->right->reg1;
1364         int vtable_reg = mono_regstate_next_int (s->rs);
1365         int klass_reg = mono_regstate_next_int (s->rs);
1366         int eclass_reg = mono_regstate_next_int (s->rs);
1367         int rank_reg = mono_regstate_next_int (s->rs);
1368
1369         MONO_EMIT_NEW_LOAD_MEMBASE (s, vtable_reg, obj_reg, G_STRUCT_OFFSET (MonoObject, vtable));
1370         MONO_EMIT_NEW_LOAD_MEMBASE_OP (s, OP_LOADU1_MEMBASE, rank_reg, vtable_reg, G_STRUCT_OFFSET (MonoVTable, rank));
1371
1372         // Check rank == 0
1373         MONO_EMIT_NEW_COMPARE_IMM_EXC (s, NE_UN, rank_reg, 0, "InvalidCastException");
1374
1375         MONO_EMIT_NEW_LOAD_MEMBASE (s, klass_reg, vtable_reg, G_STRUCT_OFFSET (MonoVTable, klass));
1376         MONO_EMIT_NEW_LOAD_MEMBASE (s, eclass_reg, klass_reg, G_STRUCT_OFFSET (MonoClass, element_class));
1377
1378         MONO_EMIT_NEW_COMPARE_EXC (s, NE_UN, eclass_reg, element_klass_reg, "InvalidCastException");
1379
1380         MONO_EMIT_UNALU (s, tree, OP_MOVE, state->reg1, obj_reg);
1381 }
1382
1383 reg: CEE_CASTCLASS (reg) {
1384         MonoClass *klass = tree->inst_newa_class;
1385         MonoInst *object_is_null;
1386         int obj_reg = state->left->reg1;
1387         int vtable_reg = mono_regstate_next_int (s->rs);
1388
1389         MONO_NEW_LABEL (s, object_is_null);
1390
1391         MONO_EMIT_NEW_COMPARE_IMM_BRANCH_LABEL (s, CEE_BEQ, obj_reg, 0, object_is_null);
1392
1393         if (tree->backend.record_cast_details) {
1394                 int to_klass_reg = mono_regstate_next_int (s->rs);
1395                 int klass_reg = mono_regstate_next_int (s->rs);
1396                 MonoInst *tls_get = mono_get_jit_tls_intrinsic (s);
1397
1398                 if (!tls_get) {
1399                         fprintf (stderr, "error: --debug=casts not supported on this platform.\n.");
1400                         exit (1);
1401                 }
1402
1403                 MONO_ADD_INS (s->cbb, tls_get);
1404                 MONO_EMIT_NEW_LOAD_MEMBASE (s, vtable_reg, obj_reg, G_STRUCT_OFFSET (MonoObject, vtable));
1405                 MONO_EMIT_NEW_LOAD_MEMBASE (s, klass_reg, vtable_reg, G_STRUCT_OFFSET (MonoVTable, klass));
1406
1407                 MONO_EMIT_NEW_STORE_MEMBASE (s, OP_STORE_MEMBASE_REG, tls_get->dreg, G_STRUCT_OFFSET (MonoJitTlsData, class_cast_from), klass_reg);
1408                 MONO_EMIT_NEW_PCONST (s, to_klass_reg, klass);
1409                 MONO_EMIT_NEW_STORE_MEMBASE (s, OP_STORE_MEMBASE_REG, tls_get->dreg, G_STRUCT_OFFSET (MonoJitTlsData, class_cast_to), to_klass_reg);
1410         }
1411
1412         if (klass->flags & TYPE_ATTRIBUTE_INTERFACE) {
1413                 MONO_EMIT_NEW_LOAD_MEMBASE (s, vtable_reg, obj_reg, G_STRUCT_OFFSET (MonoObject, vtable));
1414                 mini_emit_castclass_iface (s, vtable_reg, klass);
1415         } else {
1416                 int klass_reg = mono_regstate_next_int (s->rs);
1417
1418                 MONO_EMIT_NEW_LOAD_MEMBASE (s, vtable_reg, obj_reg, G_STRUCT_OFFSET (MonoObject, vtable));
1419
1420                 if (!klass->rank && !s->compile_aot && !(s->opt & MONO_OPT_SHARED) && (klass->flags & TYPE_ATTRIBUTE_SEALED)) {
1421                         /* the remoting code is broken, access the class for now */
1422                         if (0) {
1423                                 MonoVTable *vt = mono_class_vtable (s->domain, klass);
1424                                 MONO_EMIT_NEW_COMPARE_IMM_EXC (s, NE_UN, vtable_reg, vt, "InvalidCastException");
1425                         } else {
1426                                 MONO_EMIT_NEW_LOAD_MEMBASE (s, klass_reg, vtable_reg, G_STRUCT_OFFSET (MonoVTable, klass));
1427                                 MONO_EMIT_NEW_COMPARE_IMM_EXC (s, NE_UN, klass_reg, klass, "InvalidCastException");
1428                         }
1429                 } else {
1430                         MONO_EMIT_NEW_LOAD_MEMBASE (s, klass_reg, vtable_reg, G_STRUCT_OFFSET (MonoVTable, klass));
1431                         mini_emit_castclass (s, obj_reg, klass_reg, klass, object_is_null);
1432                 }
1433         }
1434
1435         mono_bblock_add_inst (s->cbb, object_is_null);
1436
1437         /* Reset the variables holding the cast details */
1438         if (tree->backend.record_cast_details) {
1439                 MonoInst *tls_get = mono_get_jit_tls_intrinsic (s);
1440
1441                 MONO_ADD_INS (s->cbb, tls_get);
1442                 /* It is enough to reset the from field */
1443                 MONO_EMIT_NEW_STORE_MEMBASE_IMM (s, OP_STORE_MEMBASE_IMM, tls_get->dreg, G_STRUCT_OFFSET (MonoJitTlsData, class_cast_from), 0);
1444         }
1445
1446         MONO_EMIT_UNALU (s, tree, OP_MOVE, state->reg1, obj_reg);
1447 }
1448
1449 reg: OP_CCASTCLASS (reg) {
1450         /* This opcode takes as input an object reference and a class, and returns:
1451         0) if the object is an instance of the class,
1452         1) if the object is a proxy whose type cannot be determined
1453         an InvalidCastException exception is thrown otherwhise*/
1454
1455         MonoClass *klass = tree->inst_newa_class;
1456         MonoInst *end_label, *fail_label, *no_proxy_label, *ok_result_label;
1457         int obj_reg = state->left->reg1;
1458         int tmp_reg = mono_regstate_next_int (s->rs);
1459         int klass_reg = mono_regstate_next_int (s->rs);
1460
1461         MONO_NEW_LABEL (s, end_label);
1462         MONO_NEW_LABEL (s, ok_result_label);
1463
1464         /* Return 0 if the object is null */
1465         MONO_EMIT_NEW_COMPARE_IMM_BRANCH_LABEL (s, CEE_BEQ, obj_reg, 0, ok_result_label);
1466
1467         if (klass->flags & TYPE_ATTRIBUTE_INTERFACE) {
1468
1469                 MONO_NEW_LABEL (s, fail_label);
1470
1471                 MONO_EMIT_NEW_LOAD_MEMBASE (s, tmp_reg, obj_reg, G_STRUCT_OFFSET (MonoObject, vtable));
1472                 mini_emit_isinst_iface (s, tmp_reg, klass, fail_label, ok_result_label);
1473
1474                 mono_bblock_add_inst (s->cbb, fail_label);
1475                 MONO_EMIT_NEW_LOAD_MEMBASE (s, klass_reg, tmp_reg, G_STRUCT_OFFSET (MonoVTable, klass));
1476
1477                 if (s->compile_aot) {
1478                         int tproxy_reg = mono_regstate_next_int (s->rs);
1479                         MONO_EMIT_NEW_CLASSCONST (s, tproxy_reg, mono_defaults.transparent_proxy_class);
1480                         MONO_EMIT_NEW_COMPARE_EXC (s, NE_UN, klass_reg, tproxy_reg, "InvalidCastException");
1481                 } else {
1482                         MONO_EMIT_NEW_COMPARE_IMM_EXC (s, NE_UN, klass_reg, mono_defaults.transparent_proxy_class, "InvalidCastException");
1483                 }
1484
1485
1486                 MONO_EMIT_NEW_LOAD_MEMBASE (s, tmp_reg, obj_reg, G_STRUCT_OFFSET (MonoTransparentProxy, remote_class));
1487                 MONO_EMIT_NEW_LOAD_MEMBASE (s, klass_reg, tmp_reg, G_STRUCT_OFFSET (MonoRemoteClass, proxy_class));
1488
1489                 MONO_EMIT_NEW_LOAD_MEMBASE (s, tmp_reg, obj_reg, G_STRUCT_OFFSET (MonoTransparentProxy, custom_type_info));
1490                 MONO_EMIT_NEW_COMPARE_IMM_EXC (s, EQ, tmp_reg, 0, "InvalidCastException");
1491
1492                 MONO_EMIT_NEW_ICONST (s, state->reg1, 1);
1493                 MONO_EMIT_NEW_BRANCH_LABEL (s, OP_BR, end_label);
1494
1495         } else {
1496
1497                 MONO_NEW_LABEL (s, no_proxy_label);
1498                 MONO_NEW_LABEL (s, fail_label);
1499
1500                 MONO_EMIT_NEW_LOAD_MEMBASE (s, tmp_reg, obj_reg, G_STRUCT_OFFSET (MonoObject, vtable));
1501                 MONO_EMIT_NEW_LOAD_MEMBASE (s, klass_reg, tmp_reg, G_STRUCT_OFFSET (MonoVTable, klass));
1502
1503                 if (s->compile_aot) {
1504                         int tproxy_reg = mono_regstate_next_int (s->rs);
1505                         MONO_EMIT_NEW_CLASSCONST (s, tproxy_reg, mono_defaults.transparent_proxy_class);
1506                         MONO_EMIT_NEW_COMPARE_BRANCH_LABEL (s, CEE_BNE_UN, klass_reg, tproxy_reg, no_proxy_label);
1507                 } else {
1508                         MONO_EMIT_NEW_COMPARE_IMM_BRANCH_LABEL (s, CEE_BNE_UN, klass_reg,
1509                                 mono_defaults.transparent_proxy_class, no_proxy_label);
1510                 }
1511
1512                 MONO_EMIT_NEW_LOAD_MEMBASE (s, tmp_reg, obj_reg, G_STRUCT_OFFSET (MonoTransparentProxy, remote_class));
1513                 MONO_EMIT_NEW_LOAD_MEMBASE (s, klass_reg, tmp_reg, G_STRUCT_OFFSET (MonoRemoteClass, proxy_class));
1514
1515                 MONO_EMIT_NEW_LOAD_MEMBASE (s, tmp_reg, obj_reg, G_STRUCT_OFFSET (MonoTransparentProxy, custom_type_info));
1516                 MONO_EMIT_NEW_COMPARE_IMM_BRANCH_LABEL (s, CEE_BEQ, tmp_reg, 0, no_proxy_label);
1517
1518                 mini_emit_isinst (s, klass_reg, klass, fail_label, ok_result_label);
1519                 mono_bblock_add_inst (s->cbb, fail_label);
1520                 MONO_EMIT_NEW_ICONST (s, state->reg1, 1);
1521                 MONO_EMIT_NEW_BRANCH_LABEL (s, OP_BR, end_label);
1522
1523                 mono_bblock_add_inst (s->cbb, no_proxy_label);
1524                 /* Again, use ok_result_label as "object_is_null" */
1525                 mini_emit_castclass (s, obj_reg, klass_reg, klass, ok_result_label);
1526         }
1527
1528         mono_bblock_add_inst (s->cbb, ok_result_label);
1529         MONO_EMIT_NEW_ICONST (s, state->reg1, 0);
1530         mono_bblock_add_inst (s->cbb, end_label);
1531 }
1532
1533 stmt: CEE_STELEM_REF (OP_GROUP (reg, reg), reg),
1534 reg: OP_GROUP (reg, reg),
1535 reg: CEE_NEWARR (reg),
1536 lreg: OP_LMUL (lreg, lreg),
1537 lreg: OP_LMUL_OVF (lreg, lreg),
1538 lreg: OP_LMUL_OVF_UN (lreg, lreg),
1539 lreg: OP_LDIV (lreg, lreg),
1540 lreg: OP_LDIV_UN (lreg, lreg),
1541 lreg: OP_LREM (lreg, lreg),
1542 lreg: OP_LREM_UN (lreg, lreg),
1543 lreg: OP_LSHL (lreg, reg),
1544 lreg: OP_LSHR (lreg, reg),
1545 lreg: OP_LSHR_UN (lreg, reg) {
1546         g_assert_not_reached ();
1547 }
1548
1549 #
1550 # string support
1551 #
1552 reg: OP_GETCHR (reg, reg) "4" {
1553         int index_reg;
1554         int mult_reg = mono_regstate_next_int (s->rs);
1555         int add_reg = mono_regstate_next_int (s->rs);
1556
1557         if (sizeof (gpointer) == 8) {
1558                 /* The array reg is 64 bits but the index reg is only 32 */
1559                 index_reg = mono_regstate_next_int (s->rs);
1560                 MONO_EMIT_NEW_UNALU (s, OP_SEXT_I4, index_reg, state->right->reg1);
1561         } else {
1562                 index_reg = state->right->reg1;
1563         }
1564
1565         MONO_EMIT_BOUNDS_CHECK (s, state->left->reg1, MonoString, length, index_reg);
1566         MONO_EMIT_NEW_BIALU_IMM (s, OP_SHL_IMM, mult_reg, index_reg, 1);
1567         MONO_EMIT_NEW_BIALU (s, CEE_ADD, add_reg, mult_reg, state->left->reg1);
1568         MONO_EMIT_LOAD_MEMBASE_OP (s, tree, OP_LOADU2_MEMBASE, state->reg1,
1569                                    add_reg, G_STRUCT_OFFSET (MonoString, chars));
1570 }
1571
1572 reg: OP_GETCHR (reg, OP_ICONST) {
1573         int ind = 2 * state->right->tree->inst_c0 + G_STRUCT_OFFSET (MonoString, chars);
1574
1575         MONO_EMIT_BOUNDS_CHECK_IMM (s, state->left->reg1, MonoString, length, state->right->tree->inst_c0);
1576         MONO_EMIT_LOAD_MEMBASE_OP (s, tree, OP_LOADU2_MEMBASE, state->reg1, state->left->reg1, ind);
1577 }
1578
1579 reg: OP_STR_CHAR_ADDR (reg, reg) "4" {
1580         int mult_reg = mono_regstate_next_int (s->rs);
1581         int add_reg = mono_regstate_next_int (s->rs);
1582
1583         /*
1584          * The corlib functions check for oob already.
1585          * MONO_EMIT_BOUNDS_CHECK (s, state->left->reg1, MonoString, length, state->right->reg1);
1586          */
1587         MONO_EMIT_NEW_BIALU_IMM (s, OP_SHL_IMM, mult_reg, state->right->reg1, 1);
1588         MONO_EMIT_NEW_BIALU (s, CEE_ADD, add_reg, mult_reg, state->left->reg1);
1589         MONO_EMIT_BIALU_IMM (s, tree, OP_ADD_IMM, state->reg1, add_reg, G_STRUCT_OFFSET (MonoString, chars));
1590 }
1591
1592 reg: OP_STRLEN (reg) {
1593         MONO_EMIT_LOAD_MEMBASE_OP (s, tree, OP_LOADI4_MEMBASE, state->reg1,
1594                                    state->left->reg1, G_STRUCT_OFFSET (MonoString, length));
1595 }
1596
1597 reg: OP_GETTYPE (reg) {
1598         int vt_reg = mono_regstate_next_int (s->rs);
1599         MONO_EMIT_NEW_LOAD_MEMBASE (s, vt_reg, state->left->reg1, G_STRUCT_OFFSET (MonoObject, vtable));
1600         MONO_EMIT_LOAD_MEMBASE_OP (s, tree, OP_LOAD_MEMBASE, state->reg1, vt_reg, G_STRUCT_OFFSET (MonoVTable, type));
1601 }
1602
1603 reg: OP_GETHASHCODE (reg) {
1604         int t1 = mono_regstate_next_int (s->rs);
1605
1606         #define MONO_OBJECT_ALIGNMENT_SHIFT     3
1607
1608         /* return (GPOINTER_TO_UINT (this) >> MONO_OBJECT_ALIGNMENT_SHIFT) * 2654435761u; */
1609
1610         MONO_EMIT_NEW_BIALU_IMM (s, OP_SHL_IMM, t1, state->left->reg1, MONO_OBJECT_ALIGNMENT_SHIFT);
1611         MONO_EMIT_NEW_BIALU_IMM (s, OP_MUL_IMM, state->reg1, t1, 2654435761u);
1612 }
1613
1614 #
1615 # array support
1616 #
1617 reg: CEE_LDLEN (reg) {
1618         MONO_EMIT_LOAD_MEMBASE_OP (s, tree, OP_LOADI4_MEMBASE, state->reg1,
1619                                    state->left->reg1, G_STRUCT_OFFSET (MonoArray, max_length));
1620 }
1621
1622 reg: OP_ARRAY_RANK (reg) {
1623         int vtable_reg = mono_regstate_next_int (s->rs);
1624         MONO_EMIT_NEW_LOAD_MEMBASE_OP (s, OP_LOAD_MEMBASE, vtable_reg,
1625                                        state->left->reg1, G_STRUCT_OFFSET (MonoObject, vtable));
1626         MONO_EMIT_NEW_LOAD_MEMBASE_OP (s, OP_LOADU1_MEMBASE, state->reg1,
1627                                        vtable_reg, G_STRUCT_OFFSET (MonoVTable, rank));
1628 }
1629
1630 reg: OP_CHECK_ARRAY_TYPE (reg) {
1631
1632         MonoClass* array_class = tree->klass;
1633
1634         int vtable_reg = mono_regstate_next_int (s->rs);
1635
1636         MONO_EMIT_NEW_LOAD_MEMBASE_OP (s, OP_LOAD_MEMBASE, vtable_reg,
1637                                        state->left->reg1, G_STRUCT_OFFSET (MonoObject, vtable));
1638
1639         if (s->opt & MONO_OPT_SHARED) {
1640                 int class_reg = mono_regstate_next_int (s->rs);
1641                 MONO_EMIT_NEW_LOAD_MEMBASE_OP (s, OP_LOAD_MEMBASE, class_reg,
1642                                                vtable_reg, G_STRUCT_OFFSET (MonoVTable, klass));
1643                 if (s->compile_aot) {
1644                         int klass_reg = mono_regstate_next_int (s->rs);
1645                         MONO_EMIT_NEW_CLASSCONST (s, klass_reg, array_class);
1646                         MONO_EMIT_NEW_COMPARE_EXC (s, NE_UN, class_reg, klass_reg, "ArrayTypeMismatchException");
1647                 } else {
1648                         MONO_EMIT_NEW_COMPARE_IMM_EXC (s, NE_UN, class_reg, array_class, "ArrayTypeMismatchException");
1649                 }
1650         } else {
1651                 if (s->compile_aot) {
1652                         int vt_reg = mono_regstate_next_int (s->rs);
1653                         MONO_EMIT_NEW_VTABLECONST (s, vt_reg, mono_class_vtable (s->domain, array_class));
1654                         MONO_EMIT_NEW_COMPARE_EXC (s, NE_UN, vtable_reg, vt_reg, "ArrayTypeMismatchException");
1655                 } else {
1656                         MONO_EMIT_NEW_COMPARE_IMM_EXC (s, NE_UN, vtable_reg, mono_class_vtable (s->domain, array_class), "ArrayTypeMismatchException");
1657                 }
1658         }
1659
1660         MONO_EMIT_UNALU (s, tree, OP_MOVE, state->reg1, state->left->reg1);
1661 }
1662
1663 reg: CEE_LDELEMA (reg, OP_ICONST) "15" {
1664         guint32 size = mono_class_array_element_size (tree->klass);
1665
1666         int ind = size * state->right->tree->inst_c0 + G_STRUCT_OFFSET (MonoArray, vector);
1667
1668         MONO_EMIT_BOUNDS_CHECK_IMM (s, state->left->reg1, MonoArray, max_length, state->right->tree->inst_c0);
1669         MONO_EMIT_NEW_BIALU_IMM (s, OP_ADD_IMM, state->reg1, state->left->reg1, ind);
1670 }
1671
1672 reg: CEE_LDELEMA (reg, reg) "20" {
1673         int index_reg;
1674         int mult_reg = mono_regstate_next_int (s->rs);
1675         int add_reg = mono_regstate_next_int (s->rs);
1676         guint32 size = mono_class_array_element_size (tree->klass);
1677
1678         if (sizeof (gpointer) == 8) {
1679                 /* The array reg is 64 bits but the index reg is only 32 */
1680                 index_reg = mono_regstate_next_int (s->rs);
1681                 MONO_EMIT_NEW_UNALU (s, OP_SEXT_I4, index_reg, state->right->reg1);
1682         } else {
1683                 index_reg = state->right->reg1;
1684         }
1685
1686         MONO_EMIT_BOUNDS_CHECK (s, state->left->reg1, MonoArray, max_length, index_reg);
1687         MONO_EMIT_NEW_BIALU_IMM (s, OP_MUL_IMM, mult_reg, index_reg, size);
1688         MONO_EMIT_NEW_BIALU (s, CEE_ADD, add_reg, mult_reg, state->left->reg1);
1689         MONO_EMIT_NEW_BIALU_IMM (s, OP_ADD_IMM, state->reg1, add_reg, G_STRUCT_OFFSET (MonoArray, vector));
1690 }
1691
1692 reg: CEE_REFANYVAL (reg) {
1693         int klass_reg = mono_regstate_next_int (s->rs);
1694         MONO_EMIT_NEW_LOAD_MEMBASE (s, klass_reg, state->left->reg1, G_STRUCT_OFFSET (MonoTypedRef, klass));
1695         if (s->compile_aot) {
1696                 int const_reg = mono_regstate_next_int (s->rs);
1697                 MONO_EMIT_NEW_CLASSCONST (s, const_reg, tree->inst_newa_class);
1698                 MONO_EMIT_NEW_COMPARE_EXC (s, NE_UN, klass_reg, const_reg, "InvalidCastException");
1699         } else {
1700                 MONO_EMIT_NEW_COMPARE_IMM_EXC (s, NE_UN, klass_reg, tree->inst_newa_class, "InvalidCastException");
1701         }
1702         MONO_EMIT_NEW_LOAD_MEMBASE (s, state->reg1, state->left->reg1, G_STRUCT_OFFSET (MonoTypedRef, value));
1703 }
1704
1705 reg: OP_REFANYVAL_REG (reg, reg) {
1706         int klass_reg = mono_regstate_next_int (s->rs);
1707         g_assert (!s->compile_aot);
1708         MONO_EMIT_NEW_LOAD_MEMBASE (s, klass_reg, state->left->reg1, G_STRUCT_OFFSET (MonoTypedRef, klass));
1709         MONO_EMIT_NEW_COMPARE_EXC (s, NE_UN, klass_reg, state->right->reg1, "InvalidCastException");
1710         MONO_EMIT_NEW_LOAD_MEMBASE (s, state->reg1, state->left->reg1, G_STRUCT_OFFSET (MonoTypedRef, value));
1711 }
1712
1713 reg: OP_REFANYTYPE (reg) {
1714         MONO_EMIT_NEW_LOAD_MEMBASE (s, state->reg1, state->left->reg1, G_STRUCT_OFFSET (MonoTypedRef, type));
1715 }
1716
1717 stmt: CEE_MKREFANY (OP_GROUP (reg, OP_ICONST), reg),
1718 stmt: CEE_MKREFANY (OP_GROUP (reg, OP_I8CONST), reg) {
1719         MonoClass *klass = (MonoClass*)(tree->inst_left->inst_right->inst_p0);
1720         if (s->compile_aot) {
1721                 int const_reg = mono_regstate_next_int (s->rs);
1722                 int type_reg = mono_regstate_next_int (s->rs);
1723                 MONO_EMIT_NEW_CLASSCONST (s, const_reg, klass);
1724                 MONO_EMIT_NEW_STORE_MEMBASE (s, OP_STOREP_MEMBASE_REG, state->right->reg1, G_STRUCT_OFFSET (MonoTypedRef, klass), const_reg);
1725                 MONO_EMIT_NEW_BIALU_IMM (s, OP_ADD_IMM, type_reg, const_reg, G_STRUCT_OFFSET (MonoClass, byval_arg));
1726                 MONO_EMIT_NEW_STORE_MEMBASE (s, OP_STOREP_MEMBASE_REG, state->right->reg1, G_STRUCT_OFFSET (MonoTypedRef, type), type_reg);
1727         }
1728         else {
1729                 MONO_EMIT_NEW_STORE_MEMBASE_IMM (s, OP_STOREP_MEMBASE_IMM, state->right->reg1, G_STRUCT_OFFSET (MonoTypedRef, type), &klass->byval_arg);
1730                 MONO_EMIT_NEW_STORE_MEMBASE_IMM (s, OP_STOREP_MEMBASE_IMM, state->right->reg1, G_STRUCT_OFFSET (MonoTypedRef, klass), klass);
1731         }
1732         MONO_EMIT_NEW_STORE_MEMBASE (s, OP_STOREP_MEMBASE_REG, state->right->reg1, G_STRUCT_OFFSET (MonoTypedRef, value), state->left->left->reg1);
1733 }
1734
1735 stmt: OP_MKREFANY_REGS (OP_GROUP (reg, reg), OP_GROUP (reg, reg)) {
1736         g_assert (!s->compile_aot);
1737         MONO_EMIT_NEW_STORE_MEMBASE (s, OP_STOREP_MEMBASE_REG,
1738                         state->right->right->reg1, G_STRUCT_OFFSET (MonoTypedRef, type), state->left->left->reg1);
1739         MONO_EMIT_NEW_STORE_MEMBASE (s, OP_STOREP_MEMBASE_REG,
1740                         state->right->right->reg1, G_STRUCT_OFFSET (MonoTypedRef, klass), state->left->right->reg1);
1741         MONO_EMIT_NEW_STORE_MEMBASE (s, OP_STOREP_MEMBASE_REG,
1742                         state->right->right->reg1, G_STRUCT_OFFSET (MonoTypedRef, value), state->right->left->reg1);
1743 }
1744
1745 %%
1746
1747 #ifdef MONO_ARCH_NEED_GOT_VAR
1748
1749 static void mini_emit_aotconst (MonoCompile *cfg, int dreg, MonoJumpInfoType patch_type, gpointer cons);
1750
1751 #endif
1752
1753 /*
1754  * Emit code which checks whenever the interface id of @klass is smaller than
1755  * than the value given by max_iid_reg.
1756 */
1757 static void
1758 mini_emit_max_iid_check (MonoCompile *s, int max_iid_reg, MonoClass *klass,
1759                                                  MonoInst *false_target)
1760 {
1761         if (s->compile_aot) {
1762                 int iid_reg = mono_regstate_next_int (s->rs);
1763                 MONO_EMIT_NEW_AOTCONST (s, iid_reg, klass, MONO_PATCH_INFO_IID);
1764                 if (false_target)
1765                         MONO_EMIT_NEW_COMPARE_BRANCH_LABEL (s, CEE_BLT_UN, max_iid_reg, iid_reg, false_target);
1766                 else
1767                         MONO_EMIT_NEW_COMPARE_EXC (s, LT_UN, max_iid_reg, iid_reg, "InvalidCastException");
1768         } else {
1769                 if (false_target)
1770                         MONO_EMIT_NEW_COMPARE_IMM_BRANCH_LABEL (s, CEE_BLT_UN, max_iid_reg, klass->interface_id, false_target);
1771                 else
1772                         MONO_EMIT_NEW_COMPARE_IMM_EXC (s, LT_UN, max_iid_reg, klass->interface_id, "InvalidCastException");
1773         }
1774 }
1775
1776 /* Same as above, but obtains max_iid from a vtable */
1777 static void
1778 mini_emit_max_iid_check_vtable (MonoCompile *s, int vtable_reg, MonoClass *klass,
1779                                                                  MonoInst *false_target)
1780 {
1781         int max_iid_reg = mono_regstate_next_int (s->rs);
1782
1783         MONO_EMIT_NEW_LOAD_MEMBASE_OP (s, OP_LOADU2_MEMBASE, max_iid_reg, vtable_reg, G_STRUCT_OFFSET (MonoVTable, max_interface_id));
1784         mini_emit_max_iid_check (s, max_iid_reg, klass, false_target);
1785 }
1786
1787 /* Same as above, but obtains max_iid from a klass */
1788 static void
1789 mini_emit_max_iid_check_class (MonoCompile *s, int klass_reg, MonoClass *klass,
1790                                                                  MonoInst *false_target)
1791 {
1792         int max_iid_reg = mono_regstate_next_int (s->rs);
1793
1794         MONO_EMIT_NEW_LOAD_MEMBASE_OP (s, OP_LOADU2_MEMBASE, max_iid_reg, klass_reg, G_STRUCT_OFFSET (MonoClass, max_interface_id));
1795         mini_emit_max_iid_check (s, max_iid_reg, klass, false_target);
1796 }
1797
1798 /* Emit code which loads interface_offsets [klass->interface_id]
1799  * The array is stored in memory before vtable.
1800  */
1801 #ifndef MONO_ARCH_HAVE_IMT
1802 static void
1803 mini_emit_load_intf_reg_vtable (MonoCompile *s, int intf_reg, int vtable_reg, MonoClass *klass)
1804 {
1805         if (s->compile_aot) {
1806                 int ioffset_reg = mono_regstate_next_int (s->rs);
1807                 int iid_reg = mono_regstate_next_int (s->rs);
1808                 MONO_EMIT_NEW_AOTCONST (s, iid_reg, klass, MONO_PATCH_INFO_ADJUSTED_IID);
1809                 MONO_EMIT_NEW_BIALU (s, OP_PADD, ioffset_reg, iid_reg, vtable_reg);
1810                 MONO_EMIT_NEW_LOAD_MEMBASE (s, intf_reg, ioffset_reg, 0);
1811         } else {
1812                 MONO_EMIT_NEW_LOAD_MEMBASE (s, intf_reg, vtable_reg, -((klass->interface_id + 1) * SIZEOF_VOID_P));
1813         }
1814 }
1815 #endif
1816
1817 /*
1818  * Emit code which loads into "intf_bit_reg" a nonzero value if the MonoClass
1819  * stored in "klass_reg" implements the interface "klass".
1820  */
1821 static void
1822 mini_emit_load_intf_bit_reg_class (MonoCompile *s, int intf_bit_reg, int klass_reg, MonoClass *klass)
1823 {
1824         int ibitmap_reg = mono_regstate_next_int (s->rs);
1825         int ibitmap_byte_reg = mono_regstate_next_int (s->rs);
1826
1827         MONO_EMIT_NEW_LOAD_MEMBASE (s, ibitmap_reg, klass_reg, G_STRUCT_OFFSET (MonoClass, interface_bitmap));
1828
1829         if (s->compile_aot) {
1830                 int iid_reg = mono_regstate_next_int (s->rs);
1831                 int shifted_iid_reg = mono_regstate_next_int (s->rs);
1832                 int ibitmap_byte_address_reg = mono_regstate_next_int (s->rs);
1833                 int masked_iid_reg = mono_regstate_next_int (s->rs);
1834                 int iid_one_bit_reg = mono_regstate_next_int (s->rs);
1835                 int iid_bit_reg = mono_regstate_next_int (s->rs);
1836                 MONO_EMIT_NEW_AOTCONST (s, iid_reg, klass, MONO_PATCH_INFO_IID);
1837                 MONO_EMIT_NEW_BIALU_IMM (s, OP_SHR_IMM, shifted_iid_reg, iid_reg, 3);
1838                 MONO_EMIT_NEW_BIALU (s, CEE_ADD, ibitmap_byte_address_reg, ibitmap_reg, shifted_iid_reg);
1839                 MONO_EMIT_NEW_LOAD_MEMBASE_OP (s, OP_LOADU1_MEMBASE, ibitmap_byte_reg, ibitmap_byte_address_reg, 0);
1840                 MONO_EMIT_NEW_BIALU_IMM (s, OP_AND_IMM, masked_iid_reg, iid_reg, 7);
1841                 MONO_EMIT_NEW_ICONST (s, iid_one_bit_reg, 1);
1842                 MONO_EMIT_NEW_BIALU (s, CEE_SHL, iid_bit_reg, iid_one_bit_reg, masked_iid_reg);
1843                 MONO_EMIT_NEW_BIALU (s, CEE_AND, intf_bit_reg, ibitmap_byte_reg, iid_bit_reg);
1844         } else {
1845                 MONO_EMIT_NEW_LOAD_MEMBASE_OP (s, OP_LOADI1_MEMBASE, ibitmap_byte_reg, ibitmap_reg, klass->interface_id >> 3);
1846                 MONO_EMIT_NEW_BIALU_IMM (s, OP_AND_IMM, intf_bit_reg, ibitmap_byte_reg, 1 << (klass->interface_id & 7));
1847         }
1848 }
1849 /*
1850  * Emit code which loads into "intf_bit_reg" a nonzero value if the MonoVTable
1851  * stored in "vtable_reg" implements the interface "klass".
1852  */
1853 static void
1854 mini_emit_load_intf_bit_reg_vtable (MonoCompile *s, int intf_bit_reg, int vtable_reg, MonoClass *klass)
1855 {
1856         int ibitmap_reg = mono_regstate_next_int (s->rs);
1857         int ibitmap_byte_reg = mono_regstate_next_int (s->rs);
1858
1859         MONO_EMIT_NEW_LOAD_MEMBASE (s, ibitmap_reg, vtable_reg, G_STRUCT_OFFSET (MonoVTable, interface_bitmap));
1860
1861         if (s->compile_aot) {
1862                 int iid_reg = mono_regstate_next_int (s->rs);
1863                 int shifted_iid_reg = mono_regstate_next_int (s->rs);
1864                 int ibitmap_byte_address_reg = mono_regstate_next_int (s->rs);
1865                 int masked_iid_reg = mono_regstate_next_int (s->rs);
1866                 int iid_one_bit_reg = mono_regstate_next_int (s->rs);
1867                 int iid_bit_reg = mono_regstate_next_int (s->rs);
1868                 MONO_EMIT_NEW_AOTCONST (s, iid_reg, klass, MONO_PATCH_INFO_IID);
1869                 MONO_EMIT_NEW_BIALU_IMM (s, OP_SHR_IMM, shifted_iid_reg, iid_reg, 3);
1870                 MONO_EMIT_NEW_BIALU (s, CEE_ADD, ibitmap_byte_address_reg, ibitmap_reg, shifted_iid_reg);
1871                 MONO_EMIT_NEW_LOAD_MEMBASE_OP (s, OP_LOADU1_MEMBASE, ibitmap_byte_reg, ibitmap_byte_address_reg, 0);
1872                 MONO_EMIT_NEW_BIALU_IMM (s, OP_AND_IMM, masked_iid_reg, iid_reg, 7);
1873                 MONO_EMIT_NEW_ICONST (s, iid_one_bit_reg, 1);
1874                 MONO_EMIT_NEW_BIALU (s, CEE_SHL, iid_bit_reg, iid_one_bit_reg, masked_iid_reg);
1875                 MONO_EMIT_NEW_BIALU (s, CEE_AND, intf_bit_reg, ibitmap_byte_reg, iid_bit_reg);
1876         } else {
1877                 MONO_EMIT_NEW_LOAD_MEMBASE_OP (s, OP_LOADI1_MEMBASE, ibitmap_byte_reg, ibitmap_reg, klass->interface_id >> 3);
1878                 MONO_EMIT_NEW_BIALU_IMM (s, OP_AND_IMM, intf_bit_reg, ibitmap_byte_reg, 1 << (klass->interface_id & 7));
1879         }
1880 }
1881
1882 #ifdef MONO_ARCH_HAVE_IMT
1883 static void
1884 emit_imt_argument (MonoCompile *cfg, MonoCallInst *call, gboolean have_imt_arg, int imt_reg) {
1885 #ifdef MONO_ARCH_IMT_REG
1886         int method_reg = mono_regstate_next_int (cfg->rs);
1887
1888         if (cfg->compile_aot) {
1889                 g_assert (!have_imt_arg);
1890                 MONO_EMIT_NEW_AOTCONST (cfg, method_reg, call->method, MONO_PATCH_INFO_METHODCONST);
1891         } else {
1892                 if (have_imt_arg) {
1893                         MONO_EMIT_NEW_UNALU (cfg, OP_MOVE, method_reg, imt_reg);
1894                 } else {
1895                         MonoInst *inst;
1896                         MONO_INST_NEW (cfg, inst, OP_PCONST);
1897                         inst->inst_p0 = call->method;
1898                         inst->dreg = method_reg;
1899                         mono_bblock_add_inst (cfg->cbb, inst);
1900                 }
1901         }
1902
1903         mono_call_inst_add_outarg_reg (cfg, call, method_reg, MONO_ARCH_IMT_REG, FALSE);
1904 #else
1905         mono_arch_emit_imt_argument (cfg, call);
1906 #endif
1907 }
1908 #endif
1909
1910 static void
1911 mini_emit_virtual_call_internal (MonoCompile *cfg, void *st, MonoInst *tree, int novirtop, int virtop,
1912                 gboolean have_imt_arg, int imt_reg)
1913 {
1914         MonoMethod *method = ((MonoCallInst*)tree)->method;
1915         int vtable_reg, slot_reg, this_reg;
1916         MBState *state = st;
1917         int slot;
1918
1919         this_reg = state->left->reg1;
1920         mono_arch_emit_this_vret_args (cfg, (MonoCallInst*)tree, this_reg, state->left->tree->type, novirtop == OP_VCALL? state->right->reg1: -1);
1921
1922         if (!(method->flags & METHOD_ATTRIBUTE_VIRTUAL) ||
1923              ((method->flags & METHOD_ATTRIBUTE_FINAL) &&
1924              method->wrapper_type != MONO_WRAPPER_REMOTING_INVOKE_WITH_CHECK)) {
1925                 /*
1926                  * the method is not virtual, we just need to ensure this is not null
1927                  * and then we can call the method directly.
1928                  */
1929                 if (method->klass->marshalbyref || method->klass == mono_defaults.object_class) {
1930                         method = ((MonoCallInst*)tree)->method = mono_marshal_get_remoting_invoke_with_check (method);
1931                 }
1932
1933                 if (!method->string_ctor)
1934                         MONO_EMIT_NEW_UNALU (cfg, OP_CHECK_THIS, -1, this_reg);
1935
1936                 tree->dreg = state->reg1;
1937                 tree->opcode = novirtop;
1938                 mono_bblock_add_inst (cfg->cbb, tree);
1939                 return;
1940         }
1941
1942 #ifdef MONO_ARCH_HAVE_CREATE_DELEGATE_TRAMPOLINE
1943         if ((method->klass->parent == mono_defaults.multicastdelegate_class) && (!strcmp (method->name, "Invoke"))) {
1944                 /* Make a call to delegate->invoke_impl */
1945                 tree->dreg = state->reg1;
1946                 tree->opcode = virtop;
1947                 tree->inst_basereg = this_reg;
1948                 tree->inst_offset = G_STRUCT_OFFSET (MonoDelegate, invoke_impl);
1949                 mono_bblock_add_inst (cfg->cbb, tree);
1950                 return;
1951         }
1952 #endif
1953
1954         if ((method->flags & METHOD_ATTRIBUTE_VIRTUAL) &&
1955                 ((method->flags &  METHOD_ATTRIBUTE_FINAL) ||
1956                         (method->klass && method->klass->flags & TYPE_ATTRIBUTE_SEALED))) {
1957                 /*
1958                  * the method is virtual, but we can statically dispatch since either
1959                  * it's class or the method itself are sealed.
1960                  * But first we need to ensure it's not a null reference.
1961                  */
1962                 MONO_EMIT_NEW_UNALU (cfg, OP_CHECK_THIS, -1, this_reg);
1963
1964                 tree->dreg = state->reg1;
1965                 tree->opcode = novirtop;
1966                 mono_bblock_add_inst (cfg->cbb, tree);
1967                 return;
1968         }
1969
1970         if (method->klass->generic_class && !method->klass->vtable) {
1971            MonoMethod *gmethod = mono_method_get_declaring_generic_method (method);
1972            mono_class_setup_vtable (gmethod->klass);
1973
1974            slot = gmethod->slot;
1975            g_assert (slot != -1);
1976         } else {
1977                 /* Initialize method->slot */
1978                 mono_class_setup_vtable (method->klass);
1979                 slot = method->slot;
1980         }
1981
1982         vtable_reg = mono_regstate_next_int (cfg->rs);
1983         MONO_EMIT_NEW_LOAD_MEMBASE (cfg, vtable_reg, this_reg, G_STRUCT_OFFSET (MonoObject, vtable));
1984         if (method->klass->flags & TYPE_ATTRIBUTE_INTERFACE) {
1985 #ifdef MONO_ARCH_HAVE_IMT
1986                 guint32 imt_slot = mono_method_get_imt_slot (method);
1987                 emit_imt_argument (cfg, (MonoCallInst*)tree, have_imt_arg, imt_reg);
1988                 slot_reg = vtable_reg;
1989                 tree->inst_offset = ((gint32)imt_slot - MONO_IMT_SIZE) * SIZEOF_VOID_P;
1990 #else
1991                 g_assert (!have_imt_arg);
1992                 slot_reg = mono_regstate_next_int (cfg->rs);
1993                 mini_emit_load_intf_reg_vtable (cfg, slot_reg, vtable_reg, method->klass);
1994                 tree->inst_offset = slot * SIZEOF_VOID_P;
1995 #endif
1996         } else {
1997                 slot_reg = vtable_reg;
1998                 tree->inst_offset = G_STRUCT_OFFSET (MonoVTable, vtable) + (slot * SIZEOF_VOID_P);
1999         }
2000
2001         tree->dreg = state->reg1;
2002         tree->opcode = virtop;
2003         tree->sreg1 = slot_reg;
2004         ((MonoCallInst*)tree)->virtual = TRUE;
2005         mono_bblock_add_inst (cfg->cbb, tree);
2006 }
2007
2008 static void
2009 mini_emit_virtual_call (MonoCompile *cfg, void *st, MonoInst *tree, int novirtop, int virtop)
2010 {
2011         mini_emit_virtual_call_internal (cfg, st, tree, novirtop, virtop, FALSE, -1);
2012 }
2013
2014 static void
2015 mini_emit_virtual_imt_call (MonoCompile *cfg, void *st, MonoInst *tree, int novirtop, int virtop, int imt_reg)
2016 {
2017         mini_emit_virtual_call_internal (cfg, st, tree, novirtop, virtop, TRUE, imt_reg);
2018 }
2019
2020 static void
2021 emit_rgctx_argument (MonoCompile *s, MonoInst *tree, int reg, int new_opcode)
2022 {
2023 #ifdef MONO_ARCH_RGCTX_REG
2024         MonoCallInst *call = (MonoCallInst*)tree;
2025         int rgctx_reg = mono_regstate_next_int (s->rs);
2026
2027         MONO_EMIT_NEW_UNALU (s, OP_MOVE, rgctx_reg, reg);
2028
2029         call->inst.opcode = new_opcode;
2030
2031         mono_call_inst_add_outarg_reg (s, call, rgctx_reg, MONO_ARCH_RGCTX_REG, FALSE);
2032 #else
2033         g_assert_not_reached ();
2034 #endif
2035 }
2036
2037 /*
2038  * Emit code for ISINST/CASTCLASS
2039  */
2040 static void
2041 mini_emit_isinst (MonoCompile *s, int klass_reg, MonoClass *klass, MonoInst *false_target, MonoInst *true_target)
2042 {
2043         int idepth_reg = mono_regstate_next_int (s->rs);
2044         int stypes_reg = mono_regstate_next_int (s->rs);
2045         int stype = mono_regstate_next_int (s->rs);
2046
2047         if (klass->idepth > MONO_DEFAULT_SUPERTABLE_SIZE) {
2048                 MONO_EMIT_NEW_LOAD_MEMBASE_OP (s, OP_LOADU2_MEMBASE, idepth_reg, klass_reg, G_STRUCT_OFFSET (MonoClass, idepth));
2049                 MONO_EMIT_NEW_COMPARE_IMM_BRANCH_LABEL (s, CEE_BLT_UN, idepth_reg, klass->idepth, false_target);
2050         }
2051         MONO_EMIT_NEW_LOAD_MEMBASE (s, stypes_reg, klass_reg, G_STRUCT_OFFSET (MonoClass, supertypes));
2052         MONO_EMIT_NEW_LOAD_MEMBASE (s, stype, stypes_reg, ((klass->idepth - 1) * SIZEOF_VOID_P));
2053         if (s->compile_aot) {
2054                 int const_reg = mono_regstate_next_int (s->rs);
2055                 MONO_EMIT_NEW_CLASSCONST (s, const_reg, klass);
2056                 MONO_EMIT_NEW_COMPARE_BRANCH_LABEL (s, CEE_BEQ, stype, const_reg, true_target);
2057         } else {
2058                 MONO_EMIT_NEW_COMPARE_IMM_BRANCH_LABEL (s, CEE_BEQ, stype, klass, true_target);
2059         }
2060 }
2061
2062 /*
2063  * Emit code for ISINST/CASTCLASS for interfaces
2064  */
2065 static void
2066 mini_emit_isinst_iface (MonoCompile *s, int vtable_reg, MonoClass *klass, MonoInst *false_target, MonoInst *true_target)
2067 {
2068         int intf_reg = mono_regstate_next_int (s->rs);
2069
2070         mini_emit_max_iid_check_vtable (s, vtable_reg, klass, false_target);
2071         mini_emit_load_intf_bit_reg_vtable (s, intf_reg, vtable_reg, klass);
2072         if (true_target)
2073                 MONO_EMIT_NEW_COMPARE_IMM_BRANCH_LABEL (s, CEE_BNE_UN, intf_reg, 0, true_target);
2074         else
2075                 MONO_EMIT_NEW_COMPARE_IMM_EXC (s, EQ, intf_reg, 0, "InvalidCastException");
2076 }
2077
2078 /*
2079  * Variant of the above that takes a register to the class, not the vtable.
2080  */
2081 static void
2082 mini_emit_isinst_iface_class (MonoCompile *s, int klass_reg, MonoClass *klass, MonoInst *false_target, MonoInst *true_target)
2083 {
2084         int intf_bit_reg = mono_regstate_next_int (s->rs);
2085
2086         mini_emit_max_iid_check_class (s, klass_reg, klass, false_target);
2087         mini_emit_load_intf_bit_reg_class (s, intf_bit_reg, klass_reg, klass);
2088         if (true_target)
2089                 MONO_EMIT_NEW_COMPARE_IMM_BRANCH_LABEL (s, CEE_BNE_UN, intf_bit_reg, 0, true_target);
2090         else
2091                 MONO_EMIT_NEW_COMPARE_IMM_EXC (s, EQ, intf_bit_reg, 0, "InvalidCastException");
2092 }
2093
2094 static void
2095 mini_emit_castclass_iface (MonoCompile *s, int vtable_reg, MonoClass *klass)
2096 {
2097         mini_emit_isinst_iface (s, vtable_reg, klass, NULL, NULL);
2098 }
2099
2100 /*
2101  * Variant of the aboce that takes a register to the class, not the vtable.
2102  */
2103 static void
2104 mini_emit_castclass_iface_class (MonoCompile *s, int klass_reg, MonoClass *klass)
2105 {
2106         mini_emit_isinst_iface_class (s, klass_reg, klass, NULL, NULL);
2107 }
2108
2109 static void
2110 mini_emit_castclass (MonoCompile *s, int obj_reg, int klass_reg, MonoClass *klass, MonoInst *object_is_null)
2111 {
2112         if (klass->rank) {
2113                 int rank_reg = mono_regstate_next_int (s->rs);
2114                 int eclass_reg = mono_regstate_next_int (s->rs);
2115
2116                 MONO_EMIT_NEW_LOAD_MEMBASE_OP (s, OP_LOADU1_MEMBASE, rank_reg, klass_reg, G_STRUCT_OFFSET (MonoClass, rank));
2117                 MONO_EMIT_NEW_COMPARE_IMM_EXC (s, NE_UN, rank_reg, klass->rank, "InvalidCastException");
2118 //              MONO_EMIT_NEW_LOAD_MEMBASE (s, klass_reg, vtable_reg, G_STRUCT_OFFSET (MonoVTable, klass));
2119                 MONO_EMIT_NEW_LOAD_MEMBASE (s, eclass_reg, klass_reg, G_STRUCT_OFFSET (MonoClass, cast_class));
2120                 if (klass->cast_class == mono_defaults.object_class) {
2121                         int parent_reg = mono_regstate_next_int (s->rs);
2122                         int const_reg = -1;
2123                         MONO_EMIT_NEW_LOAD_MEMBASE (s, parent_reg, eclass_reg, G_STRUCT_OFFSET (MonoClass, parent));
2124                         if (s->compile_aot) {
2125                                 const_reg = mono_regstate_next_int (s->rs);
2126                                 MONO_EMIT_NEW_CLASSCONST (s, const_reg, mono_defaults.enum_class->parent);
2127                                 MONO_EMIT_NEW_COMPARE_BRANCH_LABEL (s, CEE_BNE_UN, parent_reg, const_reg, object_is_null);
2128                         } else {
2129                                 MONO_EMIT_NEW_COMPARE_IMM_BRANCH_LABEL (s, CEE_BNE_UN, parent_reg,
2130                                         mono_defaults.enum_class->parent, object_is_null);
2131                         }
2132                         if (s->compile_aot) {
2133                                 MONO_EMIT_NEW_CLASSCONST (s, const_reg, mono_defaults.enum_class);
2134                                 MONO_EMIT_NEW_COMPARE_EXC (s, NE_UN, eclass_reg, const_reg, "InvalidCastException");
2135                         } else {
2136                                 MONO_EMIT_NEW_COMPARE_IMM_EXC (s, NE_UN, eclass_reg, mono_defaults.enum_class, "InvalidCastException");
2137                         }
2138                 } else if (klass->cast_class == mono_defaults.enum_class->parent) {
2139                         int const_reg = mono_regstate_next_int (s->rs);
2140                         if (s->compile_aot) {
2141                                 MONO_EMIT_NEW_CLASSCONST (s, const_reg, mono_defaults.enum_class->parent);
2142                                 MONO_EMIT_NEW_COMPARE_BRANCH_LABEL (s, CEE_BEQ, eclass_reg, const_reg, object_is_null);
2143                         } else {
2144                                 MONO_EMIT_NEW_COMPARE_IMM_BRANCH_LABEL (s, CEE_BEQ, eclass_reg,
2145                                         mono_defaults.enum_class->parent, object_is_null);
2146                         }
2147                         if (s->compile_aot) {
2148                                 MONO_EMIT_NEW_CLASSCONST (s, const_reg, mono_defaults.enum_class);
2149                                 MONO_EMIT_NEW_COMPARE_EXC (s, NE_UN, eclass_reg, const_reg, "InvalidCastException");
2150                         } else {
2151                                 MONO_EMIT_NEW_COMPARE_IMM_EXC (s, NE_UN, eclass_reg, mono_defaults.enum_class, "InvalidCastException");
2152                         }
2153                 } else if (klass->cast_class == mono_defaults.enum_class) {
2154                         if (s->compile_aot) {
2155                                 int const_reg = mono_regstate_next_int (s->rs);
2156                                 MONO_EMIT_NEW_CLASSCONST (s, const_reg, mono_defaults.enum_class);
2157                                 MONO_EMIT_NEW_COMPARE_EXC (s, NE_UN, eclass_reg, const_reg, "InvalidCastException");
2158                         } else {
2159                                 MONO_EMIT_NEW_COMPARE_IMM_EXC (s, NE_UN, eclass_reg, mono_defaults.enum_class, "InvalidCastException");
2160                         }
2161                 } else if (klass->cast_class->flags & TYPE_ATTRIBUTE_INTERFACE) {
2162                         mini_emit_castclass_iface_class (s, eclass_reg, klass->cast_class);
2163                 } else {
2164                         mini_emit_castclass (s, obj_reg, eclass_reg, klass->cast_class, object_is_null);
2165                 }
2166
2167                 if ((klass->rank == 1) && (klass->byval_arg.type == MONO_TYPE_SZARRAY)) {
2168                         /* Check that the object is a vector too */
2169                         int bounds_reg = mono_regstate_next_int (s->rs);
2170                         MONO_EMIT_NEW_LOAD_MEMBASE (s, bounds_reg, obj_reg, G_STRUCT_OFFSET (MonoArray, bounds));
2171                         MONO_EMIT_NEW_COMPARE_IMM_EXC (s, NE_UN, bounds_reg, 0, "InvalidCastException");
2172                 }
2173         } else {
2174                 int idepth_reg = mono_regstate_next_int (s->rs);
2175                 int stypes_reg = mono_regstate_next_int (s->rs);
2176                 int stype = mono_regstate_next_int (s->rs);
2177
2178                 if (klass->idepth > MONO_DEFAULT_SUPERTABLE_SIZE) {
2179                         MONO_EMIT_NEW_LOAD_MEMBASE_OP (s, OP_LOADU2_MEMBASE, idepth_reg, klass_reg, G_STRUCT_OFFSET (MonoClass, idepth));
2180                         MONO_EMIT_NEW_COMPARE_IMM_EXC (s, LT_UN, idepth_reg, klass->idepth, "InvalidCastException");
2181                 }
2182                 MONO_EMIT_NEW_LOAD_MEMBASE (s, stypes_reg, klass_reg, G_STRUCT_OFFSET (MonoClass, supertypes));
2183                 MONO_EMIT_NEW_LOAD_MEMBASE (s, stype, stypes_reg, ((klass->idepth - 1) * SIZEOF_VOID_P));
2184                 if (s->compile_aot) {
2185                         int const_reg = mono_regstate_next_int (s->rs);
2186                         MONO_EMIT_NEW_CLASSCONST (s, const_reg, klass);
2187                         MONO_EMIT_NEW_COMPARE_EXC (s, NE_UN, stype, const_reg, "InvalidCastException");
2188                 } else {
2189                         MONO_EMIT_NEW_COMPARE_IMM_EXC (s, NE_UN, stype, klass, "InvalidCastException");
2190                 }
2191         }
2192 }
2193
2194 static void
2195 mini_emit_memcpy (MonoCompile *s, int destreg, int doffset, int srcreg, int soffset, int size, int align)
2196 {
2197         int cur_reg;
2198
2199         if (align < 4) {
2200                 /* This could be optimized further if neccesary */
2201                 while (size >= 1) {
2202                         cur_reg = mono_regstate_next_int (s->rs);
2203                         MONO_EMIT_NEW_LOAD_MEMBASE_OP (s, OP_LOADI1_MEMBASE, cur_reg, srcreg, soffset);
2204                         MONO_EMIT_NEW_STORE_MEMBASE (s, OP_STOREI1_MEMBASE_REG, destreg, doffset, cur_reg);
2205                         doffset += 1;
2206                         soffset += 1;
2207                         size -= 1;
2208                 }
2209         }
2210
2211         /* FIXME: consider alignment for archs that need it. */
2212 #if !NO_UNALIGNED_ACCESS
2213         if (sizeof (gpointer) == 8) {
2214                 while (size >= 8) {
2215                         cur_reg = mono_regstate_next_int (s->rs);
2216                         MONO_EMIT_NEW_LOAD_MEMBASE_OP (s, OP_LOADI8_MEMBASE, cur_reg, srcreg, soffset);
2217                         MONO_EMIT_NEW_STORE_MEMBASE (s, OP_STOREI8_MEMBASE_REG, destreg, doffset, cur_reg);
2218                         doffset += 8;
2219                         soffset += 8;
2220                         size -= 8;
2221                 }
2222         }
2223 #endif
2224
2225         while (size >= 4) {
2226                 cur_reg = mono_regstate_next_int (s->rs);
2227                 MONO_EMIT_NEW_LOAD_MEMBASE_OP (s, OP_LOADI4_MEMBASE, cur_reg, srcreg, soffset);
2228                 MONO_EMIT_NEW_STORE_MEMBASE (s, OP_STOREI4_MEMBASE_REG, destreg, doffset, cur_reg);
2229                 doffset += 4;
2230                 soffset += 4;
2231                 size -= 4;
2232         }
2233         while (size >= 2) {
2234                 cur_reg = mono_regstate_next_int (s->rs);
2235                 MONO_EMIT_NEW_LOAD_MEMBASE_OP (s, OP_LOADI2_MEMBASE, cur_reg, srcreg, soffset);
2236                 MONO_EMIT_NEW_STORE_MEMBASE (s, OP_STOREI2_MEMBASE_REG, destreg, doffset, cur_reg);
2237                 doffset += 2;
2238                 soffset += 2;
2239                 size -= 2;
2240         }
2241         while (size >= 1) {
2242                 cur_reg = mono_regstate_next_int (s->rs);
2243                 MONO_EMIT_NEW_LOAD_MEMBASE_OP (s, OP_LOADI1_MEMBASE, cur_reg, srcreg, soffset);
2244                 MONO_EMIT_NEW_STORE_MEMBASE (s, OP_STOREI1_MEMBASE_REG, destreg, doffset, cur_reg);
2245                 doffset += 1;
2246                 soffset += 1;
2247                 size -= 1;
2248         }
2249 }
2250
2251 static void
2252 mini_emit_memset (MonoCompile *s, int destreg, int offset, int size, int val, int align)
2253 {
2254         int val_reg = mono_regstate_next_int (s->rs);
2255
2256         if (sizeof (gpointer) == 8)
2257                 MONO_EMIT_NEW_I8CONST (s, val_reg, val);
2258         else
2259                 MONO_EMIT_NEW_ICONST (s, val_reg, val);
2260
2261         if (align < 4) {
2262                 /* This could be optimized further if neccesary */
2263                 while (size >= 1) {
2264                         MONO_EMIT_NEW_STORE_MEMBASE (s, OP_STOREI1_MEMBASE_REG, destreg, offset, val_reg);
2265                         offset += 1;
2266                         size -= 1;
2267                 }
2268                 return;
2269         }
2270
2271         /* FIXME: consider alignment for archs that need it. */
2272 #if !NO_UNALIGNED_ACCESS
2273         if (sizeof (gpointer) == 8) {
2274                 if (offset % 8) {
2275                         MONO_EMIT_NEW_STORE_MEMBASE (s, OP_STOREI4_MEMBASE_REG, destreg, offset, val_reg);
2276                         offset += 4;
2277                         size -= 4;
2278                 }
2279                 while (size >= 8) {
2280                         MONO_EMIT_NEW_STORE_MEMBASE (s, OP_STOREI8_MEMBASE_REG, destreg, offset, val_reg);
2281                         offset += 8;
2282                         size -= 8;
2283                 }
2284         }
2285 #endif
2286
2287         while (size >= 4) {
2288                 MONO_EMIT_NEW_STORE_MEMBASE (s, OP_STOREI4_MEMBASE_REG, destreg, offset, val_reg);
2289                 offset += 4;
2290                 size -= 4;
2291         }
2292         while (size >= 2) {
2293                 MONO_EMIT_NEW_STORE_MEMBASE (s, OP_STOREI2_MEMBASE_REG, destreg, offset, val_reg);
2294                 offset += 2;
2295                 size -= 2;
2296         }
2297         while (size >= 1) {
2298                 MONO_EMIT_NEW_STORE_MEMBASE (s, OP_STOREI1_MEMBASE_REG, destreg, offset, val_reg);
2299                 offset += 1;
2300                 size -= 1;
2301         }
2302 }
2303
2304 #ifdef MONO_ARCH_NEED_GOT_VAR
2305
2306 /* This is similar to NEW_AOTCONST in mini.c, but generates linear IL */
2307 static void
2308 mini_emit_aotconst (MonoCompile *cfg, int dreg, MonoJumpInfoType patch_type, gpointer cons)
2309 {
2310         MonoInst *dest, *pinfo;
2311         int got_var_reg;
2312
2313         g_assert (cfg->got_var);
2314
2315         pinfo = mono_mempool_alloc0 ((cfg)->mempool, sizeof (MonoInst));
2316         pinfo->opcode = OP_PATCH_INFO;
2317         pinfo->inst_left = cons;
2318         pinfo->inst_right = (gpointer)(patch_type);
2319
2320         if (cfg->got_var->opcode == OP_REGOFFSET) {
2321                 got_var_reg = mono_regstate_next_int (cfg->rs);
2322                 MONO_EMIT_NEW_LOAD_MEMBASE (cfg, got_var_reg, cfg->got_var->inst_basereg, cfg->got_var->inst_offset);
2323         } else {
2324                 g_assert (cfg->got_var->opcode == OP_REGVAR);
2325                 got_var_reg = cfg->got_var->dreg;
2326         }
2327
2328         MONO_INST_NEW ((cfg), dest, OP_GOT_ENTRY);
2329         dest->inst_left = cfg->got_var; /* not used */
2330         dest->inst_right = pinfo;
2331
2332         dest->inst_basereg = got_var_reg;
2333         dest->dreg = dreg;
2334         mono_bblock_add_inst (cfg->cbb, dest);
2335 }
2336
2337 #endif
2338
2339 static int
2340 ldind_to_load_membase (int opcode)
2341 {
2342         switch (opcode) {
2343         case CEE_LDIND_I1:
2344                 return OP_LOADI1_MEMBASE;
2345         case CEE_LDIND_U1:
2346                 return OP_LOADU1_MEMBASE;
2347         case CEE_LDIND_I2:
2348                 return OP_LOADI2_MEMBASE;
2349         case CEE_LDIND_U2:
2350                 return OP_LOADU2_MEMBASE;
2351         case CEE_LDIND_I4:
2352                 return OP_LOADI4_MEMBASE;
2353         case CEE_LDIND_U4:
2354                 return OP_LOADU4_MEMBASE;
2355         case CEE_LDIND_I:
2356                 return OP_LOAD_MEMBASE;
2357         case CEE_LDIND_REF:
2358                 return OP_LOAD_MEMBASE;
2359         case CEE_LDIND_I8:
2360                 return OP_LOADI8_MEMBASE;
2361         default:
2362                 g_assert_not_reached ();
2363         }
2364
2365         return -1;
2366 }
2367