mono/mini/ir-emit.h

   1 /*
   2  * ir-emit.h: IR Creation/Emission Macros
   3  *
   4  * Author:
   5  *   Zoltan Varga (vargaz@gmail.com)
   6  *
   7  * (C) 2002 Ximian, Inc.
   8  */
   9
  10 #ifndef __MONO_IR_EMIT_H__
  11 #define __MONO_IR_EMIT_H__
  12
  13 #include "mini.h"
  14
  15 G_BEGIN_DECLS
  16
  17 static inline guint32
  18 alloc_ireg (MonoCompile *cfg)
  19 {
  20         return cfg->next_vreg ++;
  21 }
  22
  23 static inline guint32
  24 alloc_preg (MonoCompile *cfg)
  25 {
  26         return alloc_ireg (cfg);
  27 }
  28
  29 static inline guint32
  30 alloc_lreg (MonoCompile *cfg)
  31 {
  32 #if SIZEOF_REGISTER == 8
  33         return cfg->next_vreg ++;
  34 #else
  35         /* Use a pair of consecutive vregs */
  36         guint32 res = cfg->next_vreg;
  37
  38         cfg->next_vreg += 3;
  39
  40         return res;
  41 #endif
  42 }
  43
  44 static inline guint32
  45 alloc_freg (MonoCompile *cfg)
  46 {
  47 #ifdef MONO_ARCH_SOFT_FLOAT
  48         /* Allocate an lvreg so float ops can be decomposed into long ops */
  49         return alloc_lreg (cfg);
  50 #else
  51         /* Allocate these from the same pool as the int regs */
  52         return cfg->next_vreg ++;
  53 #endif
  54 }
  55
  56 static inline guint32
  57 alloc_ireg_ref (MonoCompile *cfg)
  58 {
  59         int vreg = alloc_ireg (cfg);
  60
  61         if (cfg->compute_gc_maps)
  62                 mono_mark_vreg_as_ref (cfg, vreg);
  63
  64         return vreg;
  65 }
  66
  67 static inline guint32
  68 alloc_ireg_mp (MonoCompile *cfg)
  69 {
  70         int vreg = alloc_ireg (cfg);
  71
  72         if (cfg->compute_gc_maps)
  73                 mono_mark_vreg_as_mp (cfg, vreg);
  74
  75         return vreg;
  76 }
  77
  78 static inline guint32
  79 alloc_dreg (MonoCompile *cfg, MonoStackType stack_type)
  80 {
  81         switch (stack_type) {
  82         case STACK_I4:
  83         case STACK_PTR:
  84                 return alloc_ireg (cfg);
  85         case STACK_MP:
  86                 return alloc_ireg_mp (cfg);
  87         case STACK_OBJ:
  88                 return alloc_ireg_ref (cfg);
  89         case STACK_R8:
  90                 return alloc_freg (cfg);
  91         case STACK_I8:
  92                 return alloc_lreg (cfg);
  93         case STACK_VTYPE:
  94                 return alloc_ireg (cfg);
  95         default:
  96                 g_warning ("Unknown stack type %x\n", stack_type);
  97                 g_assert_not_reached ();
  98                 return -1;
  99         }
 100 }
 101
 102 #undef MONO_INST_NEW
 103 /*
 104  * FIXME: zeroing out some fields is not needed with the new IR, but the old
 105  * JIT code still uses the left and right fields, so it has to stay.
 106  */
 107 #define MONO_INST_NEW(cfg,dest,op) do { \
 108                 (dest) = mono_mempool_alloc ((cfg)->mempool, sizeof (MonoInst));        \
 109                 (dest)->inst_c0 = (dest)->inst_c1 = 0; \
 110                 (dest)->next = (dest)->prev = NULL;    \
 111                 (dest)->opcode = (op);  \
 112         (dest)->flags = 0; \
 113         (dest)->type = 0; \
 114         (dest)->dreg = -1;  \
 115         MONO_INST_NULLIFY_SREGS ((dest));                   \
 116         (dest)->cil_code = (cfg)->ip;  \
 117         } while (0)
 118
 119 /*
 120  * Variants which take a dest argument and don't do an emit
 121  */
 122 #define NEW_ICONST(cfg,dest,val) do {   \
 123         MONO_INST_NEW ((cfg), (dest), OP_ICONST); \
 124                 (dest)->inst_c0 = (val);        \
 125                 (dest)->type = STACK_I4;        \
 126                 (dest)->dreg = alloc_dreg ((cfg), STACK_I4);    \
 127         } while (0)
 128
 129 /*
 130  * Avoid using this with a non-NULL val if possible as it is not AOT
 131  * compatible. Use one of the NEW_xxxCONST variants instead.
 132  */
 133 #define NEW_PCONST(cfg,dest,val) do {   \
 134         MONO_INST_NEW ((cfg), (dest), OP_PCONST); \
 135                 (dest)->inst_p0 = (val);        \
 136                 (dest)->type = STACK_PTR;       \
 137                 (dest)->dreg = alloc_dreg ((cfg), STACK_PTR);   \
 138         } while (0)
 139
 140 #define NEW_I8CONST(cfg,dest,val) do {  \
 141         MONO_INST_NEW ((cfg), (dest), OP_I8CONST); \
 142         (dest)->dreg = alloc_lreg ((cfg)); \
 143         (dest)->type = STACK_I8; \
 144         (dest)->inst_l = (val); \
 145         } while (0)
 146
 147 #define NEW_STORE_MEMBASE(cfg,dest,op,base,offset,sr) do { \
 148         MONO_INST_NEW ((cfg), (dest), (op)); \
 149         (dest)->sreg1 = sr; \
 150         (dest)->inst_destbasereg = base; \
 151         (dest)->inst_offset = offset; \
 152         } while (0)
 153
 154 #define NEW_LOAD_MEMBASE(cfg,dest,op,dr,base,offset) do { \
 155         MONO_INST_NEW ((cfg), (dest), (op)); \
 156         (dest)->dreg = (dr); \
 157         (dest)->inst_basereg = (base); \
 158         (dest)->inst_offset = (offset); \
 159         (dest)->type = STACK_I4; \
 160         } while (0)
 161
 162 #define NEW_LOAD_MEM(cfg,dest,op,dr,mem) do { \
 163         MONO_INST_NEW ((cfg), (dest), (op)); \
 164         (dest)->dreg = (dr); \
 165         (dest)->inst_p0 = (gpointer)(gssize)(mem); \
 166         (dest)->type = STACK_I4; \
 167         } while (0)
 168
 169 #define NEW_UNALU(cfg,dest,op,dr,sr1) do { \
 170         MONO_INST_NEW ((cfg), (dest), (op)); \
 171         (dest)->dreg = dr; \
 172         (dest)->sreg1 = sr1; \
 173     } while (0)
 174
 175 #define NEW_BIALU(cfg,dest,op,dr,sr1,sr2) do { \
 176         MONO_INST_NEW ((cfg), (dest), (op)); \
 177         (dest)->dreg = (dr); \
 178         (dest)->sreg1 = (sr1); \
 179         (dest)->sreg2 = (sr2); \
 180         } while (0)
 181
 182 #define NEW_BIALU_IMM(cfg,dest,op,dr,sr,imm) do { \
 183         MONO_INST_NEW ((cfg), (dest), (op)); \
 184         (dest)->dreg = dr; \
 185         (dest)->sreg1 = sr; \
 186         (dest)->inst_imm = (imm); \
 187         } while (0)
 188
 189 #ifdef MONO_ARCH_NEED_GOT_VAR
 190
 191 #define NEW_PATCH_INFO(cfg,dest,el1,el2) do {   \
 192         MONO_INST_NEW ((cfg), (dest), OP_PATCH_INFO); \
 193                 (dest)->inst_left = (gpointer)(el1);    \
 194                 (dest)->inst_right = (gpointer)(el2);   \
 195         } while (0)
 196
 197 /* FIXME: Add the PUSH_GOT_ENTRY optimizations */
 198 #define NEW_AOTCONST(cfg,dest,patch_type,cons) do {                     \
 199         MONO_INST_NEW ((cfg), (dest), cfg->compile_aot ? OP_GOT_ENTRY : OP_PCONST); \
 200                 if (cfg->compile_aot) {                                 \
 201                         MonoInst *group, *got_loc;              \
 202                         got_loc = mono_get_got_var (cfg);               \
 203                         NEW_PATCH_INFO ((cfg), group, cons, patch_type); \
 204                         (dest)->inst_basereg = got_loc->dreg;                   \
 205                         (dest)->inst_p1 = group;                        \
 206                 } else {                                                \
 207                         (dest)->inst_p0 = (cons);                       \
 208                         (dest)->inst_i1 = (gpointer)(patch_type);       \
 209                 }                                                       \
 210                 (dest)->type = STACK_PTR;                               \
 211                 (dest)->dreg = alloc_dreg ((cfg), STACK_PTR);   \
 212         } while (0)
 213
 214 #define NEW_AOTCONST_TOKEN(cfg,dest,patch_type,image,token,generic_context,stack_type,stack_class) do { \
 215                 MonoInst *group, *got_loc;                      \
 216         MONO_INST_NEW ((cfg), (dest), OP_GOT_ENTRY); \
 217                 got_loc = mono_get_got_var (cfg);                       \
 218                 NEW_PATCH_INFO ((cfg), group, NULL, patch_type);        \
 219                 group->inst_p0 = mono_jump_info_token_new2 ((cfg)->mempool, (image), (token), (generic_context)); \
 220                 (dest)->inst_basereg = got_loc->dreg;                           \
 221                 (dest)->inst_p1 = group;                                \
 222                 (dest)->type = (stack_type);                            \
 223         (dest)->klass = (stack_class);          \
 224                 (dest)->dreg = alloc_dreg ((cfg), (stack_type));        \
 225         } while (0)
 226
 227 #else
 228
 229 #define NEW_AOTCONST(cfg,dest,patch_type,cons) do {    \
 230         MONO_INST_NEW ((cfg), (dest), cfg->compile_aot ? OP_AOTCONST : OP_PCONST); \
 231                 (dest)->inst_p0 = (cons);       \
 232                 (dest)->inst_i1 = (gpointer)(patch_type); \
 233                 (dest)->type = STACK_PTR;       \
 234                 (dest)->dreg = alloc_dreg ((cfg), STACK_PTR);   \
 235     } while (0)
 236
 237 #define NEW_AOTCONST_TOKEN(cfg,dest,patch_type,image,token,generic_context,stack_type,stack_class) do { \
 238         MONO_INST_NEW ((cfg), (dest), OP_AOTCONST); \
 239                 (dest)->inst_p0 = mono_jump_info_token_new2 ((cfg)->mempool, (image), (token), (generic_context)); \
 240                 (dest)->inst_p1 = (gpointer)(patch_type); \
 241                 (dest)->type = (stack_type);    \
 242         (dest)->klass = (stack_class);          \
 243                 (dest)->dreg = alloc_dreg ((cfg), (stack_type));        \
 244     } while (0)
 245
 246 #endif
 247
 248 #define NEW_CLASSCONST(cfg,dest,val) NEW_AOTCONST ((cfg), (dest), MONO_PATCH_INFO_CLASS, (val))
 249
 250 #define NEW_IMAGECONST(cfg,dest,val) NEW_AOTCONST ((cfg), (dest), MONO_PATCH_INFO_IMAGE, (val))
 251
 252 #define NEW_FIELDCONST(cfg,dest,val) NEW_AOTCONST ((cfg), (dest), MONO_PATCH_INFO_FIELD, (val))
 253
 254 #define NEW_METHODCONST(cfg,dest,val) NEW_AOTCONST ((cfg), (dest), MONO_PATCH_INFO_METHODCONST, (val))
 255
 256 #define NEW_VTABLECONST(cfg,dest,vtable) NEW_AOTCONST ((cfg), (dest), MONO_PATCH_INFO_VTABLE, cfg->compile_aot ? (gpointer)((vtable)->klass) : (vtable))
 257
 258 #define NEW_SFLDACONST(cfg,dest,val) NEW_AOTCONST ((cfg), (dest), MONO_PATCH_INFO_SFLDA, (val))
 259
 260 #define NEW_LDSTRCONST(cfg,dest,image,token) NEW_AOTCONST_TOKEN ((cfg), (dest), MONO_PATCH_INFO_LDSTR, (image), (token), NULL, STACK_OBJ, mono_defaults.string_class)
 261
 262 #define NEW_TYPE_FROM_HANDLE_CONST(cfg,dest,image,token,generic_context) NEW_AOTCONST_TOKEN ((cfg), (dest), MONO_PATCH_INFO_TYPE_FROM_HANDLE, (image), (token), (generic_context), STACK_OBJ, mono_defaults.monotype_class)
 263
 264 #define NEW_LDTOKENCONST(cfg,dest,image,token) NEW_AOTCONST_TOKEN ((cfg), (dest), MONO_PATCH_INFO_LDTOKEN, (image), (token), NULL, STACK_PTR, NULL)
 265
 266 #define NEW_DECLSECCONST(cfg,dest,image,entry) do { \
 267                 if (cfg->compile_aot) { \
 268                         NEW_AOTCONST_TOKEN (cfg, dest, MONO_PATCH_INFO_DECLSEC, image, (entry).index, NULL, STACK_OBJ, NULL); \
 269                 } else { \
 270                         NEW_PCONST (cfg, args [0], (entry).blob); \
 271                 } \
 272         } while (0)
 273
 274 #define NEW_METHOD_RGCTX_CONST(cfg,dest,method) do { \
 275                 if (cfg->compile_aot) {                                                                                 \
 276                         NEW_AOTCONST ((cfg), (dest), MONO_PATCH_INFO_METHOD_RGCTX, (method)); \
 277                 } else {                                                                                                                \
 278                         MonoMethodRuntimeGenericContext *mrgctx;                                        \
 279                         mrgctx = mono_method_lookup_rgctx (mono_class_vtable ((cfg)->domain, (method)->klass), mini_method_get_context ((method))->method_inst); \
 280                         NEW_PCONST ((cfg), (dest), (mrgctx));                                           \
 281                 }                                                                                                                               \
 282         } while (0)
 283
 284 #define NEW_DOMAINCONST(cfg,dest) do { \
 285                 if ((cfg->opt & MONO_OPT_SHARED) || cfg->compile_aot) {                          \
 286                         /* avoid depending on undefined C behavior in sequence points */ \
 287                         MonoInst* __domain_var = mono_get_domainvar (cfg); \
 288                         NEW_TEMPLOAD (cfg, dest, __domain_var->inst_c0); \
 289                 } else { \
 290                         NEW_PCONST (cfg, dest, (cfg)->domain); \
 291                 } \
 292         } while (0)
 293
 294 #define NEW_JIT_ICALL_ADDRCONST(cfg,dest,name) NEW_AOTCONST ((cfg), (dest), MONO_PATCH_INFO_JIT_ICALL_ADDR, (name))
 295
 296 #define GET_VARINFO_INST(cfg,num) ((cfg)->varinfo [(num)]->inst)
 297
 298 #define NEW_VARLOAD(cfg,dest,var,vartype) do { \
 299         MONO_INST_NEW ((cfg), (dest), OP_MOVE); \
 300                 (dest)->opcode = mono_type_to_regmove ((cfg), (vartype));  \
 301                 type_to_eval_stack_type ((cfg), (vartype), (dest));     \
 302                 (dest)->klass = var->klass;     \
 303                 (dest)->sreg1 = var->dreg;   \
 304         (dest)->dreg = alloc_dreg ((cfg), (dest)->type); \
 305         if ((dest)->opcode == OP_VMOVE) (dest)->klass = mono_class_from_mono_type ((vartype)); \
 306         } while (0)
 307
 308 #ifdef MONO_ARCH_SOFT_FLOAT
 309 #define DECOMPOSE_INTO_REGPAIR(stack_type) ((stack_type) == STACK_I8 || (stack_type) == STACK_R8)
 310 #else
 311 #define DECOMPOSE_INTO_REGPAIR(stack_type) ((stack_type) == STACK_I8)
 312 #endif
 313
 314 #define NEW_VARLOADA(cfg,dest,var,vartype) do { \
 315         MONO_INST_NEW ((cfg), (dest), OP_LDADDR); \
 316                 (dest)->inst_p0 = (var); \
 317                 (var)->flags |= MONO_INST_INDIRECT;     \
 318                 (dest)->type = STACK_MP;        \
 319                 (dest)->klass = (var)->klass;   \
 320         (dest)->dreg = alloc_dreg ((cfg), STACK_MP); \
 321                 if (SIZEOF_REGISTER == 4 && DECOMPOSE_INTO_REGPAIR ((var)->type)) { MonoInst *var1 = get_vreg_to_inst (cfg, (var)->dreg + 1); MonoInst *var2 = get_vreg_to_inst (cfg, (var)->dreg + 2); g_assert (var1); g_assert (var2); var1->flags |= MONO_INST_INDIRECT; var2->flags |= MONO_INST_INDIRECT; } \
 322         } while (0)
 323
 324 #define NEW_VARSTORE(cfg,dest,var,vartype,inst) do {    \
 325         MONO_INST_NEW ((cfg), (dest), OP_MOVE); \
 326                 (dest)->opcode = mono_type_to_regmove ((cfg), (vartype));    \
 327                 (dest)->klass = (var)->klass;   \
 328         (dest)->sreg1 = (inst)->dreg; \
 329                 (dest)->dreg = (var)->dreg;   \
 330         if ((dest)->opcode == OP_VMOVE) (dest)->klass = mono_class_from_mono_type ((vartype)); \
 331         } while (0)
 332
 333 #define NEW_TEMPLOAD(cfg,dest,num) NEW_VARLOAD ((cfg), (dest), (cfg)->varinfo [(num)], (cfg)->varinfo [(num)]->inst_vtype)
 334
 335 #define NEW_TEMPLOADA(cfg,dest,num) NEW_VARLOADA ((cfg), (dest), cfg->varinfo [(num)], cfg->varinfo [(num)]->inst_vtype)
 336
 337 #define NEW_TEMPSTORE(cfg,dest,num,inst) NEW_VARSTORE ((cfg), (dest), (cfg)->varinfo [(num)], (cfg)->varinfo [(num)]->inst_vtype, (inst))
 338
 339 #define NEW_ARGLOAD(cfg,dest,num) NEW_VARLOAD ((cfg), (dest), cfg->args [(num)], cfg->arg_types [(num)])
 340
 341 #define NEW_LOCLOAD(cfg,dest,num) NEW_VARLOAD ((cfg), (dest), cfg->locals [(num)], header->locals [(num)])
 342
 343 #define NEW_LOCSTORE(cfg,dest,num,inst) NEW_VARSTORE ((cfg), (dest), (cfg)->locals [(num)], (cfg)->locals [(num)]->inst_vtype, (inst))
 344
 345 #define NEW_ARGSTORE(cfg,dest,num,inst) NEW_VARSTORE ((cfg), (dest), cfg->args [(num)], cfg->arg_types [(num)], (inst))
 346
 347 #define NEW_LOCLOADA(cfg,dest,num) NEW_VARLOADA ((cfg), (dest), (cfg)->locals [(num)], (cfg)->locals [(num)]->inst_vtype)
 348
 349 #define NEW_RETLOADA(cfg,dest) do {     \
 350         MONO_INST_NEW ((cfg), (dest), OP_MOVE); \
 351         (dest)->type = STACK_MP; \
 352             (dest)->klass = cfg->ret->klass;    \
 353             (dest)->sreg1 = cfg->vret_addr->dreg;   \
 354         (dest)->dreg = alloc_dreg ((cfg), (dest)->type); \
 355         } while (0)
 356
 357 #define NEW_ARGLOADA(cfg,dest,num) NEW_VARLOADA ((cfg), (dest), arg_array [(num)], param_types [(num)])
 358
 359 /* Promote the vreg to a variable so its address can be taken */
 360 #define NEW_VARLOADA_VREG(cfg,dest,vreg,ltype) do { \
 361         MonoInst *var = get_vreg_to_inst ((cfg), (vreg)); \
 362         if (!var) \
 363                     var = mono_compile_create_var_for_vreg ((cfg), (ltype), OP_LOCAL, (vreg)); \
 364         NEW_VARLOADA ((cfg), (dest), (var), (ltype)); \
 365     } while (0)
 366
 367 #define NEW_DUMMY_USE(cfg,dest,var) do { \
 368         MONO_INST_NEW ((cfg), (dest), OP_DUMMY_USE); \
 369                 (dest)->sreg1 = var->dreg; \
 370     } while (0)
 371
 372 /* Variants which take a type argument and handle vtypes as well */
 373 #define NEW_LOAD_MEMBASE_TYPE(cfg,dest,ltype,base,offset) do { \
 374             NEW_LOAD_MEMBASE ((cfg), (dest), mono_type_to_load_membase ((cfg), (ltype)), 0, (base), (offset)); \
 375             type_to_eval_stack_type ((cfg), (ltype), (dest)); \
 376             (dest)->dreg = alloc_dreg ((cfg), (dest)->type); \
 377     } while (0)
 378
 379 #define NEW_STORE_MEMBASE_TYPE(cfg,dest,ltype,base,offset,sr) do { \
 380         MONO_INST_NEW ((cfg), (dest), mono_type_to_store_membase ((cfg), (ltype))); \
 381         (dest)->sreg1 = sr; \
 382         (dest)->inst_destbasereg = base; \
 383         (dest)->inst_offset = offset; \
 384             type_to_eval_stack_type ((cfg), (ltype), (dest)); \
 385         (dest)->klass = mono_class_from_mono_type (ltype); \
 386         } while (0)
 387
 388 #define NEW_SEQ_POINT(cfg,dest,il_offset,intr_loc) do {  \
 389         MONO_INST_NEW ((cfg), (dest), OP_SEQ_POINT); \
 390         (dest)->inst_imm = (il_offset); \
 391         (dest)->flags = intr_loc ? MONO_INST_SINGLE_STEP_LOC : 0; \
 392         } while (0)
 393
 394 #define NEW_GC_PARAM_SLOT_LIVENESS_DEF(cfg,dest,offset,type) do { \
 395         MONO_INST_NEW ((cfg), (dest), OP_GC_PARAM_SLOT_LIVENESS_DEF); \
 396         (dest)->inst_offset = (offset); \
 397         (dest)->inst_vtype = (type); \
 398         } while (0)
 399
 400 /*
 401  * Variants which do an emit as well.
 402  */
 403 #define EMIT_NEW_ICONST(cfg,dest,val) do { NEW_ICONST ((cfg), (dest), (val)); MONO_ADD_INS ((cfg)->cbb, (dest)); } while (0)
 404
 405 #define EMIT_NEW_PCONST(cfg,dest,val) do { NEW_PCONST ((cfg), (dest), (val)); MONO_ADD_INS ((cfg)->cbb, (dest)); } while (0)
 406
 407 #define EMIT_NEW_I8CONST(cfg,dest,val) do { NEW_I8CONST ((cfg), (dest), (val)); MONO_ADD_INS ((cfg)->cbb, (dest)); } while (0)
 408
 409 #define EMIT_NEW_AOTCONST(cfg,dest,patch_type,cons) do { NEW_AOTCONST ((cfg), (dest), (patch_type), (cons)); MONO_ADD_INS ((cfg)->cbb, (dest)); } while (0)
 410
 411 #define EMIT_NEW_AOTCONST_TOKEN(cfg,dest,patch_type,image,token,stack_type,stack_class) do { NEW_AOTCONST_TOKEN ((cfg), (dest), (patch_type), (image), (token), NULL, (stack_type), (stack_class)); MONO_ADD_INS ((cfg)->cbb, (dest)); } while (0)
 412
 413 #define EMIT_NEW_CLASSCONST(cfg,dest,val) do { NEW_AOTCONST ((cfg), (dest), MONO_PATCH_INFO_CLASS, (val)); MONO_ADD_INS ((cfg)->cbb, (dest)); } while (0)
 414
 415 #define EMIT_NEW_IMAGECONST(cfg,dest,val) do { NEW_AOTCONST ((cfg), (dest), MONO_PATCH_INFO_IMAGE, (val)); MONO_ADD_INS ((cfg)->cbb, (dest)); } while (0)
 416
 417 #define EMIT_NEW_FIELDCONST(cfg,dest,val) do { NEW_AOTCONST ((cfg), (dest), MONO_PATCH_INFO_FIELD, (val)); MONO_ADD_INS ((cfg)->cbb, (dest)); } while (0)
 418
 419 #define EMIT_NEW_METHODCONST(cfg,dest,val) do { NEW_AOTCONST ((cfg), (dest), MONO_PATCH_INFO_METHODCONST, (val)); MONO_ADD_INS ((cfg)->cbb, (dest)); } while (0)
 420
 421 #define EMIT_NEW_VTABLECONST(cfg,dest,vtable) do { NEW_AOTCONST ((cfg), (dest), MONO_PATCH_INFO_VTABLE, cfg->compile_aot ? (gpointer)((vtable)->klass) : (vtable)); MONO_ADD_INS ((cfg)->cbb, (dest)); } while (0)
 422
 423 #define EMIT_NEW_SFLDACONST(cfg,dest,val) do { NEW_AOTCONST ((cfg), (dest), MONO_PATCH_INFO_SFLDA, (val)); MONO_ADD_INS ((cfg)->cbb, (dest)); } while (0)
 424
 425 #define EMIT_NEW_LDSTRCONST(cfg,dest,image,token) do { NEW_AOTCONST_TOKEN ((cfg), (dest), MONO_PATCH_INFO_LDSTR, (image), (token), NULL, STACK_OBJ, mono_defaults.string_class); MONO_ADD_INS ((cfg)->cbb, (dest)); } while (0)
 426
 427 #define EMIT_NEW_TYPE_FROM_HANDLE_CONST(cfg,dest,image,token,generic_context) do { NEW_AOTCONST_TOKEN ((cfg), (dest), MONO_PATCH_INFO_TYPE_FROM_HANDLE, (image), (token), (generic_context), STACK_OBJ, mono_defaults.monotype_class); MONO_ADD_INS ((cfg)->cbb, (dest)); } while (0)
 428
 429 #define EMIT_NEW_LDTOKENCONST(cfg,dest,image,token) do { NEW_AOTCONST_TOKEN ((cfg), (dest), MONO_PATCH_INFO_LDTOKEN, (image), (token), NULL, STACK_PTR, NULL); MONO_ADD_INS ((cfg)->cbb, (dest)); } while (0)
 430
 431 #define EMIT_NEW_DOMAINCONST(cfg,dest) do { NEW_DOMAINCONST ((cfg), (dest)); MONO_ADD_INS ((cfg)->cbb, (dest)); } while (0)
 432
 433 #define EMIT_NEW_DECLSECCONST(cfg,dest,image,entry) do { NEW_DECLSECCONST ((cfg), (dest), (image), (entry)); MONO_ADD_INS ((cfg)->cbb, (dest)); } while (0)
 434
 435 #define EMIT_NEW_METHOD_RGCTX_CONST(cfg,dest,method) do { NEW_METHOD_RGCTX_CONST ((cfg), (dest), (method)); MONO_ADD_INS ((cfg)->cbb, (dest)); } while (0)
 436
 437 #define EMIT_NEW_JIT_ICALL_ADDRCONST(cfg,dest,name) do { NEW_JIT_ICALL_ADDRCONST ((cfg), (dest), (name)); MONO_ADD_INS ((cfg)->cbb, (dest)); } while (0)
 438
 439 #define EMIT_NEW_VARLOAD(cfg,dest,var,vartype) do { NEW_VARLOAD ((cfg), (dest), (var), (vartype)); MONO_ADD_INS ((cfg)->cbb, (dest)); } while (0)
 440
 441 #define EMIT_NEW_VARSTORE(cfg,dest,var,vartype,inst) do { NEW_VARSTORE ((cfg), (dest), (var), (vartype), (inst)); MONO_ADD_INS ((cfg)->cbb, (dest)); } while (0)
 442
 443 #define EMIT_NEW_VARLOADA(cfg,dest,var,vartype) do { NEW_VARLOADA ((cfg), (dest), (var), (vartype)); MONO_ADD_INS ((cfg)->cbb, (dest)); } while (0)
 444
 445 #ifdef MONO_ARCH_SOFT_FLOAT
 446
 447 /*
 448  * Since the IL stack (and our vregs) contain double values, we have to do a conversion
 449  * when loading/storing args/locals of type R4.
 450  */
 451
 452 #define EMIT_NEW_VARLOAD_SFLOAT(cfg,dest,var,vartype) do { \
 453                 if (COMPILE_SOFT_FLOAT ((cfg)) && !(vartype)->byref && (vartype)->type == MONO_TYPE_R4) { \
 454              MonoInst *iargs [1]; \
 455              EMIT_NEW_VARLOADA (cfg, iargs [0], (var), (vartype)); \
 456              (dest) = mono_emit_jit_icall (cfg, mono_fload_r4, iargs); \
 457         } else { \
 458              EMIT_NEW_VARLOAD ((cfg), (dest), (var), (vartype)); \
 459         } \
 460     } while (0)
 461
 462 #define EMIT_NEW_VARSTORE_SFLOAT(cfg,dest,var,vartype,inst) do {        \
 463                 if (COMPILE_SOFT_FLOAT ((cfg)) && !(vartype)->byref && (vartype)->type == MONO_TYPE_R4) { \
 464              MonoInst *iargs [2]; \
 465              iargs [0] = (inst); \
 466              EMIT_NEW_VARLOADA (cfg, iargs [1], (var), (vartype)); \
 467              mono_emit_jit_icall (cfg, mono_fstore_r4, iargs); \
 468         } else { \
 469              EMIT_NEW_VARSTORE ((cfg), (dest), (var), (vartype), (inst)); \
 470         } \
 471     } while (0)
 472
 473 #define EMIT_NEW_ARGLOAD(cfg,dest,num) EMIT_NEW_VARLOAD_SFLOAT ((cfg), (dest), cfg->args [(num)], cfg->arg_types [(num)])
 474
 475 #define EMIT_NEW_LOCLOAD(cfg,dest,num) EMIT_NEW_VARLOAD_SFLOAT ((cfg), (dest), cfg->locals [(num)], header->locals [(num)])
 476
 477 #define EMIT_NEW_LOCSTORE(cfg,dest,num,inst) EMIT_NEW_VARSTORE_SFLOAT ((cfg), (dest), (cfg)->locals [(num)], (cfg)->locals [(num)]->inst_vtype, (inst))
 478
 479 #define EMIT_NEW_ARGSTORE(cfg,dest,num,inst) EMIT_NEW_VARSTORE_SFLOAT ((cfg), (dest), cfg->args [(num)], cfg->arg_types [(num)], (inst))
 480
 481 #else
 482
 483 #define EMIT_NEW_ARGLOAD(cfg,dest,num) do { NEW_ARGLOAD ((cfg), (dest), (num)); MONO_ADD_INS ((cfg)->cbb, (dest)); } while (0)
 484
 485 #define EMIT_NEW_LOCLOAD(cfg,dest,num) do { NEW_LOCLOAD ((cfg), (dest), (num)); MONO_ADD_INS ((cfg)->cbb, (dest)); } while (0)
 486
 487 #define EMIT_NEW_LOCSTORE(cfg,dest,num,inst) do { NEW_LOCSTORE ((cfg), (dest), (num), (inst)); MONO_ADD_INS ((cfg)->cbb, (dest)); } while (0)
 488
 489 #define EMIT_NEW_ARGSTORE(cfg,dest,num,inst) do { NEW_ARGSTORE ((cfg), (dest), (num), (inst)); MONO_ADD_INS ((cfg)->cbb, (dest)); } while (0)
 490
 491 #endif
 492
 493 #define EMIT_NEW_TEMPLOAD(cfg,dest,num) do { NEW_TEMPLOAD ((cfg), (dest), (num)); MONO_ADD_INS ((cfg)->cbb, (dest)); } while (0)
 494
 495 #define EMIT_NEW_TEMPLOADA(cfg,dest,num) do { NEW_TEMPLOADA ((cfg), (dest), (num)); MONO_ADD_INS ((cfg)->cbb, (dest)); } while (0)
 496
 497 #define EMIT_NEW_LOCLOADA(cfg,dest,num) do { NEW_LOCLOADA ((cfg), (dest), (num)); MONO_ADD_INS ((cfg)->cbb, (dest)); } while (0)
 498
 499 #define EMIT_NEW_ARGLOADA(cfg,dest,num) do { NEW_ARGLOADA ((cfg), (dest), (num)); MONO_ADD_INS ((cfg)->cbb, (dest)); } while (0)
 500
 501 #define EMIT_NEW_RETLOADA(cfg,dest) do { NEW_RETLOADA ((cfg), (dest)); MONO_ADD_INS ((cfg)->cbb, (dest)); } while (0)
 502
 503 #define EMIT_NEW_TEMPSTORE(cfg,dest,num,inst) do { NEW_TEMPSTORE ((cfg), (dest), (num), (inst)); MONO_ADD_INS ((cfg)->cbb, (dest)); } while (0)
 504
 505 #define EMIT_NEW_VARLOADA_VREG(cfg,dest,vreg,ltype) do { NEW_VARLOADA_VREG ((cfg), (dest), (vreg), (ltype)); MONO_ADD_INS ((cfg)->cbb, (dest)); } while (0)
 506
 507 #define EMIT_NEW_DUMMY_USE(cfg,dest,var) do { NEW_DUMMY_USE ((cfg), (dest), (var)); MONO_ADD_INS ((cfg)->cbb, (dest)); } while (0)
 508
 509 #define EMIT_NEW_UNALU(cfg,dest,op,dr,sr1) do { NEW_UNALU ((cfg), (dest), (op), (dr), (sr1)); MONO_ADD_INS ((cfg)->cbb, (dest)); } while (0)
 510
 511 #define EMIT_NEW_BIALU(cfg,dest,op,dr,sr1,sr2) do { NEW_BIALU ((cfg), (dest), (op), (dr), (sr1), (sr2)); MONO_ADD_INS ((cfg)->cbb, (dest)); } while (0)
 512
 513 #define EMIT_NEW_BIALU_IMM(cfg,dest,op,dr,sr,imm) do { NEW_BIALU_IMM ((cfg), (dest), (op), (dr), (sr), (imm)); MONO_ADD_INS ((cfg)->cbb, (dest)); } while (0)
 514
 515 #define EMIT_NEW_LOAD_MEMBASE(cfg,dest,op,dr,base,offset) do { NEW_LOAD_MEMBASE ((cfg), (dest), (op), (dr), (base), (offset)); MONO_ADD_INS ((cfg)->cbb, (dest)); } while (0)
 516
 517 #define EMIT_NEW_STORE_MEMBASE(cfg,dest,op,base,offset,sr) do { NEW_STORE_MEMBASE ((cfg), (dest), (op), (base), (offset), (sr)); MONO_ADD_INS ((cfg)->cbb, (dest)); } while (0)
 518
 519 #define EMIT_NEW_LOAD_MEMBASE_TYPE(cfg,dest,ltype,base,offset) do { NEW_LOAD_MEMBASE_TYPE ((cfg), (dest), (ltype), (base), (offset)); MONO_ADD_INS ((cfg)->cbb, (dest)); } while (0)
 520
 521 #define EMIT_NEW_STORE_MEMBASE_TYPE(cfg,dest,ltype,base,offset,sr) do { NEW_STORE_MEMBASE_TYPE ((cfg), (dest), (ltype), (base), (offset), (sr)); MONO_ADD_INS ((cfg)->cbb, (dest)); } while (0)
 522
 523 #define EMIT_NEW_GC_PARAM_SLOT_LIVENESS_DEF(cfg,dest,offset,type) do { NEW_GC_PARAM_SLOT_LIVENESS_DEF ((cfg), (dest), (offset), (type)); MONO_ADD_INS ((cfg)->cbb, (dest)); } while (0)
 524 /*
 525  * Variants which do not take an dest argument, but take a dreg argument.
 526  */
 527 #define MONO_EMIT_NEW_ICONST(cfg,dr,imm) do { \
 528         MonoInst *inst; \
 529         MONO_INST_NEW ((cfg), (inst), OP_ICONST); \
 530         inst->dreg = dr; \
 531         inst->inst_c0 = imm; \
 532             MONO_ADD_INS ((cfg)->cbb, inst); \
 533         } while (0)
 534
 535 #define MONO_EMIT_NEW_PCONST(cfg,dr,val) do {   \
 536         MonoInst *inst; \
 537         MONO_INST_NEW ((cfg), (inst), OP_PCONST); \
 538         inst->dreg = dr; \
 539                 (inst)->inst_p0 = (val);        \
 540                 (inst)->type = STACK_PTR;       \
 541             MONO_ADD_INS ((cfg)->cbb, inst); \
 542         } while (0)
 543
 544 #define MONO_EMIT_NEW_I8CONST(cfg,dr,imm) do { \
 545         MonoInst *inst; \
 546         MONO_INST_NEW ((cfg), (inst), OP_I8CONST); \
 547         inst->dreg = dr; \
 548         inst->inst_l = imm; \
 549             MONO_ADD_INS ((cfg)->cbb, inst); \
 550         } while (0)
 551
 552 #ifdef MONO_ARCH_NEED_GOT_VAR
 553
 554 #define MONO_EMIT_NEW_AOTCONST(cfg,dr,cons,patch_type) do { \
 555         MonoInst *inst; \
 556         NEW_AOTCONST ((cfg), (inst), (patch_type), (cons)); \
 557         inst->dreg = (dr); \
 558         MONO_ADD_INS ((cfg)->cbb, inst); \
 559     } while (0)
 560
 561 #else
 562
 563 #define MONO_EMIT_NEW_AOTCONST(cfg,dr,imm,type) do { \
 564         MonoInst *inst; \
 565         MONO_INST_NEW ((cfg), (inst), cfg->compile_aot ? OP_AOTCONST : OP_PCONST); \
 566         inst->dreg = dr; \
 567         inst->inst_p0 = imm; \
 568         inst->inst_c1 = type; \
 569                 MONO_ADD_INS ((cfg)->cbb, inst); \
 570         } while (0)
 571
 572 #endif
 573
 574 #define MONO_EMIT_NEW_CLASSCONST(cfg,dr,imm) MONO_EMIT_NEW_AOTCONST(cfg,dr,imm,MONO_PATCH_INFO_CLASS)
 575 #define MONO_EMIT_NEW_VTABLECONST(cfg,dest,vtable) MONO_EMIT_NEW_AOTCONST ((cfg), (dest), (cfg)->compile_aot ? (gpointer)((vtable)->klass) : (vtable), MONO_PATCH_INFO_VTABLE)
 576 #define MONO_EMIT_NEW_SIGNATURECONST(cfg,dr,sig) MONO_EMIT_NEW_AOTCONST ((cfg), (dr), (sig), MONO_PATCH_INFO_SIGNATURE)
 577
 578 #define MONO_EMIT_NEW_VZERO(cfg,dr,kl) do {     \
 579         MonoInst *inst; \
 580         MONO_INST_NEW ((cfg), (inst), MONO_CLASS_IS_SIMD (cfg, kl) ? OP_XZERO : OP_VZERO); \
 581         inst->dreg = dr; \
 582                 (inst)->type = STACK_VTYPE;     \
 583         (inst)->klass = (kl); \
 584             MONO_ADD_INS ((cfg)->cbb, inst); \
 585         } while (0)
 586
 587 #define MONO_EMIT_NEW_UNALU(cfg,op,dr,sr1) do { \
 588         MonoInst *inst; \
 589         EMIT_NEW_UNALU ((cfg), (inst), (op), (dr), (sr1)); \
 590         } while (0)
 591
 592 #define MONO_EMIT_NEW_BIALU(cfg,op,dr,sr1,sr2) do { \
 593         MonoInst *inst; \
 594         MONO_INST_NEW ((cfg), (inst), (op)); \
 595         inst->dreg = dr; \
 596         inst->sreg1 = sr1; \
 597         inst->sreg2 = sr2; \
 598             MONO_ADD_INS (cfg->cbb, inst); \
 599         } while (0)
 600
 601 #define MONO_EMIT_NEW_BIALU_IMM(cfg,op,dr,sr,imm) do { \
 602         MonoInst *inst; \
 603         MONO_INST_NEW ((cfg), (inst), (op)); \
 604         inst->dreg = dr; \
 605         inst->sreg1 = sr; \
 606         inst->inst_imm = (mgreg_t)(imm);                \
 607             MONO_ADD_INS (cfg->cbb, inst); \
 608         } while (0)
 609
 610 #define MONO_EMIT_NEW_COMPARE_IMM(cfg,sr1,imm) do { \
 611         MonoInst *inst; \
 612         MONO_INST_NEW ((cfg), (inst), (OP_COMPARE_IMM)); \
 613         inst->sreg1 = sr1; \
 614         inst->inst_imm = (imm);                  \
 615             MONO_ADD_INS ((cfg)->cbb, inst); \
 616         } while (0)
 617
 618 #define MONO_EMIT_NEW_ICOMPARE_IMM(cfg,sr1,imm) do { \
 619         MonoInst *inst; \
 620         MONO_INST_NEW ((cfg), (inst), sizeof (mgreg_t) == 8 ? OP_ICOMPARE_IMM : OP_COMPARE_IMM); \
 621         inst->sreg1 = sr1; \
 622         inst->inst_imm = (imm);                  \
 623             MONO_ADD_INS ((cfg)->cbb, inst); \
 624         } while (0)
 625
 626 /* This is used on 32 bit machines too when running with LLVM */
 627 #define MONO_EMIT_NEW_LCOMPARE_IMM(cfg,sr1,imm) do { \
 628         MonoInst *inst; \
 629         MONO_INST_NEW ((cfg), (inst), (OP_LCOMPARE_IMM)); \
 630         inst->sreg1 = sr1;                                                                      \
 631         if (SIZEOF_REGISTER == 4 && COMPILE_LLVM (cfg))  {      \
 632                         guint64 _l = (imm);                                                             \
 633                         inst->inst_imm = _l & 0xffffffff;                               \
 634                         inst->inst_offset = _l >> 32;                                           \
 635                 } else { \
 636                         inst->inst_imm = (imm);          \
 637                 }                                                                \
 638             MONO_ADD_INS ((cfg)->cbb, inst); \
 639         } while (0)
 640
 641 #define MONO_EMIT_NEW_LOAD_MEMBASE_OP(cfg,op,dr,base,offset) do { \
 642         MonoInst *inst; \
 643         MONO_INST_NEW ((cfg), (inst), (op)); \
 644         inst->dreg = dr; \
 645         inst->inst_basereg = base; \
 646         inst->inst_offset = offset; \
 647             MONO_ADD_INS (cfg->cbb, inst); \
 648     } while (0)
 649
 650 #define MONO_EMIT_NEW_LOAD_MEMBASE(cfg,dr,base,offset) MONO_EMIT_NEW_LOAD_MEMBASE_OP ((cfg), (OP_LOAD_MEMBASE), (dr), (base), (offset))
 651
 652 #define MONO_EMIT_NEW_STORE_MEMBASE(cfg,op,base,offset,sr) do { \
 653         MonoInst *inst; \
 654         MONO_INST_NEW ((cfg), (inst), (op)); \
 655         (inst)->sreg1 = sr; \
 656         (inst)->inst_destbasereg = base; \
 657         (inst)->inst_offset = offset; \
 658             MONO_ADD_INS (cfg->cbb, inst); \
 659         } while (0)
 660
 661 #define MONO_EMIT_NEW_STORE_MEMBASE_IMM(cfg,op,base,offset,imm) do { \
 662         MonoInst *inst; \
 663         MONO_INST_NEW ((cfg), (inst), (op)); \
 664         inst->inst_destbasereg = base; \
 665         inst->inst_offset = offset; \
 666         inst->inst_imm = (mgreg_t)(imm); \
 667         MONO_ADD_INS ((cfg)->cbb, inst); \
 668         } while (0)
 669
 670 #define MONO_EMIT_NEW_COND_EXC(cfg,cond,name) do { \
 671         MonoInst *inst; \
 672         MONO_INST_NEW ((cfg), (inst), (OP_COND_EXC_##cond)); \
 673         inst->inst_p1 = (char*)name; \
 674             MONO_ADD_INS ((cfg)->cbb, inst); \
 675         } while (0)
 676
 677 /* Branch support */
 678
 679 /*
 680  * Basic blocks have two numeric identifiers:
 681  * dfn: Depth First Number
 682  * block_num: unique ID assigned at bblock creation
 683  */
 684 #define NEW_BBLOCK(cfg,bblock) do { \
 685         (bblock) = mono_mempool_alloc0 ((cfg)->mempool, sizeof (MonoBasicBlock)); \
 686         (bblock)->block_num = cfg->num_bblocks++; \
 687     } while (0)
 688
 689 #define ADD_BBLOCK(cfg,b) do {  \
 690         if ((b)->cil_code)  {\
 691                         cfg->cil_offset_to_bb [(b)->cil_code - cfg->cil_start] = (b);   \
 692         } \
 693                 (b)->real_offset = cfg->real_offset;    \
 694         } while (0)
 695
 696 /* Emit a one-way conditional branch */
 697 /*
 698  * The inst_false_bb field of the cond branch will not be set, the JIT code should be
 699  * prepared to deal with this.
 700  */
 701 #ifdef DEBUG_EXTENDED_BBLOCKS
 702 static int ccount = 0;
 703 #define MONO_EMIT_NEW_BRANCH_BLOCK(cfg,op,truebb) do { \
 704         MonoInst *ins; \
 705         MonoBasicBlock *falsebb; \
 706         MONO_INST_NEW ((cfg), (ins), (op)); \
 707         if ((op) == OP_BR) { \
 708                 NEW_BBLOCK ((cfg), falsebb); \
 709             ins->inst_target_bb = (truebb); \
 710             mono_link_bblock ((cfg), (cfg)->cbb, (truebb)); \
 711             MONO_ADD_INS ((cfg)->cbb, ins); \
 712             MONO_START_BB ((cfg), falsebb); \
 713         } else { \
 714             ccount ++; \
 715                     ins->inst_many_bb = mono_mempool_alloc (cfg->mempool, sizeof(gpointer)*2);  \
 716             ins->inst_true_bb = (truebb); \
 717             ins->inst_false_bb = NULL; \
 718             mono_link_bblock ((cfg), (cfg)->cbb, (truebb)); \
 719             MONO_ADD_INS ((cfg)->cbb, ins); \
 720             if (getenv ("COUNT2") && ccount == atoi (getenv ("COUNT2")) - 1) { printf ("HIT: %d\n", cfg->cbb->block_num); } \
 721             if (getenv ("COUNT2") && ccount < atoi (getenv ("COUNT2"))) { \
 722                  cfg->cbb->extended = TRUE; \
 723             } else { NEW_BBLOCK ((cfg), falsebb); ins->inst_false_bb = (falsebb); mono_link_bblock ((cfg), (cfg)->cbb, (falsebb)); MONO_START_BB ((cfg), falsebb); } \
 724         } \
 725         } while (0)
 726 #else
 727 #define MONO_EMIT_NEW_BRANCH_BLOCK(cfg,op,truebb) do { \
 728         MonoInst *ins; \
 729         MonoBasicBlock *falsebb; \
 730         MONO_INST_NEW ((cfg), (ins), (op)); \
 731         if ((op) == OP_BR) { \
 732                 NEW_BBLOCK ((cfg), falsebb); \
 733             ins->inst_target_bb = (truebb); \
 734             mono_link_bblock ((cfg), (cfg)->cbb, (truebb)); \
 735             MONO_ADD_INS ((cfg)->cbb, ins); \
 736             MONO_START_BB ((cfg), falsebb); \
 737         } else { \
 738                     ins->inst_many_bb = mono_mempool_alloc (cfg->mempool, sizeof(gpointer)*2);  \
 739             ins->inst_true_bb = (truebb); \
 740             ins->inst_false_bb = NULL; \
 741             mono_link_bblock ((cfg), (cfg)->cbb, (truebb)); \
 742             MONO_ADD_INS ((cfg)->cbb, ins); \
 743             if (!cfg->enable_extended_bblocks) { \
 744                 NEW_BBLOCK ((cfg), falsebb); \
 745                 ins->inst_false_bb = falsebb; \
 746                 mono_link_bblock ((cfg), (cfg)->cbb, (falsebb)); \
 747                 MONO_START_BB ((cfg), falsebb); \
 748             } else { \
 749                                 cfg->cbb->extended = TRUE; \
 750                         } \
 751         } \
 752         } while (0)
 753 #endif
 754
 755 /* Emit a two-way conditional branch */
 756 #define MONO_EMIT_NEW_BRANCH_BLOCK2(cfg,op,truebb,falsebb) do { \
 757         MonoInst *ins; \
 758         MONO_INST_NEW ((cfg), (ins), (op)); \
 759                 ins->inst_many_bb = mono_mempool_alloc (cfg->mempool, sizeof(gpointer)*2);      \
 760         ins->inst_true_bb = (truebb); \
 761         ins->inst_false_bb = (falsebb); \
 762         mono_link_bblock ((cfg), (cfg)->cbb, (truebb)); \
 763         mono_link_bblock ((cfg), (cfg)->cbb, (falsebb)); \
 764         MONO_ADD_INS ((cfg)->cbb, ins); \
 765         } while (0)
 766
 767 #define MONO_START_BB(cfg, bblock) do { \
 768         ADD_BBLOCK ((cfg), (bblock)); \
 769         if (cfg->cbb->last_ins && MONO_IS_COND_BRANCH_OP (cfg->cbb->last_ins) && !cfg->cbb->last_ins->inst_false_bb) { \
 770             cfg->cbb->last_ins->inst_false_bb = (bblock); \
 771             mono_link_bblock ((cfg), (cfg)->cbb, (bblock)); \
 772         } else if (! (cfg->cbb->last_ins && ((cfg->cbb->last_ins->opcode == OP_BR) || (cfg->cbb->last_ins->opcode == OP_BR_REG) || MONO_IS_COND_BRANCH_OP (cfg->cbb->last_ins)))) \
 773             mono_link_bblock ((cfg), (cfg)->cbb, (bblock)); \
 774             (cfg)->cbb->next_bb = (bblock); \
 775             (cfg)->cbb = (bblock); \
 776     } while (0)
 777
 778 /* This marks a place in code where an implicit exception could be thrown */
 779 #define MONO_EMIT_NEW_IMPLICIT_EXCEPTION(cfg) do { \
 780                 if (COMPILE_LLVM ((cfg))) {                                                                     \
 781                         MONO_EMIT_NEW_UNALU (cfg, OP_IMPLICIT_EXCEPTION, -1, -1);       \
 782                 } \
 783         } while (0)
 784
 785 /* Loads/Stores which can fault are handled correctly by the LLVM mono branch */
 786 #define MONO_EMIT_NEW_IMPLICIT_EXCEPTION_LOAD_STORE(cfg) do { \
 787         if (COMPILE_LLVM (cfg) && !IS_LLVM_MONO_BRANCH)                 \
 788                 MONO_EMIT_NEW_IMPLICIT_EXCEPTION ((cfg));                       \
 789     } while (0)
 790
 791 /* Emit an explicit null check which doesn't depend on SIGSEGV signal handling */
 792 #define MONO_EMIT_NULL_CHECK(cfg, reg) do { \
 793                 if (cfg->explicit_null_checks) {                                                          \
 794                         MONO_EMIT_NEW_BIALU_IMM (cfg, OP_COMPARE_IMM, -1, (reg), 0); \
 795                         MONO_EMIT_NEW_COND_EXC (cfg, EQ, "NullReferenceException"); \
 796                 } else {                        \
 797                         MONO_EMIT_NEW_IMPLICIT_EXCEPTION_LOAD_STORE (cfg);                                              \
 798                 }                                                                                                                               \
 799         } while (0)
 800
 801 #define MONO_EMIT_NEW_CHECK_THIS(cfg, sreg) do { \
 802                 cfg->flags |= MONO_CFG_HAS_CHECK_THIS;   \
 803                 if (cfg->explicit_null_checks) {                 \
 804                         MONO_EMIT_NULL_CHECK (cfg, sreg);                               \
 805                 } else {                                                                                        \
 806                         MONO_EMIT_NEW_UNALU (cfg, OP_CHECK_THIS, -1, sreg);                     \
 807                         MONO_EMIT_NEW_IMPLICIT_EXCEPTION_LOAD_STORE (cfg);                      \
 808                 }                                                                                                                               \
 809                 MONO_EMIT_NEW_UNALU (cfg, OP_NOT_NULL, -1, sreg);                               \
 810         } while (0)
 811
 812 #define NEW_LOAD_MEMBASE_FLAGS(cfg,dest,op,dr,base,offset,ins_flags) do {       \
 813                 int __ins_flags = ins_flags; \
 814                 if (__ins_flags & MONO_INST_FAULT) {                                                            \
 815                         MONO_EMIT_NULL_CHECK ((cfg), (base));                                           \
 816                         if (cfg->explicit_null_checks)                                                          \
 817                                 __ins_flags &= ~MONO_INST_FAULT;                                                        \
 818                 }                                                                                                                               \
 819                 NEW_LOAD_MEMBASE ((cfg), (dest), (op), (dr), (base), (offset)); \
 820                 (dest)->flags = (__ins_flags);                                                                  \
 821         } while (0)
 822
 823 #define MONO_EMIT_NEW_LOAD_MEMBASE_OP_FLAGS(cfg,op,dr,base,offset,ins_flags) do { \
 824         MonoInst *inst;                                                                                                 \
 825                 int __ins_flags = ins_flags; \
 826             if (__ins_flags & MONO_INST_FAULT) {                                                                        \
 827                         MONO_EMIT_NULL_CHECK ((cfg), (base));                                           \
 828                         if (cfg->explicit_null_checks)                                                          \
 829                                 __ins_flags &= ~MONO_INST_FAULT;                                                        \
 830                 }                                                                                                                               \
 831                 NEW_LOAD_MEMBASE ((cfg), (inst), (op), (dr), (base), (offset)); \
 832                 inst->flags = (__ins_flags); \
 833             MONO_ADD_INS (cfg->cbb, inst); \
 834     } while (0)
 835
 836 #define MONO_EMIT_NEW_LOAD_MEMBASE_FLAGS(cfg,dr,base,offset,ins_flags) MONO_EMIT_NEW_LOAD_MEMBASE_OP_FLAGS ((cfg), (OP_LOAD_MEMBASE), (dr), (base), (offset),(ins_flags))
 837
 838 /* A load which can cause a nullref */
 839 #define NEW_LOAD_MEMBASE_FAULT(cfg,dest,op,dr,base,offset) NEW_LOAD_MEMBASE_FLAGS ((cfg), (dest), (op), (dr), (base), (offset), MONO_INST_FAULT)
 840
 841 #define EMIT_NEW_LOAD_MEMBASE_FAULT(cfg,dest,op,dr,base,offset) do { \
 842                 NEW_LOAD_MEMBASE_FAULT ((cfg), (dest), (op), (dr), (base), (offset)); \
 843                 MONO_ADD_INS ((cfg)->cbb, (dest)); \
 844         } while (0)
 845
 846 #define MONO_EMIT_NEW_LOAD_MEMBASE_OP_FAULT(cfg,op,dr,base,offset) MONO_EMIT_NEW_LOAD_MEMBASE_OP_FLAGS ((cfg), (op), (dr), (base), (offset), MONO_INST_FAULT)
 847
 848 #define MONO_EMIT_NEW_LOAD_MEMBASE_FAULT(cfg,dr,base,offset) MONO_EMIT_NEW_LOAD_MEMBASE_OP_FAULT ((cfg), (OP_LOAD_MEMBASE), (dr), (base), (offset))
 849
 850 /*Object Model related macros*/
 851
 852 /* Default bounds check implementation for most architectures + llvm */
 853 #define MONO_EMIT_DEFAULT_BOUNDS_CHECK(cfg, array_reg, offset, index_reg, fault) do { \
 854                         int _length_reg = alloc_ireg (cfg); \
 855                         if (fault) \
 856                                 MONO_EMIT_NEW_LOAD_MEMBASE_OP_FAULT (cfg, OP_LOADI4_MEMBASE, _length_reg, array_reg, offset); \
 857                         else \
 858                                 MONO_EMIT_NEW_LOAD_MEMBASE_OP_FLAGS (cfg, OP_LOADI4_MEMBASE, _length_reg, array_reg, offset, MONO_INST_CONSTANT_LOAD); \
 859                         MONO_EMIT_NEW_BIALU (cfg, OP_COMPARE, -1, _length_reg, index_reg); \
 860                         MONO_EMIT_NEW_COND_EXC (cfg, LE_UN, "IndexOutOfRangeException"); \
 861         } while (0)
 862
 863 #ifndef MONO_ARCH_EMIT_BOUNDS_CHECK
 864 #define MONO_ARCH_EMIT_BOUNDS_CHECK(cfg, array_reg, offset, index_reg) MONO_EMIT_DEFAULT_BOUNDS_CHECK ((cfg), (array_reg), (offset), (index_reg), TRUE)
 865 #endif
 866
 867 /* cfg is the MonoCompile been used
 868  * array_reg is the vreg holding the array object
 869  * array_type is a struct (usually MonoArray or MonoString)
 870  * array_length_field is the field in the previous struct with the length
 871  * index_reg is the vreg holding the index
 872  */
 873 #define MONO_EMIT_BOUNDS_CHECK(cfg, array_reg, array_type, array_length_field, index_reg) do { \
 874                 if (!(cfg->opt & MONO_OPT_UNSAFE)) {                                                    \
 875                 if (!(cfg->opt & MONO_OPT_ABCREM)) {                                                    \
 876                         MONO_EMIT_NULL_CHECK (cfg, array_reg);                                          \
 877                         if (COMPILE_LLVM (cfg)) \
 878                                 MONO_EMIT_DEFAULT_BOUNDS_CHECK ((cfg), (array_reg), G_STRUCT_OFFSET (array_type, array_length_field), (index_reg), TRUE); \
 879                         else \
 880                                 MONO_ARCH_EMIT_BOUNDS_CHECK ((cfg), (array_reg), G_STRUCT_OFFSET (array_type, array_length_field), (index_reg)); \
 881                 } else {                                                                                                                \
 882                         MonoInst *ins;                                                                                          \
 883                         MONO_INST_NEW ((cfg), ins, OP_BOUNDS_CHECK);                            \
 884                         ins->sreg1 = array_reg;                                                                         \
 885                         ins->sreg2 = index_reg;                                                                         \
 886                         ins->inst_imm = G_STRUCT_OFFSET (array_type, array_length_field); \
 887                         ins->flags |= MONO_INST_FAULT; \
 888                         MONO_ADD_INS ((cfg)->cbb, ins);                                                         \
 889                         (cfg)->flags |= MONO_CFG_HAS_ARRAY_ACCESS;                                      \
 890                         (cfg)->cbb->has_array_access = TRUE;                                            \
 891                 }                                                                                                                               \
 892                 }                                                                                                                               \
 893     } while (0)
 894
 895 G_END_DECLS
 896
 897 #endif