mono/arch/amd64/amd64-codegen.h

   1 /*
   2  * amd64-codegen.h: Macros for generating amd64 code
   3  *
   4  * Authors:
   5  *   Paolo Molaro (lupus@ximian.com)
   6  *   Intel Corporation (ORP Project)
   7  *   Sergey Chaban (serge@wildwestsoftware.com)
   8  *   Dietmar Maurer (dietmar@ximian.com)
   9  *   Patrik Torstensson
  10  *   Zalman Stern
  11  *
  12  * Copyright (C)  2000 Intel Corporation.  All rights reserved.
  13  * Copyright (C)  2001, 2002 Ximian, Inc.
  14  * Licensed under the MIT license. See LICENSE file in the project root for full license information.
  15  */
  16
  17 #ifndef AMD64_H
  18 #define AMD64_H
  19
  20 // Conventions in this file:
  21
  22 // body: implementation. other macros call this one
  23 // disp: displacement
  24 // inst: instruction
  25 // is_half: short if true, byte if false (then why is it named is_half...?)
  26 // imm: immediate
  27 // mem: read from (immediate-supplied address?)
  28 // membase: read from address in a base register plus a displacement
  29 // memindex: SIP addressing: (address in base register) + (displacement in index register)<<(shift)
  30 // reg: register, encode modR/M bits 00
  31 // regp: register, encode modR/M bits 11
  32 // size: Expected 1,2,4 or 8
  33 // widen: extends from 1 or 2 bytes
  34
  35 #include <glib.h>
  36
  37 typedef enum {
  38         AMD64_RAX = 0,
  39         AMD64_RCX = 1,
  40         AMD64_RDX = 2,
  41         AMD64_RBX = 3,
  42         AMD64_RSP = 4,
  43         AMD64_RBP = 5,
  44         AMD64_RSI = 6,
  45         AMD64_RDI = 7,
  46         AMD64_R8 = 8,
  47         AMD64_R9 = 9,
  48         AMD64_R10 = 10,
  49         AMD64_R11 = 11,
  50         AMD64_R12 = 12,
  51         AMD64_R13 = 13,
  52         AMD64_R14 = 14,
  53         AMD64_R15 = 15,
  54         AMD64_RIP = 16,
  55         AMD64_NREG
  56 } AMD64_Reg_No;
  57
  58 typedef enum {
  59         AMD64_XMM0 = 0,
  60         AMD64_XMM1 = 1,
  61         AMD64_XMM2 = 2,
  62         AMD64_XMM3 = 3,
  63         AMD64_XMM4 = 4,
  64         AMD64_XMM5 = 5,
  65         AMD64_XMM6 = 6,
  66         AMD64_XMM7 = 7,
  67         AMD64_XMM8 = 8,
  68         AMD64_XMM9 = 9,
  69         AMD64_XMM10 = 10,
  70         AMD64_XMM11 = 11,
  71         AMD64_XMM12 = 12,
  72         AMD64_XMM13 = 13,
  73         AMD64_XMM14 = 14,
  74         AMD64_XMM15 = 15,
  75         AMD64_XMM_NREG = 16,
  76 } AMD64_XMM_Reg_No;
  77
  78 typedef enum
  79 {
  80   AMD64_REX_B = 1, /* The register in r/m field, base register in SIB byte, or reg in opcode is 8-15 rather than 0-7 */
  81   AMD64_REX_X = 2, /* The index register in SIB byte is 8-15 rather than 0-7 */
  82   AMD64_REX_R = 4, /* The reg field of ModRM byte is 8-15 rather than 0-7 */
  83   AMD64_REX_W = 8  /* Opeartion is 64-bits instead of 32 (default) or 16 (with 0x66 prefix) */
  84 } AMD64_REX_Bits;
  85
  86 #if defined(__default_codegen__)
  87
  88 #define amd64_codegen_pre(inst)
  89 #define amd64_codegen_post(inst)
  90
  91 #elif defined(__native_client_codegen__)
  92
  93 #define amd64_codegen_pre(inst) guint8* _codegen_start = (inst); amd64_nacl_instruction_pre();
  94 #define amd64_codegen_post(inst) (amd64_nacl_instruction_post(&_codegen_start, &(inst)), _codegen_start);
  95
  96 /* Because of rex prefixes, etc, call sequences are not constant size.  */
  97 /* These pre- and post-sequence hooks remedy this by aligning the call  */
  98 /* sequence after we emit it, since we will know the exact size then.   */
  99 #define amd64_call_sequence_pre(inst) guint8* _code_start = (inst);
 100 #define amd64_call_sequence_post(inst) \
 101   (mono_nacl_align_call(&_code_start, &(inst)), _code_start);
 102
 103 /* Native client can load/store using one of the following registers     */
 104 /* as a base: rip, r15, rbp, rsp.  Any other base register needs to have */
 105 /* its upper 32 bits cleared and reference memory using r15 as the base. */
 106 #define amd64_is_valid_nacl_base(reg) \
 107   ((reg) == AMD64_RIP || (reg) == AMD64_R15 || \
 108    (reg) == AMD64_RBP || (reg) == AMD64_RSP)
 109
 110 #endif /*__native_client_codegen__*/
 111
 112 #ifdef TARGET_WIN32
 113 #define AMD64_ARG_REG1 AMD64_RCX
 114 #define AMD64_ARG_REG2 AMD64_RDX
 115 #define AMD64_ARG_REG3 AMD64_R8
 116 #define AMD64_ARG_REG4 AMD64_R9
 117 #else
 118 #define AMD64_ARG_REG1 AMD64_RDI
 119 #define AMD64_ARG_REG2 AMD64_RSI
 120 #define AMD64_ARG_REG3 AMD64_RDX
 121 #define AMD64_ARG_REG4 AMD64_RCX
 122 #endif
 123
 124 #ifdef TARGET_WIN32
 125 #define AMD64_CALLEE_REGS ((1<<AMD64_RAX) | (1<<AMD64_RCX) | (1<<AMD64_RDX) | (1<<AMD64_R8) | (1<<AMD64_R9) | (1<<AMD64_R10))
 126 #define AMD64_IS_CALLEE_REG(reg)  (AMD64_CALLEE_REGS & (1 << (reg)))
 127
 128 #define AMD64_ARGUMENT_REGS ((1<<AMD64_RDX) | (1<<AMD64_RCX) | (1<<AMD64_R8) | (1<<AMD64_R9))
 129 #define AMD64_IS_ARGUMENT_REG(reg) (AMD64_ARGUMENT_REGS & (1 << (reg)))
 130
 131 #define AMD64_CALLEE_SAVED_REGS ((1<<AMD64_RDI) | (1<<AMD64_RSI) | (1<<AMD64_RBX) | (1<<AMD64_R12) | (1<<AMD64_R13) | (1<<AMD64_R14) | (1<<AMD64_R15) | (1<<AMD64_RBP))
 132 #define AMD64_IS_CALLEE_SAVED_REG(reg) (AMD64_CALLEE_SAVED_REGS & (1 << (reg)))
 133 #elif defined(__native_client_codegen__)
 134 /* AMD64 Native Client code may not write R15 */
 135 #define AMD64_CALLEE_REGS ((1<<AMD64_RAX) | (1<<AMD64_RCX) | (1<<AMD64_RDX) | (1<<AMD64_RSI) | (1<<AMD64_RDI) | (1<<AMD64_R8) | (1<<AMD64_R9) | (1<<AMD64_R10))
 136 #define AMD64_IS_CALLEE_REG(reg)  (AMD64_CALLEE_REGS & (1 << (reg)))
 137
 138 #define AMD64_ARGUMENT_REGS ((1<<AMD64_RDI) | (1<<AMD64_RSI) | (1<<AMD64_RDX) | (1<<AMD64_RCX) | (1<<AMD64_R8) | (1<<AMD64_R9))
 139 #define AMD64_IS_ARGUMENT_REG(reg) (AMD64_ARGUMENT_REGS & (1 << (reg)))
 140
 141 #define AMD64_CALLEE_SAVED_REGS ((1<<AMD64_RBX) | (1<<AMD64_R12) | (1<<AMD64_R13) | (1<<AMD64_R14) | (1<<AMD64_RBP))
 142 #define AMD64_IS_CALLEE_SAVED_REG(reg) (AMD64_CALLEE_SAVED_REGS & (1 << (reg)))
 143 #else
 144 #define AMD64_CALLEE_REGS ((1<<AMD64_RAX) | (1<<AMD64_RCX) | (1<<AMD64_RDX) | (1<<AMD64_RSI) | (1<<AMD64_RDI) | (1<<AMD64_R8) | (1<<AMD64_R9) | (1<<AMD64_R10))
 145 #define AMD64_IS_CALLEE_REG(reg)  (AMD64_CALLEE_REGS & (1 << (reg)))
 146
 147 #define AMD64_ARGUMENT_REGS ((1<<AMD64_RDI) | (1<<AMD64_RSI) | (1<<AMD64_RDX) | (1<<AMD64_RCX) | (1<<AMD64_R8) | (1<<AMD64_R9))
 148 #define AMD64_IS_ARGUMENT_REG(reg) (AMD64_ARGUMENT_REGS & (1 << (reg)))
 149
 150 #define AMD64_CALLEE_SAVED_REGS ((1<<AMD64_RBX) | (1<<AMD64_R12) | (1<<AMD64_R13) | (1<<AMD64_R14) | (1<<AMD64_R15) | (1<<AMD64_RBP))
 151 #define AMD64_IS_CALLEE_SAVED_REG(reg) (AMD64_CALLEE_SAVED_REGS & (1 << (reg)))
 152 #endif
 153
 154 #define AMD64_REX(bits) ((unsigned char)(0x40 | (bits)))
 155 #if defined(__default_codegen__)
 156 #define amd64_emit_rex(inst, width, reg_modrm, reg_index, reg_rm_base_opcode) do \
 157         { \
 158                 unsigned char _amd64_rex_bits = \
 159                         (((width) > 4) ? AMD64_REX_W : 0) | \
 160                         (((reg_modrm) > 7) ? AMD64_REX_R : 0) | \
 161                         (((reg_index) > 7) ? AMD64_REX_X : 0) | \
 162                         (((reg_rm_base_opcode) > 7) ? AMD64_REX_B : 0); \
 163                 if ((_amd64_rex_bits != 0) || (((width) == 1))) *(inst)++ = AMD64_REX(_amd64_rex_bits); \
 164         } while (0)
 165 #elif defined(__native_client_codegen__)
 166 #define amd64_emit_rex(inst, width, reg_modrm, reg_index, reg_rm_base_opcode) do \
 167         { \
 168                 unsigned char _amd64_rex_bits = \
 169                         (((width) > 4) ? AMD64_REX_W : 0) | \
 170                         (((reg_modrm) > 7) ? AMD64_REX_R : 0) | \
 171                         (((reg_index) > 7) ? AMD64_REX_X : 0) | \
 172                         (((reg_rm_base_opcode) > 7) ? AMD64_REX_B : 0); \
 173                 amd64_nacl_tag_rex((inst)); \
 174                 if ((_amd64_rex_bits != 0) || (((width) == 1))) *(inst)++ = AMD64_REX(_amd64_rex_bits); \
 175         } while (0)
 176 #endif
 177
 178 typedef union {
 179         guint64 val;
 180         unsigned char b [8];
 181 } amd64_imm_buf;
 182
 183 #include "../x86/x86-codegen.h"
 184
 185 /* In 64 bit mode, all registers have a low byte subregister */
 186 #undef X86_IS_BYTE_REG
 187 #define X86_IS_BYTE_REG(reg) 1
 188
 189 #define amd64_modrm_mod(modrm) ((modrm) >> 6)
 190 #define amd64_modrm_reg(modrm) (((modrm) >> 3) & 0x7)
 191 #define amd64_modrm_rm(modrm) ((modrm) & 0x7)
 192
 193 #define amd64_rex_r(rex) ((((rex) >> 2) & 0x1) << 3)
 194 #define amd64_rex_x(rex) ((((rex) >> 1) & 0x1) << 3)
 195 #define amd64_rex_b(rex) ((((rex) >> 0) & 0x1) << 3)
 196
 197 #define amd64_sib_scale(sib) ((sib) >> 6)
 198 #define amd64_sib_index(sib) (((sib) >> 3) & 0x7)
 199 #define amd64_sib_base(sib) ((sib) & 0x7)
 200
 201 #define amd64_is_imm32(val) ((gint64)val >= -((gint64)1<<31) && (gint64)val <= (((gint64)1<<31)-1))
 202
 203 #define x86_imm_emit64(inst,imm)     \
 204         do {    \
 205                         amd64_imm_buf imb;      \
 206                         imb.val = (guint64) (imm);      \
 207                         *(inst)++ = imb.b [0];  \
 208                         *(inst)++ = imb.b [1];  \
 209                         *(inst)++ = imb.b [2];  \
 210                         *(inst)++ = imb.b [3];  \
 211                         *(inst)++ = imb.b [4];  \
 212                         *(inst)++ = imb.b [5];  \
 213                         *(inst)++ = imb.b [6];  \
 214                         *(inst)++ = imb.b [7];  \
 215         } while (0)
 216
 217 #define amd64_membase_emit(inst,reg,basereg,disp) do { \
 218         if ((basereg) == AMD64_RIP) { \
 219         x86_address_byte ((inst), 0, (reg)&0x7, 5); \
 220         x86_imm_emit32 ((inst), (disp)); \
 221     } \
 222         else \
 223                 x86_membase_emit ((inst),(reg)&0x7, (basereg)&0x7, (disp)); \
 224 } while (0)
 225
 226 #define amd64_alu_reg_imm_size_body(inst,opc,reg,imm,size) \
 227         do {    \
 228                 if (x86_is_imm8((imm))) {       \
 229                         amd64_emit_rex(inst, size, 0, 0, (reg)); \
 230                         *(inst)++ = (unsigned char)0x83;        \
 231                         x86_reg_emit ((inst), (opc), (reg));    \
 232                         x86_imm_emit8 ((inst), (imm));  \
 233                 } else if ((reg) == AMD64_RAX) {        \
 234                         amd64_emit_rex(inst, size, 0, 0, 0); \
 235                         *(inst)++ = (((unsigned char)(opc)) << 3) + 5;  \
 236                         x86_imm_emit32 ((inst), (imm)); \
 237                 } else {        \
 238                         amd64_emit_rex(inst, size, 0, 0, (reg)); \
 239                         *(inst)++ = (unsigned char)0x81;        \
 240                         x86_reg_emit ((inst), (opc), (reg));    \
 241                         x86_imm_emit32 ((inst), (imm)); \
 242                 }       \
 243         } while (0)
 244
 245 #define amd64_alu_reg_reg_size_body(inst,opc,dreg,reg,size)     \
 246         do {    \
 247                 amd64_emit_rex(inst, size, (dreg), 0, (reg)); \
 248                 *(inst)++ = (((unsigned char)(opc)) << 3) + 3;  \
 249                 x86_reg_emit ((inst), (dreg), (reg));   \
 250         } while (0)
 251
 252 #if defined(__default_codegen__)
 253
 254 #define amd64_alu_reg_imm_size(inst,opc,reg,imm,size) \
 255         amd64_alu_reg_imm_size_body((inst), (opc), (reg), (imm), (size))
 256
 257 #define amd64_alu_reg_reg_size(inst,opc,dreg,reg,size) \
 258                 amd64_alu_reg_reg_size_body((inst), (opc), (dreg), (reg), (size))
 259
 260 #elif defined(__native_client_codegen__)
 261 /* NaCl modules may not directly update RSP or RBP other than direct copies */
 262 /* between them. Instead the lower 4 bytes are updated and then added to R15 */
 263 #define amd64_is_nacl_stack_reg(reg) (((reg) == AMD64_RSP) || ((reg) == AMD64_RBP))
 264
 265 #define amd64_alu_reg_imm_size(inst,opc,reg,imm,size)   \
 266         do{ \
 267                 amd64_codegen_pre(inst);                \
 268                 if (amd64_is_nacl_stack_reg(reg)) { \
 269                         if (((opc) != X86_ADD) && ((opc) != X86_SUB)) \
 270                                 g_assert_not_reached(); \
 271                         amd64_alu_reg_imm_size_body((inst), (opc), (reg), (imm), 4); \
 272                         /* Use LEA instead of ADD to preserve flags */ \
 273                         amd64_lea_memindex_size((inst), (reg), (reg), 0, AMD64_R15, 0, 8); \
 274                 } else { \
 275                         amd64_alu_reg_imm_size_body((inst), (opc), (reg), (imm), (size)); \
 276                 } \
 277                 amd64_codegen_post(inst);               \
 278         } while(0)
 279
 280 #define amd64_alu_reg_reg_size(inst,opc,dreg,reg,size) \
 281         do { \
 282                 amd64_codegen_pre(inst);                \
 283                 if (amd64_is_nacl_stack_reg((dreg)) && ((reg) != AMD64_R15)) { \
 284                         if (((opc) != X86_ADD && (opc) != X86_SUB)) \
 285                                 g_assert_not_reached(); \
 286                         amd64_alu_reg_reg_size_body((inst), (opc), (dreg), (reg), 4); \
 287                         /* Use LEA instead of ADD to preserve flags */ \
 288                         amd64_lea_memindex_size((inst), (dreg), (dreg), 0, AMD64_R15, 0, 8); \
 289                 } else { \
 290                         amd64_alu_reg_reg_size_body((inst), (opc), (dreg), (reg), (size)); \
 291                 } \
 292                 amd64_codegen_post(inst);               \
 293         } while (0)
 294
 295 #endif /*__native_client_codegen__*/
 296
 297 #define amd64_alu_reg_imm(inst,opc,reg,imm) amd64_alu_reg_imm_size((inst),(opc),(reg),(imm),8)
 298
 299 #define amd64_alu_reg_reg(inst,opc,dreg,reg) amd64_alu_reg_reg_size ((inst),(opc),(dreg),(reg),8)
 300
 301 #define amd64_alu_reg_membase_size(inst,opc,reg,basereg,disp,size) \
 302         do { \
 303                 amd64_codegen_pre(inst);                                                  \
 304                 amd64_emit_rex ((inst),(size),(reg),0,(basereg)); \
 305                 *(inst)++ = (((unsigned char)(opc)) << 3) + 3;  \
 306                 amd64_membase_emit (inst, reg, basereg, disp); \
 307                 amd64_codegen_post(inst);                                          \
 308 } while (0)
 309
 310 #define amd64_mov_regp_reg(inst,regp,reg,size)  \
 311         do {    \
 312                 amd64_codegen_pre(inst); \
 313                 if ((size) == 2) \
 314                         x86_prefix((inst), X86_OPERAND_PREFIX); \
 315                 amd64_emit_rex(inst, (size), (reg), 0, (regp)); \
 316                 switch ((size)) {       \
 317                 case 1: *(inst)++ = (unsigned char)0x88; break; \
 318                 case 2: case 4: case 8: *(inst)++ = (unsigned char)0x89; break; \
 319                 default: assert (0);    \
 320                 }       \
 321                 x86_regp_emit ((inst), (reg), (regp));  \
 322                 amd64_codegen_post(inst); \
 323         } while (0)
 324
 325 #define amd64_mov_membase_reg(inst,basereg,disp,reg,size)       \
 326         do {    \
 327                 amd64_codegen_pre(inst); \
 328                 if ((size) == 2) \
 329                         x86_prefix((inst), X86_OPERAND_PREFIX); \
 330                 amd64_emit_rex(inst, (size), (reg), 0, (basereg)); \
 331                 switch ((size)) {       \
 332                 case 1: *(inst)++ = (unsigned char)0x88; break; \
 333                 case 2: case 4: case 8: *(inst)++ = (unsigned char)0x89; break; \
 334                 default: assert (0);    \
 335                 }       \
 336                 x86_membase_emit ((inst), ((reg)&0x7), ((basereg)&0x7), (disp));        \
 337                 amd64_codegen_post(inst); \
 338         } while (0)
 339
 340 #define amd64_mov_mem_reg(inst,mem,reg,size)    \
 341         do {    \
 342                 amd64_codegen_pre(inst); \
 343                 if ((size) == 2) \
 344                         x86_prefix((inst), X86_OPERAND_PREFIX); \
 345                 amd64_emit_rex(inst, (size), (reg), 0, 0); \
 346                 switch ((size)) {       \
 347                 case 1: *(inst)++ = (unsigned char)0x88; break; \
 348                 case 2: case 4: case 8: *(inst)++ = (unsigned char)0x89; break; \
 349                 default: assert (0);    \
 350                 }       \
 351                 x86_address_byte ((inst), 0, (reg), 4); \
 352                 x86_address_byte ((inst), 0, 4, 5); \
 353                 x86_imm_emit32 ((inst), (mem)); \
 354                 amd64_codegen_post(inst); \
 355         } while (0)
 356
 357 #define amd64_mov_reg_reg(inst,dreg,reg,size)   \
 358         do {    \
 359                 amd64_codegen_pre(inst); \
 360                 if ((size) == 2) \
 361                         x86_prefix((inst), X86_OPERAND_PREFIX); \
 362                 amd64_emit_rex(inst, (size), (dreg), 0, (reg)); \
 363                 switch ((size)) {       \
 364                 case 1: *(inst)++ = (unsigned char)0x8a; break; \
 365                 case 2: case 4: case 8: *(inst)++ = (unsigned char)0x8b; break; \
 366                 default: assert (0);    \
 367                 }       \
 368                 x86_reg_emit ((inst), (dreg), (reg));   \
 369                 amd64_codegen_post(inst); \
 370         } while (0)
 371
 372 #define amd64_mov_reg_mem_body(inst,reg,mem,size)       \
 373         do {    \
 374                 amd64_codegen_pre(inst); \
 375                 if ((size) == 2) \
 376                         x86_prefix((inst), X86_OPERAND_PREFIX); \
 377                 amd64_emit_rex(inst, (size), (reg), 0, 0); \
 378                 switch ((size)) {       \
 379                 case 1: *(inst)++ = (unsigned char)0x8a; break; \
 380                 case 2: case 4: case 8: *(inst)++ = (unsigned char)0x8b; break; \
 381                 default: assert (0);    \
 382                 }       \
 383                 x86_address_byte ((inst), 0, (reg), 4); \
 384                 x86_address_byte ((inst), 0, 4, 5); \
 385                 x86_imm_emit32 ((inst), (mem)); \
 386                 amd64_codegen_post(inst); \
 387         } while (0)
 388
 389 #if defined(__default_codegen__)
 390 #define amd64_mov_reg_mem(inst,reg,mem,size)    \
 391         do {    \
 392                 amd64_mov_reg_mem_body((inst),(reg),(mem),(size)); \
 393         } while (0)
 394 #elif defined(__native_client_codegen__)
 395 /* We have to re-base memory reads because memory isn't zero based. */
 396 #define amd64_mov_reg_mem(inst,reg,mem,size)    \
 397         do {    \
 398                 amd64_mov_reg_membase((inst),(reg),AMD64_R15,(mem),(size)); \
 399         } while (0)
 400 #endif /* __native_client_codegen__ */
 401
 402 #define amd64_mov_reg_membase_body(inst,reg,basereg,disp,size)  \
 403         do {    \
 404                 if ((size) == 2) \
 405                         x86_prefix((inst), X86_OPERAND_PREFIX); \
 406                 amd64_emit_rex(inst, (size), (reg), 0, (basereg)); \
 407                 switch ((size)) {       \
 408                 case 1: *(inst)++ = (unsigned char)0x8a; break; \
 409                 case 2: case 4: case 8: *(inst)++ = (unsigned char)0x8b; break; \
 410                 default: assert (0);    \
 411                 }       \
 412                 amd64_membase_emit ((inst), (reg), (basereg), (disp));  \
 413         } while (0)
 414
 415 #define amd64_mov_reg_memindex_size_body(inst,reg,basereg,disp,indexreg,shift,size) \
 416         do { \
 417                 amd64_emit_rex ((inst),(size),(reg),(indexreg),(basereg)); \
 418                 x86_mov_reg_memindex((inst),((reg)&0x7),((basereg)&0x7),(disp),((indexreg)&0x7),(shift),(size) == 8 ? 4 : (size)); \
 419         } while (0)
 420
 421 #if defined(__default_codegen__)
 422
 423 #define amd64_mov_reg_memindex_size(inst,reg,basereg,disp,indexreg,shift,size) \
 424         amd64_mov_reg_memindex_size_body((inst),(reg),(basereg),(disp),(indexreg),(shift),(size))
 425 #define amd64_mov_reg_membase(inst,reg,basereg,disp,size)       \
 426         do {    \
 427                 amd64_mov_reg_membase_body((inst), (reg), (basereg), (disp), (size)); \
 428         } while (0)
 429
 430 #elif defined(__native_client_codegen__)
 431
 432 #define amd64_mov_reg_memindex_size(inst,reg,basereg,disp,indexreg,shift,size) \
 433         do { \
 434                 amd64_codegen_pre(inst); \
 435                 if (amd64_is_nacl_stack_reg((reg))) { \
 436                         /* Clear upper 32 bits with mov of size 4 */ \
 437                         amd64_mov_reg_memindex_size_body((inst), (reg), (basereg), (disp), (indexreg), (shift), 4); \
 438                         /* Add %r15 using LEA to preserve flags */ \
 439                         amd64_lea_memindex_size((inst), (reg), (reg), 0, AMD64_R15, 0, 8); \
 440                 } else { \
 441                         amd64_mov_reg_memindex_size_body((inst), (reg), (basereg), (disp), (indexreg), (shift), (size)); \
 442                 } \
 443                 amd64_codegen_post(inst); \
 444         } while(0)
 445
 446 #define amd64_mov_reg_membase(inst,reg,basereg,disp,size)       \
 447         do {    \
 448                 amd64_codegen_pre(inst); \
 449                 if (amd64_is_nacl_stack_reg((reg))) { \
 450                         /* Clear upper 32 bits with mov of size 4 */ \
 451                         amd64_mov_reg_membase_body((inst), (reg), (basereg), (disp), 4); \
 452                         /* Add %r15 */ \
 453                         amd64_lea_memindex_size((inst), (reg), (reg), 0, AMD64_R15, 0, 8); \
 454                 } else { \
 455                         amd64_mov_reg_membase_body((inst), (reg), (basereg), (disp), (size)); \
 456                 } \
 457                 amd64_codegen_post(inst); \
 458         } while (0)
 459
 460 #endif /*__native_client_codegen__*/
 461
 462 #define amd64_movzx_reg_membase(inst,reg,basereg,disp,size)     \
 463         do {    \
 464                 amd64_codegen_pre(inst); \
 465                 amd64_emit_rex(inst, (size), (reg), 0, (basereg)); \
 466                 switch ((size)) {       \
 467                 case 1: *(inst)++ = (unsigned char)0x0f; *(inst)++ = (unsigned char)0xb6; break;        \
 468                 case 2: *(inst)++ = (unsigned char)0x0f; *(inst)++ = (unsigned char)0xb7; break;        \
 469                 case 4: case 8: *(inst)++ = (unsigned char)0x8b; break; \
 470                 default: assert (0);    \
 471                 }       \
 472                 x86_membase_emit ((inst), ((reg)&0x7), ((basereg)&0x7), (disp));        \
 473                 amd64_codegen_post(inst); \
 474         } while (0)
 475
 476 #define amd64_movsxd_reg_mem(inst,reg,mem) \
 477     do {     \
 478         amd64_codegen_pre(inst); \
 479         amd64_emit_rex(inst,8,(reg),0,0); \
 480         *(inst)++ = (unsigned char)0x63; \
 481         x86_mem_emit ((inst), ((reg)&0x7), (mem)); \
 482         amd64_codegen_post(inst); \
 483     } while (0)
 484
 485 #define amd64_movsxd_reg_membase(inst,reg,basereg,disp) \
 486     do {     \
 487         amd64_codegen_pre(inst); \
 488         amd64_emit_rex(inst,8,(reg),0,(basereg)); \
 489         *(inst)++ = (unsigned char)0x63; \
 490         x86_membase_emit ((inst), ((reg)&0x7), ((basereg)&0x7), (disp)); \
 491         amd64_codegen_post(inst); \
 492     } while (0)
 493
 494 #define amd64_movsxd_reg_reg(inst,dreg,reg) \
 495     do {     \
 496         amd64_codegen_pre(inst); \
 497         amd64_emit_rex(inst,8,(dreg),0,(reg)); \
 498         *(inst)++ = (unsigned char)0x63; \
 499         x86_reg_emit ((inst), (dreg), (reg));   \
 500         amd64_codegen_post(inst); \
 501     } while (0)
 502
 503 /* Pretty much the only instruction that supports a 64-bit immediate. Optimize for common case of
 504  * 32-bit immediate. Pepper with casts to avoid warnings.
 505  */
 506 #define amd64_mov_reg_imm_size(inst,reg,imm,size)       \
 507         do {    \
 508                 amd64_codegen_pre(inst); \
 509                 amd64_emit_rex(inst, (size), 0, 0, (reg)); \
 510                 *(inst)++ = (unsigned char)0xb8 + ((reg) & 0x7);        \
 511                 if ((size) == 8) \
 512                         x86_imm_emit64 ((inst), (guint64)(imm));        \
 513                 else \
 514                         x86_imm_emit32 ((inst), (int)(guint64)(imm));   \
 515                 amd64_codegen_post(inst); \
 516         } while (0)
 517
 518 #define amd64_mov_reg_imm(inst,reg,imm) \
 519         do {    \
 520                 int _amd64_width_temp = ((guint64)(imm) == (guint64)(int)(guint64)(imm)); \
 521                 amd64_codegen_pre(inst); \
 522                 amd64_mov_reg_imm_size ((inst), (reg), (imm), (_amd64_width_temp ? 4 : 8)); \
 523                 amd64_codegen_post(inst); \
 524         } while (0)
 525
 526 #define amd64_set_reg_template(inst,reg) amd64_mov_reg_imm_size ((inst),(reg), 0, 8)
 527
 528 #define amd64_set_template(inst,reg) amd64_set_reg_template((inst),(reg))
 529
 530 #define amd64_mov_membase_imm(inst,basereg,disp,imm,size)       \
 531         do {    \
 532                 amd64_codegen_pre(inst); \
 533                 if ((size) == 2) \
 534                         x86_prefix((inst), X86_OPERAND_PREFIX); \
 535                 amd64_emit_rex(inst, (size) == 1 ? 0 : (size), 0, 0, (basereg)); \
 536                 if ((size) == 1) {      \
 537                         *(inst)++ = (unsigned char)0xc6;        \
 538                         x86_membase_emit ((inst), 0, (basereg) & 0x7, (disp));  \
 539                         x86_imm_emit8 ((inst), (imm));  \
 540                 } else if ((size) == 2) {       \
 541                         *(inst)++ = (unsigned char)0xc7;        \
 542                         x86_membase_emit ((inst), 0, (basereg) & 0x7, (disp));  \
 543                         x86_imm_emit16 ((inst), (imm)); \
 544                 } else {        \
 545                         *(inst)++ = (unsigned char)0xc7;        \
 546                         x86_membase_emit ((inst), 0, (basereg) & 0x7, (disp));  \
 547                         x86_imm_emit32 ((inst), (imm)); \
 548                 }       \
 549                 amd64_codegen_post(inst); \
 550         } while (0)
 551
 552
 553 #define amd64_lea_membase_body(inst,reg,basereg,disp)   \
 554         do {    \
 555                 amd64_emit_rex(inst, 8, (reg), 0, (basereg)); \
 556                 *(inst)++ = (unsigned char)0x8d;        \
 557                 amd64_membase_emit ((inst), (reg), (basereg), (disp));  \
 558         } while (0)
 559
 560 #if defined(__default_codegen__)
 561 #define amd64_lea_membase(inst,reg,basereg,disp) \
 562         amd64_lea_membase_body((inst), (reg), (basereg), (disp))
 563 #elif defined(__native_client_codegen__)
 564 /* NaCl modules may not write directly into RSP/RBP. Instead, use a */
 565 /*  32-bit LEA and add R15 to the effective address */
 566 #define amd64_lea_membase(inst,reg,basereg,disp) \
 567         do { \
 568                 amd64_codegen_pre(inst); \
 569                 if (amd64_is_nacl_stack_reg(reg)) { \
 570                         /* 32-bit LEA */ \
 571                         amd64_emit_rex((inst), 4, (reg), 0, (basereg)); \
 572                         *(inst)++ = (unsigned char)0x8d; \
 573                         amd64_membase_emit((inst), (reg), (basereg), (disp)); \
 574                         /* Use a 64-bit LEA instead of an ADD to preserve flags */ \
 575                         amd64_lea_memindex_size((inst), (reg), (reg), 0, AMD64_R15, 0, 8); \
 576                 } else { \
 577                         amd64_lea_membase_body((inst), (reg), (basereg), (disp)); \
 578                 } \
 579                 amd64_codegen_post(inst); \
 580         } while (0)
 581 #endif /*__native_client_codegen__*/
 582
 583 /* Instruction are implicitly 64-bits so don't generate REX for just the size. */
 584 #define amd64_push_reg(inst,reg)        \
 585         do {    \
 586                 amd64_codegen_pre(inst); \
 587                 amd64_emit_rex(inst, 0, 0, 0, (reg)); \
 588                 *(inst)++ = (unsigned char)0x50 + ((reg) & 0x7);        \
 589                 amd64_codegen_post(inst); \
 590         } while (0)
 591
 592 /* Instruction is implicitly 64-bits so don't generate REX for just the size. */
 593 #define amd64_push_membase(inst,basereg,disp)   \
 594         do {    \
 595                 amd64_codegen_pre(inst); \
 596                 amd64_emit_rex(inst, 0, 0, 0, (basereg)); \
 597                 *(inst)++ = (unsigned char)0xff;        \
 598                 x86_membase_emit ((inst), 6, (basereg) & 0x7, (disp));  \
 599                 amd64_codegen_post(inst); \
 600         } while (0)
 601
 602 #define amd64_pop_reg_body(inst,reg)    \
 603         do {    \
 604                 amd64_codegen_pre(inst);  \
 605                 amd64_emit_rex(inst, 0, 0, 0, (reg)); \
 606                 *(inst)++ = (unsigned char)0x58 + ((reg) & 0x7);        \
 607                 amd64_codegen_post(inst);  \
 608         } while (0)
 609
 610 #if defined(__default_codegen__)
 611
 612 #define amd64_call_reg(inst,reg)        \
 613         do {    \
 614                 amd64_emit_rex(inst, 0, 0, 0, (reg)); \
 615                 *(inst)++ = (unsigned char)0xff;        \
 616                 x86_reg_emit ((inst), 2, ((reg) & 0x7));        \
 617         } while (0)
 618
 619
 620 #define amd64_ret(inst) do { *(inst)++ = (unsigned char)0xc3; } while (0)
 621 #define amd64_leave(inst) do { *(inst)++ = (unsigned char)0xc9; } while (0)
 622
 623 #define amd64_pop_reg(inst,reg) amd64_pop_reg_body((inst), (reg))
 624
 625 #elif defined(__native_client_codegen__)
 626
 627 /* Size is ignored for Native Client jumps, we restrict jumping to 32-bits */
 628 #define amd64_jump_reg_size(inst,reg,size)                                \
 629   do {                                                                    \
 630     amd64_codegen_pre((inst));                                            \
 631     amd64_alu_reg_imm_size((inst), X86_AND, (reg), (nacl_align_byte), 4); \
 632     amd64_alu_reg_reg_size((inst), X86_ADD, (reg), AMD64_R15, 8);         \
 633     amd64_emit_rex ((inst),0,0,0,(reg));                                  \
 634     x86_jump_reg((inst),((reg)&0x7));                                     \
 635     amd64_codegen_post((inst));                                           \
 636   } while (0)
 637
 638 /* Size is ignored for Native Client jumps, we restrict jumping to 32-bits */
 639 #define amd64_jump_mem_size(inst,mem,size)                                \
 640   do {                                                                    \
 641     amd64_codegen_pre((inst));                                            \
 642     amd64_mov_reg_mem((inst), (mem), AMD64_R11, 4);                       \
 643     amd64_jump_reg_size((inst), AMD64_R11, 4);                            \
 644     amd64_codegen_post((inst));                                           \
 645   } while (0)
 646
 647 #define amd64_call_reg_internal(inst,reg)                                 \
 648   do {                                                                    \
 649     amd64_codegen_pre((inst));                                            \
 650     amd64_alu_reg_imm_size((inst), X86_AND, (reg), (nacl_align_byte), 4); \
 651     amd64_alu_reg_reg_size((inst), X86_ADD, (reg), AMD64_R15, 8);         \
 652     amd64_emit_rex((inst), 0, 0, 0, (reg));                               \
 653     x86_call_reg((inst), ((reg) & 0x7));                                  \
 654     amd64_codegen_post((inst));                                           \
 655   } while (0)
 656
 657 #define amd64_call_reg(inst,reg)                                          \
 658   do {                                                                    \
 659     amd64_codegen_pre((inst));                                            \
 660     amd64_call_sequence_pre(inst);                                        \
 661     amd64_call_reg_internal((inst), (reg));                               \
 662     amd64_call_sequence_post(inst);                                       \
 663     amd64_codegen_post((inst));                                           \
 664   } while (0)
 665
 666
 667 #define amd64_ret(inst)                                                   \
 668   do {                                                                    \
 669     amd64_codegen_pre(inst);                                              \
 670     amd64_pop_reg_body((inst), AMD64_R11);                                \
 671     amd64_jump_reg_size((inst), AMD64_R11, 8);                            \
 672     amd64_codegen_post(inst);                                             \
 673   } while (0)
 674
 675 #define amd64_leave(inst)                                                 \
 676   do {                                                                    \
 677     amd64_codegen_pre(inst);                                              \
 678     amd64_mov_reg_reg((inst), AMD64_RSP, AMD64_RBP, 8);                   \
 679     amd64_pop_reg_body((inst), AMD64_R11);                                \
 680     amd64_mov_reg_reg_size((inst), AMD64_RBP, AMD64_R11, 4);              \
 681     amd64_alu_reg_reg_size((inst), X86_ADD, AMD64_RBP, AMD64_R15, 8);     \
 682     amd64_codegen_post(inst);                                             \
 683   } while (0)
 684
 685 #define amd64_pop_reg(inst,reg) \
 686         do { \
 687                 amd64_codegen_pre(inst); \
 688                 if (amd64_is_nacl_stack_reg((reg))) { \
 689                         amd64_pop_reg_body((inst), AMD64_R11); \
 690                         amd64_mov_reg_reg_size((inst), (reg), AMD64_R11, 4); \
 691                         amd64_alu_reg_reg_size((inst), X86_ADD, (reg), AMD64_R15, 8); \
 692                 } else { \
 693                         amd64_pop_reg_body((inst), (reg)); \
 694                 } \
 695                 amd64_codegen_post(inst); \
 696         } while (0)
 697
 698 #endif /*__native_client_codegen__*/
 699
 700 #define amd64_movsd_reg_regp(inst,reg,regp)     \
 701         do {    \
 702                 amd64_codegen_pre(inst); \
 703                 x86_prefix((inst), 0xf2); \
 704                 amd64_emit_rex(inst, 0, (reg), 0, (regp)); \
 705                 *(inst)++ = (unsigned char)0x0f;        \
 706                 *(inst)++ = (unsigned char)0x10;        \
 707                 x86_regp_emit ((inst), (reg) & 0x7, (regp) & 0x7);      \
 708                 amd64_codegen_post(inst); \
 709         } while (0)
 710
 711 #define amd64_movsd_regp_reg(inst,regp,reg)     \
 712         do {    \
 713                 amd64_codegen_pre(inst); \
 714                 x86_prefix((inst), 0xf2); \
 715                 amd64_emit_rex(inst, 0, (reg), 0, (regp)); \
 716                 *(inst)++ = (unsigned char)0x0f;        \
 717                 *(inst)++ = (unsigned char)0x11;        \
 718                 x86_regp_emit ((inst), (reg) & 0x7, (regp) & 0x7);      \
 719                 amd64_codegen_post(inst); \
 720         } while (0)
 721
 722 #define amd64_movss_reg_regp(inst,reg,regp)     \
 723         do {    \
 724                 amd64_codegen_pre(inst); \
 725                 x86_prefix((inst), 0xf3); \
 726                 amd64_emit_rex(inst, 0, (reg), 0, (regp)); \
 727                 *(inst)++ = (unsigned char)0x0f;        \
 728                 *(inst)++ = (unsigned char)0x10;        \
 729                 x86_regp_emit ((inst), (reg) & 0x7, (regp) & 0x7);      \
 730                 amd64_codegen_post(inst); \
 731         } while (0)
 732
 733 #define amd64_movss_regp_reg(inst,regp,reg)     \
 734         do {    \
 735                 amd64_codegen_pre(inst); \
 736                 x86_prefix((inst), 0xf3); \
 737                 amd64_emit_rex(inst, 0, (reg), 0, (regp)); \
 738                 *(inst)++ = (unsigned char)0x0f;        \
 739                 *(inst)++ = (unsigned char)0x11;        \
 740                 x86_regp_emit ((inst), (reg) & 0x7, (regp) & 0x7);      \
 741                 amd64_codegen_post(inst); \
 742         } while (0)
 743
 744 #define amd64_movsd_reg_membase(inst,reg,basereg,disp)  \
 745         do {    \
 746                 amd64_codegen_pre(inst); \
 747                 x86_prefix((inst), 0xf2); \
 748                 amd64_emit_rex(inst, 0, (reg), 0, (basereg)); \
 749                 *(inst)++ = (unsigned char)0x0f;        \
 750                 *(inst)++ = (unsigned char)0x10;        \
 751                 x86_membase_emit ((inst), (reg) & 0x7, (basereg) & 0x7, (disp));        \
 752                 amd64_codegen_post(inst); \
 753         } while (0)
 754
 755 #define amd64_movss_reg_membase(inst,reg,basereg,disp)  \
 756         do {    \
 757                 amd64_codegen_pre(inst); \
 758                 x86_prefix((inst), 0xf3); \
 759                 amd64_emit_rex(inst, 0, (reg), 0, (basereg)); \
 760                 *(inst)++ = (unsigned char)0x0f;        \
 761                 *(inst)++ = (unsigned char)0x10;        \
 762                 x86_membase_emit ((inst), (reg) & 0x7, (basereg) & 0x7, (disp));        \
 763                 amd64_codegen_post(inst); \
 764         } while (0)
 765
 766 #define amd64_movsd_membase_reg(inst,basereg,disp,reg)  \
 767         do {    \
 768                 amd64_codegen_pre(inst); \
 769                 x86_prefix((inst), 0xf2); \
 770                 amd64_emit_rex(inst, 0, (reg), 0, (basereg)); \
 771                 *(inst)++ = (unsigned char)0x0f;        \
 772                 *(inst)++ = (unsigned char)0x11;        \
 773                 x86_membase_emit ((inst), (reg) & 0x7, (basereg) & 0x7, (disp));        \
 774                 amd64_codegen_post(inst); \
 775         } while (0)
 776
 777 #define amd64_movss_membase_reg(inst,basereg,disp,reg)  \
 778         do {    \
 779                 amd64_codegen_pre(inst); \
 780                 x86_prefix((inst), 0xf3); \
 781                 amd64_emit_rex(inst, 0, (reg), 0, (basereg)); \
 782                 *(inst)++ = (unsigned char)0x0f;        \
 783                 *(inst)++ = (unsigned char)0x11;        \
 784                 x86_membase_emit ((inst), (reg) & 0x7, (basereg) & 0x7, (disp));        \
 785                 amd64_codegen_post(inst); \
 786         } while (0)
 787
 788 /* The original inc_reg opcode is used as the REX prefix */
 789 #define amd64_inc_reg_size(inst,reg,size) \
 790         do { \
 791                 amd64_codegen_pre(inst); \
 792                 amd64_emit_rex ((inst),(size),0,0,(reg)); \
 793                 *(inst)++ = (unsigned char)0xff; \
 794                 x86_reg_emit ((inst),0,(reg) & 0x7); \
 795                 amd64_codegen_post(inst); \
 796         } while (0)
 797
 798 #define amd64_dec_reg_size(inst,reg,size) \
 799         do { \
 800                 amd64_codegen_pre(inst); \
 801                 amd64_emit_rex ((inst),(size),0,0,(reg)); \
 802                 *(inst)++ = (unsigned char)0xff; \
 803                 x86_reg_emit ((inst),1,(reg) & 0x7); \
 804                 amd64_codegen_post(inst); \
 805         } while (0)
 806
 807 #define amd64_fld_membase_size(inst,basereg,disp,is_double,size) do { \
 808         amd64_codegen_pre(inst); \
 809         amd64_emit_rex ((inst),0,0,0,(basereg)); \
 810         *(inst)++ = (is_double) ? (unsigned char)0xdd : (unsigned char)0xd9;    \
 811         amd64_membase_emit ((inst), 0, (basereg), (disp));      \
 812         amd64_codegen_post(inst); \
 813 } while (0)
 814
 815 #if defined (__default_codegen__)
 816
 817 /* From the AMD64 Software Optimization Manual */
 818 #define amd64_padding_size(inst,size) \
 819     do { \
 820             switch ((size)) {                                                             \
 821         case 1: *(inst)++ = 0x90; break;                                                  \
 822         case 2: *(inst)++ = 0x66; *(inst)++ = 0x90; break;                        \
 823         case 3: *(inst)++ = 0x66; *(inst)++ = 0x66; *(inst)++ = 0x90; break; \
 824                 default: amd64_emit_rex ((inst),8,0,0,0); x86_padding ((inst), (size) - 1); \
 825                 }; \
 826                 } while (0)
 827
 828 #define amd64_call_membase_size(inst,basereg,disp,size) do { amd64_emit_rex ((inst),0,0,0,(basereg)); *(inst)++ = (unsigned char)0xff; amd64_membase_emit ((inst),2, (basereg),(disp)); } while (0)
 829 #define amd64_jump_membase_size(inst,basereg,disp,size) do { amd64_emit_rex ((inst),0,0,0,(basereg)); *(inst)++ = (unsigned char)0xff; amd64_membase_emit ((inst), 4, (basereg), (disp)); } while (0)
 830
 831 #define amd64_jump_code_size(inst,target,size) do { \
 832         if (amd64_is_imm32 ((gint64)(target) - (gint64)(inst))) {               \
 833                 x86_jump_code((inst),(target));                                                                 \
 834         } else {                                                                                                                        \
 835             amd64_jump_membase ((inst), AMD64_RIP, 0);                                                  \
 836                 *(guint64*)(inst) = (guint64)(target);                                                  \
 837                 (inst) += 8; \
 838         } \
 839 } while (0)
 840
 841 #elif defined(__native_client_codegen__)
 842
 843 /* The 3-7 byte NOP sequences in amd64_padding_size below are all illegal in */
 844 /* 64-bit Native Client because they load into rSP/rBP or use duplicate */
 845 /* prefixes. Instead we use the NOPs recommended in Section 3.5.1.8 of the */
 846 /* Intel64 and IA-32 Architectures Optimization Reference Manual and */
 847 /* Section 4.13 of AMD Software Optimization Guide for Family 10h Processors. */
 848
 849 #define amd64_padding_size(inst,size) \
 850         do { \
 851                 unsigned char *code_start = (inst); \
 852                 switch ((size)) { \
 853                         /* xchg %eax,%eax, recognized by hardware as a NOP */ \
 854                         case 1: *(inst)++ = 0x90; break; \
 855                         /* xchg %ax,%ax */ \
 856                         case 2: *(inst)++ = 0x66; *(inst)++ = 0x90; \
 857                                 break; \
 858                         /* nop (%rax) */ \
 859                         case 3: *(inst)++ = 0x0f; *(inst)++ = 0x1f; \
 860                                 *(inst)++ = 0x00; \
 861                                 break; \
 862                         /* nop 0x0(%rax) */ \
 863                         case 4: *(inst)++ = 0x0f; *(inst)++ = 0x1f; \
 864                                 x86_address_byte ((inst), 1, 0, AMD64_RAX);     \
 865                                 x86_imm_emit8 ((inst), 0);      \
 866                                 break; \
 867                         /* nop 0x0(%rax,%rax) */ \
 868                         case 5: *(inst)++ = 0x0f; *(inst)++ = 0x1f; \
 869                                 x86_address_byte ((inst), 1, 0, 4);     \
 870                                 x86_address_byte ((inst), 0, AMD64_RAX, AMD64_RAX);     \
 871                                 x86_imm_emit8 ((inst), 0);      \
 872                                 break; \
 873                         /* nopw 0x0(%rax,%rax) */ \
 874                         case 6: *(inst)++ = 0x66; *(inst)++ = 0x0f; \
 875                                 *(inst)++ = 0x1f; \
 876                                 x86_address_byte ((inst), 1, 0, 4);     \
 877                                 x86_address_byte ((inst), 0, AMD64_RAX, AMD64_RAX);     \
 878                                 x86_imm_emit8 ((inst), 0);      \
 879                                 break; \
 880                         /* nop 0x0(%rax) (32-bit displacement) */ \
 881                         case 7: *(inst)++ = 0x0f; *(inst)++ = 0x1f; \
 882                                 x86_address_byte ((inst), 2, 0, AMD64_RAX);     \
 883                                 x86_imm_emit32((inst), 0); \
 884                                 break; \
 885                         /* nop 0x0(%rax,%rax) (32-bit displacement) */ \
 886                         case 8: *(inst)++ = 0x0f; *(inst)++ = 0x1f; \
 887                                 x86_address_byte ((inst), 2, 0, 4);     \
 888                                 x86_address_byte ((inst), 0, AMD64_RAX, AMD64_RAX);     \
 889                                 x86_imm_emit32 ((inst), 0);     \
 890                                 break; \
 891                         default: \
 892                                 g_assert_not_reached(); \
 893                 } \
 894                 g_assert(code_start + (size) == (unsigned char *)(inst)); \
 895         } while (0)
 896
 897
 898 /* Size is ignored for Native Client calls, we restrict jumping to 32-bits */
 899 #define amd64_call_membase_size(inst,basereg,disp,size)                   \
 900   do {                                                                    \
 901     amd64_codegen_pre((inst));                                            \
 902     amd64_call_sequence_pre(inst);                                        \
 903     amd64_mov_reg_membase((inst), AMD64_R11, (basereg), (disp), 4);       \
 904     amd64_call_reg_internal((inst), AMD64_R11);                           \
 905     amd64_call_sequence_post(inst);                                       \
 906     amd64_codegen_post((inst));                                           \
 907   } while (0)
 908
 909 /* Size is ignored for Native Client jumps, we restrict jumping to 32-bits */
 910 #define amd64_jump_membase_size(inst,basereg,disp,size)                   \
 911   do {                                                                    \
 912     amd64_mov_reg_membase((inst), AMD64_R11, (basereg), (disp), 4);       \
 913     amd64_jump_reg_size((inst), AMD64_R11, 4);                            \
 914   } while (0)
 915
 916 /* On Native Client we can't jump more than INT_MAX in either direction */
 917 #define amd64_jump_code_size(inst,target,size)                            \
 918   do {                                                                    \
 919     /* x86_jump_code used twice in case of */                             \
 920     /* relocation by amd64_codegen_post    */                             \
 921     guint8* jump_start;                                                   \
 922     amd64_codegen_pre(inst);                                              \
 923     assert(amd64_is_imm32 ((gint64)(target) - (gint64)(inst)));           \
 924     x86_jump_code((inst),(target));                                       \
 925     inst = amd64_codegen_post(inst);                                      \
 926     jump_start = (inst);                                                  \
 927     x86_jump_code((inst),(target));                                       \
 928     mono_amd64_patch(jump_start, (target));                               \
 929 } while (0)
 930
 931 #endif /*__native_client_codegen__*/
 932
 933 /*
 934  * SSE
 935  */
 936
 937 //TODO Reorganize SSE opcode defines.
 938
 939 /* Two opcode SSE defines */
 940
 941 #define emit_sse_reg_reg_op2_size(inst,dreg,reg,op1,op2,size) do { \
 942     amd64_codegen_pre(inst); \
 943     amd64_emit_rex ((inst), size, (dreg), 0, (reg)); \
 944     *(inst)++ = (unsigned char)(op1); \
 945     *(inst)++ = (unsigned char)(op2); \
 946     x86_reg_emit ((inst), (dreg), (reg)); \
 947     amd64_codegen_post(inst); \
 948 } while (0)
 949
 950 #define emit_sse_reg_reg_op2(inst,dreg,reg,op1,op2) emit_sse_reg_reg_op2_size ((inst), (dreg), (reg), (op1), (op2), 0)
 951
 952 #define emit_sse_reg_reg_op2_imm(inst,dreg,reg,op1,op2,imm) do { \
 953    amd64_codegen_pre(inst); \
 954    emit_sse_reg_reg_op2 ((inst), (dreg), (reg), (op1), (op2)); \
 955    x86_imm_emit8 ((inst), (imm)); \
 956    amd64_codegen_post(inst); \
 957 } while (0)
 958
 959 #define emit_sse_membase_reg_op2(inst,basereg,disp,reg,op1,op2) do { \
 960     amd64_codegen_pre(inst); \
 961     amd64_emit_rex ((inst), 0, (reg), 0, (basereg)); \
 962     *(inst)++ = (unsigned char)(op1); \
 963     *(inst)++ = (unsigned char)(op2); \
 964     amd64_membase_emit ((inst), (reg), (basereg), (disp)); \
 965     amd64_codegen_post(inst); \
 966 } while (0)
 967
 968 #define emit_sse_reg_membase_op2(inst,dreg,basereg,disp,op1,op2) do { \
 969     amd64_codegen_pre(inst); \
 970     amd64_emit_rex ((inst), 0, (dreg), 0, (basereg) == AMD64_RIP ? 0 : (basereg)); \
 971     *(inst)++ = (unsigned char)(op1); \
 972     *(inst)++ = (unsigned char)(op2); \
 973     amd64_membase_emit ((inst), (dreg), (basereg), (disp)); \
 974     amd64_codegen_post(inst); \
 975 } while (0)
 976
 977 /* Three opcode SSE defines */
 978
 979 #define emit_opcode3(inst,op1,op2,op3) do { \
 980    *(inst)++ = (unsigned char)(op1); \
 981    *(inst)++ = (unsigned char)(op2); \
 982    *(inst)++ = (unsigned char)(op3); \
 983 } while (0)
 984
 985 #define emit_sse_reg_reg_size(inst,dreg,reg,op1,op2,op3,size) do { \
 986     amd64_codegen_pre(inst); \
 987     *(inst)++ = (unsigned char)(op1); \
 988         amd64_emit_rex ((inst), size, (dreg), 0, (reg)); \
 989     *(inst)++ = (unsigned char)(op2); \
 990     *(inst)++ = (unsigned char)(op3); \
 991     x86_reg_emit ((inst), (dreg), (reg)); \
 992     amd64_codegen_post(inst); \
 993 } while (0)
 994
 995 #define emit_sse_reg_reg(inst,dreg,reg,op1,op2,op3) emit_sse_reg_reg_size ((inst), (dreg), (reg), (op1), (op2), (op3), 0)
 996
 997 #define emit_sse_reg_reg_imm(inst,dreg,reg,op1,op2,op3,imm) do { \
 998    amd64_codegen_pre(inst); \
 999    emit_sse_reg_reg ((inst), (dreg), (reg), (op1), (op2), (op3)); \
1000    x86_imm_emit8 ((inst), (imm)); \
1001    amd64_codegen_post(inst); \
1002 } while (0)
1003
1004 #define emit_sse_membase_reg(inst,basereg,disp,reg,op1,op2,op3) do { \
1005     amd64_codegen_pre(inst); \
1006     x86_prefix((inst), (unsigned char)(op1)); \
1007     amd64_emit_rex ((inst), 0, (reg), 0, (basereg)); \
1008     *(inst)++ = (unsigned char)(op2); \
1009     *(inst)++ = (unsigned char)(op3); \
1010     amd64_membase_emit ((inst), (reg), (basereg), (disp)); \
1011     amd64_codegen_post(inst); \
1012 } while (0)
1013
1014 #define emit_sse_reg_membase(inst,dreg,basereg,disp,op1,op2,op3) do { \
1015     amd64_codegen_pre(inst); \
1016     x86_prefix((inst), (unsigned char)(op1)); \
1017     amd64_emit_rex ((inst), 0, (dreg), 0, (basereg) == AMD64_RIP ? 0 : (basereg)); \
1018     *(inst)++ = (unsigned char)(op2); \
1019     *(inst)++ = (unsigned char)(op3); \
1020     amd64_membase_emit ((inst), (dreg), (basereg), (disp)); \
1021     amd64_codegen_post(inst); \
1022 } while (0)
1023
1024 /* Four opcode SSE defines */
1025
1026 #define emit_sse_reg_reg_op4_size(inst,dreg,reg,op1,op2,op3,op4,size) do { \
1027     amd64_codegen_pre(inst); \
1028     x86_prefix((inst), (unsigned char)(op1)); \
1029     amd64_emit_rex ((inst), size, (dreg), 0, (reg)); \
1030     *(inst)++ = (unsigned char)(op2); \
1031     *(inst)++ = (unsigned char)(op3); \
1032     *(inst)++ = (unsigned char)(op4); \
1033     x86_reg_emit ((inst), (dreg), (reg)); \
1034     amd64_codegen_post(inst); \
1035 } while (0)
1036
1037 #define emit_sse_reg_reg_op4(inst,dreg,reg,op1,op2,op3,op4) emit_sse_reg_reg_op4_size ((inst), (dreg), (reg), (op1), (op2), (op3), (op4), 0)
1038
1039 /* specific SSE opcode defines */
1040
1041 #define amd64_sse_xorpd_reg_reg(inst,dreg,reg) emit_sse_reg_reg ((inst),(dreg),(reg), 0x66, 0x0f, 0x57)
1042
1043 #define amd64_sse_xorpd_reg_membase(inst,dreg,basereg,disp) emit_sse_reg_membase ((inst),(dreg),(basereg), (disp), 0x66, 0x0f, 0x57)
1044
1045 #define amd64_sse_andpd_reg_membase(inst,dreg,basereg,disp) emit_sse_reg_membase ((inst),(dreg),(basereg), (disp), 0x66, 0x0f, 0x54)
1046
1047 #define amd64_sse_movsd_reg_reg(inst,dreg,reg) emit_sse_reg_reg ((inst), (dreg), (reg), 0xf2, 0x0f, 0x10)
1048 #define amd64_sse_movss_reg_reg(inst,dreg,reg) emit_sse_reg_reg ((inst), (dreg), (reg), 0xf3, 0x0f, 0x10)
1049
1050 #define amd64_sse_movsd_reg_membase(inst,dreg,basereg,disp) emit_sse_reg_membase ((inst), (dreg), (basereg), (disp), 0xf2, 0x0f, 0x10)
1051
1052 #define amd64_sse_movsd_membase_reg(inst,basereg,disp,reg) emit_sse_membase_reg ((inst), (basereg), (disp), (reg), 0xf2, 0x0f, 0x11)
1053
1054 #define amd64_sse_movss_membase_reg(inst,basereg,disp,reg) emit_sse_membase_reg ((inst), (basereg), (disp), (reg), 0xf3, 0x0f, 0x11)
1055
1056 #define amd64_sse_movss_reg_membase(inst,dreg,basereg,disp) emit_sse_reg_membase ((inst), (dreg), (basereg), (disp), 0xf3, 0x0f, 0x10)
1057
1058 #define amd64_sse_comisd_reg_reg(inst,dreg,reg) emit_sse_reg_reg ((inst),(dreg),(reg),0x66,0x0f,0x2f)
1059 #define amd64_sse_comiss_reg_reg(inst,dreg,reg) emit_sse_reg_reg ((inst),(dreg),(reg),0x67,0x0f,0x2f)
1060
1061 #define amd64_sse_comisd_reg_membase(inst,dreg,basereg,disp) emit_sse_reg_membase ((inst), (dreg), (basereg), (disp), 0x66, 0x0f, 0x2f)
1062
1063 #define amd64_sse_ucomisd_reg_reg(inst,dreg,reg) emit_sse_reg_reg ((inst),(dreg),(reg),0x66,0x0f,0x2e)
1064
1065 #define amd64_sse_cvtsd2si_reg_reg(inst,dreg,reg) emit_sse_reg_reg_size ((inst), (dreg), (reg), 0xf2, 0x0f, 0x2d, 8)
1066 #define amd64_sse_cvtss2si_reg_reg(inst,dreg,reg) emit_sse_reg_reg_size ((inst), (dreg), (reg), 0xf3, 0x0f, 0x2d, 8)
1067
1068 #define amd64_sse_cvttsd2si_reg_reg_size(inst,dreg,reg,size) emit_sse_reg_reg_size ((inst), (dreg), (reg), 0xf2, 0x0f, 0x2c, (size))
1069 #define amd64_sse_cvtss2si_reg_reg_size(inst,dreg,reg,size) emit_sse_reg_reg_size ((inst), (dreg), (reg), 0xf3, 0x0f, 0x2c, (size))
1070
1071 #define amd64_sse_cvttsd2si_reg_reg(inst,dreg,reg) amd64_sse_cvttsd2si_reg_reg_size ((inst), (dreg), (reg), 8)
1072
1073 #define amd64_sse_cvtsi2sd_reg_reg_size(inst,dreg,reg,size) emit_sse_reg_reg_size ((inst), (dreg), (reg), 0xf2, 0x0f, 0x2a, (size))
1074
1075 #define amd64_sse_cvtsi2sd_reg_reg(inst,dreg,reg) amd64_sse_cvtsi2sd_reg_reg_size ((inst), (dreg), (reg), 8)
1076
1077 #define amd64_sse_cvtsi2ss_reg_reg_size(inst,dreg,reg,size) emit_sse_reg_reg_size ((inst), (dreg), (reg), 0xf3, 0x0f, 0x2a, (size))
1078
1079 #define amd64_sse_cvtsi2ss_reg_reg(inst,dreg,reg) amd64_sse_cvtsi2ss_reg_reg_size ((inst), (dreg), (reg), 8)
1080
1081 #define amd64_sse_cvtsd2ss_reg_reg(inst,dreg,reg) emit_sse_reg_reg ((inst), (dreg), (reg), 0xf2, 0x0f, 0x5a)
1082
1083 #define amd64_sse_cvtss2sd_reg_reg(inst,dreg,reg) emit_sse_reg_reg ((inst), (dreg), (reg), 0xf3, 0x0f, 0x5a)
1084
1085 #define amd64_sse_addsd_reg_reg(inst,dreg,reg) emit_sse_reg_reg ((inst), (dreg), (reg), 0xf2, 0x0f, 0x58)
1086 #define amd64_sse_addss_reg_reg(inst,dreg,reg) emit_sse_reg_reg ((inst), (dreg), (reg), 0xf3, 0x0f, 0x58)
1087
1088 #define amd64_sse_subsd_reg_reg(inst,dreg,reg) emit_sse_reg_reg ((inst), (dreg), (reg), 0xf2, 0x0f, 0x5c)
1089 #define amd64_sse_subss_reg_reg(inst,dreg,reg) emit_sse_reg_reg ((inst), (dreg), (reg), 0xf3, 0x0f, 0x5c)
1090
1091 #define amd64_sse_mulsd_reg_reg(inst,dreg,reg) emit_sse_reg_reg ((inst), (dreg), (reg), 0xf2, 0x0f, 0x59)
1092 #define amd64_sse_mulss_reg_reg(inst,dreg,reg) emit_sse_reg_reg ((inst), (dreg), (reg), 0xf3, 0x0f, 0x59)
1093
1094 #define amd64_sse_divsd_reg_reg(inst,dreg,reg) emit_sse_reg_reg ((inst), (dreg), (reg), 0xf2, 0x0f, 0x5e)
1095 #define amd64_sse_divss_reg_reg(inst,dreg,reg) emit_sse_reg_reg ((inst), (dreg), (reg), 0xf3, 0x0f, 0x5e)
1096
1097 #define amd64_sse_sqrtsd_reg_reg(inst,dreg,reg) emit_sse_reg_reg((inst), (dreg), (reg), 0xf2, 0x0f, 0x51)
1098
1099
1100 #define amd64_sse_pinsrw_reg_reg_imm(inst,dreg,reg,imm) emit_sse_reg_reg_imm ((inst), (dreg), (reg), 0x66, 0x0f, 0xc4, (imm))
1101
1102 #define amd64_sse_pextrw_reg_reg_imm(inst,dreg,reg,imm) emit_sse_reg_reg_imm ((inst), (dreg), (reg), 0x66, 0x0f, 0xc5, (imm))
1103
1104
1105 #define amd64_sse_cvttsd2si_reg_xreg_size(inst,reg,xreg,size) emit_sse_reg_reg_size ((inst), (reg), (xreg), 0xf2, 0x0f, 0x2c, (size))
1106
1107
1108 #define amd64_sse_addps_reg_reg(inst,dreg,reg) emit_sse_reg_reg_op2((inst), (dreg), (reg), 0x0f, 0x58)
1109
1110 #define amd64_sse_divps_reg_reg(inst,dreg,reg) emit_sse_reg_reg_op2((inst), (dreg), (reg), 0x0f, 0x5e)
1111
1112 #define amd64_sse_mulps_reg_reg(inst,dreg,reg) emit_sse_reg_reg_op2((inst), (dreg), (reg), 0x0f, 0x59)
1113
1114 #define amd64_sse_subps_reg_reg(inst,dreg,reg) emit_sse_reg_reg_op2((inst), (dreg), (reg), 0x0f, 0x5c)
1115
1116 #define amd64_sse_maxps_reg_reg(inst,dreg,reg) emit_sse_reg_reg_op2((inst), (dreg), (reg), 0x0f, 0x5f)
1117
1118 #define amd64_sse_minps_reg_reg(inst,dreg,reg) emit_sse_reg_reg_op2((inst), (dreg), (reg), 0x0f, 0x5d)
1119
1120 #define amd64_sse_cmpps_reg_reg_imm(inst,dreg,reg,imm) emit_sse_reg_reg_op2_imm((inst), (dreg), (reg), 0x0f, 0xc2, (imm))
1121
1122 #define amd64_sse_andps_reg_reg(inst,dreg,reg) emit_sse_reg_reg_op2((inst), (dreg), (reg), 0x0f, 0x54)
1123
1124 #define amd64_sse_andnps_reg_reg(inst,dreg,reg) emit_sse_reg_reg_op2((inst), (dreg), (reg), 0x0f, 0x55)
1125
1126 #define amd64_sse_orps_reg_reg(inst,dreg,reg) emit_sse_reg_reg_op2((inst), (dreg), (reg), 0x0f, 0x56)
1127
1128 #define amd64_sse_xorps_reg_reg(inst,dreg,reg) emit_sse_reg_reg_op2((inst), (dreg), (reg), 0x0f, 0x57)
1129
1130 #define amd64_sse_sqrtps_reg_reg(inst,dreg,reg) emit_sse_reg_reg_op2((inst), (dreg), (reg), 0x0f, 0x51)
1131
1132 #define amd64_sse_rsqrtps_reg_reg(inst,dreg,reg) emit_sse_reg_reg_op2((inst), (dreg), (reg), 0x0f, 0x52)
1133
1134 #define amd64_sse_rcpps_reg_reg(inst,dreg,reg) emit_sse_reg_reg_op2((inst), (dreg), (reg), 0x0f, 0x53)
1135
1136 #define amd64_sse_addsubps_reg_reg(inst,dreg,reg) emit_sse_reg_reg((inst), (dreg), (reg), 0xf2, 0x0f, 0xd0)
1137
1138 #define amd64_sse_haddps_reg_reg(inst,dreg,reg) emit_sse_reg_reg((inst), (dreg), (reg), 0xf2, 0x0f, 0x7c)
1139
1140 #define amd64_sse_hsubps_reg_reg(inst,dreg,reg) emit_sse_reg_reg((inst), (dreg), (reg), 0xf2, 0x0f, 0x7d)
1141
1142 #define amd64_sse_movshdup_reg_reg(inst,dreg,reg) emit_sse_reg_reg((inst), (dreg), (reg), 0xf3, 0x0f, 0x16)
1143
1144 #define amd64_sse_movsldup_reg_reg(inst,dreg,reg) emit_sse_reg_reg((inst), (dreg), (reg), 0xf3, 0x0f, 0x12)
1145
1146
1147 #define amd64_sse_pshufhw_reg_reg_imm(inst,dreg,reg,imm) emit_sse_reg_reg_imm((inst), (dreg), (reg), 0xf3, 0x0f, 0x70, (imm))
1148
1149 #define amd64_sse_pshuflw_reg_reg_imm(inst,dreg,reg,imm) emit_sse_reg_reg_imm((inst), (dreg), (reg), 0xf2, 0x0f, 0x70, (imm))
1150
1151 #define amd64_sse_pshufd_reg_reg_imm(inst,dreg,reg,imm) emit_sse_reg_reg_imm((inst), (dreg), (reg), 0x66, 0x0f, 0x70, (imm))
1152
1153 #define amd64_sse_shufps_reg_reg_imm(inst,dreg,reg,imm) emit_sse_reg_reg_op2_imm((inst), (dreg), (reg), 0x0f, 0xC6, (imm))
1154
1155 #define amd64_sse_shufpd_reg_reg_imm(inst,dreg,reg,imm) emit_sse_reg_reg_imm((inst), (dreg), (reg), 0x66, 0x0f, 0xC6, (imm))
1156
1157
1158 #define amd64_sse_addpd_reg_reg(inst,dreg,reg) emit_sse_reg_reg((inst), (dreg), (reg), 0x66, 0x0f, 0x58)
1159
1160 #define amd64_sse_divpd_reg_reg(inst,dreg,reg) emit_sse_reg_reg((inst), (dreg), (reg), 0x66, 0x0f, 0x5e)
1161
1162 #define amd64_sse_mulpd_reg_reg(inst,dreg,reg) emit_sse_reg_reg((inst), (dreg), (reg), 0x66, 0x0f, 0x59)
1163
1164 #define amd64_sse_subpd_reg_reg(inst,dreg,reg) emit_sse_reg_reg((inst), (dreg), (reg), 0x66, 0x0f, 0x5c)
1165
1166 #define amd64_sse_maxpd_reg_reg(inst,dreg,reg) emit_sse_reg_reg((inst), (dreg), (reg), 0x66, 0x0f, 0x5f)
1167
1168 #define amd64_sse_minpd_reg_reg(inst,dreg,reg) emit_sse_reg_reg((inst), (dreg), (reg), 0x66, 0x0f, 0x5d)
1169
1170 #define amd64_sse_cmppd_reg_reg_imm(inst,dreg,reg,imm) emit_sse_reg_reg_imm((inst), (dreg), (reg), 0x66, 0x0f, 0xc2, (imm))
1171
1172 #define amd64_sse_andpd_reg_reg(inst,dreg,reg) emit_sse_reg_reg((inst), (dreg), (reg), 0x66, 0x0f, 0x54)
1173
1174 #define amd64_sse_andnpd_reg_reg(inst,dreg,reg) emit_sse_reg_reg((inst), (dreg), (reg), 0x66, 0x0f, 0x55)
1175
1176 #define amd64_sse_orpd_reg_reg(inst,dreg,reg) emit_sse_reg_reg((inst), (dreg), (reg), 0x66, 0x0f, 0x56)
1177
1178 #define amd64_sse_sqrtpd_reg_reg(inst,dreg,reg) emit_sse_reg_reg((inst), (dreg), (reg), 0x66, 0x0f, 0x51)
1179
1180 #define amd64_sse_rsqrtpd_reg_reg(inst,dreg,reg) emit_sse_reg_reg((inst), (dreg), (reg), 0x66, 0x0f, 0x52)
1181
1182 #define amd64_sse_rcppd_reg_reg(inst,dreg,reg) emit_sse_reg_reg((inst), (dreg), (reg), 0x66, 0x0f, 0x53)
1183
1184 #define amd64_sse_addsubpd_reg_reg(inst,dreg,reg) emit_sse_reg_reg((inst), (dreg), (reg), 0x66, 0x0f, 0xd0)
1185
1186 #define amd64_sse_haddpd_reg_reg(inst,dreg,reg) emit_sse_reg_reg((inst), (dreg), (reg), 0x66, 0x0f, 0x7c)
1187
1188 #define amd64_sse_hsubpd_reg_reg(inst,dreg,reg) emit_sse_reg_reg((inst), (dreg), (reg), 0x66, 0x0f, 0x7d)
1189
1190 #define amd64_sse_movddup_reg_reg(inst,dreg,reg) emit_sse_reg_reg((inst), (dreg), (reg), 0xf2, 0x0f, 0x12)
1191
1192
1193 #define amd64_sse_pmovmskb_reg_reg(inst,dreg,reg) emit_sse_reg_reg((inst), (dreg), (reg), 0x66, 0x0f, 0xd7)
1194
1195
1196 #define amd64_sse_pand_reg_reg(inst, dreg, reg) emit_sse_reg_reg((inst), (dreg), (reg), 0x66, 0x0f, 0xdb)
1197
1198 #define amd64_sse_por_reg_reg(inst, dreg, reg) emit_sse_reg_reg((inst), (dreg), (reg), 0x66, 0x0f, 0xeb)
1199
1200 #define amd64_sse_pxor_reg_reg(inst, dreg, reg) emit_sse_reg_reg((inst), (dreg), (reg), 0x66, 0x0f, 0xef)
1201
1202
1203 #define amd64_sse_paddb_reg_reg(inst, dreg, reg) emit_sse_reg_reg((inst), (dreg), (reg), 0x66, 0x0f, 0xfc)
1204
1205 #define amd64_sse_paddw_reg_reg(inst, dreg, reg) emit_sse_reg_reg((inst), (dreg), (reg), 0x66, 0x0f, 0xfd)
1206
1207 #define amd64_sse_paddd_reg_reg(inst, dreg, reg) emit_sse_reg_reg((inst), (dreg), (reg), 0x66, 0x0f, 0xfe)
1208
1209 #define amd64_sse_paddq_reg_reg(inst, dreg, reg) emit_sse_reg_reg((inst), (dreg), (reg), 0x66, 0x0f, 0xd4)
1210
1211
1212 #define amd64_sse_psubb_reg_reg(inst, dreg, reg) emit_sse_reg_reg((inst), (dreg), (reg), 0x66, 0x0f, 0xf8)
1213
1214 #define amd64_sse_psubw_reg_reg(inst, dreg, reg) emit_sse_reg_reg((inst), (dreg), (reg), 0x66, 0x0f, 0xf9)
1215
1216 #define amd64_sse_psubd_reg_reg(inst, dreg, reg) emit_sse_reg_reg((inst), (dreg), (reg), 0x66, 0x0f, 0xfa)
1217
1218 #define amd64_sse_psubq_reg_reg(inst, dreg, reg) emit_sse_reg_reg((inst), (dreg), (reg), 0x66, 0x0f, 0xfb)
1219
1220
1221 #define amd64_sse_pmaxub_reg_reg(inst, dreg, reg) emit_sse_reg_reg((inst), (dreg), (reg), 0x66, 0x0f, 0xde)
1222
1223 #define amd64_sse_pmaxuw_reg_reg(inst, dreg, reg) emit_sse_reg_reg_op4((inst), (dreg), (reg), 0x66, 0x0f, 0x38, 0x3e)
1224
1225 #define amd64_sse_pmaxud_reg_reg(inst, dreg, reg) emit_sse_reg_reg_op4((inst), (dreg), (reg), 0x66, 0x0f, 0x38, 0x3f)
1226
1227
1228 #define amd64_sse_pmaxsb_reg_reg(inst, dreg, reg) emit_sse_reg_reg_op4((inst), (dreg), (reg), 0x66, 0x0f, 0x38, 0x3c)
1229
1230 #define amd64_sse_pmaxsw_reg_reg(inst, dreg, reg) emit_sse_reg_reg((inst), (dreg), (reg), 0x66, 0x0f, 0xee)
1231
1232 #define amd64_sse_pmaxsd_reg_reg(inst, dreg, reg) emit_sse_reg_reg_op4((inst), (dreg), (reg), 0x66, 0x0f, 0x38, 0x3d)
1233
1234
1235 #define amd64_sse_pavgb_reg_reg(inst, dreg, reg) emit_sse_reg_reg((inst), (dreg), (reg), 0x66, 0x0f, 0xe0)
1236
1237 #define amd64_sse_pavgw_reg_reg(inst, dreg, reg) emit_sse_reg_reg((inst), (dreg), (reg), 0x66, 0x0f, 0xe3)
1238
1239
1240 #define amd64_sse_pminub_reg_reg(inst, dreg, reg) emit_sse_reg_reg((inst), (dreg), (reg), 0x66, 0x0f, 0xda)
1241
1242 #define amd64_sse_pminuw_reg_reg(inst, dreg, reg) emit_sse_reg_reg_op4((inst), (dreg), (reg), 0x66, 0x0f, 0x38, 0x3a)
1243
1244 #define amd64_sse_pminud_reg_reg(inst, dreg, reg) emit_sse_reg_reg_op4((inst), (dreg), (reg), 0x66, 0x0f, 0x38, 0x3b)
1245
1246
1247 #define amd64_sse_pminsb_reg_reg(inst, dreg, reg) emit_sse_reg_reg_op4((inst), (dreg), (reg), 0x66, 0x0f, 0x38, 0x38)
1248
1249 #define amd64_sse_pminsw_reg_reg(inst, dreg, reg) emit_sse_reg_reg((inst), (dreg), (reg), 0x66, 0x0f, 0xea)
1250
1251 #define amd64_sse_pminsd_reg_reg(inst, dreg, reg) emit_sse_reg_reg_op4((inst), (dreg), (reg), 0x66, 0x0f, 0x38, 0x39)
1252
1253
1254 #define amd64_sse_pcmpeqb_reg_reg(inst, dreg, reg) emit_sse_reg_reg((inst), (dreg), (reg), 0x66, 0x0f, 0x74)
1255
1256 #define amd64_sse_pcmpeqw_reg_reg(inst, dreg, reg) emit_sse_reg_reg((inst), (dreg), (reg), 0x66, 0x0f, 0x75)
1257
1258 #define amd64_sse_pcmpeqd_reg_reg(inst, dreg, reg) emit_sse_reg_reg((inst), (dreg), (reg), 0x66, 0x0f, 0x76)
1259
1260 #define amd64_sse_pcmpeqq_reg_reg(inst, dreg, reg) emit_sse_reg_reg_op4((inst), (dreg), (reg), 0x66, 0x0f, 0x38, 0x29)
1261
1262
1263 #define amd64_sse_pcmpgtb_reg_reg(inst, dreg, reg) emit_sse_reg_reg((inst), (dreg), (reg), 0x66, 0x0f, 0x64)
1264
1265 #define amd64_sse_pcmpgtw_reg_reg(inst, dreg, reg) emit_sse_reg_reg((inst), (dreg), (reg), 0x66, 0x0f, 0x65)
1266
1267 #define amd64_sse_pcmpgtd_reg_reg(inst, dreg, reg) emit_sse_reg_reg((inst), (dreg), (reg), 0x66, 0x0f, 0x66)
1268
1269 #define amd64_sse_pcmpgtq_reg_reg(inst, dreg, reg) emit_sse_reg_reg_op4((inst), (dreg), (reg), 0x66, 0x0f, 0x38, 0x37)
1270
1271
1272 #define amd64_sse_psadbw_reg_reg(inst, dreg, reg) emit_sse_reg_reg((inst), (dreg), (reg), 0x66, 0x0f, 0xf6)
1273
1274
1275 #define amd64_sse_punpcklbw_reg_reg(inst, dreg, reg) emit_sse_reg_reg((inst), (dreg), (reg), 0x66, 0x0f, 0x60)
1276
1277 #define amd64_sse_punpcklwd_reg_reg(inst, dreg, reg) emit_sse_reg_reg((inst), (dreg), (reg), 0x66, 0x0f, 0x61)
1278
1279 #define amd64_sse_punpckldq_reg_reg(inst, dreg, reg) emit_sse_reg_reg((inst), (dreg), (reg), 0x66, 0x0f, 0x62)
1280
1281 #define amd64_sse_punpcklqdq_reg_reg(inst, dreg, reg) emit_sse_reg_reg((inst), (dreg), (reg), 0x66, 0x0f, 0x6c)
1282
1283 #define amd64_sse_unpcklpd_reg_reg(inst, dreg, reg) emit_sse_reg_reg((inst), (dreg), (reg), 0x66, 0x0f, 0x14)
1284
1285 #define amd64_sse_unpcklps_reg_reg(inst, dreg, reg) emit_sse_reg_reg_op2((inst), (dreg), (reg), 0x0f, 0x14)
1286
1287
1288 #define amd64_sse_punpckhbw_reg_reg(inst, dreg, reg) emit_sse_reg_reg((inst), (dreg), (reg), 0x66, 0x0f, 0x68)
1289
1290 #define amd64_sse_punpckhwd_reg_reg(inst, dreg, reg) emit_sse_reg_reg((inst), (dreg), (reg), 0x66, 0x0f, 0x69)
1291
1292 #define amd64_sse_punpckhdq_reg_reg(inst, dreg, reg) emit_sse_reg_reg((inst), (dreg), (reg), 0x66, 0x0f, 0x6a)
1293
1294 #define amd64_sse_punpckhqdq_reg_reg(inst, dreg, reg) emit_sse_reg_reg((inst), (dreg), (reg), 0x66, 0x0f, 0x6d)
1295
1296 #define amd64_sse_unpckhpd_reg_reg(inst, dreg, reg) emit_sse_reg_reg((inst), (dreg), (reg), 0x66, 0x0f, 0x15)
1297
1298 #define amd64_sse_unpckhps_reg_reg(inst, dreg, reg) emit_sse_reg_reg_op2((inst), (dreg), (reg), 0x0f, 0x15)
1299
1300
1301 #define amd64_sse_packsswb_reg_reg(inst, dreg, reg) emit_sse_reg_reg((inst), (dreg), (reg), 0x66, 0x0f, 0x63)
1302
1303 #define amd64_sse_packssdw_reg_reg(inst, dreg, reg) emit_sse_reg_reg((inst), (dreg), (reg), 0x66, 0x0f, 0x6b)
1304
1305 #define amd64_sse_packuswb_reg_reg(inst, dreg, reg) emit_sse_reg_reg((inst), (dreg), (reg), 0x66, 0x0f, 0x67)
1306
1307 #define amd64_sse_packusdw_reg_reg(inst, dreg, reg) emit_sse_reg_reg_op4((inst), (dreg), (reg), 0x66, 0x0f, 0x38, 0x2b)
1308
1309
1310 #define amd64_sse_paddusb_reg_reg(inst, dreg, reg) emit_sse_reg_reg((inst), (dreg), (reg), 0x66, 0x0f, 0xdc)
1311
1312 #define amd64_sse_psubusb_reg_reg(inst, dreg, reg) emit_sse_reg_reg((inst), (dreg), (reg), 0x66, 0x0f, 0xd8)
1313
1314 #define amd64_sse_paddusw_reg_reg(inst, dreg, reg) emit_sse_reg_reg((inst), (dreg), (reg), 0x66, 0x0f, 0xdd)
1315
1316 #define amd64_sse_psubusw_reg_reg(inst, dreg, reg) emit_sse_reg_reg((inst), (dreg), (reg), 0x66, 0x0f, 0xd8)
1317
1318
1319 #define amd64_sse_paddsb_reg_reg(inst, dreg, reg) emit_sse_reg_reg((inst), (dreg), (reg), 0x66, 0x0f, 0xec)
1320
1321 #define amd64_sse_psubsb_reg_reg(inst, dreg, reg) emit_sse_reg_reg((inst), (dreg), (reg), 0x66, 0x0f, 0xe8)
1322
1323 #define amd64_sse_paddsw_reg_reg(inst, dreg, reg) emit_sse_reg_reg((inst), (dreg), (reg), 0x66, 0x0f, 0xed)
1324
1325 #define amd64_sse_psubsw_reg_reg(inst, dreg, reg) emit_sse_reg_reg((inst), (dreg), (reg), 0x66, 0x0f, 0xe9)
1326
1327
1328 #define amd64_sse_pmullw_reg_reg(inst, dreg, reg) emit_sse_reg_reg((inst), (dreg), (reg), 0x66, 0x0f, 0xd5)
1329
1330 #define amd64_sse_pmulld_reg_reg(inst, dreg, reg) emit_sse_reg_reg_op4((inst), (dreg), (reg), 0x66, 0x0f, 0x38, 0x40)
1331
1332 #define amd64_sse_pmuludq_reg_reg(inst, dreg, reg) emit_sse_reg_reg((inst), (dreg), (reg), 0x66, 0x0f, 0xf4)
1333
1334 #define amd64_sse_pmulhuw_reg_reg(inst, dreg, reg) emit_sse_reg_reg((inst), (dreg), (reg), 0x66, 0x0f, 0xe4)
1335
1336 #define amd64_sse_pmulhw_reg_reg(inst, dreg, reg) emit_sse_reg_reg((inst), (dreg), (reg), 0x66, 0x0f, 0xe5)
1337
1338
1339 #define amd64_sse_psrlw_reg_imm(inst, reg, imm) emit_sse_reg_reg_imm((inst), X86_SSE_SHR, (reg), 0x66, 0x0f, 0x71, (imm))
1340
1341 #define amd64_sse_psrlw_reg_reg(inst, dreg, reg) emit_sse_reg_reg((inst), (dreg), (reg), 0x66, 0x0f, 0xd1)
1342
1343
1344 #define amd64_sse_psraw_reg_imm(inst, reg, imm) emit_sse_reg_reg_imm((inst), X86_SSE_SAR, (reg), 0x66, 0x0f, 0x71, (imm))
1345
1346 #define amd64_sse_psraw_reg_reg(inst, dreg, reg) emit_sse_reg_reg((inst), (dreg), (reg), 0x66, 0x0f, 0xe1)
1347
1348
1349 #define amd64_sse_psllw_reg_imm(inst, reg, imm) emit_sse_reg_reg_imm((inst), X86_SSE_SHL, (reg), 0x66, 0x0f, 0x71, (imm))
1350
1351 #define amd64_sse_psllw_reg_reg(inst, dreg, reg) emit_sse_reg_reg((inst), (dreg), (reg), 0x66, 0x0f, 0xf1)
1352
1353
1354 #define amd64_sse_psrld_reg_imm(inst, reg, imm) emit_sse_reg_reg_imm((inst), X86_SSE_SHR, (reg), 0x66, 0x0f, 0x72, (imm))
1355
1356 #define amd64_sse_psrld_reg_reg(inst, dreg, reg) emit_sse_reg_reg((inst), (dreg), (reg), 0x66, 0x0f, 0xd2)
1357
1358
1359 #define amd64_sse_psrad_reg_imm(inst, reg, imm) emit_sse_reg_reg_imm((inst), X86_SSE_SAR, (reg), 0x66, 0x0f, 0x72, (imm))
1360
1361 #define amd64_sse_psrad_reg_reg(inst, dreg, reg) emit_sse_reg_reg((inst), (dreg), (reg), 0x66, 0x0f, 0xe2)
1362
1363
1364 #define amd64_sse_pslld_reg_imm(inst, reg, imm) emit_sse_reg_reg_imm((inst), X86_SSE_SHL, (reg), 0x66, 0x0f, 0x72, (imm))
1365
1366 #define amd64_sse_pslld_reg_reg(inst, dreg, reg) emit_sse_reg_reg((inst), (dreg), (reg), 0x66, 0x0f, 0xf2)
1367
1368
1369 #define amd64_sse_psrlq_reg_imm(inst, reg, imm) emit_sse_reg_reg_imm((inst), X86_SSE_SHR, (reg), 0x66, 0x0f, 0x73, (imm))
1370
1371 #define amd64_sse_psrlq_reg_reg(inst, dreg, reg) emit_sse_reg_reg((inst), (dreg), (reg), 0x66, 0x0f, 0xd3)
1372
1373
1374 #define amd64_sse_psraq_reg_imm(inst, reg, imm) emit_sse_reg_reg_imm((inst), X86_SSE_SAR, (reg), 0x66, 0x0f, 0x73, (imm))
1375
1376 #define amd64_sse_psraq_reg_reg(inst, dreg, reg) emit_sse_reg_reg((inst), (dreg), (reg), 0x66, 0x0f, 0xe3)
1377
1378
1379 #define amd64_sse_psllq_reg_imm(inst, reg, imm) emit_sse_reg_reg_imm((inst), X86_SSE_SHL, (reg), 0x66, 0x0f, 0x73, (imm))
1380
1381 #define amd64_sse_psllq_reg_reg(inst, dreg, reg) emit_sse_reg_reg((inst), (dreg), (reg), 0x66, 0x0f, 0xf3)
1382
1383
1384 #define amd64_sse_cvtdq2pd_reg_reg(inst, dreg, reg) emit_sse_reg_reg((inst), (dreg), (reg), 0xF3, 0x0F, 0xE6)
1385
1386 #define amd64_sse_cvtdq2ps_reg_reg(inst, dreg, reg) emit_sse_reg_reg_op2((inst), (dreg), (reg), 0x0F, 0x5B)
1387
1388 #define amd64_sse_cvtpd2dq_reg_reg(inst, dreg, reg) emit_sse_reg_reg((inst), (dreg), (reg), 0xF2, 0x0F, 0xE6)
1389
1390 #define amd64_sse_cvtpd2ps_reg_reg(inst, dreg, reg) emit_sse_reg_reg((inst), (dreg), (reg), 0x66, 0x0F, 0x5A)
1391
1392 #define amd64_sse_cvtps2dq_reg_reg(inst, dreg, reg) emit_sse_reg_reg((inst), (dreg), (reg), 0x66, 0x0F, 0x5B)
1393
1394 #define amd64_sse_cvtps2pd_reg_reg(inst, dreg, reg) emit_sse_reg_reg_op2((inst), (dreg), (reg), 0x0F, 0x5A)
1395
1396 #define amd64_sse_cvttpd2dq_reg_reg(inst, dreg, reg) emit_sse_reg_reg((inst), (dreg), (reg), 0x66, 0x0F, 0xE6)
1397
1398 #define amd64_sse_cvttps2dq_reg_reg(inst, dreg, reg) emit_sse_reg_reg((inst), (dreg), (reg), 0xF3, 0x0F, 0x5B)
1399
1400
1401 #define amd64_movd_xreg_reg_size(inst,dreg,sreg,size) emit_sse_reg_reg_size((inst), (dreg), (sreg), 0x66, 0x0f, 0x6e, (size))
1402
1403 #define amd64_movd_reg_xreg_size(inst,dreg,sreg,size) emit_sse_reg_reg_size((inst), (sreg), (dreg), 0x66, 0x0f, 0x7e, (size))
1404
1405 #define amd64_movd_xreg_membase(inst,dreg,basereg,disp) emit_sse_reg_membase((inst), (dreg), (basereg), (disp), 0x66, 0x0f, 0x6e)
1406
1407
1408 #define amd64_movlhps_reg_reg(inst,dreg,sreg) emit_sse_reg_reg_op2((inst), (dreg), (sreg), 0x0f, 0x16)
1409
1410 #define amd64_movhlps_reg_reg(inst,dreg,sreg) emit_sse_reg_reg_op2((inst), (dreg), (sreg), 0x0f, 0x12)
1411
1412
1413 #define amd64_sse_movups_membase_reg(inst, basereg, disp, reg) emit_sse_membase_reg_op2((inst), (basereg), (disp), (reg), 0x0f, 0x11)
1414
1415 #define amd64_sse_movups_reg_membase(inst, dreg, basereg, disp) emit_sse_reg_membase_op2((inst), (dreg), (basereg), (disp), 0x0f, 0x10)
1416
1417 #define amd64_sse_movaps_membase_reg(inst, basereg, disp, reg) emit_sse_membase_reg_op2((inst), (basereg), (disp), (reg), 0x0f, 0x29)
1418
1419 #define amd64_sse_movaps_reg_membase(inst, dreg, basereg, disp) emit_sse_reg_membase_op2((inst), (dreg), (basereg), (disp), 0x0f, 0x28)
1420
1421 #define amd64_sse_movaps_reg_reg(inst, dreg, reg) emit_sse_reg_reg_op2((inst), (dreg), (reg), 0x0f, 0x28)
1422
1423 #define amd64_sse_movntps_reg_membase(inst, dreg, basereg, disp) emit_sse_reg_membase_op2((inst), (dreg), (basereg), (disp), 0x0f, 0x2b)
1424
1425 #define amd64_sse_prefetch_reg_membase(inst, arg, basereg, disp) emit_sse_reg_membase_op2((inst), (arg), (basereg), (disp), 0x0f, 0x18)
1426
1427 /* Generated from x86-codegen.h */
1428
1429 #define amd64_breakpoint_size(inst,size) do { x86_breakpoint(inst); } while (0)
1430 #define amd64_cld_size(inst,size) do { amd64_codegen_pre(inst); amd64_emit_rex ((inst),0,0,0,0); x86_cld(inst); amd64_codegen_post(inst); } while (0)
1431 #define amd64_stosb_size(inst,size) do { amd64_codegen_pre(inst); amd64_emit_rex ((inst),(size),0,0,0); x86_stosb(inst); amd64_codegen_post(inst); } while (0)
1432 #define amd64_stosl_size(inst,size) do { amd64_codegen_pre(inst); amd64_emit_rex ((inst),(size),0,0,0); x86_stosl(inst); amd64_codegen_post(inst); } while (0)
1433 #define amd64_stosd_size(inst,size) do { amd64_codegen_pre(inst); amd64_emit_rex ((inst),(size),0,0,0); x86_stosd(inst); amd64_codegen_post(inst); } while (0)
1434 #define amd64_movsb_size(inst,size) do { amd64_codegen_pre(inst); amd64_emit_rex ((inst),(size),0,0,0); x86_movsb(inst); amd64_codegen_post(inst); } while (0)
1435 #define amd64_movsl_size(inst,size) do { amd64_codegen_pre(inst); amd64_emit_rex ((inst),(size),0,0,0); x86_movsl(inst); amd64_codegen_post(inst); } while (0)
1436 #define amd64_movsd_size(inst,size) do { amd64_codegen_pre(inst); amd64_emit_rex ((inst),(size),0,0,0); x86_movsd(inst); amd64_codegen_post(inst); } while (0)
1437 #define amd64_prefix_size(inst,p,size) do { x86_prefix((inst), p); } while (0)
1438 #define amd64_rdtsc_size(inst,size) do { amd64_codegen_pre(inst); amd64_emit_rex ((inst),(size),0,0,0); x86_rdtsc(inst); amd64_codegen_post(inst); } while (0)
1439 #define amd64_cmpxchg_reg_reg_size(inst,dreg,reg,size) do { amd64_codegen_pre(inst); amd64_emit_rex ((inst),(size),(dreg),0,(reg)); x86_cmpxchg_reg_reg((inst),((dreg)&0x7),((reg)&0x7)); amd64_codegen_post(inst); } while (0)
1440 #define amd64_cmpxchg_mem_reg_size(inst,mem,reg,size) do { amd64_codegen_pre(inst); amd64_emit_rex ((inst),(size),0,0,(reg)); x86_cmpxchg_mem_reg((inst),(mem),((reg)&0x7)); amd64_codegen_post(inst); } while (0)
1441 #define amd64_cmpxchg_membase_reg_size(inst,basereg,disp,reg,size) do { amd64_codegen_pre(inst); amd64_emit_rex ((inst),(size),(reg),0,(basereg)); x86_cmpxchg_membase_reg((inst),((basereg)&0x7),(disp),((reg)&0x7)); amd64_codegen_post(inst); } while (0)
1442 #define amd64_xchg_reg_reg_size(inst,dreg,reg,size) do { amd64_codegen_pre(inst); amd64_emit_rex ((inst),(size),(dreg),0,(reg)); x86_xchg_reg_reg((inst),((dreg)&0x7),((reg)&0x7),(size) == 8 ? 4 : (size)); amd64_codegen_post(inst); } while (0)
1443 #define amd64_xchg_mem_reg_size(inst,mem,reg,size) do { amd64_codegen_pre(inst); amd64_emit_rex ((inst),(size),0,0,(reg)); x86_xchg_mem_reg((inst),(mem),((reg)&0x7),(size) == 8 ? 4 : (size)); amd64_codegen_post(inst); } while (0)
1444 #define amd64_xchg_membase_reg_size(inst,basereg,disp,reg,size) do { amd64_codegen_pre(inst); amd64_emit_rex ((inst),(size),(reg),0,(basereg)); x86_xchg_membase_reg((inst),((basereg)&0x7),(disp),((reg)&0x7),(size) == 8 ? 4 : (size)); amd64_codegen_post(inst); } while (0)
1445 #define amd64_inc_mem_size(inst,mem,size) do { amd64_codegen_pre(inst); amd64_emit_rex ((inst),(size),0,0,0); x86_inc_mem((inst),(mem)); amd64_codegen_post(inst); } while (0)
1446 #define amd64_inc_membase_size(inst,basereg,disp,size) do { amd64_codegen_pre(inst); amd64_emit_rex ((inst),(size),0,0,(basereg)); x86_inc_membase((inst),((basereg)&0x7),(disp)); amd64_codegen_post(inst); } while (0)
1447 //#define amd64_inc_reg_size(inst,reg,size) do { amd64_codegen_pre(inst); amd64_emit_rex ((inst),(size),0,0,(reg)); x86_inc_reg((inst),((reg)&0x7)); amd64_codegen_post(inst); } while (0)
1448 #define amd64_dec_mem_size(inst,mem,size) do { amd64_codegen_pre(inst); amd64_emit_rex ((inst),(size),0,0,0); x86_dec_mem((inst),(mem)); amd64_codegen_post(inst); } while (0)
1449 #define amd64_dec_membase_size(inst,basereg,disp,size) do { amd64_codegen_pre(inst); amd64_emit_rex ((inst),(size),0,0,(basereg)); x86_dec_membase((inst),((basereg)&0x7),(disp)); amd64_codegen_post(inst); } while (0)
1450 //#define amd64_dec_reg_size(inst,reg,size) do { amd64_codegen_pre(inst); amd64_emit_rex ((inst),(size),0,0,(reg)); x86_dec_reg((inst),((reg)&0x7)); amd64_codegen_post(inst); } while (0)
1451 #define amd64_not_mem_size(inst,mem,size) do { amd64_codegen_pre(inst); amd64_emit_rex ((inst),(size),0,0,0); x86_not_mem((inst),(mem)); amd64_codegen_post(inst); } while (0)
1452 #define amd64_not_membase_size(inst,basereg,disp,size) do { amd64_codegen_pre(inst); amd64_emit_rex ((inst),(size),0,0,(basereg)); x86_not_membase((inst),((basereg)&0x7),(disp)); amd64_codegen_post(inst); } while (0)
1453 #define amd64_not_reg_size(inst,reg,size) do { amd64_codegen_pre(inst); amd64_emit_rex ((inst),(size),0,0,(reg)); x86_not_reg((inst),((reg)&0x7)); amd64_codegen_post(inst); } while (0)
1454 #define amd64_neg_mem_size(inst,mem,size) do { amd64_codegen_pre(inst); amd64_emit_rex ((inst),(size),0,0,0); x86_neg_mem((inst),(mem)); amd64_codegen_post(inst); } while (0)
1455 #define amd64_neg_membase_size(inst,basereg,disp,size) do { amd64_codegen_pre(inst); amd64_emit_rex ((inst),(size),0,0,(basereg)); x86_neg_membase((inst),((basereg)&0x7),(disp)); amd64_codegen_post(inst); } while (0)
1456 #define amd64_neg_reg_size(inst,reg,size) do { amd64_codegen_pre(inst); amd64_emit_rex ((inst),(size),0,0,(reg)); x86_neg_reg((inst),((reg)&0x7)); amd64_codegen_post(inst); } while (0)
1457 #define amd64_nop_size(inst,size) do { amd64_codegen_pre(inst); x86_nop(inst); amd64_codegen_post(inst); } while (0)
1458 //#define amd64_alu_reg_imm_size(inst,opc,reg,imm,size) do { amd64_codegen_pre(inst); amd64_emit_rex ((inst),(size),0,0,(reg)); x86_alu_reg_imm((inst),(opc),((reg)&0x7),(imm)); amd64_codegen_post(inst); } while (0)
1459 #define amd64_alu_mem_imm_size(inst,opc,mem,imm,size) do { amd64_codegen_pre(inst); amd64_emit_rex ((inst),(size),0,0,0); x86_alu_mem_imm((inst),(opc),(mem),(imm)); amd64_codegen_post(inst); } while (0)
1460 #define amd64_alu_membase_imm_size(inst,opc,basereg,disp,imm,size) do { amd64_codegen_pre(inst); amd64_emit_rex ((inst),(size),0,0,(basereg)); x86_alu_membase_imm((inst),(opc),((basereg)&0x7),(disp),(imm)); amd64_codegen_post(inst); } while (0)
1461 #define amd64_alu_membase8_imm_size(inst,opc,basereg,disp,imm,size) do { amd64_codegen_pre(inst); amd64_emit_rex ((inst),(size),0,0,(basereg)); x86_alu_membase8_imm((inst),(opc),((basereg)&0x7),(disp),(imm)); amd64_codegen_post(inst); } while (0)
1462 #define amd64_alu_mem_reg_size(inst,opc,mem,reg,size) do { amd64_codegen_pre(inst); amd64_emit_rex ((inst),(size),0,0,(reg)); x86_alu_mem_reg((inst),(opc),(mem),((reg)&0x7)); amd64_codegen_post(inst); } while (0)
1463 #define amd64_alu_membase_reg_size(inst,opc,basereg,disp,reg,size) do { amd64_codegen_pre(inst); amd64_emit_rex ((inst),(size),(reg),0,(basereg)); x86_alu_membase_reg((inst),(opc),((basereg)&0x7),(disp),((reg)&0x7)); amd64_codegen_post(inst); } while (0)
1464 //#define amd64_alu_reg_reg_size(inst,opc,dreg,reg,size) do { amd64_codegen_pre(inst); amd64_emit_rex ((inst),(size),(dreg),0,(reg)); x86_alu_reg_reg((inst),(opc),((dreg)&0x7),((reg)&0x7)); amd64_codegen_post(inst); } while (0)
1465 #define amd64_alu_reg8_reg8_size(inst,opc,dreg,reg,is_dreg_h,is_reg_h,size) do { amd64_codegen_pre(inst); amd64_emit_rex ((inst),(size),(dreg),0,(reg)); x86_alu_reg8_reg8((inst),(opc),((dreg)&0x7),((reg)&0x7),(is_dreg_h),(is_reg_h)); amd64_codegen_post(inst); } while (0)
1466 #define amd64_alu_reg_mem_size(inst,opc,reg,mem,size) do { amd64_codegen_pre(inst); amd64_emit_rex ((inst),(size),0,0,(reg)); x86_alu_reg_mem((inst),(opc),((reg)&0x7),(mem)); amd64_codegen_post(inst); } while (0)
1467 //#define amd64_alu_reg_membase_size(inst,opc,reg,basereg,disp,size) do { amd64_codegen_pre(inst); amd64_emit_rex ((inst),(size),(reg),0,(basereg)); x86_alu_reg_membase((inst),(opc),((reg)&0x7),((basereg)&0x7),(disp)); amd64_codegen_post(inst); } while (0)
1468 #define amd64_test_reg_imm_size(inst,reg,imm,size) do { amd64_codegen_pre(inst); amd64_emit_rex ((inst),(size),0,0,(reg)); x86_test_reg_imm((inst),((reg)&0x7),(imm)); amd64_codegen_post(inst); } while (0)
1469 #define amd64_test_mem_imm_size(inst,mem,imm,size) do { amd64_codegen_pre(inst); amd64_emit_rex ((inst),(size),0,0,0); x86_test_mem_imm((inst),(mem),(imm)); amd64_codegen_post(inst); } while (0)
1470 #define amd64_test_membase_imm_size(inst,basereg,disp,imm,size) do { amd64_codegen_pre(inst); amd64_emit_rex ((inst),(size),0,0,(basereg)); x86_test_membase_imm((inst),((basereg)&0x7),(disp),(imm)); amd64_codegen_post(inst); } while (0)
1471 #define amd64_test_reg_reg_size(inst,dreg,reg,size) do { amd64_codegen_pre(inst); amd64_emit_rex ((inst),(size),(dreg),0,(reg)); x86_test_reg_reg((inst),((dreg)&0x7),((reg)&0x7)); amd64_codegen_post(inst); } while (0)
1472 #define amd64_test_mem_reg_size(inst,mem,reg,size) do { amd64_codegen_pre(inst); amd64_emit_rex ((inst),(size),0,0,(reg)); x86_test_mem_reg((inst),(mem),((reg)&0x7)); amd64_codegen_post(inst); } while (0)
1473 #define amd64_test_membase_reg_size(inst,basereg,disp,reg,size) do { amd64_codegen_pre(inst); amd64_emit_rex ((inst),(size),(reg),0,(basereg)); x86_test_membase_reg((inst),((basereg)&0x7),(disp),((reg)&0x7)); amd64_codegen_post(inst); } while (0)
1474 #define amd64_shift_reg_imm_size(inst,opc,reg,imm,size) do { amd64_codegen_pre(inst); amd64_emit_rex ((inst),(size),0,0,(reg)); x86_shift_reg_imm((inst),(opc),((reg)&0x7),(imm)); amd64_codegen_post(inst); } while (0)
1475 #define amd64_shift_mem_imm_size(inst,opc,mem,imm,size) do { amd64_codegen_pre(inst); amd64_emit_rex ((inst),(size),0,0,(reg)); x86_shift_mem_imm((inst),(opc),(mem),(imm)); amd64_codegen_post(inst); } while (0)
1476 #define amd64_shift_membase_imm_size(inst,opc,basereg,disp,imm,size) do { amd64_codegen_pre(inst); amd64_emit_rex ((inst),(size),(reg),0,(basereg)); x86_shift_membase_imm((inst),(opc),((basereg)&0x7),(disp),(imm)); amd64_codegen_post(inst); } while (0)
1477 #define amd64_shift_reg_size(inst,opc,reg,size) do { amd64_codegen_pre(inst); amd64_emit_rex ((inst),(size),0,0,(reg)); x86_shift_reg((inst),(opc),((reg)&0x7)); amd64_codegen_post(inst); } while (0)
1478 #define amd64_shift_mem_size(inst,opc,mem,size) do { amd64_codegen_pre(inst); amd64_emit_rex ((inst),(size),0,0,(reg)); x86_shift_mem((inst),(opc),(mem)); amd64_codegen_post(inst); } while (0)
1479 #define amd64_shift_membase_size(inst,opc,basereg,disp,size) do { amd64_codegen_pre(inst); amd64_emit_rex ((inst),(size),0,0,(basereg)); x86_shift_membase((inst),(opc),((basereg)&0x7),(disp)); amd64_codegen_post(inst); } while (0)
1480 #define amd64_shrd_reg_size(inst,dreg,reg,size) do { amd64_codegen_pre(inst); amd64_emit_rex ((inst),(size),(dreg),0,(reg)); x86_shrd_reg((inst),((dreg)&0x7),((reg)&0x7)); amd64_codegen_post(inst); } while (0)
1481 #define amd64_shrd_reg_imm_size(inst,dreg,reg,shamt,size) do { amd64_codegen_pre(inst); amd64_emit_rex ((inst),(size),(dreg),0,(reg)); x86_shrd_reg_imm((inst),((dreg)&0x7),((reg)&0x7),(shamt)); amd64_codegen_post(inst); } while (0)
1482 #define amd64_shld_reg_size(inst,dreg,reg,size) do { amd64_codegen_pre(inst); amd64_emit_rex ((inst),(size),(dreg),0,(reg)); x86_shld_reg((inst),((dreg)&0x7),((reg)&0x7)); amd64_codegen_post(inst); } while (0)
1483 #define amd64_shld_reg_imm_size(inst,dreg,reg,shamt,size) do { amd64_codegen_pre(inst); amd64_emit_rex ((inst),(size),(dreg),0,(reg)); x86_shld_reg_imm((inst),((dreg)&0x7),((reg)&0x7),(shamt)); amd64_codegen_post(inst); } while (0)
1484 #define amd64_mul_reg_size(inst,reg,is_signed,size) do { amd64_codegen_pre(inst); amd64_emit_rex ((inst),(size),0,0,(reg)); x86_mul_reg((inst),((reg)&0x7),(is_signed)); amd64_codegen_post(inst); } while (0)
1485 #define amd64_mul_mem_size(inst,mem,is_signed,size) do { amd64_codegen_pre(inst); amd64_emit_rex ((inst),(size),0,0,0); x86_mul_mem((inst),(mem),(is_signed)); amd64_codegen_post(inst); } while (0)
1486 #define amd64_mul_membase_size(inst,basereg,disp,is_signed,size) do { amd64_codegen_pre(inst); amd64_emit_rex ((inst),(size),0,0,(basereg)); x86_mul_membase((inst),((basereg)&0x7),(disp),(is_signed)); amd64_codegen_post(inst); } while (0)
1487 #define amd64_imul_reg_reg_size(inst,dreg,reg,size) do { amd64_codegen_pre(inst); amd64_emit_rex ((inst),(size),(dreg),0,(reg)); x86_imul_reg_reg((inst),((dreg)&0x7),((reg)&0x7)); amd64_codegen_post(inst); } while (0)
1488 #define amd64_imul_reg_mem_size(inst,reg,mem,size) do { amd64_codegen_pre(inst); amd64_emit_rex ((inst),(size),0,0,(reg)); x86_imul_reg_mem((inst),((reg)&0x7),(mem)); amd64_codegen_post(inst); } while (0)
1489 #define amd64_imul_reg_membase_size(inst,reg,basereg,disp,size) do { amd64_codegen_pre(inst); amd64_emit_rex ((inst),(size),(reg),0,(basereg)); x86_imul_reg_membase((inst),((reg)&0x7),((basereg)&0x7),(disp)); amd64_codegen_post(inst); } while (0)
1490 #define amd64_imul_reg_reg_imm_size(inst,dreg,reg,imm,size) do { amd64_codegen_pre(inst); amd64_emit_rex ((inst),(size),(dreg),0,(reg)); x86_imul_reg_reg_imm((inst),((dreg)&0x7),((reg)&0x7),(imm)); amd64_codegen_post(inst); } while (0)
1491 #define amd64_imul_reg_mem_imm_size(inst,reg,mem,imm,size) do { amd64_codegen_pre(inst); amd64_emit_rex ((inst),(size),0,0,(reg)); x86_imul_reg_mem_imm((inst),((reg)&0x7),(mem),(imm)); amd64_codegen_post(inst); } while (0)
1492 #define amd64_imul_reg_membase_imm_size(inst,reg,basereg,disp,imm,size) do { amd64_codegen_pre(inst); amd64_emit_rex ((inst),(size),(reg),0,(basereg)); x86_imul_reg_membase_imm((inst),((reg)&0x7),((basereg)&0x7),(disp),(imm)); amd64_codegen_post(inst); } while (0)
1493 #define amd64_div_reg_size(inst,reg,is_signed,size) do { amd64_codegen_pre(inst); amd64_emit_rex ((inst),(size),0,0,(reg)); x86_div_reg((inst),((reg)&0x7),(is_signed)); amd64_codegen_post(inst); } while (0)
1494 #define amd64_div_mem_size(inst,mem,is_signed,size) do { amd64_codegen_pre(inst); amd64_emit_rex ((inst),(size),0,0,0); x86_div_mem((inst),(mem),(is_signed)); amd64_codegen_post(inst); } while (0)
1495 #define amd64_div_membase_size(inst,basereg,disp,is_signed,size) do { amd64_codegen_pre(inst); amd64_emit_rex ((inst),(size),0,0,(basereg)); x86_div_membase((inst),((basereg)&0x7),(disp),(is_signed)); amd64_codegen_post(inst); } while (0)
1496 #define amd64_mov_mem_reg_size(inst,mem,reg,size) do { amd64_codegen_pre(inst); amd64_emit_rex ((inst),(size),0,0,(reg)); x86_mov_mem_reg((inst),(mem),((reg)&0x7),(size) == 8 ? 4 : (size)); amd64_codegen_post(inst); } while (0)
1497 //#define amd64_mov_regp_reg_size(inst,regp,reg,size) do { amd64_codegen_pre(inst); amd64_emit_rex ((inst),(size),(regp),0,(reg)); x86_mov_regp_reg((inst),(regp),((reg)&0x7),(size) == 8 ? 4 : (size)); amd64_codegen_post(inst); } while (0)
1498 //#define amd64_mov_membase_reg_size(inst,basereg,disp,reg,size) do { amd64_codegen_pre(inst); amd64_emit_rex ((inst),(size),(reg),0,(basereg)); x86_mov_membase_reg((inst),((basereg)&0x7),(disp),((reg)&0x7),(size) == 8 ? 4 : (size)); amd64_codegen_post(inst); } while (0)
1499 #define amd64_mov_memindex_reg_size(inst,basereg,disp,indexreg,shift,reg,size) do { amd64_codegen_pre(inst); amd64_emit_rex ((inst),(size),(reg),(indexreg),(basereg)); x86_mov_memindex_reg((inst),((basereg)&0x7),(disp),((indexreg)&0x7),(shift),((reg)&0x7),(size) == 8 ? 4 : (size)); amd64_codegen_post(inst); } while (0)
1500 #define amd64_mov_reg_reg_size(inst,dreg,reg,size) do { amd64_codegen_pre(inst); amd64_emit_rex ((inst),(size),(dreg),0,(reg)); x86_mov_reg_reg((inst),((dreg)&0x7),((reg)&0x7),(size) == 8 ? 4 : (size)); amd64_codegen_post(inst); } while (0)
1501 //#define amd64_mov_reg_mem_size(inst,reg,mem,size) do { amd64_codegen_pre(inst); amd64_emit_rex ((inst),(size),0,0,(reg)); x86_mov_reg_mem((inst),((reg)&0x7),(mem),(size) == 8 ? 4 : (size)); amd64_codegen_post(inst); } while (0)
1502 //#define amd64_mov_reg_membase_size(inst,reg,basereg,disp,size) do { amd64_codegen_pre(inst); amd64_emit_rex ((inst),(size),(reg),0,(basereg)); x86_mov_reg_membase((inst),((reg)&0x7),((basereg)&0x7),(disp),(size) == 8 ? 4 : (size)); amd64_codegen_post(inst); } while (0)
1503 //#define amd64_mov_reg_memindex_size(inst,reg,basereg,disp,indexreg,shift,size) do { amd64_codegen_pre(inst); amd64_emit_rex ((inst),(size),(reg),(indexreg),(basereg)); x86_mov_reg_memindex((inst),((reg)&0x7),((basereg)&0x7),(disp),((indexreg)&0x7),(shift),(size) == 8 ? 4 : (size)); amd64_codegen_post(inst); } while (0)
1504 #define amd64_clear_reg_size(inst,reg,size) do { amd64_codegen_pre(inst); amd64_emit_rex ((inst),(size),0,0,(reg)); x86_clear_reg((inst),((reg)&0x7)); amd64_codegen_post(inst); } while (0)
1505 //#define amd64_mov_reg_imm_size(inst,reg,imm,size) do { amd64_codegen_pre(inst); amd64_emit_rex ((inst),(size),0,0,(reg)); x86_mov_reg_imm((inst),((reg)&0x7),(imm)); amd64_codegen_post(inst); } while (0)
1506 #define amd64_mov_mem_imm_size(inst,mem,imm,size) do { amd64_codegen_pre(inst); amd64_emit_rex ((inst),(size),0,0,0); x86_mov_mem_imm((inst),(mem),(imm),(size) == 8 ? 4 : (size)); amd64_codegen_post(inst); } while (0)
1507 //#define amd64_mov_membase_imm_size(inst,basereg,disp,imm,size) do { amd64_codegen_pre(inst); amd64_emit_rex ((inst),(size),0,0,(basereg)); x86_mov_membase_imm((inst),((basereg)&0x7),(disp),(imm),(size) == 8 ? 4 : (size)); amd64_codegen_post(inst); } while (0)
1508 #define amd64_mov_memindex_imm_size(inst,basereg,disp,indexreg,shift,imm,size) do { amd64_codegen_pre(inst); amd64_emit_rex ((inst),(size),0,(indexreg),(basereg)); x86_mov_memindex_imm((inst),((basereg)&0x7),(disp),((indexreg)&0x7),(shift),(imm),(size) == 8 ? 4 : (size)); amd64_codegen_post(inst); } while (0)
1509 #define amd64_lea_mem_size(inst,reg,mem,size) do { amd64_codegen_pre(inst); amd64_emit_rex ((inst),(size),0,0,(reg)); x86_lea_mem((inst),((reg)&0x7),(mem)); amd64_codegen_post(inst); } while (0)
1510 //#define amd64_lea_membase_size(inst,reg,basereg,disp,size) do { amd64_codegen_pre(inst); amd64_emit_rex ((inst),(size),0,0,(basereg)); x86_lea_membase((inst),((reg)&0x7),((basereg)&0x7),(disp)); amd64_codegen_post(inst); } while (0)
1511 #define amd64_lea_memindex_size(inst,reg,basereg,disp,indexreg,shift,size) do { amd64_codegen_pre(inst); amd64_emit_rex ((inst),(size),(reg),(indexreg),(basereg)); x86_lea_memindex((inst),((reg)&0x7),((basereg)&0x7),(disp),((indexreg)&0x7),(shift)); amd64_codegen_post(inst); } while (0)
1512 #define amd64_widen_reg_size(inst,dreg,reg,is_signed,is_half,size) do { amd64_codegen_pre(inst); amd64_emit_rex ((inst),(size),(dreg),0,(reg)); x86_widen_reg((inst),((dreg)&0x7),((reg)&0x7),(is_signed),(is_half)); amd64_codegen_post(inst); } while (0)
1513 #define amd64_widen_mem_size(inst,dreg,mem,is_signed,is_half,size) do { amd64_codegen_pre(inst); amd64_emit_rex ((inst),(size),(dreg),0,0); x86_widen_mem((inst),((dreg)&0x7),(mem),(is_signed),(is_half)); amd64_codegen_post(inst); } while (0)
1514 #define amd64_widen_membase_size(inst,dreg,basereg,disp,is_signed,is_half,size) do { amd64_codegen_pre(inst); amd64_emit_rex ((inst),(size),(dreg),0,(basereg)); x86_widen_membase((inst),((dreg)&0x7),((basereg)&0x7),(disp),(is_signed),(is_half)); amd64_codegen_post(inst); } while (0)
1515 #define amd64_widen_memindex_size(inst,dreg,basereg,disp,indexreg,shift,is_signed,is_half,size) do { amd64_codegen_pre(inst); amd64_emit_rex ((inst),(size),(dreg),(indexreg),(basereg)); x86_widen_memindex((inst),((dreg)&0x7),((basereg)&0x7),(disp),((indexreg)&0x7),(shift),(is_signed),(is_half)); amd64_codegen_post(inst); } while (0)
1516 #define amd64_cdq_size(inst,size) do { amd64_codegen_pre(inst); amd64_emit_rex ((inst),(size),0,0,0); x86_cdq(inst); amd64_codegen_post(inst); } while (0)
1517 #define amd64_wait_size(inst,size) do { amd64_codegen_pre(inst); amd64_emit_rex ((inst),(size),0,0,0); x86_wait(inst); amd64_codegen_post(inst); } while (0)
1518 #define amd64_fp_op_mem_size(inst,opc,mem,is_double,size) do { amd64_codegen_pre(inst); amd64_emit_rex ((inst),0,0,0,0); x86_fp_op_mem((inst),(opc),(mem),(is_double)); amd64_codegen_post(inst); } while (0)
1519 #define amd64_fp_op_membase_size(inst,opc,basereg,disp,is_double,size) do { amd64_codegen_pre(inst); amd64_emit_rex ((inst),0,0,0,(basereg)); x86_fp_op_membase((inst),(opc),((basereg)&0x7),(disp),(is_double)); amd64_codegen_post(inst); } while (0)
1520 #define amd64_fp_op_size(inst,opc,index,size) do { amd64_codegen_pre(inst); amd64_emit_rex ((inst),0,0,0,0); x86_fp_op((inst),(opc),(index)); amd64_codegen_post(inst); } while (0)
1521 #define amd64_fp_op_reg_size(inst,opc,index,pop_stack,size) do { amd64_codegen_pre(inst); amd64_emit_rex ((inst),0,0,0,0); x86_fp_op_reg((inst),(opc),(index),(pop_stack)); amd64_codegen_post(inst); } while (0)
1522 #define amd64_fp_int_op_membase_size(inst,opc,basereg,disp,is_int,size) do { amd64_codegen_pre(inst); amd64_emit_rex ((inst),0,0,0,(basereg)); x86_fp_int_op_membase((inst),(opc),((basereg)&0x7),(disp),(is_int)); amd64_codegen_post(inst); } while (0)
1523 #define amd64_fstp_size(inst,index,size) do { amd64_codegen_pre(inst); amd64_emit_rex ((inst),0,0,0,0); x86_fstp((inst),(index)); amd64_codegen_post(inst); } while (0)
1524 #define amd64_fcompp_size(inst,size) do { amd64_codegen_pre(inst); amd64_emit_rex ((inst),0,0,0,0); x86_fcompp(inst); amd64_codegen_post(inst); } while (0)
1525 #define amd64_fucompp_size(inst,size) do { amd64_codegen_pre(inst); amd64_emit_rex ((inst),0,0,0,0); x86_fucompp(inst); amd64_codegen_post(inst); } while (0)
1526 #define amd64_fnstsw_size(inst,size) do { amd64_codegen_pre(inst); amd64_emit_rex ((inst),0,0,0,0); x86_fnstsw(inst); amd64_codegen_post(inst); } while (0)
1527 #define amd64_fnstcw_size(inst,mem,size) do { amd64_codegen_pre(inst); amd64_emit_rex ((inst),0,0,0,0); x86_fnstcw((inst),(mem)); amd64_codegen_post(inst); } while (0)
1528 #define amd64_fnstcw_membase_size(inst,basereg,disp,size) do { amd64_codegen_pre(inst); amd64_emit_rex ((inst),(size),0,0,(basereg)); x86_fnstcw_membase((inst),((basereg)&0x7),(disp)); amd64_codegen_post(inst); } while (0)
1529 #define amd64_fldcw_size(inst,mem,size) do { amd64_codegen_pre(inst); amd64_emit_rex ((inst),0,0,0,0); x86_fldcw((inst),(mem)); amd64_codegen_post(inst); } while (0)
1530 #define amd64_fldcw_membase_size(inst,basereg,disp,size) do { amd64_codegen_pre(inst); amd64_emit_rex ((inst),0,0,0,(basereg)); x86_fldcw_membase((inst),((basereg)&0x7),(disp)); amd64_codegen_post(inst); } while (0)
1531 #define amd64_fchs_size(inst,size) do { amd64_codegen_pre(inst); amd64_emit_rex ((inst),0,0,0,0); x86_fchs(inst); amd64_codegen_post(inst); } while (0)
1532 #define amd64_frem_size(inst,size) do { amd64_codegen_pre(inst); amd64_emit_rex ((inst),0,0,0,0); x86_frem(inst); amd64_codegen_post(inst); } while (0)
1533 #define amd64_fxch_size(inst,index,size) do { amd64_codegen_pre(inst); amd64_emit_rex ((inst),0,0,0,0); x86_fxch((inst),(index)); amd64_codegen_post(inst); } while (0)
1534 #define amd64_fcomi_size(inst,index,size) do { amd64_codegen_pre(inst); amd64_emit_rex ((inst),0,0,0,0); x86_fcomi((inst),(index)); amd64_codegen_post(inst); } while (0)
1535 #define amd64_fcomip_size(inst,index,size) do { amd64_codegen_pre(inst); amd64_emit_rex ((inst),0,0,0,0); x86_fcomip((inst),(index)); amd64_codegen_post(inst); } while (0)
1536 #define amd64_fucomi_size(inst,index,size) do { amd64_codegen_pre(inst); amd64_emit_rex ((inst),0,0,0,0); x86_fucomi((inst),(index)); amd64_codegen_post(inst); } while (0)
1537 #define amd64_fucomip_size(inst,index,size) do { amd64_codegen_pre(inst); amd64_emit_rex ((inst),0,0,0,0); x86_fucomip((inst),(index)); amd64_codegen_post(inst); } while (0)
1538 #define amd64_fld_size(inst,mem,is_double,size) do { amd64_codegen_pre(inst); amd64_emit_rex ((inst),0,0,0,0); x86_fld((inst),(mem),(is_double)); amd64_codegen_post(inst); } while (0)
1539 //#define amd64_fld_membase_size(inst,basereg,disp,is_double,size) do { amd64_codegen_pre(inst); amd64_emit_rex ((inst),0,0,0,(basereg)); x86_fld_membase((inst),((basereg)&0x7),(disp),(is_double)); amd64_codegen_post(inst); } while (0)
1540 #define amd64_fld80_mem_size(inst,mem,size) do { amd64_codegen_pre(inst); amd64_emit_rex ((inst),0,0,0,0); x86_fld80_mem((inst),(mem)); amd64_codegen_post(inst); } while (0)
1541 #define amd64_fld80_membase_size(inst,basereg,disp,size) do { amd64_codegen_pre(inst); amd64_emit_rex ((inst),(size),0,0,(basereg)); x86_fld80_membase((inst),((basereg)&0x7),(disp)); amd64_codegen_post(inst); } while (0)
1542 #define amd64_fild_size(inst,mem,is_long,size) do { amd64_codegen_pre(inst); amd64_emit_rex ((inst),0,0,0,0); x86_fild((inst),(mem),(is_long)); amd64_codegen_post(inst); } while (0)
1543 #define amd64_fild_membase_size(inst,basereg,disp,is_long,size) do { amd64_codegen_pre(inst); amd64_emit_rex ((inst),0,0,0,(basereg)); x86_fild_membase((inst),((basereg)&0x7),(disp),(is_long)); amd64_codegen_post(inst); } while (0)
1544 #define amd64_fld_reg_size(inst,index,size) do { amd64_codegen_pre(inst); amd64_emit_rex ((inst),0,0,0,0); x86_fld_reg((inst),(index)); amd64_codegen_post(inst); } while (0)
1545 #define amd64_fldz_size(inst,size) do { amd64_codegen_pre(inst); amd64_emit_rex ((inst),0,0,0,0); x86_fldz(inst); amd64_codegen_post(inst); } while (0)
1546 #define amd64_fld1_size(inst,size) do { amd64_codegen_pre(inst); amd64_emit_rex ((inst),0,0,0,0); x86_fld1(inst); amd64_codegen_post(inst); } while (0)
1547 #define amd64_fldpi_size(inst,size) do { amd64_codegen_pre(inst); amd64_emit_rex ((inst),0,0,0,0); x86_fldpi(inst); amd64_codegen_post(inst); } while (0)
1548 #define amd64_fst_size(inst,mem,is_double,pop_stack,size) do { amd64_codegen_pre(inst); amd64_emit_rex ((inst),0,0,0,0); x86_fst((inst),(mem),(is_double),(pop_stack)); amd64_codegen_post(inst); } while (0)
1549 #define amd64_fst_membase_size(inst,basereg,disp,is_double,pop_stack,size) do { amd64_codegen_pre(inst); amd64_emit_rex ((inst),0,0,0,(basereg)); x86_fst_membase((inst),((basereg)&0x7),(disp),(is_double),(pop_stack)); amd64_codegen_post(inst); } while (0)
1550 #define amd64_fst80_mem_size(inst,mem,size) do { amd64_codegen_pre(inst); amd64_emit_rex ((inst),0,0,0,0); x86_fst80_mem((inst),(mem)); amd64_codegen_post(inst); } while (0)
1551 #define amd64_fst80_membase_size(inst,basereg,disp,size) do { amd64_codegen_pre(inst); amd64_emit_rex ((inst),0,0,0,(basereg)); x86_fst80_membase((inst),((basereg)&0x7),(disp)); amd64_codegen_post(inst); } while (0)
1552 #define amd64_fist_pop_size(inst,mem,is_long,size) do { amd64_codegen_pre(inst); amd64_emit_rex ((inst),0,0,0,0); x86_fist_pop((inst),(mem),(is_long)); amd64_codegen_post(inst); } while (0)
1553 #define amd64_fist_pop_membase_size(inst,basereg,disp,is_long,size) do { amd64_codegen_pre(inst); amd64_emit_rex ((inst),0,0,0,(basereg)); x86_fist_pop_membase((inst),((basereg)&0x7),(disp),(is_long)); amd64_codegen_post(inst); } while (0)
1554 #define amd64_fstsw_size(inst,size) do { amd64_codegen_pre(inst); amd64_emit_rex ((inst),(size),0,0,0); x86_fstsw(inst); amd64_codegen_post(inst); } while (0)
1555 #define amd64_fist_membase_size(inst,basereg,disp,is_int,size) do { amd64_codegen_pre(inst); amd64_emit_rex ((inst),0,0,0,(basereg)); x86_fist_membase((inst),((basereg)&0x7),(disp),(is_int)); amd64_codegen_post(inst); } while (0)
1556 //#define amd64_push_reg_size(inst,reg,size) do { amd64_codegen_pre(inst); amd64_emit_rex ((inst),(size),0,0,(reg)); x86_push_reg((inst),((reg)&0x7)); amd64_codegen_post(inst); } while (0)
1557 #define amd64_push_regp_size(inst,reg,size) do { amd64_codegen_pre(inst); amd64_emit_rex ((inst),(size),0,0,(reg)); x86_push_regp((inst),((reg)&0x7)); amd64_codegen_post(inst); } while (0)
1558 #define amd64_push_mem_size(inst,mem,size) do { amd64_codegen_pre(inst); amd64_emit_rex ((inst),(size),0,0,0); x86_push_mem((inst),(mem)); amd64_codegen_post(inst); } while (0)
1559 //#define amd64_push_membase_size(inst,basereg,disp,size) do { amd64_codegen_pre(inst); amd64_emit_rex ((inst),(size),0,0,(basereg)); x86_push_membase((inst),((basereg)&0x7),(disp)); amd64_codegen_post(inst); } while (0)
1560 #define amd64_push_memindex_size(inst,basereg,disp,indexreg,shift,size) do { amd64_codegen_pre(inst); amd64_emit_rex ((inst),(size),0,(indexreg),(basereg)); x86_push_memindex((inst),((basereg)&0x7),(disp),((indexreg)&0x7),(shift)); amd64_codegen_post(inst); } while (0)
1561 #define amd64_push_imm_size(inst,imm,size) do { amd64_codegen_pre(inst); amd64_emit_rex ((inst),0,0,0,0); x86_push_imm((inst),(imm)); amd64_codegen_post(inst); } while (0)
1562 //#define amd64_pop_reg_size(inst,reg,size) do { amd64_codegen_pre(inst); amd64_emit_rex ((inst),(size),0,0,(reg)); x86_pop_reg((inst),((reg)&0x7)); amd64_codegen_post(inst); } while (0)
1563 #define amd64_pop_mem_size(inst,mem,size) do { amd64_codegen_pre(inst); amd64_emit_rex ((inst),(size),0,0,0); x86_pop_mem((inst),(mem)); amd64_codegen_post(inst); } while (0)
1564 #define amd64_pop_membase_size(inst,basereg,disp,size) do { amd64_codegen_pre(inst); amd64_emit_rex ((inst),(size),0,0,(basereg)); x86_pop_membase((inst),((basereg)&0x7),(disp)); amd64_codegen_post(inst); } while (0)
1565 #define amd64_pushad_size(inst,size) do { amd64_codegen_pre(inst); amd64_emit_rex ((inst),(size),0,0,0); x86_pushad(inst); amd64_codegen_post(inst); } while (0)
1566 #define amd64_pushfd_size(inst,size) do { amd64_codegen_pre(inst); amd64_emit_rex ((inst),(size),0,0,0); x86_pushfd(inst); amd64_codegen_post(inst); } while (0)
1567 #define amd64_popad_size(inst,size) do { amd64_codegen_pre(inst); amd64_emit_rex ((inst),(size),0,0,0); x86_popad(inst); amd64_codegen_post(inst); } while (0)
1568 #define amd64_popfd_size(inst,size) do { amd64_codegen_pre(inst); amd64_emit_rex ((inst),(size),0,0,0); x86_popfd(inst); amd64_codegen_post(inst); } while (0)
1569 #define amd64_loop_size(inst,imm,size) do { amd64_codegen_pre(inst); amd64_emit_rex ((inst),(size),0,0,0); x86_loop((inst),(imm)); amd64_codegen_post(inst); } while (0)
1570 #define amd64_loope_size(inst,imm,size) do { amd64_codegen_pre(inst); amd64_emit_rex ((inst),(size),0,0,0); x86_loope((inst),(imm)); amd64_codegen_post(inst); } while (0)
1571 #define amd64_loopne_size(inst,imm,size) do { amd64_codegen_pre(inst); amd64_emit_rex ((inst),(size),0,0,0); x86_loopne((inst),(imm)); amd64_codegen_post(inst); } while (0)
1572 #define amd64_jump32_size(inst,imm,size) do { amd64_codegen_pre(inst); amd64_emit_rex ((inst),(size),0,0,0); x86_jump32((inst),(imm)); amd64_codegen_post(inst); } while (0)
1573 #define amd64_jump8_size(inst,imm,size) do { amd64_codegen_pre(inst); amd64_emit_rex ((inst),(size),0,0,0); x86_jump8((inst),(imm)); amd64_codegen_post(inst); } while (0)
1574 #if !defined( __native_client_codegen__ )
1575 /* Defined above for Native Client, so they can be used in other macros */
1576 #define amd64_jump_reg_size(inst,reg,size) do { amd64_emit_rex ((inst),0,0,0,(reg)); x86_jump_reg((inst),((reg)&0x7)); } while (0)
1577 #define amd64_jump_mem_size(inst,mem,size) do { amd64_emit_rex ((inst),(size),0,0,0); x86_jump_mem((inst),(mem)); } while (0)
1578 #endif
1579 #define amd64_jump_disp_size(inst,disp,size) do { amd64_codegen_pre(inst); amd64_emit_rex ((inst),0,0,0,0); x86_jump_disp((inst),(disp)); amd64_codegen_post(inst); } while (0)
1580 #define amd64_branch8_size(inst,cond,imm,is_signed,size) do { x86_branch8((inst),(cond),(imm),(is_signed)); } while (0)
1581 #define amd64_branch32_size(inst,cond,imm,is_signed,size) do { x86_branch32((inst),(cond),(imm),(is_signed)); } while (0)
1582 #define amd64_branch_size_body(inst,cond,target,is_signed,size) do { amd64_codegen_pre(inst); amd64_emit_rex ((inst),(size),0,0,0); x86_branch((inst),(cond),(target),(is_signed)); amd64_codegen_post(inst); } while (0)
1583 #if defined(__default_codegen__)
1584 #define amd64_branch_size(inst,cond,target,is_signed,size) do { amd64_branch_size_body((inst),(cond),(target),(is_signed),(size)); } while (0)
1585 #elif defined(__native_client_codegen__)
1586 #define amd64_branch_size(inst,cond,target,is_signed,size) \
1587         do { \
1588                 /* amd64_branch_size_body used twice in     */ \
1589                 /* case of relocation by amd64_codegen_post */ \
1590                 guint8* branch_start; \
1591                 amd64_codegen_pre(inst); \
1592                 amd64_branch_size_body((inst),(cond),(target),(is_signed),(size)); \
1593                 inst = amd64_codegen_post(inst); \
1594                 branch_start = inst; \
1595                 amd64_branch_size_body((inst),(cond),(target),(is_signed),(size)); \
1596                 mono_amd64_patch(branch_start, (target)); \
1597         } while (0)
1598 #endif
1599
1600 #define amd64_branch_disp_size(inst,cond,disp,is_signed,size) do { amd64_codegen_pre(inst); amd64_emit_rex ((inst),(size),0,0,0); x86_branch_disp((inst),(cond),(disp),(is_signed)); amd64_codegen_post(inst); } while (0)
1601 #define amd64_set_reg_size(inst,cond,reg,is_signed,size) do { amd64_codegen_pre(inst); amd64_emit_rex((inst),1,0,0,(reg)); x86_set_reg((inst),(cond),((reg)&0x7),(is_signed)); amd64_codegen_post(inst); } while (0)
1602 #define amd64_set_mem_size(inst,cond,mem,is_signed,size) do { amd64_codegen_pre(inst); x86_set_mem((inst),(cond),(mem),(is_signed)); amd64_codegen_post(inst); } while (0)
1603 #define amd64_set_membase_size(inst,cond,basereg,disp,is_signed,size) do { amd64_codegen_pre(inst); amd64_emit_rex ((inst),0,0,0,(basereg)); x86_set_membase((inst),(cond),((basereg)&0x7),(disp),(is_signed)); amd64_codegen_post(inst); } while (0)
1604 //#define amd64_call_reg_size(inst,reg,size) do { amd64_codegen_pre(inst); amd64_emit_rex ((inst),(size),0,0,(reg)); x86_call_reg((inst),((reg)&0x7)); amd64_codegen_post(inst); } while (0)
1605 #define amd64_call_mem_size(inst,mem,size) do { amd64_codegen_pre(inst); amd64_emit_rex ((inst),(size),0,0,0); x86_call_mem((inst),(mem)); amd64_codegen_post(inst); } while (0)
1606
1607 #if defined(__default_codegen__)
1608
1609 #define amd64_call_imm_size(inst,disp,size) do { x86_call_imm((inst),(disp)); } while (0)
1610 #define amd64_call_code_size(inst,target,size) do { x86_call_code((inst),(target)); } while (0)
1611
1612 #elif defined(__native_client_codegen__)
1613 /* Size is ignored for Native Client calls, we restrict jumping to 32-bits */
1614 #define amd64_call_imm_size(inst,disp,size)             \
1615   do {                                                  \
1616     amd64_codegen_pre((inst));                          \
1617     amd64_call_sequence_pre((inst));                    \
1618     x86_call_imm((inst),(disp));                        \
1619     amd64_call_sequence_post((inst));                   \
1620     amd64_codegen_post((inst));                         \
1621   } while (0)
1622
1623 /* x86_call_code is called twice below, first so we can get the size of the */
1624 /* call sequence, and again so the exact offset from "inst" is used, since  */
1625 /* the sequence could have moved from amd64_call_sequence_post.             */
1626 /* Size is ignored for Native Client jumps, we restrict jumping to 32-bits  */
1627 #define amd64_call_code_size(inst,target,size)          \
1628   do {                                                  \
1629     amd64_codegen_pre((inst));                          \
1630     guint8* adjusted_start;                             \
1631     guint8* call_start;                                 \
1632     amd64_call_sequence_pre((inst));                    \
1633     x86_call_code((inst),(target));                     \
1634     adjusted_start = amd64_call_sequence_post((inst));  \
1635     call_start = adjusted_start;                        \
1636     x86_call_code(adjusted_start, (target));            \
1637     amd64_codegen_post((inst));                         \
1638     mono_amd64_patch(call_start, (target));             \
1639   } while (0)
1640
1641 #endif /*__native_client_codegen__*/
1642
1643 //#define amd64_ret_size(inst,size) do { amd64_codegen_pre(inst); amd64_emit_rex ((inst),(size),0,0,0); x86_ret(inst); amd64_codegen_post(inst); } while (0)
1644 #define amd64_ret_imm_size(inst,imm,size) do { amd64_codegen_pre(inst); amd64_emit_rex ((inst),(size),0,0,0); x86_ret_imm((inst),(imm)); amd64_codegen_post(inst); } while (0)
1645 #define amd64_cmov_reg_size(inst,cond,is_signed,dreg,reg,size) do { amd64_codegen_pre(inst); amd64_emit_rex ((inst),(size),(dreg),0,(reg)); x86_cmov_reg((inst),(cond),(is_signed),((dreg)&0x7),((reg)&0x7)); amd64_codegen_post(inst); } while (0)
1646 #define amd64_cmov_mem_size(inst,cond,is_signed,reg,mem,size) do { amd64_codegen_pre(inst); amd64_emit_rex ((inst),(size),0,0,(reg)); x86_cmov_mem((inst),(cond),(is_signed),((reg)&0x7),(mem)); amd64_codegen_post(inst); } while (0)
1647 #define amd64_cmov_membase_size(inst,cond,is_signed,reg,basereg,disp,size) do { amd64_codegen_pre(inst); amd64_emit_rex ((inst),(size),0,0,(basereg)); x86_cmov_membase((inst),(cond),(is_signed),((reg)&0x7),((basereg)&0x7),(disp)); amd64_codegen_post(inst); } while (0)
1648 #define amd64_enter_size(inst,framesize) do { amd64_codegen_pre(inst); amd64_emit_rex ((inst),(size),0,0,0); x86_enter((inst),(framesize)); amd64_codegen_post(inst); } while (0)
1649 //#define amd64_leave_size(inst,size) do { amd64_codegen_pre(inst); amd64_emit_rex ((inst),(size),0,0,0); x86_leave(inst); amd64_codegen_post(inst); } while (0)
1650 #define amd64_sahf_size(inst,size) do { amd64_codegen_pre(inst); amd64_emit_rex ((inst),(size),0,0,0); x86_sahf(inst); amd64_codegen_post(inst); } while (0)
1651 #define amd64_fsin_size(inst,size) do { amd64_codegen_pre(inst); x86_fsin(inst); amd64_codegen_post(inst); } while (0)
1652 #define amd64_fcos_size(inst,size) do { amd64_codegen_pre(inst); x86_fcos(inst); amd64_codegen_post(inst); } while (0)
1653 #define amd64_fabs_size(inst,size) do { amd64_codegen_pre(inst); x86_fabs(inst); amd64_codegen_post(inst); } while (0)
1654 #define amd64_ftst_size(inst,size) do { amd64_codegen_pre(inst); x86_ftst(inst); amd64_codegen_post(inst); } while (0)
1655 #define amd64_fxam_size(inst,size) do { amd64_codegen_pre(inst); x86_fxam(inst); amd64_codegen_post(inst); } while (0)
1656 #define amd64_fpatan_size(inst,size) do { amd64_codegen_pre(inst); x86_fpatan(inst); amd64_codegen_post(inst); } while (0)
1657 #define amd64_fprem_size(inst,size) do { amd64_codegen_pre(inst); x86_fprem(inst); amd64_codegen_post(inst); } while (0)
1658 #define amd64_fprem1_size(inst,size) do { amd64_codegen_pre(inst); x86_fprem1(inst); amd64_codegen_post(inst); } while (0)
1659 #define amd64_frndint_size(inst,size) do { amd64_codegen_pre(inst); x86_frndint(inst); amd64_codegen_post(inst); } while (0)
1660 #define amd64_fsqrt_size(inst,size) do { amd64_codegen_pre(inst); x86_fsqrt(inst); amd64_codegen_post(inst); } while (0)
1661 #define amd64_fptan_size(inst,size) do { amd64_codegen_pre(inst); x86_fptan(inst); amd64_codegen_post(inst); } while (0)
1662 //#define amd64_padding_size(inst,size) do { amd64_codegen_pre(inst); x86_padding((inst),(size)); amd64_codegen_post(inst); } while (0)
1663 #define amd64_prolog_size(inst,frame_size,reg_mask,size) do { amd64_codegen_pre(inst); amd64_emit_rex ((inst),(size),0,0,0); x86_prolog((inst),(frame_size),(reg_mask)); amd64_codegen_post(inst); } while (0)
1664 #define amd64_epilog_size(inst,reg_mask,size) do { amd64_codegen_pre(inst); amd64_emit_rex ((inst),(size),0,0,0); x86_epilog((inst),(reg_mask)); amd64_codegen_post(inst); } while (0)
1665 #define amd64_xadd_reg_reg_size(inst,dreg,reg,size) do { amd64_codegen_pre(inst); amd64_emit_rex ((inst),(size),(dreg),0,(reg)); x86_xadd_reg_reg ((inst), (dreg), (reg), (size)); amd64_codegen_post(inst); } while (0)
1666 #define amd64_xadd_mem_reg_size(inst,mem,reg,size) do { amd64_codegen_pre(inst); amd64_emit_rex ((inst),(size),0,0,(reg)); x86_xadd_mem_reg((inst),(mem),((reg)&0x7), (size)); amd64_codegen_post(inst); } while (0)
1667 #define amd64_xadd_membase_reg_size(inst,basereg,disp,reg,size) do { amd64_codegen_pre(inst); amd64_emit_rex ((inst),(size),(reg),0,(basereg)); x86_xadd_membase_reg((inst),((basereg)&0x7),(disp),((reg)&0x7),(size)); amd64_codegen_post(inst); } while (0)
1668
1669
1670
1671
1672 #define amd64_breakpoint(inst) amd64_breakpoint_size(inst,8)
1673 #define amd64_cld(inst) amd64_cld_size(inst,8)
1674 #define amd64_stosb(inst) amd64_stosb_size(inst,8)
1675 #define amd64_stosl(inst) amd64_stosl_size(inst,8)
1676 #define amd64_stosd(inst) amd64_stosd_size(inst,8)
1677 #define amd64_movsb(inst) amd64_movsb_size(inst,8)
1678 #define amd64_movsl(inst) amd64_movsl_size(inst,8)
1679 #define amd64_movsd(inst) amd64_movsd_size(inst,8)
1680 #define amd64_prefix(inst,p) amd64_prefix_size(inst,p,8)
1681 #define amd64_rdtsc(inst) amd64_rdtsc_size(inst,8)
1682 #define amd64_cmpxchg_reg_reg(inst,dreg,reg) amd64_cmpxchg_reg_reg_size(inst,dreg,reg,8)
1683 #define amd64_cmpxchg_mem_reg(inst,mem,reg) amd64_cmpxchg_mem_reg_size(inst,mem,reg,8)
1684 #define amd64_cmpxchg_membase_reg(inst,basereg,disp,reg) amd64_cmpxchg_membase_reg_size(inst,basereg,disp,reg,8)
1685 #define amd64_xchg_reg_reg(inst,dreg,reg,size) amd64_xchg_reg_reg_size(inst,dreg,reg,size)
1686 #define amd64_xchg_mem_reg(inst,mem,reg,size) amd64_xchg_mem_reg_size(inst,mem,reg,size)
1687 #define amd64_xchg_membase_reg(inst,basereg,disp,reg,size) amd64_xchg_membase_reg_size(inst,basereg,disp,reg,size)
1688 #define amd64_xadd_reg_reg(inst,dreg,reg,size) amd64_xadd_reg_reg_size(inst,dreg,reg,size)
1689 #define amd64_xadd_mem_reg(inst,mem,reg,size) amd64_xadd_mem_reg_size(inst,mem,reg,size)
1690 #define amd64_xadd_membase_reg(inst,basereg,disp,reg,size) amd64_xadd_membase_reg_size(inst,basereg,disp,reg,size)
1691 #define amd64_inc_mem(inst,mem) amd64_inc_mem_size(inst,mem,8)
1692 #define amd64_inc_membase(inst,basereg,disp) amd64_inc_membase_size(inst,basereg,disp,8)
1693 #define amd64_inc_reg(inst,reg) amd64_inc_reg_size(inst,reg,8)
1694 #define amd64_dec_mem(inst,mem) amd64_dec_mem_size(inst,mem,8)
1695 #define amd64_dec_membase(inst,basereg,disp) amd64_dec_membase_size(inst,basereg,disp,8)
1696 #define amd64_dec_reg(inst,reg) amd64_dec_reg_size(inst,reg,8)
1697 #define amd64_not_mem(inst,mem) amd64_not_mem_size(inst,mem,8)
1698 #define amd64_not_membase(inst,basereg,disp) amd64_not_membase_size(inst,basereg,disp,8)
1699 #define amd64_not_reg(inst,reg) amd64_not_reg_size(inst,reg,8)
1700 #define amd64_neg_mem(inst,mem) amd64_neg_mem_size(inst,mem,8)
1701 #define amd64_neg_membase(inst,basereg,disp) amd64_neg_membase_size(inst,basereg,disp,8)
1702 #define amd64_neg_reg(inst,reg) amd64_neg_reg_size(inst,reg,8)
1703 #define amd64_nop(inst) amd64_nop_size(inst,8)
1704 //#define amd64_alu_reg_imm(inst,opc,reg,imm) amd64_alu_reg_imm_size(inst,opc,reg,imm,8)
1705 #define amd64_alu_mem_imm(inst,opc,mem,imm) amd64_alu_mem_imm_size(inst,opc,mem,imm,8)
1706 #define amd64_alu_membase_imm(inst,opc,basereg,disp,imm) amd64_alu_membase_imm_size(inst,opc,basereg,disp,imm,8)
1707 #define amd64_alu_mem_reg(inst,opc,mem,reg) amd64_alu_mem_reg_size(inst,opc,mem,reg,8)
1708 #define amd64_alu_membase_reg(inst,opc,basereg,disp,reg) amd64_alu_membase_reg_size(inst,opc,basereg,disp,reg,8)
1709 //#define amd64_alu_reg_reg(inst,opc,dreg,reg) amd64_alu_reg_reg_size(inst,opc,dreg,reg,8)
1710 #define amd64_alu_reg8_reg8(inst,opc,dreg,reg,is_dreg_h,is_reg_h) amd64_alu_reg8_reg8_size(inst,opc,dreg,reg,is_dreg_h,is_reg_h,8)
1711 #define amd64_alu_reg_mem(inst,opc,reg,mem) amd64_alu_reg_mem_size(inst,opc,reg,mem,8)
1712 #define amd64_alu_reg_membase(inst,opc,reg,basereg,disp) amd64_alu_reg_membase_size(inst,opc,reg,basereg,disp,8)
1713 #define amd64_test_reg_imm(inst,reg,imm) amd64_test_reg_imm_size(inst,reg,imm,8)
1714 #define amd64_test_mem_imm(inst,mem,imm) amd64_test_mem_imm_size(inst,mem,imm,8)
1715 #define amd64_test_membase_imm(inst,basereg,disp,imm) amd64_test_membase_imm_size(inst,basereg,disp,imm,8)
1716 #define amd64_test_reg_reg(inst,dreg,reg) amd64_test_reg_reg_size(inst,dreg,reg,8)
1717 #define amd64_test_mem_reg(inst,mem,reg) amd64_test_mem_reg_size(inst,mem,reg,8)
1718 #define amd64_test_membase_reg(inst,basereg,disp,reg) amd64_test_membase_reg_size(inst,basereg,disp,reg,8)
1719 #define amd64_shift_reg_imm(inst,opc,reg,imm) amd64_shift_reg_imm_size(inst,opc,reg,imm,8)
1720 #define amd64_shift_mem_imm(inst,opc,mem,imm) amd64_shift_mem_imm_size(inst,opc,mem,imm,8)
1721 #define amd64_shift_membase_imm(inst,opc,basereg,disp,imm) amd64_shift_membase_imm_size(inst,opc,basereg,disp,imm,8)
1722 #define amd64_shift_reg(inst,opc,reg) amd64_shift_reg_size(inst,opc,reg,8)
1723 #define amd64_shift_mem(inst,opc,mem) amd64_shift_mem_size(inst,opc,mem,8)
1724 #define amd64_shift_membase(inst,opc,basereg,disp) amd64_shift_membase_size(inst,opc,basereg,disp,8)
1725 #define amd64_shrd_reg(inst,dreg,reg) amd64_shrd_reg_size(inst,dreg,reg,8)
1726 #define amd64_shrd_reg_imm(inst,dreg,reg,shamt) amd64_shrd_reg_imm_size(inst,dreg,reg,shamt,8)
1727 #define amd64_shld_reg(inst,dreg,reg) amd64_shld_reg_size(inst,dreg,reg,8)
1728 #define amd64_shld_reg_imm(inst,dreg,reg,shamt) amd64_shld_reg_imm_size(inst,dreg,reg,shamt,8)
1729 #define amd64_mul_reg(inst,reg,is_signed) amd64_mul_reg_size(inst,reg,is_signed,8)
1730 #define amd64_mul_mem(inst,mem,is_signed) amd64_mul_mem_size(inst,mem,is_signed,8)
1731 #define amd64_mul_membase(inst,basereg,disp,is_signed) amd64_mul_membase_size(inst,basereg,disp,is_signed,8)
1732 #define amd64_imul_reg_reg(inst,dreg,reg) amd64_imul_reg_reg_size(inst,dreg,reg,8)
1733 #define amd64_imul_reg_mem(inst,reg,mem) amd64_imul_reg_mem_size(inst,reg,mem,8)
1734 #define amd64_imul_reg_membase(inst,reg,basereg,disp) amd64_imul_reg_membase_size(inst,reg,basereg,disp,8)
1735 #define amd64_imul_reg_reg_imm(inst,dreg,reg,imm) amd64_imul_reg_reg_imm_size(inst,dreg,reg,imm,8)
1736 #define amd64_imul_reg_mem_imm(inst,reg,mem,imm) amd64_imul_reg_mem_imm_size(inst,reg,mem,imm,8)
1737 #define amd64_imul_reg_membase_imm(inst,reg,basereg,disp,imm) amd64_imul_reg_membase_imm_size(inst,reg,basereg,disp,imm,8)
1738 #define amd64_div_reg(inst,reg,is_signed) amd64_div_reg_size(inst,reg,is_signed,8)
1739 #define amd64_div_mem(inst,mem,is_signed) amd64_div_mem_size(inst,mem,is_signed,8)
1740 #define amd64_div_membase(inst,basereg,disp,is_signed) amd64_div_membase_size(inst,basereg,disp,is_signed,8)
1741 //#define amd64_mov_mem_reg(inst,mem,reg,size) amd64_mov_mem_reg_size(inst,mem,reg,size)
1742 //#define amd64_mov_regp_reg(inst,regp,reg,size) amd64_mov_regp_reg_size(inst,regp,reg,size)
1743 //#define amd64_mov_membase_reg(inst,basereg,disp,reg,size) amd64_mov_membase_reg_size(inst,basereg,disp,reg,size)
1744 #define amd64_mov_memindex_reg(inst,basereg,disp,indexreg,shift,reg,size) amd64_mov_memindex_reg_size(inst,basereg,disp,indexreg,shift,reg,size)
1745 //#define amd64_mov_reg_reg(inst,dreg,reg,size) amd64_mov_reg_reg_size(inst,dreg,reg,size)
1746 //#define amd64_mov_reg_mem(inst,reg,mem,size) amd64_mov_reg_mem_size(inst,reg,mem,size)
1747 //#define amd64_mov_reg_membase(inst,reg,basereg,disp,size) amd64_mov_reg_membase_size(inst,reg,basereg,disp,size)
1748 #define amd64_mov_reg_memindex(inst,reg,basereg,disp,indexreg,shift,size) amd64_mov_reg_memindex_size(inst,reg,basereg,disp,indexreg,shift,size)
1749 #define amd64_clear_reg(inst,reg) amd64_clear_reg_size(inst,reg,8)
1750 //#define amd64_mov_reg_imm(inst,reg,imm) amd64_mov_reg_imm_size(inst,reg,imm,8)
1751 #define amd64_mov_mem_imm(inst,mem,imm,size) amd64_mov_mem_imm_size(inst,mem,imm,size)
1752 //#define amd64_mov_membase_imm(inst,basereg,disp,imm,size) amd64_mov_membase_imm_size(inst,basereg,disp,imm,size)
1753 #define amd64_mov_memindex_imm(inst,basereg,disp,indexreg,shift,imm,size) amd64_mov_memindex_imm_size(inst,basereg,disp,indexreg,shift,imm,size)
1754 #define amd64_lea_mem(inst,reg,mem) amd64_lea_mem_size(inst,reg,mem,8)
1755 //#define amd64_lea_membase(inst,reg,basereg,disp) amd64_lea_membase_size(inst,reg,basereg,disp,8)
1756 #define amd64_lea_memindex(inst,reg,basereg,disp,indexreg,shift) amd64_lea_memindex_size(inst,reg,basereg,disp,indexreg,shift,8)
1757 #define amd64_widen_reg(inst,dreg,reg,is_signed,is_half) amd64_widen_reg_size(inst,dreg,reg,is_signed,is_half,8)
1758 #define amd64_widen_mem(inst,dreg,mem,is_signed,is_half) amd64_widen_mem_size(inst,dreg,mem,is_signed,is_half,8)
1759 #define amd64_widen_membase(inst,dreg,basereg,disp,is_signed,is_half) amd64_widen_membase_size(inst,dreg,basereg,disp,is_signed,is_half,8)
1760 #define amd64_widen_memindex(inst,dreg,basereg,disp,indexreg,shift,is_signed,is_half) amd64_widen_memindex_size(inst,dreg,basereg,disp,indexreg,shift,is_signed,is_half,8)
1761 #define amd64_cdq(inst) amd64_cdq_size(inst,8)
1762 #define amd64_wait(inst) amd64_wait_size(inst,8)
1763 #define amd64_fp_op_mem(inst,opc,mem,is_double) amd64_fp_op_mem_size(inst,opc,mem,is_double,8)
1764 #define amd64_fp_op_membase(inst,opc,basereg,disp,is_double) amd64_fp_op_membase_size(inst,opc,basereg,disp,is_double,8)
1765 #define amd64_fp_op(inst,opc,index) amd64_fp_op_size(inst,opc,index,8)
1766 #define amd64_fp_op_reg(inst,opc,index,pop_stack) amd64_fp_op_reg_size(inst,opc,index,pop_stack,8)
1767 #define amd64_fp_int_op_membase(inst,opc,basereg,disp,is_int) amd64_fp_int_op_membase_size(inst,opc,basereg,disp,is_int,8)
1768 #define amd64_fstp(inst,index) amd64_fstp_size(inst,index,8)
1769 #define amd64_fcompp(inst) amd64_fcompp_size(inst,8)
1770 #define amd64_fucompp(inst) amd64_fucompp_size(inst,8)
1771 #define amd64_fnstsw(inst) amd64_fnstsw_size(inst,8)
1772 #define amd64_fnstcw(inst,mem) amd64_fnstcw_size(inst,mem,8)
1773 #define amd64_fnstcw_membase(inst,basereg,disp) amd64_fnstcw_membase_size(inst,basereg,disp,8)
1774 #define amd64_fldcw(inst,mem) amd64_fldcw_size(inst,mem,8)
1775 #define amd64_fldcw_membase(inst,basereg,disp) amd64_fldcw_membase_size(inst,basereg,disp,8)
1776 #define amd64_fchs(inst) amd64_fchs_size(inst,8)
1777 #define amd64_frem(inst) amd64_frem_size(inst,8)
1778 #define amd64_fxch(inst,index) amd64_fxch_size(inst,index,8)
1779 #define amd64_fcomi(inst,index) amd64_fcomi_size(inst,index,8)
1780 #define amd64_fcomip(inst,index) amd64_fcomip_size(inst,index,8)
1781 #define amd64_fucomi(inst,index) amd64_fucomi_size(inst,index,8)
1782 #define amd64_fucomip(inst,index) amd64_fucomip_size(inst,index,8)
1783 #define amd64_fld(inst,mem,is_double) amd64_fld_size(inst,mem,is_double,8)
1784 #define amd64_fld_membase(inst,basereg,disp,is_double)  amd64_fld_membase_size(inst,basereg,disp,is_double,8)
1785 #define amd64_fld80_mem(inst,mem) amd64_fld80_mem_size(inst,mem,8)
1786 #define amd64_fld80_membase(inst,basereg,disp) amd64_fld80_membase_size(inst,basereg,disp,8)
1787 #define amd64_fild(inst,mem,is_long) amd64_fild_size(inst,mem,is_long,8)
1788 #define amd64_fild_membase(inst,basereg,disp,is_long) amd64_fild_membase_size(inst,basereg,disp,is_long,8)
1789 #define amd64_fld_reg(inst,index) amd64_fld_reg_size(inst,index,8)
1790 #define amd64_fldz(inst) amd64_fldz_size(inst,8)
1791 #define amd64_fld1(inst) amd64_fld1_size(inst,8)
1792 #define amd64_fldpi(inst) amd64_fldpi_size(inst,8)
1793 #define amd64_fst(inst,mem,is_double,pop_stack) amd64_fst_size(inst,mem,is_double,pop_stack,8)
1794 #define amd64_fst_membase(inst,basereg,disp,is_double,pop_stack) amd64_fst_membase_size(inst,basereg,disp,is_double,pop_stack,8)
1795 #define amd64_fst80_mem(inst,mem) amd64_fst80_mem_size(inst,mem,8)
1796 #define amd64_fst80_membase(inst,basereg,disp) amd64_fst80_membase_size(inst,basereg,disp,8)
1797 #define amd64_fist_pop(inst,mem,is_long) amd64_fist_pop_size(inst,mem,is_long,8)
1798 #define amd64_fist_pop_membase(inst,basereg,disp,is_long) amd64_fist_pop_membase_size(inst,basereg,disp,is_long,8)
1799 #define amd64_fstsw(inst) amd64_fstsw_size(inst,8)
1800 #define amd64_fist_membase(inst,basereg,disp,is_int) amd64_fist_membase_size(inst,basereg,disp,is_int,8)
1801 //#define amd64_push_reg(inst,reg) amd64_push_reg_size(inst,reg,8)
1802 #define amd64_push_regp(inst,reg) amd64_push_regp_size(inst,reg,8)
1803 #define amd64_push_mem(inst,mem) amd64_push_mem_size(inst,mem,8)
1804 //#define amd64_push_membase(inst,basereg,disp) amd64_push_membase_size(inst,basereg,disp,8)
1805 #define amd64_push_memindex(inst,basereg,disp,indexreg,shift) amd64_push_memindex_size(inst,basereg,disp,indexreg,shift,8)
1806 #define amd64_push_imm(inst,imm) amd64_push_imm_size(inst,imm,8)
1807 //#define amd64_pop_reg(inst,reg) amd64_pop_reg_size(inst,reg,8)
1808 #define amd64_pop_mem(inst,mem) amd64_pop_mem_size(inst,mem,8)
1809 #define amd64_pop_membase(inst,basereg,disp) amd64_pop_membase_size(inst,basereg,disp,8)
1810 #define amd64_pushad(inst) amd64_pushad_size(inst,8)
1811 #define amd64_pushfd(inst) amd64_pushfd_size(inst,8)
1812 #define amd64_popad(inst) amd64_popad_size(inst,8)
1813 #define amd64_popfd(inst) amd64_popfd_size(inst,8)
1814 #define amd64_loop(inst,imm) amd64_loop_size(inst,imm,8)
1815 #define amd64_loope(inst,imm) amd64_loope_size(inst,imm,8)
1816 #define amd64_loopne(inst,imm) amd64_loopne_size(inst,imm,8)
1817 #define amd64_jump32(inst,imm) amd64_jump32_size(inst,imm,8)
1818 #define amd64_jump8(inst,imm) amd64_jump8_size(inst,imm,8)
1819 #define amd64_jump_reg(inst,reg) amd64_jump_reg_size(inst,reg,8)
1820 #define amd64_jump_mem(inst,mem) amd64_jump_mem_size(inst,mem,8)
1821 #define amd64_jump_membase(inst,basereg,disp) amd64_jump_membase_size(inst,basereg,disp,8)
1822 #define amd64_jump_code(inst,target) amd64_jump_code_size(inst,target,8)
1823 #define amd64_jump_disp(inst,disp) amd64_jump_disp_size(inst,disp,8)
1824 #define amd64_branch8(inst,cond,imm,is_signed) amd64_branch8_size(inst,cond,imm,is_signed,8)
1825 #define amd64_branch32(inst,cond,imm,is_signed) amd64_branch32_size(inst,cond,imm,is_signed,8)
1826 #define amd64_branch(inst,cond,target,is_signed) amd64_branch_size(inst,cond,target,is_signed,8)
1827 #define amd64_branch_disp(inst,cond,disp,is_signed) amd64_branch_disp_size(inst,cond,disp,is_signed,8)
1828 #define amd64_set_reg(inst,cond,reg,is_signed) amd64_set_reg_size(inst,cond,reg,is_signed,8)
1829 #define amd64_set_mem(inst,cond,mem,is_signed) amd64_set_mem_size(inst,cond,mem,is_signed,8)
1830 #define amd64_set_membase(inst,cond,basereg,disp,is_signed) amd64_set_membase_size(inst,cond,basereg,disp,is_signed,8)
1831 #define amd64_call_imm(inst,disp) amd64_call_imm_size(inst,disp,8)
1832 //#define amd64_call_reg(inst,reg) amd64_call_reg_size(inst,reg,8)
1833 #define amd64_call_mem(inst,mem) amd64_call_mem_size(inst,mem,8)
1834 #define amd64_call_membase(inst,basereg,disp) amd64_call_membase_size(inst,basereg,disp,8)
1835 #define amd64_call_code(inst,target) amd64_call_code_size(inst,target,8)
1836 //#define amd64_ret(inst) amd64_ret_size(inst,8)
1837 #define amd64_ret_imm(inst,imm) amd64_ret_imm_size(inst,imm,8)
1838 #define amd64_cmov_reg(inst,cond,is_signed,dreg,reg) amd64_cmov_reg_size(inst,cond,is_signed,dreg,reg,8)
1839 #define amd64_cmov_mem(inst,cond,is_signed,reg,mem) amd64_cmov_mem_size(inst,cond,is_signed,reg,mem,8)
1840 #define amd64_cmov_membase(inst,cond,is_signed,reg,basereg,disp) amd64_cmov_membase_size(inst,cond,is_signed,reg,basereg,disp,8)
1841 #define amd64_enter(inst,framesize) amd64_enter_size(inst,framesize)
1842 //#define amd64_leave(inst) amd64_leave_size(inst,8)
1843 #define amd64_sahf(inst) amd64_sahf_size(inst,8)
1844 #define amd64_fsin(inst) amd64_fsin_size(inst,8)
1845 #define amd64_fcos(inst) amd64_fcos_size(inst,8)
1846 #define amd64_fabs(inst) amd64_fabs_size(inst,8)
1847 #define amd64_ftst(inst) amd64_ftst_size(inst,8)
1848 #define amd64_fxam(inst) amd64_fxam_size(inst,8)
1849 #define amd64_fpatan(inst) amd64_fpatan_size(inst,8)
1850 #define amd64_fprem(inst) amd64_fprem_size(inst,8)
1851 #define amd64_fprem1(inst) amd64_fprem1_size(inst,8)
1852 #define amd64_frndint(inst) amd64_frndint_size(inst,8)
1853 #define amd64_fsqrt(inst) amd64_fsqrt_size(inst,8)
1854 #define amd64_fptan(inst) amd64_fptan_size(inst,8)
1855 #define amd64_padding(inst,size) amd64_padding_size(inst,size)
1856 #define amd64_prolog(inst,frame,reg_mask) amd64_prolog_size(inst,frame,reg_mask,8)
1857 #define amd64_epilog(inst,reg_mask) amd64_epilog_size(inst,reg_mask,8)
1858
1859 #endif // AMD64_H