This commit was manufactured by cvs2svn to create branch 'mono-1-0'.
[mono.git] / mono / arch / x86 / x86-codegen.h
index a699e5ff900795df41cbe5b7c646d5b294f91dae..e0b12ff5378beb24b78541eb787bccf7561c6ede 100644 (file)
@@ -1,7 +1,16 @@
-/* Copyright (C)  2000 Intel Corporation.  All rights reserved.
-//
-// $Header: /home/miguel/third-conversion/public/mono/mono/arch/x86/x86-codegen.h,v 1.1 2001/08/08 13:32:23 lupus Exp $
-*/
+/*
+ * x86-codegen.h: Macros for generating x86 code
+ *
+ * Authors:
+ *   Paolo Molaro (lupus@ximian.com)
+ *   Intel Corporation (ORP Project)
+ *   Sergey Chaban (serge@wildwestsoftware.com)
+ *   Dietmar Maurer (dietmar@ximian.com)
+ *   Patrik Torstensson
+ * 
+ * Copyright (C)  2000 Intel Corporation.  All rights reserved.
+ * Copyright (C)  2001, 2002 Ximian, Inc.
+ */
 
 #ifndef X86_H
 #define X86_H
@@ -38,8 +47,12 @@ typedef enum {
 // opcodes for shift instructions
 */
 typedef enum {
-        X86_SHLD,
+       X86_SHLD,
        X86_SHLR,
+       X86_ROL = 0,
+       X86_ROR = 1,
+       X86_RCL = 2,
+       X86_RCR = 3,
        X86_SHL = 4,
        X86_SHR = 5,
        X86_SAR = 7,
@@ -63,18 +76,53 @@ typedef enum {
 // integer conditions codes
 */
 typedef enum {
-       X86_CC_EQ = 0,
-       X86_CC_NE,
-       X86_CC_LT,
-       X86_CC_LE,
-       X86_CC_GT,
-       X86_CC_GE,
-       X86_CC_LZ,
-       X86_CC_GEZ,
-       X86_CC_P,
-       X86_CC_NP,
+       X86_CC_EQ = 0, X86_CC_E = 0, X86_CC_Z = 0,
+       X86_CC_NE = 1, X86_CC_NZ = 1,
+       X86_CC_LT = 2, X86_CC_B = 2, X86_CC_C = 2, X86_CC_NAE = 2,
+       X86_CC_LE = 3, X86_CC_BE = 3, X86_CC_NA = 3,
+       X86_CC_GT = 4, X86_CC_A = 4, X86_CC_NBE = 4,
+       X86_CC_GE = 5, X86_CC_AE = 5, X86_CC_NB = 5, X86_CC_NC = 5,
+       X86_CC_LZ = 6, X86_CC_S = 6,
+       X86_CC_GEZ = 7, X86_CC_NS = 7,
+       X86_CC_P = 8, X86_CC_PE = 8,
+       X86_CC_NP = 9, X86_CC_PO = 9,
+       X86_CC_O = 10,
+       X86_CC_NO = 11,
        X86_NCC
 } X86_CC;
+
+/* FP status */
+enum {
+       X86_FP_C0 = 0x100,
+       X86_FP_C1 = 0x200,
+       X86_FP_C2 = 0x400,
+       X86_FP_C3 = 0x4000,
+       X86_FP_CC_MASK = 0x4500
+};
+
+/* FP control word */
+enum {
+       X86_FPCW_INVOPEX_MASK = 0x1,
+       X86_FPCW_DENOPEX_MASK = 0x2,
+       X86_FPCW_ZERODIV_MASK = 0x4,
+       X86_FPCW_OVFEX_MASK   = 0x8,
+       X86_FPCW_UNDFEX_MASK  = 0x10,
+       X86_FPCW_PRECEX_MASK  = 0x20,
+       X86_FPCW_PRECC_MASK   = 0x300,
+       X86_FPCW_ROUNDC_MASK  = 0xc00,
+
+       /* values for precision control */
+       X86_FPCW_PREC_SINGLE    = 0,
+       X86_FPCW_PREC_DOUBLE    = 0x200,
+       X86_FPCW_PREC_EXTENDED  = 0x300,
+
+       /* values for rounding control */
+       X86_FPCW_ROUND_NEAREST  = 0,
+       X86_FPCW_ROUND_DOWN     = 0x400,
+       X86_FPCW_ROUND_UP       = 0x800,
+       X86_FPCW_ROUND_TOZERO   = 0xc00
+};
+
 /*
 // prefix code
 */
@@ -89,53 +137,68 @@ typedef enum {
        X86_ES_PREFIX = 0x26,
        X86_FS_PREFIX = 0x64,
        X86_GS_PREFIX = 0x65,
+       X86_UNLIKELY_PREFIX = 0x2E,
+       X86_LIKELY_PREFIX = 0x3E,
        X86_OPERAND_PREFIX = 0x66,
        X86_ADDRESS_PREFIX = 0x67
 } X86_Prefix;
 
 static const unsigned char 
 x86_cc_unsigned_map [X86_NCC] = {
-       0x74, // eq
-       0x75, // ne
-       0x72, // lt
-       0x76, // le
-       0x77, // gt
-       0x73, // ge
-       0x78, // lz
-       0x79, // gez
-       0x7a, // p
-       0x7b, // np
+       0x74, /* eq  */
+       0x75, /* ne  */
+       0x72, /* lt  */
+       0x76, /* le  */
+       0x77, /* gt  */
+       0x73, /* ge  */
+       0x78, /* lz  */
+       0x79, /* gez */
+       0x7a, /* p   */
+       0x7b, /* np  */
+       0x70, /* o  */
+       0x71, /* no  */
 };
 
 static const unsigned char 
 x86_cc_signed_map [X86_NCC] = {
-       0x74, // eq
-       0x75, // ne
-       0x7c, // lt
-       0x7e, // le
-       0x7f, // gt
-       0x7d, // ge
-       0x78, // lz
-       0x79, // gez
-       0x7a, // p
-       0x7b, // np
+       0x74, /* eq  */
+       0x75, /* ne  */
+       0x7c, /* lt  */
+       0x7e, /* le  */
+       0x7f, /* gt  */
+       0x7d, /* ge  */
+       0x78, /* lz  */
+       0x79, /* gez */
+       0x7a, /* p   */
+       0x7b, /* np  */
+       0x70, /* o  */
+       0x71, /* no  */
 };
 
+typedef union {
+       int val;
+       unsigned char b [4];
+} x86_imm_buf;
+
+#define X86_NOBASEREG (-1)
+
 /*
 // bitvector mask for callee-saved registers
 */
-#define X86_CALLEE_ESI_MASK (1<<X86_ESI)
-#define X86_CALLEE_EDI_MASK (1<<X86_EDI)
-#define X86_CALLEE_EBX_MASK (1<<X86_EBX)
-#define X86_CALLEE_EBP_MASK (1<<X86_EBP)
+#define X86_ESI_MASK (1<<X86_ESI)
+#define X86_EDI_MASK (1<<X86_EDI)
+#define X86_EBX_MASK (1<<X86_EBX)
+#define X86_EBP_MASK (1<<X86_EBP)
 
-#define X86_CALLER_REGS ((1<<X86_EAX) | (1<<X86_ECX) | (1<<X86_EDX))
-#define X86_CALLEE_REGS ((1<<X86_EBX) | (1<<X86_EBP) | (1<<X86_ESI) | (1<<X86_EDI))
+#define X86_CALLEE_REGS ((1<<X86_EAX) | (1<<X86_ECX) | (1<<X86_EDX))
+#define X86_CALLER_REGS ((1<<X86_EBX) | (1<<X86_EBP) | (1<<X86_ESI) | (1<<X86_EDI))
 #define X86_BYTE_REGS   ((1<<X86_EAX) | (1<<X86_ECX) | (1<<X86_EDX) | (1<<X86_EBX))
 
 #define X86_IS_SCRATCH(reg) (X86_CALLER_REGS & (1 << (reg))) /* X86_EAX, X86_ECX, or X86_EDX */
 #define X86_IS_CALLEE(reg)  (X86_CALLEE_REGS & (1 << (reg)))   /* X86_ESI, X86_EDI, X86_EBX, or X86_EBP */
 
+#define X86_IS_BYTE_REG(reg) ((reg) < 4)
+
 /*
 // Frame structure:
 //
@@ -180,13 +243,22 @@ x86_cc_signed_map [X86_NCC] = {
  * useful building blocks
  */
 #define x86_address_byte(inst,m,o,r) do { *(inst)++ = ((((m)&0x03)<<6)|(((o)&0x07)<<3)|(((r)&0x07))); } while (0)
-#define x86_imm_emit32(inst,imm)     do { *(int*)(inst) = (imm); (inst) += 4; } while (0)
+#define x86_imm_emit32(inst,imm)     \
+       do {    \
+                       x86_imm_buf imb; imb.val = (int) (imm); \
+                       *(inst)++ = imb.b [0];  \
+                       *(inst)++ = imb.b [1];  \
+                       *(inst)++ = imb.b [2];  \
+                       *(inst)++ = imb.b [3];  \
+       } while (0)
 #define x86_imm_emit16(inst,imm)     do { *(short*)(inst) = (imm); (inst) += 2; } while (0)
 #define x86_imm_emit8(inst,imm)      do { *(inst) = (unsigned char)((imm) & 0xff); ++(inst); } while (0)
 #define x86_is_imm8(imm)             (((int)(imm) >= -128 && (int)(imm) <= 127))
 #define x86_is_imm16(imm)            (((int)(imm) >= -(1<<16) && (int)(imm) <= ((1<<16)-1)))
 
 #define x86_reg_emit(inst,r,regno)   do { x86_address_byte ((inst), 3, (r), (regno)); } while (0)
+#define x86_reg8_emit(inst,r,regno,is_rh,is_rnoh)   do {x86_address_byte ((inst), 3, (is_rh)?((r)|4):(r), (is_rnoh)?((regno)|4):(regno));} while (0)
+#define x86_regp_emit(inst,r,regno)  do { x86_address_byte ((inst), 0, (r), (regno)); } while (0)
 #define x86_mem_emit(inst,r,disp)    do { x86_address_byte ((inst), 0, (r), 5); x86_imm_emit32((inst), (disp)); } while (0)
 
 #define x86_membase_emit(inst,r,basereg,disp)  do {\
@@ -218,12 +290,87 @@ x86_cc_signed_map [X86_NCC] = {
        }       \
        } while (0)
 
-/* 
- * TODO: memindex_emit 
+#define x86_memindex_emit(inst,r,basereg,disp,indexreg,shift)  \
+       do {    \
+               if ((basereg) == X86_NOBASEREG) {       \
+                       x86_address_byte ((inst), 0, (r), 4);   \
+                       x86_address_byte ((inst), (shift), (indexreg), 5);      \
+                       x86_imm_emit32 ((inst), (disp));        \
+               } else if ((disp) == 0 && (basereg) != X86_EBP) {       \
+                       x86_address_byte ((inst), 0, (r), 4);   \
+                       x86_address_byte ((inst), (shift), (indexreg), (basereg));      \
+               } else if (x86_is_imm8((disp))) {       \
+                       x86_address_byte ((inst), 1, (r), 4);   \
+                       x86_address_byte ((inst), (shift), (indexreg), (basereg));      \
+                       x86_imm_emit8 ((inst), (disp)); \
+               } else {        \
+                       x86_address_byte ((inst), 2, (r), 4);   \
+                       x86_address_byte ((inst), (shift), (indexreg), 5);      \
+                       x86_imm_emit32 ((inst), (disp));        \
+               }       \
+       } while (0)
+
+/*
+ * target is the position in the code where to jump to:
+ * target = code;
+ * .. output loop code...
+ * x86_mov_reg_imm (code, X86_EAX, 0);
+ * loop = code;
+ * x86_loop (code, -1);
+ * ... finish method
+ *
+ * patch displacement
+ * x86_patch (loop, target);
+ *
+ * ins should point at the start of the instruction that encodes a target.
+ * the instruction is inspected for validity and the correct displacement
+ * is inserted.
  */
+#define x86_patch(ins,target)  \
+       do {    \
+               unsigned char* pos = (ins) + 1; \
+               int disp, size = 0;     \
+               switch (*(unsigned char*)(ins)) {       \
+               case 0xe8: case 0xe9: ++size; break; /* call, jump32 */ \
+               case 0x0f: if (!(*pos >= 0x70 && *pos <= 0x8f)) assert (0);     \
+                  ++size; ++pos; break; /* prefix for 32-bit disp */   \
+               case 0xe0: case 0xe1: case 0xe2: /* loop */     \
+               case 0xeb: /* jump8 */  \
+               /* conditional jump opcodes */  \
+               case 0x70: case 0x71: case 0x72: case 0x73:     \
+               case 0x74: case 0x75: case 0x76: case 0x77:     \
+               case 0x78: case 0x79: case 0x7a: case 0x7b:     \
+               case 0x7c: case 0x7d: case 0x7e: case 0x7f:     \
+                       break;  \
+               default: assert (0);    \
+               }       \
+               disp = (target) - pos;  \
+               if (size) x86_imm_emit32 (pos, disp - 4);       \
+               else if (x86_is_imm8 (disp - 1)) x86_imm_emit8 (pos, disp - 1); \
+               else assert (0);        \
+       } while (0)
+
+#define x86_breakpoint(inst) \
+       do {    \
+               *(inst)++ = 0xcc;       \
+       } while (0)
+
+#define x86_cld(inst) do { *(inst)++ =(unsigned char)0xfc; } while (0)
+#define x86_stosb(inst) do { *(inst)++ =(unsigned char)0xaa; } while (0)
+#define x86_stosl(inst) do { *(inst)++ =(unsigned char)0xab; } while (0)
+#define x86_stosd(inst) x86_stosl((inst))
+#define x86_movsb(inst) do { *(inst)++ =(unsigned char)0xa4; } while (0)
+#define x86_movsl(inst) do { *(inst)++ =(unsigned char)0xa5; } while (0)
+#define x86_movsd(inst) x86_movsl((inst))
 
 #define x86_prefix(inst,p) do { *(inst)++ =(unsigned char) (p); } while (0)
 
+#define x86_rdtsc(inst) \
+       do {    \
+               *(inst)++ = 0x0f;       \
+               *(inst)++ = 0x31;       \
+       } while (0)
+
 #define x86_cmpxchg_reg_reg(inst,dreg,reg)     \
        do {    \
                *(inst)++ = (unsigned char)0x0f;        \
@@ -397,7 +544,22 @@ x86_cc_signed_map [X86_NCC] = {
 #define x86_alu_reg_reg(inst,opc,dreg,reg)     \
        do {    \
                *(inst)++ = (((unsigned char)(opc)) << 3) + 3;  \
-               x86_reg_emit ((inst), (reg), (dreg));   \
+               x86_reg_emit ((inst), (dreg), (reg));   \
+       } while (0)
+
+/**
+ * @x86_alu_reg8_reg8:
+ * Supports ALU operations between two 8-bit registers.
+ * dreg := dreg opc reg
+ * X86_Reg_No enum is used to specify the registers.
+ * Additionally is_*_h flags are used to specify what part
+ * of a given 32-bit register is used - high (TRUE) or low (FALSE).
+ * For example: dreg = X86_EAX, is_dreg_h = TRUE -> use AH
+ */
+#define x86_alu_reg8_reg8(inst,opc,dreg,reg,is_dreg_h,is_reg_h)        \
+       do {    \
+               *(inst)++ = (((unsigned char)(opc)) << 3) + 2;  \
+               x86_reg8_emit ((inst), (dreg), (reg), (is_dreg_h), (is_reg_h)); \
        } while (0)
 
 #define x86_alu_reg_mem(inst,opc,reg,mem)      \
@@ -513,6 +675,36 @@ x86_cc_signed_map [X86_NCC] = {
  * Multi op shift missing.
  */
 
+#define x86_shrd_reg(inst,dreg,reg)                     \
+        do {                                            \
+               *(inst)++ = (unsigned char)0x0f;        \
+               *(inst)++ = (unsigned char)0xad;        \
+               x86_reg_emit ((inst), (reg), (dreg));   \
+       } while (0)
+
+#define x86_shrd_reg_imm(inst,dreg,reg,shamt)           \
+        do {                                            \
+               *(inst)++ = (unsigned char)0x0f;        \
+               *(inst)++ = (unsigned char)0xac;        \
+               x86_reg_emit ((inst), (reg), (dreg));   \
+               x86_imm_emit8 ((inst), (shamt));        \
+       } while (0)
+
+#define x86_shld_reg(inst,dreg,reg)                     \
+        do {                                            \
+               *(inst)++ = (unsigned char)0x0f;        \
+               *(inst)++ = (unsigned char)0xa5;        \
+               x86_reg_emit ((inst), (reg), (dreg));   \
+       } while (0)
+
+#define x86_shld_reg_imm(inst,dreg,reg,shamt)           \
+        do {                                            \
+               *(inst)++ = (unsigned char)0x0f;        \
+               *(inst)++ = (unsigned char)0xa4;        \
+               x86_reg_emit ((inst), (reg), (dreg));   \
+               x86_imm_emit8 ((inst), (shamt));        \
+       } while (0)
+
 /*
  * EDX:EAX = EAX * rm
  */
@@ -634,6 +826,17 @@ x86_cc_signed_map [X86_NCC] = {
                x86_mem_emit ((inst), (reg), (mem));    \
        } while (0)
 
+#define x86_mov_regp_reg(inst,regp,reg,size)   \
+       do {    \
+               switch ((size)) {       \
+               case 1: *(inst)++ = (unsigned char)0x88; break; \
+               case 2: *(inst)++ = (unsigned char)0x66; /* fall through */     \
+               case 4: *(inst)++ = (unsigned char)0x89; break; \
+               default: assert (0);    \
+               }       \
+               x86_regp_emit ((inst), (reg), (regp));  \
+       } while (0)
+
 #define x86_mov_membase_reg(inst,basereg,disp,reg,size)        \
        do {    \
                switch ((size)) {       \
@@ -645,6 +848,17 @@ x86_cc_signed_map [X86_NCC] = {
                x86_membase_emit ((inst), (reg), (basereg), (disp));    \
        } while (0)
 
+#define x86_mov_memindex_reg(inst,basereg,disp,indexreg,shift,reg,size)        \
+       do {    \
+               switch ((size)) {       \
+               case 1: *(inst)++ = (unsigned char)0x88; break; \
+               case 2: *(inst)++ = (unsigned char)0x66; /* fall through */     \
+               case 4: *(inst)++ = (unsigned char)0x89; break; \
+               default: assert (0);    \
+               }       \
+               x86_memindex_emit ((inst), (reg), (basereg), (disp), (indexreg), (shift));      \
+       } while (0)
+
 #define x86_mov_reg_reg(inst,dreg,reg,size)    \
        do {    \
                switch ((size)) {       \
@@ -667,7 +881,7 @@ x86_cc_signed_map [X86_NCC] = {
                x86_mem_emit ((inst), (reg), (mem));    \
        } while (0)
 
-#define x86_mov_reg_membase(inst,reg,regbase,disp,size)        \
+#define x86_mov_reg_membase(inst,reg,basereg,disp,size)        \
        do {    \
                switch ((size)) {       \
                case 1: *(inst)++ = (unsigned char)0x8a; break; \
@@ -678,13 +892,26 @@ x86_cc_signed_map [X86_NCC] = {
                x86_membase_emit ((inst), (reg), (basereg), (disp));    \
        } while (0)
 
-#define x86_mov_reg_imm(inst,reg,imm)  \
+#define x86_mov_reg_memindex(inst,reg,basereg,disp,indexreg,shift,size)        \
        do {    \
-               if ((imm) == 0) {       \
-                       x86_alu_reg_reg ((inst), X86_XOR, (reg), (reg));        \
-               } else {        \
-                       *(inst)++ = (unsigned char)0xb8 + (reg);        \
+               switch ((size)) {       \
+               case 1: *(inst)++ = (unsigned char)0x8a; break; \
+               case 2: *(inst)++ = (unsigned char)0x66; /* fall through */     \
+               case 4: *(inst)++ = (unsigned char)0x8b; break; \
+               default: assert (0);    \
                }       \
+               x86_memindex_emit ((inst), (reg), (basereg), (disp), (indexreg), (shift));      \
+       } while (0)
+
+/*
+ * Note: x86_clear_reg () chacnges the condition code!
+ */
+#define x86_clear_reg(inst,reg) x86_alu_reg_reg((inst), X86_XOR, (reg), (reg))
+
+#define x86_mov_reg_imm(inst,reg,imm)  \
+       do {    \
+               *(inst)++ = (unsigned char)0xb8 + (reg);        \
+               x86_imm_emit32 ((inst), (imm)); \
        } while (0)
 
 #define x86_mov_mem_imm(inst,mem,imm,size)     \
@@ -693,7 +920,7 @@ x86_cc_signed_map [X86_NCC] = {
                        *(inst)++ = (unsigned char)0xc6;        \
                        x86_mem_emit ((inst), 0, (mem));        \
                        x86_imm_emit8 ((inst), (imm));  \
-               } else if ((size) == 4) {       \
+               } else if ((size) == 2) {       \
                        *(inst)++ = (unsigned char)0x66;        \
                        *(inst)++ = (unsigned char)0xc7;        \
                        x86_mem_emit ((inst), 0, (mem));        \
@@ -705,6 +932,42 @@ x86_cc_signed_map [X86_NCC] = {
                }       \
        } while (0)
 
+#define x86_mov_membase_imm(inst,basereg,disp,imm,size)        \
+       do {    \
+               if ((size) == 1) {      \
+                       *(inst)++ = (unsigned char)0xc6;        \
+                       x86_membase_emit ((inst), 0, (basereg), (disp));        \
+                       x86_imm_emit8 ((inst), (imm));  \
+               } else if ((size) == 2) {       \
+                       *(inst)++ = (unsigned char)0x66;        \
+                       *(inst)++ = (unsigned char)0xc7;        \
+                       x86_membase_emit ((inst), 0, (basereg), (disp));        \
+                       x86_imm_emit16 ((inst), (imm)); \
+               } else {        \
+                       *(inst)++ = (unsigned char)0xc7;        \
+                       x86_membase_emit ((inst), 0, (basereg), (disp));        \
+                       x86_imm_emit32 ((inst), (imm)); \
+               }       \
+       } while (0)
+
+#define x86_mov_memindex_imm(inst,basereg,disp,indexreg,shift,imm,size)        \
+       do {    \
+               if ((size) == 1) {      \
+                       *(inst)++ = (unsigned char)0xc6;        \
+                       x86_memindex_emit ((inst), 0, (basereg), (disp), (indexreg), (shift));  \
+                       x86_imm_emit8 ((inst), (imm));  \
+               } else if ((size) == 2) {       \
+                       *(inst)++ = (unsigned char)0x66;        \
+                       *(inst)++ = (unsigned char)0xc7;        \
+                       x86_memindex_emit ((inst), 0, (basereg), (disp), (indexreg), (shift));  \
+                       x86_imm_emit16 ((inst), (imm)); \
+               } else {        \
+                       *(inst)++ = (unsigned char)0xc7;        \
+                       x86_memindex_emit ((inst), 0, (basereg), (disp), (indexreg), (shift));  \
+                       x86_imm_emit32 ((inst), (imm)); \
+               }       \
+       } while (0)
+
 #define x86_lea_mem(inst,reg,mem)      \
        do {    \
                *(inst)++ = (unsigned char)0x8d;        \
@@ -717,9 +980,16 @@ x86_cc_signed_map [X86_NCC] = {
                x86_membase_emit ((inst), (reg), (basereg), (disp));    \
        } while (0)
 
+#define x86_lea_memindex(inst,reg,basereg,disp,indexreg,shift) \
+       do {    \
+               *(inst)++ = (unsigned char)0x8d;        \
+               x86_memindex_emit ((inst), (reg), (basereg), (disp), (indexreg), (shift));      \
+       } while (0)
+
 #define x86_widen_reg(inst,dreg,reg,is_signed,is_half) \
        do {    \
                unsigned char op = 0xb6;        \
+                g_assert (is_half ||  X86_IS_BYTE_REG (reg)); \
                *(inst)++ = (unsigned char)0x0f;        \
                if ((is_signed)) op += 0x08;    \
                if ((is_half)) op += 0x01;      \
@@ -734,7 +1004,7 @@ x86_cc_signed_map [X86_NCC] = {
                if ((is_signed)) op += 0x08;    \
                if ((is_half)) op += 0x01;      \
                *(inst)++ = op; \
-               x86_mem_emit ((inst), (reg), (mem));    \
+               x86_mem_emit ((inst), (dreg), (mem));   \
        } while (0)
 
 #define x86_widen_membase(inst,dreg,basereg,disp,is_signed,is_half)    \
@@ -744,7 +1014,17 @@ x86_cc_signed_map [X86_NCC] = {
                if ((is_signed)) op += 0x08;    \
                if ((is_half)) op += 0x01;      \
                *(inst)++ = op; \
-               x86_membase_emit ((inst), (reg), (basereg), (disp));    \
+               x86_membase_emit ((inst), (dreg), (basereg), (disp));   \
+       } while (0)
+
+#define x86_widen_memindex(inst,dreg,basereg,disp,indexreg,shift,is_signed,is_half)    \
+       do {    \
+               unsigned char op = 0xb6;        \
+               *(inst)++ = (unsigned char)0x0f;        \
+               if ((is_signed)) op += 0x08;    \
+               if ((is_half)) op += 0x01;      \
+               *(inst)++ = op; \
+               x86_memindex_emit ((inst), (dreg), (basereg), (disp), (indexreg), (shift));     \
        } while (0)
 
 #define x86_cdq(inst)  do { *(inst)++ = (unsigned char)0x99; } while (0)
@@ -756,6 +1036,12 @@ x86_cc_signed_map [X86_NCC] = {
                x86_mem_emit ((inst), (opc), (mem));    \
        } while (0)
 
+#define x86_fp_op_membase(inst,opc,basereg,disp,is_double)     \
+       do {    \
+               *(inst)++ = (is_double) ? (unsigned char)0xdc : (unsigned char)0xd8;    \
+               x86_membase_emit ((inst), (opc), (basereg), (disp));    \
+       } while (0)
+
 #define x86_fp_op(inst,opc,index)      \
        do {    \
                *(inst)++ = (unsigned char)0xd8;        \
@@ -769,6 +1055,19 @@ x86_cc_signed_map [X86_NCC] = {
                *(inst)++ = (unsigned char)0xc0+(map[(opc)]<<3)+((index)&0x07); \
        } while (0)
 
+/**
+ * @x86_fp_int_op_membase
+ * Supports FPU operations between ST(0) and integer operand in memory.
+ * Operation encoded using X86_FP_Opcode enum.
+ * Operand is addressed by [basereg + disp].
+ * is_int specifies whether operand is int32 (TRUE) or int16 (FALSE).
+ */
+#define x86_fp_int_op_membase(inst,opc,basereg,disp,is_int)    \
+       do {    \
+               *(inst)++ = (is_int) ? (unsigned char)0xda : (unsigned char)0xde;       \
+               x86_membase_emit ((inst), opc, (basereg), (disp));      \
+       } while (0)
+
 #define x86_fstp(inst,index)   \
        do {    \
                *(inst)++ = (unsigned char)0xdd;        \
@@ -781,6 +1080,12 @@ x86_cc_signed_map [X86_NCC] = {
                *(inst)++ = (unsigned char)0xd9;        \
        } while (0)
 
+#define x86_fucompp(inst)      \
+       do {    \
+               *(inst)++ = (unsigned char)0xda;        \
+               *(inst)++ = (unsigned char)0xe9;        \
+       } while (0)
+
 #define x86_fnstsw(inst)       \
        do {    \
                *(inst)++ = (unsigned char)0xdf;        \
@@ -829,12 +1134,30 @@ x86_cc_signed_map [X86_NCC] = {
                *(inst)++ = (unsigned char)0xc8 + ((index) & 0x07);     \
        } while (0)
 
+#define x86_fcomi(inst,index)  \
+       do {    \
+               *(inst)++ = (unsigned char)0xdb;        \
+               *(inst)++ = (unsigned char)0xf0 + ((index) & 0x07);     \
+       } while (0)
+
 #define x86_fcomip(inst,index) \
        do {    \
                *(inst)++ = (unsigned char)0xdf;        \
                *(inst)++ = (unsigned char)0xf0 + ((index) & 0x07);     \
        } while (0)
 
+#define x86_fucomi(inst,index) \
+       do {    \
+               *(inst)++ = (unsigned char)0xdb;        \
+               *(inst)++ = (unsigned char)0xe8 + ((index) & 0x07);     \
+       } while (0)
+
+#define x86_fucomip(inst,index)        \
+       do {    \
+               *(inst)++ = (unsigned char)0xdf;        \
+               *(inst)++ = (unsigned char)0xe8 + ((index) & 0x07);     \
+       } while (0)
+
 #define x86_fld(inst,mem,is_double)    \
        do {    \
                *(inst)++ = (is_double) ? (unsigned char)0xdd : (unsigned char)0xd9;    \
@@ -847,7 +1170,7 @@ x86_cc_signed_map [X86_NCC] = {
                x86_membase_emit ((inst), 0, (basereg), (disp));        \
        } while (0)
 
-#define x86_fld80(inst,mem)    \
+#define x86_fld80_mem(inst,mem)        \
        do {    \
                *(inst)++ = (unsigned char)0xdb;        \
                x86_mem_emit ((inst), 5, (mem));        \
@@ -899,6 +1222,12 @@ x86_cc_signed_map [X86_NCC] = {
                *(inst)++ = (unsigned char)0xe8;        \
        } while (0)
 
+#define x86_fldpi(inst)        \
+       do {    \
+               *(inst)++ = (unsigned char)0xd9;        \
+               *(inst)++ = (unsigned char)0xeb;        \
+       } while (0)
+
 #define x86_fst(inst,mem,is_double,pop_stack)  \
        do {    \
                *(inst)++ = (is_double) ? (unsigned char)0xdd: (unsigned char)0xd9;     \
@@ -911,6 +1240,20 @@ x86_cc_signed_map [X86_NCC] = {
                x86_membase_emit ((inst), 2 + ((pop_stack) ? 1 : 0), (basereg), (disp));        \
        } while (0)
 
+#define x86_fst80_mem(inst,mem)        \
+       do {    \
+               *(inst)++ = (unsigned char)0xdb;        \
+               x86_mem_emit ((inst), 7, (mem));        \
+       } while (0)
+
+
+#define x86_fst80_membase(inst,basereg,disp)   \
+       do {    \
+               *(inst)++ = (unsigned char)0xdb;        \
+               x86_membase_emit ((inst), 7, (basereg), (disp));        \
+       } while (0)
+
+
 #define x86_fist_pop(inst,mem,is_long) \
        do {    \
                if ((is_long)) {        \
@@ -933,11 +1276,42 @@ x86_cc_signed_map [X86_NCC] = {
                }       \
        } while (0)
 
+#define x86_fstsw(inst)        \
+       do {    \
+                       *(inst)++ = (unsigned char)0x9b;        \
+                       *(inst)++ = (unsigned char)0xdf;        \
+                       *(inst)++ = (unsigned char)0xe0;        \
+       } while (0)
+
+/**
+ * @x86_fist_membase
+ * Converts content of ST(0) to integer and stores it at memory location
+ * addressed by [basereg + disp].
+ * is_int specifies whether destination is int32 (TRUE) or int16 (FALSE).
+ */
+#define x86_fist_membase(inst,basereg,disp,is_int)     \
+       do {    \
+               if ((is_int)) { \
+                       *(inst)++ = (unsigned char)0xdb;        \
+                       x86_membase_emit ((inst), 2, (basereg), (disp));        \
+               } else {        \
+                       *(inst)++ = (unsigned char)0xdf;        \
+                       x86_membase_emit ((inst), 2, (basereg), (disp));        \
+               }       \
+       } while (0)
+
+
 #define x86_push_reg(inst,reg) \
        do {    \
                *(inst)++ = (unsigned char)0x50 + (reg);        \
        } while (0)
 
+#define x86_push_regp(inst,reg)        \
+       do {    \
+               *(inst)++ = (unsigned char)0xff;        \
+               x86_regp_emit ((inst), 6, (reg));       \
+       } while (0)
+
 #define x86_push_mem(inst,mem) \
        do {    \
                *(inst)++ = (unsigned char)0xff;        \
@@ -950,6 +1324,12 @@ x86_cc_signed_map [X86_NCC] = {
                x86_membase_emit ((inst), 6, (basereg), (disp));        \
        } while (0)
 
+#define x86_push_memindex(inst,basereg,disp,indexreg,shift)    \
+       do {    \
+               *(inst)++ = (unsigned char)0xff;        \
+               x86_memindex_emit ((inst), 6, (basereg), (disp), (indexreg), (shift));  \
+       } while (0)
+
 #define x86_push_imm(inst,imm) \
        do {    \
                *(inst)++ = (unsigned char)0x68;        \
@@ -978,6 +1358,24 @@ x86_cc_signed_map [X86_NCC] = {
 #define x86_popad(inst)  do { *(inst)++ = (unsigned char)0x61; } while (0)
 #define x86_popfd(inst)  do { *(inst)++ = (unsigned char)0x9d; } while (0)
 
+#define x86_loop(inst,imm)     \
+       do {    \
+               *(inst)++ = (unsigned char)0xe2;        \
+               x86_imm_emit8 ((inst), (imm));  \
+       } while (0)
+
+#define x86_loope(inst,imm)    \
+       do {    \
+               *(inst)++ = (unsigned char)0xe1;        \
+               x86_imm_emit8 ((inst), (imm));  \
+       } while (0)
+
+#define x86_loopne(inst,imm)   \
+       do {    \
+               *(inst)++ = (unsigned char)0xe0;        \
+               x86_imm_emit8 ((inst), (imm));  \
+       } while (0)
+
 #define x86_jump32(inst,imm)   \
        do {    \
                *(inst)++ = (unsigned char)0xe9;        \
@@ -1013,7 +1411,7 @@ x86_cc_signed_map [X86_NCC] = {
  */
 #define x86_jump_code(inst,target)     \
        do {    \
-               int t = (target) - (inst) - 2;  \
+               int t = (unsigned char*)(target) - (inst) - 2;  \
                if (x86_is_imm8(t)) {   \
                        x86_jump8 ((inst), t);  \
                } else {        \
@@ -1074,10 +1472,41 @@ x86_cc_signed_map [X86_NCC] = {
                }       \
        } while (0)
 
-#define x86_call_imm(inst,imm) \
+#define x86_set_reg(inst,cond,reg,is_signed)   \
+       do {    \
+                g_assert (X86_IS_BYTE_REG (reg)); \
+               *(inst)++ = (unsigned char)0x0f;        \
+               if ((is_signed))        \
+                       *(inst)++ = x86_cc_signed_map [(cond)] + 0x20;  \
+               else    \
+                       *(inst)++ = x86_cc_unsigned_map [(cond)] + 0x20;        \
+               x86_reg_emit ((inst), 0, (reg));        \
+       } while (0)
+
+#define x86_set_mem(inst,cond,mem,is_signed)   \
+       do {    \
+               *(inst)++ = (unsigned char)0x0f;        \
+               if ((is_signed))        \
+                       *(inst)++ = x86_cc_signed_map [(cond)] + 0x20;  \
+               else    \
+                       *(inst)++ = x86_cc_unsigned_map [(cond)] + 0x20;        \
+               x86_mem_emit ((inst), 0, (mem));        \
+       } while (0)
+
+#define x86_set_membase(inst,cond,basereg,disp,is_signed)      \
+       do {    \
+               *(inst)++ = (unsigned char)0x0f;        \
+               if ((is_signed))        \
+                       *(inst)++ = x86_cc_signed_map [(cond)] + 0x20;  \
+               else    \
+                       *(inst)++ = x86_cc_unsigned_map [(cond)] + 0x20;        \
+               x86_membase_emit ((inst), 0, (basereg), (disp));        \
+       } while (0)
+
+#define x86_call_imm(inst,disp)        \
        do {    \
                *(inst)++ = (unsigned char)0xe8;        \
-               x86_imm_emit32 ((inst), (imm)); \
+               x86_imm_emit32 ((inst), (int)(disp));   \
        } while (0)
 
 #define x86_call_reg(inst,reg) \
@@ -1100,9 +1529,9 @@ x86_cc_signed_map [X86_NCC] = {
 
 #define x86_call_code(inst,target)     \
        do {    \
-               int offset = (target) - (inst); \
-               offset -= 5     \
-               x86_call_imm ((inst), offset);  \
+               int _x86_offset = (unsigned char*)(target) - (inst);    \
+               _x86_offset -= 5;       \
+               x86_call_imm ((inst), _x86_offset);     \
        } while (0)
 
 #define x86_ret(inst) do { *(inst)++ = (unsigned char)0xc3; } while (0)
@@ -1160,6 +1589,8 @@ x86_cc_signed_map [X86_NCC] = {
 #define x86_fsin(inst) do { *(inst)++ = (unsigned char)0xd9; *(inst)++ = (unsigned char)0xfe; } while (0)
 #define x86_fcos(inst) do { *(inst)++ = (unsigned char)0xd9; *(inst)++ = (unsigned char)0xff; } while (0)
 #define x86_fabs(inst) do { *(inst)++ = (unsigned char)0xd9; *(inst)++ = (unsigned char)0xe1; } while (0)
+#define x86_ftst(inst) do { *(inst)++ = (unsigned char)0xd9; *(inst)++ = (unsigned char)0xe4; } while (0)
+#define x86_fxam(inst) do { *(inst)++ = (unsigned char)0xd9; *(inst)++ = (unsigned char)0xe5; } while (0)
 #define x86_fpatan(inst) do { *(inst)++ = (unsigned char)0xd9; *(inst)++ = (unsigned char)0xf3; } while (0)
 #define x86_fprem(inst) do { *(inst)++ = (unsigned char)0xd9; *(inst)++ = (unsigned char)0xf8; } while (0)
 #define x86_fprem1(inst) do { *(inst)++ = (unsigned char)0xd9; *(inst)++ = (unsigned char)0xf5; } while (0)