* src/vm/jit/patcher-common.cpp: Conditionally restored NOP-insertion at
[cacao.git] / src / vm / jit / x86_64 / patcher.c
index 4a21fff85488cd46c7c9ff57ceeafac8a443b090..81cc09e0e8bbc78583471327af0d14c9203634c0 100644 (file)
@@ -1,9 +1,7 @@
 /* src/vm/jit/x86_64/patcher.c - x86_64 code patching functions
 
-   Copyright (C) 1996-2005 R. Grafl, A. Krall, C. Kruegel, C. Oates,
-   R. Obermaisser, M. Platter, M. Probst, S. Ring, E. Steiner,
-   C. Thalinger, D. Thuernbeck, P. Tomsich, C. Ullrich, J. Wenninger,
-   Institut f. Computersprachen - TU Wien
+   Copyright (C) 1996-2005, 2006, 2007, 2008, 2009
+   CACAOVM - Verein zur Foerderung der freien virtuellen Maschine CACAO
 
    This file is part of CACAO.
 
 
    You should have received a copy of the GNU General Public License
    along with this program; if not, write to the Free Software
-   Foundation, Inc., 59 Temple Place - Suite 330, Boston, MA
-   02111-1307, USA.
+   Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA
+   02110-1301, USA.
 
-   Contact: cacao@complang.tuwien.ac.at
+*/
 
-   Authors: Christian Thalinger
 
-   Changes:
+#include "config.h"
 
-   $Id: patcher.c 3472 2005-10-21 11:43:50Z twisti $
+#include <stdint.h>
 
-*/
+#include "vm/types.h"
 
+#include "vm/jit/x86_64/codegen.h"
+#include "vm/jit/x86_64/md.h"
 
-#include "config.h"
-#include "vm/types.h"
+#include "mm/memory.hpp"
+
+#include "native/native.hpp"
 
-#include "mm/memory.h"
-#include "native/native.h"
-#include "vm/builtin.h"
-#include "vm/exceptions.h"
-#include "vm/field.h"
-#include "vm/initialize.h"
+#include "vm/jit/builtin.hpp"
+#include "vm/class.hpp"
+#include "vm/field.hpp"
+#include "vm/initialize.hpp"
 #include "vm/options.h"
-#include "vm/resolve.h"
 #include "vm/references.h"
-#include "vm/jit/patcher.h"
+#include "vm/resolve.hpp"
 
+#include "vm/jit/patcher-common.hpp"
 
-/* patcher_get_putstatic *******************************************************
 
-   Machine code:
+/* patcher_patch_code **********************************************************
 
-   <patched call position>
-   4d 8b 15 86 fe ff ff             mov    -378(%rip),%r10
-   49 8b 32                         mov    (%r10),%rsi
+   Just patches back the original machine code.
 
 *******************************************************************************/
 
-bool patcher_get_putstatic(u1 *sp)
+void patcher_patch_code(patchref_t *pr)
 {
-       u1                *ra;
-       java_objectheader *o;
-       u8                 mcode;
-       unresolved_field  *uf;
-       s4                 disp;
-       fieldinfo         *fi;
-       s4                 offset;
-
-       /* get stuff from the stack */
-
-       ra    = (u1 *)                *((ptrint *) (sp + 4 * 8));
-       o     = (java_objectheader *) *((ptrint *) (sp + 3 * 8));
-       mcode =                       *((u8 *)     (sp + 2 * 8));
-       uf    = (unresolved_field *)  *((ptrint *) (sp + 1 * 8));
-       disp  =                       *((s4 *)     (sp + 0 * 8));
-
-       /* calculate and set the new return address */
-
-       ra = ra - 5;
-       *((ptrint *) (sp + 4 * 8)) = (ptrint) ra;
-
-       PATCHER_MONITORENTER;
-
-       /* get the fieldinfo */
-
-       if (!(fi = resolve_field_eager(uf))) {
-               PATCHER_MONITOREXIT;
-
-               return false;
-       }
-
-       /* check if the field's class is initialized */
-
-       if (!initialize_class(fi->class)) {
-               PATCHER_MONITOREXIT;
-
-               return false;
-       }
-
-       /* patch back original code */
-
-       *((u8 *) ra) = mcode;
-
-       /* if we show disassembly, we have to skip the nop's */
-
-       if (opt_showdisassemble)
-               ra = ra + 5;
-
-       /* get RIP offset from machine instruction */
-
-       offset = *((u4 *) (ra + 3));
-
-       /* patch the field value's address (+ 7: is the size of the RIP move) */
-
-       *((ptrint *) (ra + 7 + offset)) = (ptrint) &(fi->value);
-
-       PATCHER_MARK_PATCHED_MONITOREXIT;
-
-       return true;
+       *((uint16_t*) pr->mpc) = (uint16_t) pr->mcode;
+       md_icacheflush((void*) pr->mpc, PATCHER_CALL_SIZE);
 }
 
-
-/* patcher_get_putfield ********************************************************
-
-   Machine code:
-
-   <patched call position>
-   45 8b 8f 00 00 00 00             mov    0x0(%r15),%r9d
-
-*******************************************************************************/
-
-bool patcher_get_putfield(u1 *sp)
+/**
+ * Check if the trap instruction at the given PC is valid.
+ *
+ * @param pc Program counter.
+ *
+ * @return true if valid, false otherwise.
+ */
+bool patcher_is_valid_trap_instruction_at(void* pc)
 {
-       u1                *ra;
-       java_objectheader *o;
-       u8                 mcode;
-       unresolved_field  *uf;
-       fieldinfo         *fi;
-       u1                 byte;
-
-       /* get stuff from the stack */
+       uint16_t mcode = *((uint16_t*) pc);
 
-       ra    = (u1 *)                *((ptrint *) (sp + 4 * 8));
-       o     = (java_objectheader *) *((ptrint *) (sp + 3 * 8));
-       mcode =                       *((u8 *)     (sp + 2 * 8));
-       uf    = (unresolved_field *)  *((ptrint *) (sp + 1 * 8));
-
-       /* calculate and set the new return address */
-
-       ra = ra - 5;
-       *((ptrint *) (sp + 4 * 8)) = (ptrint) ra;
-
-       PATCHER_MONITORENTER;
-
-       /* get the fieldinfo */
-
-       if (!(fi = resolve_field_eager(uf))) {
-               PATCHER_MONITOREXIT;
-
-               return false;
-       }
-
-       /* patch back original code (instruction code is smaller than 8 bytes) */
-
-       *((u4 *) (ra + 0)) = (u4) mcode;
-       *((u1 *) (ra + 4)) = (u1) (mcode >> 32);
-
-       /* if we show disassembly, we have to skip the nop's */
-
-       if (opt_showdisassemble)
-               ra = ra + 5;
-
-       /* patch the field's offset: we check for the field type, because the     */
-       /* instructions have different lengths                                    */
-
-       if (IS_INT_LNG_TYPE(fi->type)) {
-               /* check for special case: %rsp or %r12 as base register */
-
-               byte = *(ra + 3);
-
-               if (byte == 0x24)
-                       *((u4 *) (ra + 4)) = (u4) (fi->offset);
-               else
-                       *((u4 *) (ra + 3)) = (u4) (fi->offset);
-
-       } else {
-               /* check for special case: %rsp or %r12 as base register */
+       // Check for the undefined instruction we use.
+       return (mcode == 0x0b0f);
+}
 
-               byte = *(ra + 5);
 
-               if (byte == 0x24)
-                       *((u4 *) (ra + 6)) = (u4) (fi->offset);
-               else
-                       *((u4 *) (ra + 5)) = (u4) (fi->offset);
-       }
+/* patcher_resolve_classref_to_classinfo ***************************************
 
-       PATCHER_MARK_PATCHED_MONITOREXIT;
+   ACONST:
 
-       return true;
-}
+   <patched call position>
+   48 bf a0 f0 92 00 00 00 00 00    mov    $0x92f0a0,%rdi
 
+   MULTIANEWARRAY:
 
-/* patcher_putfieldconst *******************************************************
+   <patched call position>
+   48 be 30 40 b2 00 00 00 00 00    mov    $0xb24030,%rsi
+   48 89 e2                         mov    %rsp,%rdx
+   48 b8 7c 96 4b 00 00 00 00 00    mov    $0x4b967c,%rax
+   48 ff d0                         callq  *%rax
 
-   Machine code:
+   ARRAYCHECKCAST:
 
    <patched call position>
-   41 c7 85 00 00 00 00 7b 00 00 00    movl   $0x7b,0x0(%r13)
+   48 be b8 3f b2 00 00 00 00 00    mov    $0xb23fb8,%rsi
+   48 b8 00 00 00 00 00 00 00 00    mov    $0x0,%rax
+   48 ff d0                         callq  *%rax
 
 *******************************************************************************/
 
-bool patcher_putfieldconst(u1 *sp)
+bool patcher_resolve_classref_to_classinfo(patchref_t *pr)
 {
-       u1                *ra;
-       java_objectheader *o;
-       u8                 mcode;
-       unresolved_field  *uf;
-       fieldinfo         *fi;
-
-       /* get stuff from the stack */
+       constant_classref* cr    = (constant_classref*) pr->ref;
+       uintptr_t*         datap = (uintptr_t*)         pr->datap;
 
-       ra    = (u1 *)                *((ptrint *) (sp + 4 * 8));
-       o     = (java_objectheader *) *((ptrint *) (sp + 3 * 8));
-       mcode =                       *((u8 *)     (sp + 2 * 8));
-       uf    = (unresolved_field *)  *((ptrint *) (sp + 1 * 8));
-
-       /* calculate and set the new return address */
-
-       ra = ra - 5;
-       *((ptrint *) (sp + 4 * 8)) = (ptrint) ra;
-
-       PATCHER_MONITORENTER;
-
-       /* get the fieldinfo */
-
-       if (!(fi = resolve_field_eager(uf))) {
-               PATCHER_MONITOREXIT;
+       // Resolve the class.
+       classinfo* c = resolve_classref_eager(cr);
 
+       if (c == NULL)
                return false;
-       }
-
-       /* patch back original code */
-
-       *((u8 *) ra) = mcode;
-
-       /* if we show disassembly, we have to skip the nop's */
-
-       if (opt_showdisassemble)
-               ra = ra + 5;
-
-       /* patch the field's offset */
-
-       if (IS_2_WORD_TYPE(fi->type) || IS_ADR_TYPE(fi->type)) {
-               /* handle special case when the base register is %r12 */
-
-               if (*(ra + 2) == 0x84) {
-                       *((u4 *) (ra + 4)) = (u4) (fi->offset);
-                       *((u4 *) (ra + 12 + 4)) = (u4) (fi->offset + 4);
 
-               } else {
-                       *((u4 *) (ra + 3)) = (u4) (fi->offset);
-                       *((u4 *) (ra + 11 + 3)) = (u4) (fi->offset + 4);
-               }
+       // Patch the class.
+       *datap = (uintptr_t) c;
 
-       } else {
-               /* handle special case when the base register is %r12 */
+       // Synchronize data cache.
+       md_dcacheflush((void*) pr->datap, SIZEOF_VOID_P);
 
-               if (*(ra + 2) == 0x84)
-                       *((u4 *) (ra + 4)) = (u4) (fi->offset);
-               else
-                       *((u4 *) (ra + 3)) = (u4) (fi->offset);
-       }
-
-       PATCHER_MARK_PATCHED_MONITOREXIT;
+       // Patch back the original code.
+       patcher_patch_code(pr);
 
        return true;
 }
 
 
-/* patcher_builtin_new *********************************************************
+/* patcher_resolve_classref_to_vftbl *******************************************
 
-   Machine code:
+   CHECKCAST (class):
+   INSTANCEOF (class):
 
-   48 bf a0 f0 92 00 00 00 00 00    mov    $0x92f0a0,%rdi
    <patched call position>
-   48 b8 00 00 00 00 00 00 00 00    mov    $0x0,%rax
-   48 ff d0                         callq  *%rax
 
 *******************************************************************************/
 
-bool patcher_builtin_new(u1 *sp)
+bool patcher_resolve_classref_to_vftbl(patchref_t *pr)
 {
-       u1                *ra;
-       java_objectheader *o;
-       u8                 mcode;
-       constant_classref *cr;
-       classinfo         *c;
-
-       /* get stuff from the stack */
-
-       ra    = (u1 *)                *((ptrint *) (sp + 4 * 8));
-       o     = (java_objectheader *) *((ptrint *) (sp + 3 * 8));
-       mcode =                       *((u8 *)     (sp + 2 * 8));
-       cr    = (constant_classref *) *((ptrint *) (sp + 1 * 8));
-
-       /* calculate and set the new return address */
-
-       ra = ra - (10 + 5);
-       *((ptrint *) (sp + 4 * 8)) = (ptrint) ra;
+       constant_classref* cr    = (constant_classref*) pr->ref;
+       uintptr_t*         datap = (uintptr_t*)         pr->datap;
 
-       PATCHER_MONITORENTER;
-
-       /* get the classinfo */
-
-       if (!(c = resolve_classref_eager_nonabstract(cr))) {
-               PATCHER_MONITOREXIT;
-
-               return false;
-       }
-
-       if (!initialize_class(c)) {
-               PATCHER_MONITOREXIT;
+       // Resolve the field.
+       classinfo* c = resolve_classref_eager(cr);
 
+       if (c == NULL)
                return false;
-       }
-
-       /* patch back original code */
-
-       *((u8 *) (ra + 10)) = mcode;
-
-       /* patch the classinfo pointer */
-
-       *((ptrint *) (ra + 2)) = (ptrint) c;
-
-       /* if we show disassembly, we have to skip the nop's */
 
-       if (opt_showdisassemble)
-               ra = ra + 5;
+       // Patch super class' vftbl.
+       *datap = (uintptr_t) c->vftbl;
 
-       /* patch new function address */
+       // Synchronize data cache.
+       md_dcacheflush((void*) pr->datap, SIZEOF_VOID_P);
 
-       *((ptrint *) (ra + 10 + 2)) = (ptrint) BUILTIN_new;
-
-       PATCHER_MARK_PATCHED_MONITOREXIT;
+       // Patch back the original code.
+       patcher_patch_code(pr);
 
        return true;
 }
 
 
-/* patcher_builtin_newarray ****************************************************
+/* patcher_resolve_classref_to_flags *******************************************
 
-   Machine code:
+   CHECKCAST/INSTANCEOF:
 
-   48 be 88 13 9b 00 00 00 00 00    mov    $0x9b1388,%rsi
    <patched call position>
-   48 b8 00 00 00 00 00 00 00 00    mov    $0x0,%rax
-   48 ff d0                         callq  *%rax
 
 *******************************************************************************/
 
-bool patcher_builtin_newarray(u1 *sp)
+bool patcher_resolve_classref_to_flags(patchref_t *pr)
 {
-       u1                *ra;
-       java_objectheader *o;
-       u8                 mcode;
-       constant_classref *cr;
-       classinfo         *c;
-
-       /* get stuff from the stack */
-
-       ra    = (u1 *)                *((ptrint *) (sp + 4 * 8));
-       o     = (java_objectheader *) *((ptrint *) (sp + 3 * 8));
-       mcode =                       *((u8 *)     (sp + 2 * 8));
-       cr    = (constant_classref *) *((ptrint *) (sp + 1 * 8));
-
-       /* calculate and set the new return address */
+       constant_classref* cr    = (constant_classref*) pr->ref;
+/*     int32_t*           datap = (int32_t*)           pr->datap; */
+       uint8_t*           ra    = (uint8_t*)           pr->mpc;
 
-       ra = ra - (10 + 5);
-       *((ptrint *) (sp + 4 * 8)) = (ptrint) ra;
-
-       PATCHER_MONITORENTER;
-
-       /* get the classinfo */
-
-       if (!(c = resolve_classref_eager(cr))) {
-               PATCHER_MONITOREXIT;
+       // Resolve the field.
+       classinfo* c = resolve_classref_eager(cr);
 
+       if (c == NULL)
                return false;
-       }
-
-       /* patch back original code */
-
-       *((u8 *) (ra + 10)) = mcode;
 
-       /* patch the class' vftbl pointer */
+       ra += PATCHER_CALL_SIZE;
 
-       *((ptrint *) (ra + 2)) = (ptrint) c->vftbl;
+       // Patch class flags.
+/*     *datap = c->flags; */
+       *((int32_t*) (ra + 2)) = c->flags;
 
-       /* if we show disassembly, we have to skip the nop's */
+       // Synchronize data cache.
+/*     md_dcacheflush(datap, sizeof(int32_t)); */
+       md_icacheflush(ra + 2, sizeof(int32_t));
 
-       if (opt_showdisassemble)
-               ra = ra + 5;
-
-       /* patch new function address */
-
-       *((ptrint *) (ra + 10 + 2)) = (ptrint) BUILTIN_newarray;
-
-       PATCHER_MARK_PATCHED_MONITOREXIT;
+       // Patch back the original code.
+       patcher_patch_code(pr);
 
        return true;
 }
 
 
-/* patcher_builtin_multianewarray **********************************************
+/* patcher_get_putstatic *******************************************************
 
    Machine code:
 
    <patched call position>
-   48 bf 02 00 00 00 00 00 00 00    mov    $0x2,%rdi
-   48 be 30 40 b2 00 00 00 00 00    mov    $0xb24030,%rsi
-   48 89 e2                         mov    %rsp,%rdx
-   48 b8 7c 96 4b 00 00 00 00 00    mov    $0x4b967c,%rax
-   48 ff d0                         callq  *%rax
+   4d 8b 15 86 fe ff ff             mov    -378(%rip),%r10
+   49 8b 32                         mov    (%r10),%rsi
 
 *******************************************************************************/
 
-bool patcher_builtin_multianewarray(u1 *sp)
+bool patcher_get_putstatic(patchref_t *pr)
 {
-       u1                *ra;
-       java_objectheader *o;
-       u8                 mcode;
-       constant_classref *cr;
-       classinfo         *c;
-
-       /* get stuff from the stack */
-
-       ra    = (u1 *)                *((ptrint *) (sp + 4 * 8));
-       o     = (java_objectheader *) *((ptrint *) (sp + 3 * 8));
-       mcode =                       *((u8 *)     (sp + 2 * 8));
-       cr    = (constant_classref *) *((ptrint *) (sp + 1 * 8));
+       unresolved_field* uf    = (unresolved_field*) pr->ref;
+       uintptr_t*        datap = (uintptr_t*)        pr->datap;
+       uint8_t*          ra    = (uint8_t*)          pr->mpc;
 
-       /* calculate and set the new return address */
-
-       ra = ra - 5;
-       *((ptrint *) (sp + 4 * 8)) = (ptrint) ra;
-
-       PATCHER_MONITORENTER;
-
-       /* get the classinfo */
-
-       if (!(c = resolve_classref_eager(cr))) {
-               PATCHER_MONITOREXIT;
+       // Resolve the field.
+       fieldinfo* fi = resolve_field_eager(uf);
 
+       if (fi == NULL)
                return false;
-       }
-
-       /* patch back original code */
-
-       *((u8 *) ra) = mcode;
 
-       /* if we show disassembly, we have to skip the nop's */
+       ra += PATCHER_CALL_SIZE;
 
-       if (opt_showdisassemble)
-               ra = ra + 5;
+       // Check if the field's class is initialized/
+       if (!(fi->clazz->state & CLASS_INITIALIZED))
+               if (!initialize_class(fi->clazz))
+                       return false;
 
-       /* patch the class' vftbl pointer */
+       // Patch the field value's address.
+       *datap = (uintptr_t) fi->value;
 
-       *((ptrint *) (ra + 10 + 2)) = (ptrint) c->vftbl;
+       // Synchronize data cache.
+       md_dcacheflush((void*) pr->datap, SIZEOF_VOID_P);
 
-       /* patch new function address */
-
-       *((ptrint *) (ra + 10 + 10 + 3 + 2)) = (ptrint) BUILTIN_multianewarray;
-
-       PATCHER_MARK_PATCHED_MONITOREXIT;
+       // Patch back the original code.
+       patcher_patch_code(pr);
 
        return true;
 }
 
 
-/* patcher_builtin_arraycheckcast **********************************************
+/* patcher_get_putfield ********************************************************
 
    Machine code:
 
    <patched call position>
-   48 be b8 3f b2 00 00 00 00 00    mov    $0xb23fb8,%rsi
-   48 b8 00 00 00 00 00 00 00 00    mov    $0x0,%rax
-   48 ff d0                         callq  *%rax
+   45 8b 8f 00 00 00 00             mov    0x0(%r15),%r9d
 
 *******************************************************************************/
 
-bool patcher_builtin_arraycheckcast(u1 *sp)
+bool patcher_get_putfield(patchref_t *pr)
 {
-       u1                *ra;
-       java_objectheader *o;
-       u8                 mcode;
-       constant_classref *cr;
-       classinfo         *c;
-
-       /* get stuff from the stack */
-
-       ra    = (u1 *)                *((ptrint *) (sp + 4 * 8));
-       o     = (java_objectheader *) *((ptrint *) (sp + 3 * 8));
-       mcode =                       *((u8 *)     (sp + 2 * 8));
-       cr    = (constant_classref *) *((ptrint *) (sp + 1 * 8));
-
-       /* calculate and set the new return address */
-
-       ra = ra - 5;
-       *((ptrint *) (sp + 4 * 8)) = (ptrint) ra;
-
-       PATCHER_MONITORENTER;
+       uint8_t*          pc = (uint8_t*)          pr->mpc;
+       unresolved_field* uf = (unresolved_field*) pr->ref;
 
-       /* get the classinfo */
-
-       if (!(c = resolve_classref_eager(cr))) {
-               PATCHER_MONITOREXIT;
+       // Resolve the field.
+       fieldinfo* fi = resolve_field_eager(uf);
 
+       if (fi == NULL)
                return false;
-       }
-
-       /* patch back original code */
-
-       *((u8 *) ra) = mcode;
-
-       /* if we show disassembly, we have to skip the nop's */
-
-       if (opt_showdisassemble)
-               ra = ra + 5;
 
-       /* patch the class' vftbl pointer */
+       pc += PATCHER_CALL_SIZE;
 
-       *((ptrint *) (ra + 2)) = (ptrint) c->vftbl;
-
-       /* patch new function address */
+       // Patch the field's offset: we check for the field type, because
+       // the instructions have different lengths.
+       if (IS_INT_LNG_TYPE(fi->type)) {
+               // Check for special case: %rsp or %r12 as base register.
+               if (pc[3] == 0x24)
+                       *((int32_t*) (pc + 4)) = fi->offset;
+               else
+                       *((int32_t*) (pc + 3)) = fi->offset;
+       }
+       else {
+               // Check for special case: %rsp or %r12 as base register.
+               if (pc[5] == 0x24)
+                       *((int32_t*) (pc + 6)) = fi->offset;
+               else
+                       *((int32_t*) (pc + 5)) = fi->offset;
+       }
 
-       *((ptrint *) (ra + 10 + 2)) = (ptrint) BUILTIN_arraycheckcast;
+       // Synchronize instruction cache.
+       md_icacheflush(pc, 6 + sizeof(int32_t));
 
-       PATCHER_MARK_PATCHED_MONITOREXIT;
+       // Patch back the original code.
+       patcher_patch_code(pr);
 
        return true;
 }
 
 
-/* patcher_builtin_arrayinstanceof *********************************************
+/* patcher_putfieldconst *******************************************************
 
    Machine code:
 
-   48 be 30 3c b2 00 00 00 00 00    mov    $0xb23c30,%rsi
    <patched call position>
-   48 b8 00 00 00 00 00 00 00 00    mov    $0x0,%rax
-   48 ff d0                         callq  *%rax
+   41 c7 85 00 00 00 00 7b 00 00 00    movl   $0x7b,0x0(%r13)
 
 *******************************************************************************/
 
-bool patcher_builtin_arrayinstanceof(u1 *sp)
+bool patcher_putfieldconst(patchref_t *pr)
 {
-       u1                *ra;
-       java_objectheader *o;
-       u8                 mcode;
-       constant_classref *cr;
-       classinfo         *c;
-
-       /* get stuff from the stack */
-
-       ra    = (u1 *)                *((ptrint *) (sp + 4 * 8));
-       o     = (java_objectheader *) *((ptrint *) (sp + 3 * 8));
-       mcode =                       *((u8 *)     (sp + 2 * 8));
-       cr    = (constant_classref *) *((ptrint *) (sp + 1 * 8));
-
-       /* calculate and set the new return address */
+       uint8_t*          pc = (uint8_t*)          pr->mpc;
+       unresolved_field* uf = (unresolved_field*) pr->ref;
 
-       ra = ra - (10 + 5);
-       *((ptrint *) (sp + 4 * 8)) = (ptrint) ra;
-
-       PATCHER_MONITORENTER;
-
-       /* get the classinfo */
-
-       if (!(c = resolve_classref_eager(cr))) {
-               PATCHER_MONITOREXIT;
+       // Resolve the field.
+       fieldinfo* fi = resolve_field_eager(uf);
 
+       if (fi == NULL)
                return false;
-       }
-
-       /* patch back original code */
-
-       *((u8 *) (ra + 10)) = mcode;
 
-       /* patch the class' vftbl pointer */
+       pc += PATCHER_CALL_SIZE;
 
-       *((ptrint *) (ra + 2)) = (ptrint) c->vftbl;
-
-       /* if we show disassembly, we have to skip the nop's */
-
-       if (opt_showdisassemble)
-               ra = ra + 5;
-
-       /* patch new function address */
+       // Patch the field's offset.
+       if (IS_2_WORD_TYPE(fi->type) || IS_ADR_TYPE(fi->type)) {
+               // Handle special case when the base register is %r12.
+               if (pc[12] == 0x94)
+                       *((uint32_t*) (pc + 14)) = fi->offset;
+               else
+                       *((uint32_t*) (pc + 13)) = fi->offset;
+       }
+       else {
+               // Handle special case when the base register is %r12.
+               if (pc[2] == 0x84)
+                       *((uint32_t*) (pc + 4)) = fi->offset;
+               else
+                       *((uint32_t*) (pc + 3)) = fi->offset;
+       }
 
-       *((ptrint *) (ra + 10 + 2)) = (ptrint) BUILTIN_arrayinstanceof;
+       // Synchronize instruction cache.
+       md_icacheflush(pc, 14 + sizeof(int32_t));
 
-       PATCHER_MARK_PATCHED_MONITOREXIT;
+       // Patch back the original code.
+       patcher_patch_code(pr);
 
        return true;
 }
@@ -617,49 +342,25 @@ bool patcher_builtin_arrayinstanceof(u1 *sp)
 
 *******************************************************************************/
 
-bool patcher_invokestatic_special(u1 *sp)
+bool patcher_invokestatic_special(patchref_t *pr)
 {
-       u1                *ra;
-       java_objectheader *o;
-       u8                 mcode;
-       unresolved_method *um;
-       methodinfo        *m;
-
-       /* get stuff from the stack */
-
-       ra    = (u1 *)                *((ptrint *) (sp + 4 * 8));
-       o     = (java_objectheader *) *((ptrint *) (sp + 3 * 8));
-       mcode =                       *((u8 *)     (sp + 2 * 8));
-       um    = (unresolved_method *) *((ptrint *) (sp + 1 * 8));
-
-       /* calculate and set the new return address */
-
-       ra = ra - 5;
-       *((ptrint *) (sp + 4 * 8)) = (ptrint) ra;
-
-       PATCHER_MONITORENTER;
+       unresolved_method* um    = (unresolved_method*) pr->ref;
+       uintptr_t*         datap = (uintptr_t*)         pr->datap;
 
-       /* get the fieldinfo */
-
-       if (!(m = resolve_method_eager(um))) {
-               PATCHER_MONITOREXIT;
+       // Resolve the method.
+       methodinfo* m = resolve_method_eager(um);
 
+       if (m == NULL)
                return false;
-       }
-       /* patch back original code */
-
-       *((u8 *) ra) = mcode;
 
-       /* if we show disassembly, we have to skip the nop's */
+       // Patch stubroutine.
+       *datap = (uintptr_t) m->stubroutine;
 
-       if (opt_showdisassemble)
-               ra = ra + 5;
+       // Synchronize data cache.
+       md_dcacheflush((void*) pr->datap, SIZEOF_VOID_P);
 
-       /* patch stubroutine */
-
-       *((ptrint *) (ra + 2)) = (ptrint) m->stubroutine;
-
-       PATCHER_MARK_PATCHED_MONITOREXIT;
+       // Patch back the original code.
+       patcher_patch_code(pr);
 
        return true;
 }
@@ -676,51 +377,27 @@ bool patcher_invokestatic_special(u1 *sp)
 
 *******************************************************************************/
 
-bool patcher_invokevirtual(u1 *sp)
+bool patcher_invokevirtual(patchref_t *pr)
 {
-       u1                *ra;
-       java_objectheader *o;
-       u8                 mcode;
-       unresolved_method *um;
-       methodinfo        *m;
-
-       /* get stuff from the stack */
+       uint8_t*           pc = (uint8_t*)           pr->mpc;
+       unresolved_method* um = (unresolved_method*) pr->ref;
 
-       ra    = (u1 *)                *((ptrint *) (sp + 4 * 8));
-       o     = (java_objectheader *) *((ptrint *) (sp + 3 * 8));
-       mcode =                       *((u8 *)     (sp + 2 * 8));
-       um    = (unresolved_method *) *((ptrint *) (sp + 1 * 8));
-
-       /* calculate and set the new return address */
-
-       ra = ra - 5;
-       *((ptrint *) (sp + 4 * 8)) = (ptrint) ra;
-
-       PATCHER_MONITORENTER;
-
-       /* get the fieldinfo */
-
-       if (!(m = resolve_method_eager(um))) {
-               PATCHER_MONITOREXIT;
+       // Resovlve the method.
+       methodinfo* m = resolve_method_eager(um);
 
+       if (m == NULL)
                return false;
-       }
 
-       /* patch back original code */
+       pc += PATCHER_CALL_SIZE;
 
-       *((u8 *) ra) = mcode;
+       // Patch vftbl index.
+       *((int32_t*) (pc + 3 + 3)) = (int32_t) (OFFSET(vftbl_t, table[0]) + sizeof(methodptr) * m->vftblindex);
 
-       /* if we show disassembly, we have to skip the nop's */
+       // Synchronize instruction cache.
+       md_icacheflush(pc + 3 + 3, SIZEOF_VOID_P);
 
-       if (opt_showdisassemble)
-               ra = ra + 5;
-
-       /* patch vftbl index */
-
-       *((s4 *) (ra + 3 + 3)) = (s4) (OFFSET(vftbl_t, table[0]) +
-                                                                  sizeof(methodptr) * m->vftblindex);
-
-       PATCHER_MARK_PATCHED_MONITOREXIT;
+       // Patch back the original code.
+       patcher_patch_code(pr);
 
        return true;
 }
@@ -738,466 +415,114 @@ bool patcher_invokevirtual(u1 *sp)
 
 *******************************************************************************/
 
-bool patcher_invokeinterface(u1 *sp)
+bool patcher_invokeinterface(patchref_t *pr)
 {
-       u1                *ra;
-       java_objectheader *o;
-       u8                 mcode;
-       unresolved_method *um;
-       methodinfo        *m;
-
-       /* get stuff from the stack */
-
-       ra    = (u1 *)                *((ptrint *) (sp + 4 * 8));
-       o     = (java_objectheader *) *((ptrint *) (sp + 3 * 8));
-       mcode =                       *((u8 *)     (sp + 2 * 8));
-       um    = (unresolved_method *) *((ptrint *) (sp + 1 * 8));
-
-       /* calculate and set the new return address */
+       uint8_t*           pc = (uint8_t*)           pr->mpc;
+       unresolved_method* um = (unresolved_method*) pr->ref;
 
-       ra = ra - 5;
-       *((ptrint *) (sp + 4 * 8)) = (ptrint) ra;
-
-       PATCHER_MONITORENTER;
-
-       /* get the fieldinfo */
-
-       if (!(m = resolve_method_eager(um))) {
-               PATCHER_MONITOREXIT;
+       // Resolve the method.
+       methodinfo* m = resolve_method_eager(um);
 
+       if (m == NULL)
                return false;
-       }
-
-       /* patch back original code */
-
-       *((u8 *) ra) = mcode;
-
-       /* if we show disassembly, we have to skip the nop's */
 
-       if (opt_showdisassemble)
-               ra = ra + 5;
+       pc += PATCHER_CALL_SIZE;
 
-       /* patch interfacetable index */
+       // Patch interfacetable index.
+       *((int32_t*) (pc + 3 + 3)) = (int32_t) (OFFSET(vftbl_t, interfacetable[0]) - sizeof(methodptr) * m->clazz->index);
 
-       *((s4 *) (ra + 3 + 3)) = (s4) (OFFSET(vftbl_t, interfacetable[0]) -
-                                                                  sizeof(methodptr) * m->class->index);
+       // Patch method offset.
+       *((int32_t*) (pc + 3 + 7 + 3)) = (int32_t) (sizeof(methodptr) * (m - m->clazz->methods));
 
-       /* patch method offset */
+       // Synchronize instruction cache.
+       md_icacheflush(pc + 3 + 3, SIZEOF_VOID_P + 3 + SIZEOF_VOID_P);
 
-       *((s4 *) (ra + 3 + 7 + 3)) =
-               (s4) (sizeof(methodptr) * (m - m->class->methods));
-
-       PATCHER_MARK_PATCHED_MONITOREXIT;
+       // Patch back the original code.
+       patcher_patch_code(pr);
 
        return true;
 }
 
 
-/* patcher_checkcast_instanceof_flags ******************************************
+/* patcher_checkcast_interface *************************************************
 
    Machine code:
 
    <patched call position>
-   41 ba 00 00 00 00                mov    $0x0,%r10d
-   41 81 e2 00 02 00 00             and    $0x200,%r10d
-   0f 84 35 00 00 00                je     0x00002aaaaab01479
+   45 8b 9a 1c 00 00 00             mov    0x1c(%r10),%r11d
+   41 81 fb 00 00 00 00             cmp    $0x0,%r11d
+   0f 8f 08 00 00 00                jg     0x00002aaaaae511d5
+   48 8b 0c 25 03 00 00 00          mov    0x3,%rcx
+   4d 8b 9a 00 00 00 00             mov    0x0(%r10),%r11
 
 *******************************************************************************/
 
-bool patcher_checkcast_instanceof_flags(u1 *sp)
+bool patcher_checkcast_interface(patchref_t *pr)
 {
-       u1                *ra;
-       java_objectheader *o;
-       u8                 mcode;
-       constant_classref *cr;
-       classinfo         *c;
-
-       /* get stuff from the stack */
-
-       ra    = (u1 *)                *((ptrint *) (sp + 4 * 8));
-       o     = (java_objectheader *) *((ptrint *) (sp + 3 * 8));
-       mcode =                       *((u8 *)     (sp + 2 * 8));
-       cr    = (constant_classref *) *((ptrint *) (sp + 1 * 8));
-
-       /* calculate and set the new return address */
+       uint8_t*           pc = (uint8_t*)           pr->mpc;
+       constant_classref* cr = (constant_classref*) pr->ref;
 
-       ra = ra - 5;
-       *((ptrint *) (sp + 4 * 8)) = (ptrint) ra;
-
-       PATCHER_MONITORENTER;
-
-       /* get the fieldinfo */
-
-       if (!(c = resolve_classref_eager(cr))) {
-               PATCHER_MONITOREXIT;
+       // Resolve the class.
+       classinfo* c = resolve_classref_eager(cr);
 
+       if (c == NULL)
                return false;
-       }
-
-       /* patch back original code */
-
-       *((u8 *) ra) = mcode;
 
-       /* if we show disassembly, we have to skip the nop's */
+       pc += PATCHER_CALL_SIZE;
 
-       if (opt_showdisassemble)
-               ra = ra + 5;
+       // Patch super class index.
+       *((int32_t*) (pc + 7 + 3)) = c->index;
 
-       /* patch class flags */
+       *((int32_t*) (pc + 7 + 7 + 6 + 8 + 3)) = (int32_t) (OFFSET(vftbl_t, interfacetable[0]) - c->index * sizeof(methodptr*));
 
-       *((s4 *) (ra + 2)) = (s4) c->flags;
+       // Synchronize instruction cache.
+       md_icacheflush(pc + 7 + 3, sizeof(int32_t) + 6 + 8 + 3 + sizeof(int32_t));
 
-       PATCHER_MARK_PATCHED_MONITOREXIT;
+       // Patch back the original code.
+       patcher_patch_code(pr);
 
        return true;
 }
 
 
-/* patcher_checkcast_instanceof_interface **************************************
+/* patcher_instanceof_interface ************************************************
 
    Machine code:
 
    <patched call position>
    45 8b 9a 1c 00 00 00             mov    0x1c(%r10),%r11d
-   49 81 eb 00 00 00 00             sub    $0x0,%r11
-   4d 85 db                         test   %r11,%r11
+   41 81 fb 00 00 00 00             cmp    $0x0,%r11d
    0f 8e 94 04 00 00                jle    0x00002aaaaab018f8
    4d 8b 9a 00 00 00 00             mov    0x0(%r10),%r11
 
 *******************************************************************************/
 
-bool patcher_checkcast_instanceof_interface(u1 *sp)
-{
-       u1                *ra;
-       java_objectheader *o;
-       u8                 mcode;
-       constant_classref *cr;
-       classinfo         *c;
-
-       /* get stuff from the stack */
-
-       ra    = (u1 *)                *((ptrint *) (sp + 4 * 8));
-       o     = (java_objectheader *) *((ptrint *) (sp + 3 * 8));
-       mcode =                       *((u8 *)     (sp + 2 * 8));
-       cr    = (constant_classref *) *((ptrint *) (sp + 1 * 8));
-
-       /* calculate and set the new return address */
-
-       ra = ra - 5;
-       *((ptrint *) (sp + 4 * 8)) = (ptrint) ra;
-
-       PATCHER_MONITORENTER;
-
-       /* get the fieldinfo */
-
-       if (!(c = resolve_classref_eager(cr))) {
-               PATCHER_MONITOREXIT;
-
-               return false;
-       }
-
-       /* patch back original code */
-
-       *((u8 *) ra) = mcode;
-
-       /* if we show disassembly, we have to skip the nop's */
-
-       if (opt_showdisassemble)
-               ra = ra + 5;
-
-       /* patch super class index */
-
-       *((s4 *) (ra + 7 + 3)) = (s4) c->index;
-
-       *((s4 *) (ra + 7 + 7 + 3 + 6 + 3)) =
-               (s4) (OFFSET(vftbl_t, interfacetable[0]) -
-                         c->index * sizeof(methodptr*));
-
-       PATCHER_MARK_PATCHED_MONITOREXIT;
-
-       return true;
-}
-
-
-/* patcher_checkcast_class *****************************************************
-
-   Machine code:
-
-   <patched call position>
-   49 bb 00 00 00 00 00 00 00 00    mov    $0x0,%r11
-   45 8b 92 20 00 00 00             mov    0x20(%r10),%r10d
-   45 8b 9b 20 00 00 00             mov    0x20(%r11),%r11d
-   4d 29 da                         sub    %r11,%r10
-   49 bb 00 00 00 00 00 00 00 00    mov    $0x0,%r11
-
-*******************************************************************************/
-
-bool patcher_checkcast_class(u1 *sp)
-{
-       u1                *ra;
-       java_objectheader *o;
-       u8                 mcode;
-       constant_classref *cr;
-       classinfo         *c;
-
-       /* get stuff from the stack */
-
-       ra    = (u1 *)                *((ptrint *) (sp + 4 * 8));
-       o     = (java_objectheader *) *((ptrint *) (sp + 3 * 8));
-       mcode =                       *((u8 *)     (sp + 2 * 8));
-       cr    = (constant_classref *) *((ptrint *) (sp + 1 * 8));
-
-       /* calculate and set the new return address */
-
-       ra = ra - 5;
-       *((ptrint *) (sp + 4 * 8)) = (ptrint) ra;
-
-       PATCHER_MONITORENTER;
-
-       /* get the fieldinfo */
-
-       if (!(c = resolve_classref_eager(cr))) {
-               PATCHER_MONITOREXIT;
-
-               return false;
-       }
-
-       /* patch back original code */
-
-       *((u8 *) ra) = mcode;
-
-       /* if we show disassembly, we have to skip the nop's */
-
-       if (opt_showdisassemble)
-               ra = ra + 5;
-
-       /* patch super class' vftbl */
-
-       *((ptrint *) (ra + 2)) = (ptrint) c->vftbl;
-       *((ptrint *) (ra + 10 + 7 + 7 + 3 + 2)) = (ptrint) c->vftbl;
-
-       PATCHER_MARK_PATCHED_MONITOREXIT;
-
-       return true;
-}
-
-
-/* patcher_instanceof_class ****************************************************
-
-   Machine code:
-
-   <patched call position>
-   49 ba 00 00 00 00 00 00 00 00    mov    $0x0,%r10
-
-*******************************************************************************/
-
-bool patcher_instanceof_class(u1 *sp)
-{
-       u1                *ra;
-       java_objectheader *o;
-       u8                 mcode;
-       constant_classref *cr;
-       classinfo         *c;
-
-       /* get stuff from the stack */
-
-       ra    = (u1 *)                *((ptrint *) (sp + 4 * 8));
-       o     = (java_objectheader *) *((ptrint *) (sp + 3 * 8));
-       mcode =                       *((u8 *)     (sp + 2 * 8));
-       cr    = (constant_classref *) *((ptrint *) (sp + 1 * 8));
-
-       /* calculate and set the new return address */
-
-       ra = ra - 5;
-       *((ptrint *) (sp + 4 * 8)) = (ptrint) ra;
-
-       PATCHER_MONITORENTER;
-
-       /* get the fieldinfo */
-
-       if (!(c = resolve_classref_eager(cr))) {
-               PATCHER_MONITOREXIT;
-
-               return false;
-       }
-
-       /* patch back original code */
-
-       *((u8 *) ra) = mcode;
-
-       /* if we show disassembly, we have to skip the nop's */
-
-       if (opt_showdisassemble)
-               ra = ra + 5;
-
-       /* patch super class' vftbl */
-
-       *((ptrint *) (ra + 2)) = (ptrint) c->vftbl;
-
-       PATCHER_MARK_PATCHED_MONITOREXIT;
-
-       return true;
-}
-
-
-/* patcher_clinit **************************************************************
-
-   May be used for GET/PUTSTATIC and in native stub.
-
-   Machine code:
-
-   <patched call position>
-   4d 8b 15 92 ff ff ff             mov    -110(%rip),%r10
-   49 89 1a                         mov    %rbx,(%r10)
-
-*******************************************************************************/
-
-bool patcher_clinit(u1 *sp)
-{
-       u1                *ra;
-       java_objectheader *o;
-       u8                 mcode;
-       classinfo         *c;
-
-       /* get stuff from the stack */
-
-       ra    = (u1 *)                *((ptrint *) (sp + 4 * 8));
-       o     = (java_objectheader *) *((ptrint *) (sp + 3 * 8));
-       mcode =                       *((u8 *)     (sp + 2 * 8));
-       c     = (classinfo *)         *((ptrint *) (sp + 1 * 8));
-
-       /* calculate and set the new return address */
-
-       ra = ra - 5;
-       *((ptrint *) (sp + 4 * 8)) = (ptrint) ra;
-
-       PATCHER_MONITORENTER;
-
-       /* check if the class is initialized */
-
-       if (!initialize_class(c)) {
-               PATCHER_MONITOREXIT;
-
-               return false;
-       }
-
-       /* patch back original code */
-
-       *((u8 *) ra) = mcode;
-
-       PATCHER_MARK_PATCHED_MONITOREXIT;
-
-       return true;
-}
-
-
-/* patcher_athrow_areturn ******************************************************
-
-   Machine code:
-
-   <patched call position>
-
-*******************************************************************************/
-
-bool patcher_athrow_areturn(u1 *sp)
-{
-       u1                *ra;
-       java_objectheader *o;
-       u8                 mcode;
-       unresolved_class  *uc;
-       classinfo         *c;
-
-       /* get stuff from the stack */
-
-       ra    = (u1 *)                *((ptrint *) (sp + 4 * 8));
-       o     = (java_objectheader *) *((ptrint *) (sp + 3 * 8));
-       mcode =                       *((u8 *)     (sp + 2 * 8));
-       uc    = (unresolved_class *)  *((ptrint *) (sp + 1 * 8));
-
-       /* calculate and set the new return address */
-
-       ra = ra - 5;
-       *((ptrint *) (sp + 4 * 8)) = (ptrint) ra;
-
-       PATCHER_MONITORENTER;
-
-       /* resolve the class */
-
-       if (!resolve_class(uc, resolveEager, false, &c)) {
-               PATCHER_MONITOREXIT;
-
-               return false;
-       }
-
-       /* patch back original code */
-
-       *((u8 *) ra) = mcode;
-
-       PATCHER_MARK_PATCHED_MONITOREXIT;
-
-       return true;
-}
-
-
-/* patcher_resolve_native ******************************************************
-
-   Machine code:
-
-   <patched call position>
-   48 b8 00 00 00 00 00 00 00 00    mov    $0x0,%rax
-   48 ff d0                         callq  *%rax
-
-*******************************************************************************/
-
-#if !defined(ENABLE_STATICVM)
-bool patcher_resolve_native(u1 *sp)
+bool patcher_instanceof_interface(patchref_t *pr)
 {
-       u1                *ra;
-       java_objectheader *o;
-       u8                 mcode;
-       methodinfo        *m;
-       functionptr        f;
-
-       /* get stuff from the stack */
-
-       ra    = (u1 *)                *((ptrint *) (sp + 4 * 8));
-       o     = (java_objectheader *) *((ptrint *) (sp + 3 * 8));
-       mcode =                       *((u8 *)     (sp + 2 * 8));
-       m     = (methodinfo *)        *((ptrint *) (sp + 1 * 8));
-
-       /* calculate and set the new return address */
+       uint8_t*           pc = (uint8_t*)           pr->mpc;
+       constant_classref* cr = (constant_classref*) pr->ref;
 
-       ra = ra - 5;
-       *((ptrint *) (sp + 4 * 8)) = (ptrint) ra;
-
-       PATCHER_MONITORENTER;
-
-       /* resolve native function */
-
-       if (!(f = native_resolve_function(m))) {
-               PATCHER_MONITOREXIT;
+       // Resolve the class.
+       classinfo* c = resolve_classref_eager(cr);
 
+       if (c == NULL)
                return false;
-       }
-
-       /* patch back original code */
-
-       *((u8 *) ra) = mcode;
 
-       /* if we show disassembly, we have to skip the nop's */
+       pc += PATCHER_CALL_SIZE;
 
-       if (opt_showdisassemble)
-               ra = ra + 5;
+       // Patch super class index.
+       *((int32_t*) (pc + 7 + 3)) = c->index;
 
-       /* patch native function pointer */
+       *((int32_t*) (pc + 7 + 7 + 6 + 3)) = (int32_t) (OFFSET(vftbl_t, interfacetable[0]) - c->index * sizeof(methodptr*));
 
-       *((ptrint *) (ra + 2)) = (ptrint) f;
+       // Synchronize instruction cache.
+       md_icacheflush(pc + 7 + 3, sizeof(int32_t) + 6 + 3 + sizeof(int32_t));
 
-       PATCHER_MARK_PATCHED_MONITOREXIT;
+       // Patch back the original code.
+       patcher_patch_code(pr);
 
        return true;
 }
-#endif /* !defined(ENABLE_STATICVM) */
 
 
 /*