src/vm/jit/s390/emit.c

   1 /* src/vm/jit/s390/emit.c - s390 code emitter functions
   2
   3    Copyright (C) 1996-2005, 2006, 2007 R. Grafl, A. Krall, C. Kruegel,
   4    C. Oates, R. Obermaisser, M. Platter, M. Probst, S. Ring,
   5    E. Steiner, C. Thalinger, D. Thuernbeck, P. Tomsich, C. Ullrich,
   6    J. Wenninger, Institut f. Computersprachen - TU Wien
   7
   8    This file is part of CACAO.
   9
  10    This program is free software; you can redistribute it and/or
  11    modify it under the terms of the GNU General Public License as
  12    published by the Free Software Foundation; either version 2, or (at
  13    your option) any later version.
  14
  15    This program is distributed in the hope that it will be useful, but
  16    WITHOUT ANY WARRANTY; without even the implied warranty of
  17    MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  18    General Public License for more details.
  19
  20    You should have received a copy of the GNU General Public License
  21    along with this program; if not, write to the Free Software
  22    Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA
  23    02110-1301, USA.
  24
  25    $Id: emit.c 8211 2007-07-18 19:52:23Z michi $
  26
  27 */
  28
  29
  30 #include "config.h"
  31
  32 #include <assert.h>
  33
  34 #include "vm/types.h"
  35
  36 #include "md-abi.h"
  37
  38 #include "vm/jit/s390/codegen.h"
  39 #include "vm/jit/s390/emit.h"
  40
  41 #if defined(ENABLE_THREADS)
  42 # include "threads/native/lock.h"
  43 #endif
  44
  45 #include "vm/builtin.h"
  46 #include "vm/jit/abi-asm.h"
  47 #include "vm/jit/asmpart.h"
  48 #include "vm/jit/codegen-common.h"
  49 #include "vm/jit/emit-common.h"
  50 #include "vm/jit/jit.h"
  51 #include "vm/jit/replace.h"
  52 #include "vm/jit/abi.h"
  53 #include "vm/global.h"
  54 #include "mm/memory.h"
  55 #include "vm/exceptions.h"
  56
  57 #define __PORTED__
  58
  59 /* emit_load *******************************************************************
  60
  61    Emits a possible load of an operand.
  62
  63 *******************************************************************************/
  64
  65 __PORTED__ s4 emit_load(jitdata *jd, instruction *iptr, varinfo *src, s4 tempreg)
  66 {
  67         codegendata *cd;
  68         s4           disp;
  69         s4           reg;
  70
  71         /* get required compiler data */
  72
  73         cd = jd->cd;
  74
  75         if (IS_INMEMORY(src->flags)) {
  76                 COUNT_SPILLS;
  77
  78                 disp = src->vv.regoff;
  79
  80                 if (IS_FLT_DBL_TYPE(src->type)) {
  81                         if (IS_2_WORD_TYPE(src->type))
  82                                 M_DLD(tempreg, REG_SP, disp);
  83                         else
  84                                 M_FLD(tempreg, REG_SP, disp);
  85                 }
  86                 else {
  87                         if (IS_2_WORD_TYPE(src->type))
  88                                 M_LLD(tempreg, REG_SP, disp);
  89                         else
  90                                 M_ILD(tempreg, REG_SP, disp);
  91                 }
  92
  93                 reg = tempreg;
  94         }
  95         else
  96                 reg = src->vv.regoff;
  97
  98         return reg;
  99 }
 100
 101
 102 /* emit_store ******************************************************************
 103
 104    This function generates the code to store the result of an
 105    operation back into a spilled pseudo-variable.  If the
 106    pseudo-variable has not been spilled in the first place, this
 107    function will generate nothing.
 108
 109 *******************************************************************************/
 110
 111 __PORTED__ inline void emit_store(jitdata *jd, instruction *iptr, varinfo *dst, s4 d)
 112 {
 113         codegendata *cd;
 114
 115         /* get required compiler data */
 116
 117         cd = jd->cd;
 118
 119         if (IS_INMEMORY(dst->flags)) {
 120                 COUNT_SPILLS;
 121
 122                 if (IS_FLT_DBL_TYPE(dst->type)) {
 123                         if (IS_2_WORD_TYPE(dst->type))
 124                                 M_DST(d, REG_SP, dst->vv.regoff);
 125                         else
 126                                 M_FST(d, REG_SP, dst->vv.regoff);
 127                 }
 128                 else {
 129                         if (IS_2_WORD_TYPE(dst->type))
 130                                 M_LST(d, REG_SP, dst->vv.regoff);
 131                         else
 132                                 M_IST(d, REG_SP, dst->vv.regoff);
 133                 }
 134         }
 135 }
 136
 137
 138 /* emit_copy *******************************************************************
 139
 140    Generates a register/memory to register/memory copy.
 141
 142 *******************************************************************************/
 143
 144 __PORTED__ void emit_copy(jitdata *jd, instruction *iptr)
 145 {
 146         codegendata *cd;
 147         varinfo     *src;
 148         varinfo     *dst;
 149         s4           s1, d;
 150
 151         /* get required compiler data */
 152
 153         cd = jd->cd;
 154
 155         /* get source and destination variables */
 156
 157         src = VAROP(iptr->s1);
 158         dst = VAROP(iptr->dst);
 159
 160         if ((src->vv.regoff != dst->vv.regoff) ||
 161                 ((src->flags ^ dst->flags) & INMEMORY)) {
 162
 163                 if ((src->type == TYPE_RET) || (dst->type == TYPE_RET)) {
 164                         /* emit nothing, as the value won't be used anyway */
 165                         return;
 166                 }
 167
 168                 /* If one of the variables resides in memory, we can eliminate
 169                    the register move from/to the temporary register with the
 170                    order of getting the destination register and the load. */
 171
 172                 if (IS_INMEMORY(src->flags)) {
 173                         if (IS_FLT_DBL_TYPE(dst->type)) {
 174                                 d = codegen_reg_of_var(iptr->opc, dst, REG_FTMP1);
 175                         } else {
 176                                 if (IS_2_WORD_TYPE(dst->type)) {
 177                                         d = codegen_reg_of_var(iptr->opc, dst, REG_ITMP12_PACKED);
 178                                 } else {
 179                                         d = codegen_reg_of_var(iptr->opc, dst, REG_ITMP1);
 180                                 }
 181                         }
 182                         s1 = emit_load(jd, iptr, src, d);
 183                 }
 184                 else {
 185                         if (IS_FLT_DBL_TYPE(src->type)) {
 186                                 s1 = emit_load(jd, iptr, src, REG_FTMP1);
 187                         } else {
 188                                 if (IS_2_WORD_TYPE(src->type)) {
 189                                         s1 = emit_load(jd, iptr, src, REG_ITMP12_PACKED);
 190                                 } else {
 191                                         s1 = emit_load(jd, iptr, src, REG_ITMP1);
 192                                 }
 193                         }
 194                         d = codegen_reg_of_var(iptr->opc, dst, s1);
 195                 }
 196
 197                 if (s1 != d) {
 198                         if (IS_FLT_DBL_TYPE(src->type)) {
 199                                 M_FMOV(s1, d);
 200                         } else {
 201                                 if (IS_2_WORD_TYPE(src->type)) {
 202                                         M_LNGMOVE(s1, d);
 203                                 } else {
 204                                         M_MOV(s1, d);
 205                                 }
 206                         }
 207                 }
 208
 209                 emit_store(jd, iptr, dst, d);
 210         }
 211 }
 212
 213
 214 /* emit_patcher_stubs **********************************************************
 215
 216    Generates the code for the patcher stubs.
 217
 218 *******************************************************************************/
 219
 220 __PORTED__ void emit_patcher_stubs(jitdata *jd)
 221 {
 222
 223         codegendata *cd;
 224         patchref    *pref;
 225         u4           mcode;
 226         u1          *savedmcodeptr;
 227         u1          *tmpmcodeptr;
 228         s4           targetdisp;
 229         s4           disp;
 230         u1          *ref;
 231
 232         /* get required compiler data */
 233
 234         cd = jd->cd;
 235
 236         /* generate code patching stub call code */
 237
 238         targetdisp = 0;
 239
 240         for (pref = cd->patchrefs; pref != NULL; pref = pref->next) {
 241                 /* check code segment size */
 242
 243                 MCODECHECK(100);
 244
 245                 /* Get machine code which is patched back in later. The
 246                    call is 1 instruction word long. */
 247
 248                 tmpmcodeptr = (u1 *) (cd->mcodebase + pref->branchpos);
 249
 250                 mcode = *((u4 *) tmpmcodeptr);
 251
 252                 /* Patch in the call to call the following code (done at
 253                    compile time). */
 254
 255                 savedmcodeptr = cd->mcodeptr;   /* save current mcodeptr              */
 256                 cd->mcodeptr  = tmpmcodeptr;    /* set mcodeptr to patch position     */
 257
 258                 disp = (savedmcodeptr) - (tmpmcodeptr);
 259
 260                 if (! N_VALID_BRANCH(disp)) {
 261                         /* Displacement overflow */
 262
 263                         /* If LONGBRANCHES is not set, the flag and the error flag */
 264
 265                         if (! CODEGENDATA_HAS_FLAG_LONGBRANCHES(cd)) {
 266                                 cd->flags |= (CODEGENDATA_FLAG_ERROR |
 267                                         CODEGENDATA_FLAG_LONGBRANCHES);
 268                         }
 269
 270                         /* If error flag is set, do nothing. The method has to be recompiled. */
 271
 272                         if (CODEGENDATA_HAS_FLAG_LONGBRANCHES(cd) && CODEGENDATA_HAS_FLAG_ERROR(cd)) {
 273                                 return;
 274                         }
 275                 }
 276
 277                 if (CODEGENDATA_HAS_FLAG_LONGBRANCHES(cd)) {
 278
 279                         /* Generating long branches */
 280
 281                         disp = dseg_add_s4(cd, savedmcodeptr - cd->mcodebase - N_PV_OFFSET);
 282
 283                         M_ILD_DSEG(REG_ITMP3, disp);
 284                         M_AADD(REG_PV, REG_ITMP3);
 285
 286                         /* Do the branch at the end of NOP sequence.
 287                          * This way the patch position is at a *fixed* offset
 288                          * (PATCHER_LONGBRANCHES_NOPS_SKIP) of the return address.
 289                          */
 290
 291                         cd->mcodeptr = tmpmcodeptr + PATCHER_LONGBRANCHES_NOPS_SKIP - SZ_BASR;
 292                         M_JMP(REG_ITMP3, REG_ITMP3);
 293                 } else {
 294
 295                         /* Generating short branches */
 296
 297                         M_BSR(REG_ITMP3, disp);
 298                 }
 299
 300                 cd->mcodeptr = savedmcodeptr;   /* restore the current mcodeptr       */
 301
 302                 /* create stack frame */
 303
 304                 M_ASUB_IMM(6 * 4, REG_SP);
 305
 306                 /* move return address onto stack */
 307
 308                 M_AST(REG_ITMP3, REG_SP, 5 * 4);
 309
 310                 /* move pointer to java_objectheader onto stack */
 311
 312 #if defined(ENABLE_THREADS)
 313                 /* create a virtual java_objectheader */
 314
 315                 (void) dseg_add_unique_address(cd, NULL);                  /* flcword */
 316                 (void) dseg_add_unique_address(cd, lock_get_initial_lock_word());
 317                 disp = dseg_add_unique_address(cd, NULL);                  /* vftbl   */
 318
 319                 M_LDA_DSEG(REG_ITMP3, disp);
 320                 M_AST(REG_ITMP3, REG_SP, 4 * 4);
 321 #else
 322                 /* nothing to do */
 323 #endif
 324
 325                 /* move machine code onto stack */
 326
 327                 disp = dseg_add_s4(cd, mcode);
 328                 M_ILD_DSEG(REG_ITMP3, disp);
 329                 M_IST(REG_ITMP3, REG_SP, 3 * 4);
 330
 331                 /* move class/method/field reference onto stack */
 332
 333                 disp = dseg_add_address(cd, pref->ref);
 334                 M_ALD_DSEG(REG_ITMP3, disp);
 335                 M_AST(REG_ITMP3, REG_SP, 2 * 4);
 336
 337                 /* move data segment displacement onto stack */
 338
 339                 disp = dseg_add_s4(cd, pref->disp);
 340                 M_ILD_DSEG(REG_ITMP3, disp);
 341                 M_IST(REG_ITMP3, REG_SP, 1 * 4);
 342
 343                 /* move patcher function pointer onto stack */
 344
 345                 disp = dseg_add_functionptr(cd, pref->patcher);
 346                 M_ALD_DSEG(REG_ITMP3, disp);
 347                 M_AST(REG_ITMP3, REG_SP, 0 * 4);
 348
 349                 if (targetdisp == 0) {
 350                         targetdisp = (cd->mcodeptr) - (cd->mcodebase);
 351
 352                         disp = dseg_add_functionptr(cd, asm_patcher_wrapper);
 353                         M_ALD_DSEG(REG_ITMP3, disp);
 354                         M_JMP(RN, REG_ITMP3);
 355                 }
 356                 else {
 357                         disp = ((cd->mcodebase) + targetdisp) -
 358                                 (( cd->mcodeptr) );
 359
 360                         emit_branch(cd, disp, BRANCH_UNCONDITIONAL, RN, 0);
 361                 }
 362         }
 363 }
 364
 365
 366 /* emit_verbosecall_enter ******************************************************
 367
 368    Generates the code for the call trace.
 369
 370 *******************************************************************************/
 371
 372 #if !defined(NDEBUG)
 373 void emit_verbosecall_enter(jitdata *jd)
 374 {
 375
 376         methodinfo   *m;
 377         codegendata  *cd;
 378         methoddesc   *md;
 379         s4            i, j, k;
 380         s4            stackframesize, off, foff, aoff, doff, t, iargctr, fargctr, disp;
 381
 382         /* get required compiler data */
 383
 384         m  = jd->m;
 385         cd = jd->cd;
 386
 387         md = m->parseddesc;
 388
 389         /* mark trace code */
 390
 391         M_NOP;
 392
 393         stackframesize =
 394                 (6 * 8) + /* s8 on stack parameters x 6 */
 395                 (1 * 4) + /* methodinfo on stack parameter */
 396                 (ARG_CNT * 8) +
 397                 (TMP_CNT * 8)
 398                 ;
 399
 400         M_ASUB_IMM(stackframesize, REG_SP); /* allocate stackframe */
 401
 402         /* save argument registers */
 403
 404         off = (6 * 8) + (1 * 4);
 405
 406         for (i = 0; i < INT_ARG_CNT; i++, off += 8)
 407                 M_IST(abi_registers_integer_argument[i], REG_SP, off);
 408
 409         for (i = 0; i < FLT_ARG_CNT; i++, off += 8)
 410                 M_DST(abi_registers_float_argument[i], REG_SP, off);
 411
 412         /* save temporary registers for leaf methods */
 413
 414         if (jd->isleafmethod) {
 415                 for (i = 0; i < INT_TMP_CNT; i++, off += 8)
 416                         M_LST(abi_registers_integer_temporary[i], REG_SP, off);
 417
 418                 for (i = 0; i < FLT_TMP_CNT; i++, off += 8)
 419                         M_DST(abi_registers_float_temporary[i], REG_SP, off);
 420         }
 421
 422         /* Load arguments to new locations */
 423
 424         /* First move all arguments to stack
 425          *
 426          * (s8) a7
 427          * (s8) a2
 428          *   ...
 429          * (s8) a1 \ Auxilliary stack frame
 430          * (s8) a0 /
 431          * ------- <---- SP
 432          */
 433
 434         M_ASUB_IMM(2 * 8, REG_SP);
 435
 436         /* offset to where first integer arg is saved on stack */
 437         off = (2 * 8) + (6 * 8) + (1 * 4);
 438         /* offset to where first float arg is saved on stack */
 439         foff = off + (INT_ARG_CNT * 8);
 440         /* offset to where first argument is passed on stack */
 441         aoff = (2 * 8) + stackframesize + (cd->stackframesize * 4);
 442         /* offset to destination on stack */
 443         doff = 0;
 444
 445         iargctr = fargctr = 0;
 446
 447         ICONST(REG_ITMP1, 0);
 448
 449         for (i = 0; i < md->paramcount && i < 8; i++) {
 450                 t = md->paramtypes[i].type;
 451
 452                 M_IST(REG_ITMP1, REG_SP, doff);
 453                 M_IST(REG_ITMP1, REG_SP, doff + 4);
 454
 455                 if (IS_FLT_DBL_TYPE(t)) {
 456                         if (fargctr < 2) { /* passed in register */
 457                                 N_STD(abi_registers_float_argument[fargctr], doff, RN, REG_SP);
 458                                 fargctr += 1;
 459                         } else { /* passed on stack */
 460                                 if (IS_2_WORD_TYPE(t)) {
 461                                         N_MVC(doff, 8, REG_SP, aoff, REG_SP);
 462                                         aoff += 8;
 463                                 } else {
 464                                         N_MVC(doff + 4, 4, REG_SP, aoff, REG_SP);
 465                                         aoff += 4;
 466                                 }
 467                         }
 468                 } else {
 469                         if (IS_2_WORD_TYPE(t)) {
 470                                 if (iargctr < 4) { /* passed in 2 registers */
 471                                         N_STM(REG_A0 + iargctr, REG_A0 + iargctr + 1, doff, REG_SP);
 472                                         iargctr += 2;
 473                                 } else { /* passed on stack */
 474                                         N_MVC(doff, 8, REG_SP, aoff, REG_SP);
 475                                         aoff += 8;
 476                                 }
 477                         } else {
 478                                 if (iargctr < 5) { /* passed in register */
 479                                         N_ST(REG_A0 + iargctr, doff + 4, RN, REG_SP);
 480                                         iargctr += 1;
 481                                 } else { /* passed on stack */
 482                                         N_MVC(doff + 4, 4, REG_SP, aoff, REG_SP);
 483                                         aoff += 4;
 484                                 }
 485                         }
 486                 }
 487
 488                 doff += 8;
 489         }
 490
 491         /* Now move a0 and a1 to registers
 492          *
 493          * (s8) a7
 494          *   ...
 495          * (s8) a2
 496          * ------- <- SP
 497          * (s8) a0 ==> a0, a1
 498          * (s8) a1 ==> a2, a3
 499          */
 500
 501         N_LM(REG_A0, REG_A1, 0, REG_SP);
 502         N_LM(REG_A2, REG_A3, 8, REG_SP);
 503
 504         M_AADD_IMM(2 * 8, REG_SP);
 505
 506         /* Finally load methodinfo argument */
 507
 508         disp = dseg_add_address(cd, m);
 509         M_ALD_DSEG(REG_ITMP2, disp);
 510         M_AST(REG_ITMP2, REG_SP, 6 * 8);
 511
 512         /* Call builtin_verbosecall_enter */
 513
 514         disp = dseg_add_address(cd, builtin_verbosecall_enter);
 515         M_ALD_DSEG(REG_ITMP2, disp);
 516         M_ASUB_IMM(96, REG_SP);
 517         M_CALL(REG_ITMP2);
 518         M_AADD_IMM(96, REG_SP);
 519
 520         /* restore argument registers */
 521
 522         off = (6 * 8) + (1 * 4);
 523
 524         for (i = 0; i < INT_ARG_CNT; i++, off += 8)
 525                 M_ILD(abi_registers_integer_argument[i], REG_SP, off);
 526
 527         for (i = 0; i < FLT_ARG_CNT; i++, off += 8)
 528                 M_DLD(abi_registers_float_argument[i], REG_SP, off);
 529
 530         /* restore temporary registers for leaf methods */
 531
 532         if (jd->isleafmethod) {
 533                 for (i = 0; i < INT_TMP_CNT; i++, off += 8)
 534                         M_ILD(abi_registers_integer_temporary[i], REG_SP, off);
 535
 536                 for (i = 0; i < FLT_TMP_CNT; i++, off += 8)
 537                         M_DLD(abi_registers_float_temporary[i], REG_SP, off);
 538         }
 539
 540         /* remove stackframe */
 541
 542         M_AADD_IMM(stackframesize, REG_SP);
 543
 544         /* mark trace code */
 545
 546         M_NOP;
 547 }
 548 #endif /* !defined(NDEBUG) */
 549
 550
 551 /* emit_verbosecall_exit *******************************************************
 552
 553    Generates the code for the call trace.
 554
 555 *******************************************************************************/
 556
 557 #if !defined(NDEBUG)
 558 void emit_verbosecall_exit(jitdata *jd)
 559 {
 560         methodinfo   *m;
 561         codegendata  *cd;
 562         registerdata *rd;
 563         s4            disp;
 564
 565         /* get required compiler data */
 566
 567         m  = jd->m;
 568         cd = jd->cd;
 569         rd = jd->rd;
 570
 571         /* mark trace code */
 572
 573         M_NOP;
 574
 575         M_ASUB_IMM(2 * 8, REG_SP);
 576
 577         N_STM(REG_RESULT, REG_RESULT2, 0 * 8, REG_SP);
 578         M_DST(REG_FRESULT, REG_SP, 1 * 8);
 579
 580         if (IS_2_WORD_TYPE(m->parseddesc->returntype.type)) {
 581                 /* (REG_A0, REG_A1) == (REG_RESULT, REG_RESULT2), se no need to move */
 582         } else {
 583                 M_INTMOVE(REG_RESULT, REG_A1);
 584                 ICONST(REG_A0, 0);
 585         }
 586
 587         disp = dseg_add_address(cd, m);
 588         M_ALD_DSEG(REG_A2, disp);
 589
 590         /* REG_FRESULT is REG_FA0, so no need to move */
 591         M_FLTMOVE(REG_FRESULT, REG_FA1);
 592
 593         disp = dseg_add_address(cd, builtin_verbosecall_exit);
 594         M_ALD_DSEG(REG_ITMP1, disp);
 595         M_ASUB_IMM(96, REG_SP);
 596         M_CALL(REG_ITMP1);
 597         M_AADD_IMM(96, REG_SP);
 598
 599         N_LM(REG_RESULT, REG_RESULT2, 0 * 8, REG_SP);
 600         M_DLD(REG_FRESULT, REG_SP, 1 * 8);
 601
 602         M_AADD_IMM(2 * 8, REG_SP);
 603
 604         /* mark trace code */
 605
 606         M_NOP;
 607 }
 608 #endif /* !defined(NDEBUG) */
 609
 610
 611 /* emit_load_high **************************************************************
 612
 613    Emits a possible load of the high 32-bits of an operand.
 614
 615 *******************************************************************************/
 616
 617 __PORTED__ s4 emit_load_high(jitdata *jd, instruction *iptr, varinfo *src, s4 tempreg)
 618 {
 619         codegendata  *cd;
 620         s4            disp;
 621         s4            reg;
 622
 623         assert(src->type == TYPE_LNG);
 624
 625         /* get required compiler data */
 626
 627         cd = jd->cd;
 628
 629         if (IS_INMEMORY(src->flags)) {
 630                 COUNT_SPILLS;
 631
 632                 disp = src->vv.regoff;
 633
 634                 M_ILD(tempreg, REG_SP, disp);
 635
 636                 reg = tempreg;
 637         }
 638         else
 639                 reg = GET_HIGH_REG(src->vv.regoff);
 640
 641         return reg;
 642 }
 643
 644 /* emit_load_low ***************************************************************
 645
 646    Emits a possible load of the low 32-bits of an operand.
 647
 648 *******************************************************************************/
 649
 650 __PORTED__ s4 emit_load_low(jitdata *jd, instruction *iptr, varinfo *src, s4 tempreg)
 651 {
 652         codegendata  *cd;
 653         s4            disp;
 654         s4            reg;
 655
 656         assert(src->type == TYPE_LNG);
 657
 658         /* get required compiler data */
 659
 660         cd = jd->cd;
 661
 662         if (IS_INMEMORY(src->flags)) {
 663                 COUNT_SPILLS;
 664
 665                 disp = src->vv.regoff;
 666
 667                 M_ILD(tempreg, REG_SP, disp + 4);
 668
 669                 reg = tempreg;
 670         }
 671         else
 672                 reg = GET_LOW_REG(src->vv.regoff);
 673
 674         return reg;
 675 }
 676
 677 s4 emit_load_s1_notzero(jitdata *jd, instruction *iptr, s4 tempreg) {
 678         codegendata *cd = jd->cd;
 679         s4 reg = emit_load_s1(jd, iptr, tempreg);
 680         if (reg == 0) {
 681                 M_MOV(reg, tempreg);
 682                 return tempreg;
 683         } else {
 684                 return reg;
 685         }
 686 }
 687
 688 s4 emit_load_s2_notzero(jitdata *jd, instruction *iptr, s4 tempreg) {
 689         codegendata *cd = jd->cd;
 690         s4 reg = emit_load_s2(jd, iptr, tempreg);
 691         if (reg == 0) {
 692                 if (IS_FLT_DBL_TYPE(VAROP(iptr->sx.s23.s2)->type)) {
 693                         M_FMOV(reg, tempreg);
 694                 } else {
 695                         M_MOV(reg, tempreg);
 696                 }
 697                 return tempreg;
 698         } else {
 699                 return reg;
 700         }
 701 }
 702
 703 s4 emit_load_s1_but(jitdata *jd, instruction *iptr, s4 tempreg, s4 notreg) {
 704         codegendata *cd = jd->cd;
 705         s4 reg = emit_load_s1(jd, iptr, tempreg);
 706         if (reg == notreg) {
 707                 if (IS_FLT_DBL_TYPE(VAROP(iptr->s1)->type)) {
 708                         M_FMOV(reg, tempreg);
 709                 } else {
 710                         M_MOV(reg, tempreg);
 711                 }
 712                 return tempreg;
 713         } else {
 714                 return reg;
 715         }
 716 }
 717
 718 s4 emit_load_s2_but(jitdata *jd, instruction *iptr, s4 tempreg, s4 notreg) {
 719         codegendata *cd = jd->cd;
 720         s4 reg = emit_load_s2(jd, iptr, tempreg);
 721         if (reg == notreg) {
 722                 if (IS_FLT_DBL_TYPE(VAROP(iptr->sx.s23.s2)->type)) {
 723                         M_FMOV(reg, tempreg);
 724                 } else {
 725                         M_MOV(reg, tempreg);
 726                 }
 727                 return tempreg;
 728         } else {
 729                 return reg;
 730         }
 731 }
 732
 733 s4 emit_alloc_dst_even_odd(jitdata *jd, instruction *iptr, s4 htmpreg, s4 ltmpreg, s4 breg) {
 734         codegendata *cd;
 735         s4           hr, lr;
 736         varinfo     *dst;
 737
 738         /* (r0, r1)
 739          * (r2, r3)
 740          * (r4, r5)
 741          * (r6, r7)
 742          * (r8, r9)
 743          * (r10, r11)
 744          * (r12, r13) Illegal, because r13 is PV
 745          * (r14, r15) Illegal, because r15 is SP
 746          */
 747
 748         cd = jd->cd;
 749         dst = VAROP(iptr->dst);
 750
 751         if (IS_INMEMORY(dst->flags)) {
 752                 if (! IS_REG_ITMP(ltmpreg)) {
 753                         M_INTMOVE(ltmpreg, breg);
 754                 }
 755                 if (! IS_REG_ITMP(htmpreg)) {
 756                         M_INTMOVE(htmpreg, breg);
 757                 }
 758                 return PACK_REGS(ltmpreg, htmpreg);
 759         } else {
 760                 hr = GET_HIGH_REG(dst->vv.regoff);
 761                 lr = GET_LOW_REG(dst->vv.regoff);
 762                 if (((hr % 2) == 0) && lr == (hr + 1)) {
 763                         /* the result is already in a even-odd pair */
 764                         return dst->vv.regoff;
 765                 } else if (((hr % 2) == 0) && (hr < R12)) {
 766                         /* the high register is at a even position */
 767                         M_INTMOVE(hr + 1, breg);
 768                         return PACK_REGS(hr + 1, hr);
 769                 } else if (((lr % 2) == 1) && (lr < R12)) {
 770                         /* the low register is at a odd position */
 771                         M_INTMOVE(lr - 1, breg);
 772                         return PACK_REGS(lr, lr - 1);
 773                 } else {
 774                         /* no way to create an even-odd pair by 1 copy operation,
 775                          * Use the temporary register pair.
 776                          */
 777                         if (! IS_REG_ITMP(ltmpreg)) {
 778                                 M_INTMOVE(ltmpreg, breg);
 779                         }
 780                         if (! IS_REG_ITMP(htmpreg)) {
 781                                 M_INTMOVE(htmpreg, breg);
 782                         }
 783                         return PACK_REGS(ltmpreg, htmpreg);
 784                 }
 785         }
 786 }
 787
 788 void emit_restore_dst_even_odd(jitdata *jd, instruction *iptr, s4 htmpreg, s4 ltmpreg, s4 breg) {
 789         codegendata *cd;
 790         s4           hr, lr;
 791         varinfo     *dst;
 792
 793         cd = jd->cd;
 794         dst = VAROP(iptr->dst);
 795
 796         if (IS_INMEMORY(dst->flags)) {
 797                 if (! IS_REG_ITMP(ltmpreg)) {
 798                         M_INTMOVE(breg, ltmpreg);
 799                 }
 800                 if (! IS_REG_ITMP(htmpreg)) {
 801                         M_INTMOVE(breg, htmpreg);
 802                 }
 803         } else {
 804                 hr = GET_HIGH_REG(dst->vv.regoff);
 805                 lr = GET_LOW_REG(dst->vv.regoff);
 806                 if (((hr % 2) == 0) && lr == (hr + 1)) {
 807                         return;
 808                 } else if (((hr % 2) == 0) && (hr < R12)) {
 809                         M_INTMOVE(breg, hr + 1);
 810                 } else if (((lr % 2) == 1) && (lr < R12)) {
 811                         M_INTMOVE(breg, lr - 1);
 812                 } else {
 813                         if (! IS_REG_ITMP(ltmpreg)) {
 814                                 M_INTMOVE(breg, ltmpreg);
 815                         }
 816                         if (! IS_REG_ITMP(htmpreg)) {
 817                                 M_INTMOVE(breg, htmpreg);
 818                         }
 819                 }
 820         }
 821 }
 822
 823 void emit_copy_dst(jitdata *jd, instruction *iptr, s4 dtmpreg) {
 824         codegendata *cd;
 825         varinfo *dst;
 826         cd = jd->cd;
 827         dst = VAROP(iptr->dst);
 828         if (! IS_INMEMORY(dst->flags)) {
 829                 if (dst->vv.regoff != dtmpreg) {
 830                         if (IS_FLT_DBL_TYPE(dst->type)) {
 831                                 M_FLTMOVE(dtmpreg, dst->vv.regoff);
 832                         } else if (IS_2_WORD_TYPE(dst->type)) {
 833                                 M_LNGMOVE(dtmpreg, dst->vv.regoff);
 834                         } else {
 835                                 M_INTMOVE(dtmpreg, dst->vv.regoff);
 836                         }
 837                 }
 838         }
 839 }
 840
 841 void emit_branch(codegendata *cd, s4 disp, s4 condition, s4 reg, u4 opt) {
 842
 843         s4 branchdisp = disp;
 844         s4 branchmpc;
 845         u1 *ref;
 846
 847         if (N_VALID_BRANCH(branchdisp)) {
 848
 849                 /* valid displacement */
 850
 851                 switch (condition) {
 852                         case BRANCH_EQ:
 853                                 M_BEQ(branchdisp);
 854                                 break;
 855                         case BRANCH_NE:
 856                                 M_BNE(branchdisp);
 857                                 break;
 858                         case BRANCH_LT:
 859                                 M_BLT(branchdisp);
 860                                 break;
 861                         case BRANCH_GE:
 862                                 M_BGE(branchdisp);
 863                                 break;
 864                         case BRANCH_GT:
 865                                 M_BGT(branchdisp);
 866                                 break;
 867                         case BRANCH_LE:
 868                                 M_BLE(branchdisp);
 869                                 break;
 870                         case BRANCH_UNCONDITIONAL:
 871                                 M_BR(branchdisp);
 872                                 break;
 873                         default:
 874                                 vm_abort("emit_branch: unknown condition %d", condition);
 875                 }
 876         } else {
 877
 878                 /* If LONGBRANCHES is not set, the flag and the error flag */
 879
 880                 if (!CODEGENDATA_HAS_FLAG_LONGBRANCHES(cd)) {
 881                         cd->flags |= (CODEGENDATA_FLAG_ERROR |
 882                                 CODEGENDATA_FLAG_LONGBRANCHES);
 883                 }
 884
 885                 /* If error flag is set, do nothing. The method has to be recompiled. */
 886
 887                 if (CODEGENDATA_HAS_FLAG_LONGBRANCHES(cd) && CODEGENDATA_HAS_FLAG_ERROR(cd)) {
 888                         return;
 889                 }
 890
 891                 /* Patch the displacement to branch over the actual branch manually
 892                  * to not get yet more nops.
 893                  */
 894
 895                 branchmpc = cd->mcodeptr - cd->mcodebase;
 896                 ref = cd->mcodeptr;
 897
 898                 switch (condition) {
 899                         case BRANCH_EQ:
 900                                 M_BNE(0);
 901                                 break;
 902                         case BRANCH_NE:
 903                                 M_BEQ(0);
 904                                 break;
 905                         case BRANCH_LT:
 906                                 M_BGE(0);
 907                                 break;
 908                         case BRANCH_GE:
 909                                 M_BLT(0);
 910                                 break;
 911                         case BRANCH_GT:
 912                                 M_BLE(0);
 913                                 break;
 914                         case BRANCH_LE:
 915                                 M_BGT(0);
 916                                 break;
 917                         case BRANCH_UNCONDITIONAL:
 918                                 /* fall through, no displacement to patch */
 919                                 ref = NULL;
 920                                 break;
 921                         default:
 922                                 vm_abort("emit_branch: unknown condition %d", condition);
 923                 }
 924
 925                 /* The actual long branch */
 926
 927                 disp = dseg_add_s4(cd, branchmpc + disp - N_PV_OFFSET);
 928                 M_ILD_DSEG(REG_ITMP3, disp);
 929                 M_AADD(REG_PV, REG_ITMP3);
 930                 M_JMP(RN, REG_ITMP3);
 931
 932                 /* Patch back the displacement */
 933
 934                 if (ref != NULL) {
 935                         *(u4 *)ref |= (u4)((cd->mcodeptr - ref) / 2);
 936                 }
 937         }
 938 }
 939
 940 void emit_arithmetic_check(codegendata *cd, instruction *iptr, s4 reg) {
 941         if (INSTRUCTION_MUST_CHECK(iptr)) {
 942                 M_TEST(reg);
 943                 M_BNE(SZ_BRC + SZ_ILL);
 944                 M_ILL(EXCEPTION_HARDWARE_ARITHMETIC);
 945         }
 946 }
 947
 948 /* emit_arrayindexoutofbounds_check ********************************************
 949
 950    Emit a ArrayIndexOutOfBoundsException check.
 951
 952 *******************************************************************************/
 953
 954 void emit_arrayindexoutofbounds_check(codegendata *cd, instruction *iptr, s4 s1, s4 s2)
 955 {
 956         if (INSTRUCTION_MUST_CHECK(iptr)) {
 957                 /* Size is s4, >= 0
 958                  * Do unsigned comparison to catch negative indexes.
 959                  */
 960                 N_CL(s2, OFFSET(java_arrayheader, size), RN, s1);
 961         M_BLT(SZ_BRC + SZ_ILL);
 962                 M_ILL2(s2, EXCEPTION_HARDWARE_ARRAYINDEXOUTOFBOUNDS);
 963         }
 964 }
 965
 966 void emit_classcast_check(codegendata *cd, instruction *iptr, s4 condition, s4 reg, s4 s1) {
 967         if (INSTRUCTION_MUST_CHECK(iptr)) {
 968                 if (reg != RN) {
 969                         M_TEST(reg);
 970                 }
 971                 switch (condition) {
 972                         case BRANCH_LE:
 973                                 M_BGT(SZ_BRC + SZ_ILL);
 974                                 break;
 975                         case BRANCH_EQ:
 976                                 M_BNE(SZ_BRC + SZ_ILL);
 977                                 break;
 978                         case BRANCH_GT:
 979                                 M_BLE(SZ_BRC + SZ_ILL);
 980                                 break;
 981                         default:
 982                                 vm_abort("emit_classcast_check: unknown condition %d", condition);
 983                 }
 984                 M_ILL2(s1, EXCEPTION_HARDWARE_CLASSCAST);
 985         }
 986 }
 987
 988 void emit_nullpointer_check(codegendata *cd, instruction *iptr, s4 reg) {
 989         if (INSTRUCTION_MUST_CHECK(iptr)) {
 990                 M_TEST(reg);
 991                 M_BNE(SZ_BRC + SZ_ILL);
 992                 M_ILL(EXCEPTION_HARDWARE_NULLPOINTER);
 993         }
 994 }
 995
 996 void emit_exception_check(codegendata *cd, instruction *iptr) {
 997         if (INSTRUCTION_MUST_CHECK(iptr)) {
 998                 M_TEST(REG_RESULT);
 999                 M_BNE(SZ_BRC + SZ_ILL);
1000                 M_ILL(EXCEPTION_HARDWARE_EXCEPTION);
1001         }
1002 }
1003
1004 void emit_restore_pv(codegendata *cd) {
1005         s4 offset, offset_imm;
1006
1007         /*
1008         N_BASR(REG_PV, RN);
1009         disp = (s4) (cd->mcodeptr - cd->mcodebase);
1010         M_ASUB_IMM32(disp, REG_ITMP1, REG_PV);
1011         */
1012
1013         /* If the offset from the method start does not fit into an immediate
1014          * value, we can't put it into the data segment!
1015          */
1016
1017         /* Displacement from start of method to here */
1018
1019         offset = (s4) (cd->mcodeptr - cd->mcodebase);
1020         offset_imm = -offset - SZ_BASR + N_PV_OFFSET;
1021
1022         if (N_VALID_IMM(offset_imm)) {
1023                 /* Get program counter */
1024                 N_BASR(REG_PV, RN);
1025                 /* Substract displacement */
1026                 M_AADD_IMM(offset_imm, REG_PV);
1027         } else {
1028                 /* Save program counter and jump over displacement in instruction flow */
1029                 N_BRAS(REG_PV, SZ_BRAS + SZ_LONG);
1030                 /* Place displacement here */
1031                 /* REG_PV points now exactly to this position */
1032                 N_LONG(-offset - SZ_BRAS + N_PV_OFFSET);
1033                 /* Substract *(REG_PV) from REG_PV */
1034                 N_A(REG_PV, 0, RN, REG_PV);
1035         }
1036 }
1037
1038 /*
1039  * These are local overrides for various environment variables in Emacs.
1040  * Please do not remove this and leave it at the end of the file, where
1041  * Emacs will automagically detect them.
1042  * ---------------------------------------------------------------------
1043  * Local variables:
1044  * mode: c
1045  * indent-tabs-mode: t
1046  * c-basic-offset: 4
1047  * tab-width: 4
1048  * End:
1049  */