mono/metadata/sgen-gray.h

   1 /*
   2  * sgen-gray.h: Gray queue management.
   3  *
   4  * Copyright 2011 Xamarin Inc (http://www.xamarin.com)
   5  * Copyright (C) 2012 Xamarin Inc
   6  *
   7  * This library is free software; you can redistribute it and/or
   8  * modify it under the terms of the GNU Library General Public
   9  * License 2.0 as published by the Free Software Foundation;
  10  *
  11  * This library is distributed in the hope that it will be useful,
  12  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  13  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  14  * Library General Public License for more details.
  15  *
  16  * You should have received a copy of the GNU Library General Public
  17  * License 2.0 along with this library; if not, write to the Free
  18  * Software Foundation, Inc., 675 Mass Ave, Cambridge, MA 02139, USA.
  19  */
  20 #ifndef __MONO_SGEN_GRAY_H__
  21 #define __MONO_SGEN_GRAY_H__
  22
  23 /*
  24  * This gray queue has to be as optimized as possible, because it is in the core of
  25  * the mark/copy phase of the garbage collector. The memory access has then to be as
  26  * cache friendly as possible. That's why we use a cursor based implementation.
  27  *
  28  * This simply consist in maintaining a pointer to the current element in the
  29  * queue. In addition to using this cursor, we use a simple linked list of arrays,
  30  * called sections, so that we have the cache friendliness of arrays without having
  31  * the cost of memory reallocation of a dynaic array, not the cost of memory
  32  * indirection of a linked list.
  33  *
  34  * This implementation also allows the dequeuing of a whole section at a time. This is
  35  * for example used in the parallel GC because it would be too costly to take one element
  36  * at a time. This imply the main constraint that, because we don't carry the cursor
  37  * with the section, we still have to store the index of the last element. This is done
  38  * through the 'size' field on the section, which default value is it's maximum value
  39  * SGEN_GRAY_QUEUE_SECTION_SIZE. This field is updated in multiple cases :
  40  *  - section allocation : default value
  41  *  - object push : default value if we fill the current queue first
  42  *  - section dequeue : position of the cursor in the dequeued section
  43  *  - section enqueue : position of the cursor in the previously first section in the queue
  44  *
  45  * The previous implementation was an index based access where we would store the index
  46  * of the last element in the section. This was less efficient because we would have
  47  * to make 1 memory access for the index value, 1 for the base address of the objects
  48  * array and another 1 for the actual value in the array.
  49  */
  50
  51 /* SGEN_GRAY_QUEUE_HEADER_SIZE is number of machine words */
  52 #ifdef SGEN_CHECK_GRAY_OBJECT_SECTIONS
  53 #define SGEN_GRAY_QUEUE_HEADER_SIZE     4
  54 #else
  55 #define SGEN_GRAY_QUEUE_HEADER_SIZE     2
  56 #endif
  57
  58 #define SGEN_GRAY_QUEUE_SECTION_SIZE    (128 - SGEN_GRAY_QUEUE_HEADER_SIZE)
  59
  60 #ifdef SGEN_CHECK_GRAY_OBJECT_SECTIONS
  61 typedef enum {
  62         GRAY_QUEUE_SECTION_STATE_FLOATING,
  63         GRAY_QUEUE_SECTION_STATE_ENQUEUED,
  64         GRAY_QUEUE_SECTION_STATE_FREE_LIST,
  65         GRAY_QUEUE_SECTION_STATE_FREED
  66 } GrayQueueSectionState;
  67 #endif
  68
  69 typedef struct _GrayQueueEntry GrayQueueEntry;
  70 struct _GrayQueueEntry {
  71         char *obj;
  72         mword desc;
  73 };
  74
  75 /*
  76  * This is a stack now instead of a queue, so the most recently added items are removed
  77  * first, improving cache locality, and keeping the stack size manageable.
  78  */
  79 typedef struct _GrayQueueSection GrayQueueSection;
  80 struct _GrayQueueSection {
  81 #ifdef SGEN_CHECK_GRAY_OBJECT_SECTIONS
  82         /*
  83          * The dummy is here so that the state doesn't get overwritten
  84          * by the internal allocator once the section is freed.
  85          */
  86         int dummy;
  87         GrayQueueSectionState state;
  88 #endif
  89         int size;
  90         GrayQueueSection *next;
  91         GrayQueueEntry entries [SGEN_GRAY_QUEUE_SECTION_SIZE];
  92 };
  93
  94 typedef struct _SgenGrayQueue SgenGrayQueue;
  95
  96 typedef void (*GrayQueueAllocPrepareFunc) (SgenGrayQueue*);
  97 typedef void (*GrayQueueEnqueueCheckFunc) (char*);
  98
  99 struct _SgenGrayQueue {
 100         GrayQueueEntry *cursor;
 101         GrayQueueSection *first;
 102         GrayQueueSection *free_list;
 103         GrayQueueAllocPrepareFunc alloc_prepare_func;
 104 #ifdef SGEN_CHECK_GRAY_OBJECT_ENQUEUE
 105         GrayQueueEnqueueCheckFunc enqueue_check_func;
 106 #endif
 107         void *alloc_prepare_data;
 108 };
 109
 110 typedef struct _SgenSectionGrayQueue SgenSectionGrayQueue;
 111
 112 struct _SgenSectionGrayQueue {
 113         GrayQueueSection *first;
 114         gboolean locked;
 115         mono_mutex_t lock;
 116 #ifdef SGEN_CHECK_GRAY_OBJECT_ENQUEUE
 117         GrayQueueEnqueueCheckFunc enqueue_check_func;
 118 #endif
 119 };
 120
 121 #define GRAY_LAST_CURSOR_POSITION(s) ((s)->entries + SGEN_GRAY_QUEUE_SECTION_SIZE - 1)
 122 #define GRAY_FIRST_CURSOR_POSITION(s) ((s)->entries)
 123
 124 void sgen_gray_object_enqueue (SgenGrayQueue *queue, char *obj, mword desc) MONO_INTERNAL;
 125 GrayQueueEntry sgen_gray_object_dequeue (SgenGrayQueue *queue) MONO_INTERNAL;
 126 GrayQueueSection* sgen_gray_object_dequeue_section (SgenGrayQueue *queue) MONO_INTERNAL;
 127 void sgen_gray_object_enqueue_section (SgenGrayQueue *queue, GrayQueueSection *section) MONO_INTERNAL;
 128 void sgen_gray_object_queue_trim_free_list (SgenGrayQueue *queue) MONO_INTERNAL;
 129 void sgen_gray_object_queue_init (SgenGrayQueue *queue, GrayQueueEnqueueCheckFunc enqueue_check_func) MONO_INTERNAL;
 130 void sgen_gray_object_queue_init_invalid (SgenGrayQueue *queue) MONO_INTERNAL;
 131 void sgen_gray_object_queue_init_with_alloc_prepare (SgenGrayQueue *queue, GrayQueueEnqueueCheckFunc enqueue_check_func,
 132                 GrayQueueAllocPrepareFunc func, void *data) MONO_INTERNAL;
 133 void sgen_gray_object_queue_deinit (SgenGrayQueue *queue) MONO_INTERNAL;
 134 void sgen_gray_object_queue_disable_alloc_prepare (SgenGrayQueue *queue) MONO_INTERNAL;
 135 void sgen_gray_object_alloc_queue_section (SgenGrayQueue *queue) MONO_INTERNAL;
 136 void sgen_gray_object_free_queue_section (GrayQueueSection *section) MONO_INTERNAL;
 137
 138 void sgen_section_gray_queue_init (SgenSectionGrayQueue *queue, gboolean locked,
 139                 GrayQueueEnqueueCheckFunc enqueue_check_func) MONO_INTERNAL;
 140 gboolean sgen_section_gray_queue_is_empty (SgenSectionGrayQueue *queue) MONO_INTERNAL;
 141 GrayQueueSection* sgen_section_gray_queue_dequeue (SgenSectionGrayQueue *queue) MONO_INTERNAL;
 142 void sgen_section_gray_queue_enqueue (SgenSectionGrayQueue *queue, GrayQueueSection *section) MONO_INTERNAL;
 143
 144 static inline gboolean
 145 sgen_gray_object_queue_is_empty (SgenGrayQueue *queue)
 146 {
 147         return queue->first == NULL;
 148 }
 149
 150 #endif