[sgen] Unify scanning code a bit.

We still have two separate implementations of the scanning code: The optimized
one and the old one.  The old one is still needed because it supports the concurrent
collector.  For the non-concurrent collector we can now use the optimized
implementation, however.

[sgen] Add/fix some assertions.

[sgen] Add some missing binary protocol invocations.

[sgen] New protocol entry for processing of individual reference.

[sgen] In binary protocol grep, gray en-/dequeue must not always match.

[sgen] Remove binary protocol entry for null dequeue.

[sgen] Fix build on highest debug level.

[sgen] Handle copy object failure.

This is just a verbatim copy of the old code.  It's unlikely it's ever
been tested, though.

[sgen] Increase debug level of assertions in inner loops.

[sgen] Remove dead code.

This was still left from the parallel collector.

[sgen] Fix build with prefetch queue enabled.

[sgen] Make new M&S parameters fastenable.

Fasten is a small tool for optimizing compile-time options:

    https://github.com/evincarofautumn/fasten

It does that by parsing source files for numbers that have been marked
as "fastenable", and fiddling around with them.  We do this for all
the new optimizations.

[sgen] Support evacuation in the optimized mark/scan loop.

We actually implement two separate mark/scan loops: One that doesn't
support evacuation and one that does.  We dynamically choose which one
to use.  The evacuation-less loop is faster, so we use it whenever we can.

[sgen] Move drain_gray_stack() to copy/mark header file, too.

This inlines the scan/copy functions, so if we duplicate them we need
to duplicate this, too.

[sgen] Remove old copy/mark function.

The new, optimized function can now do everything the old one did, so
let's get rid of it.

[sgen] Move copy/mark function into separate header file.

So we can later include them twice, once with support for evacuation
and once without.

[sgen] Support evacuation again.

The performance impact of this is significant, so we will later make
two separate scan functions: one with evacuation and one without.

[sgen] Support split nursery again.

This might degrade performance, in which case we'll special-case it
later on.

[sgen] Unify the two small object mark cases again.

The only difference between these two cases was that we used to
different heavy statistics counters.  We can do that within a single
case.

[sgen] Use MS_MARK_OBJECT_AND_ENQUEUE where we expanded it previously.

It's still the same code, so use the macro directly.

[sgen] Always inline the optimized copy function.

This is a huge win for some benchmarks.

[sgen] Never fall back to the old copy function.

[sgen] Use scanning macro in optimized loop.

We expanded this macro previously, but it's still the same code, so
use the macro directly.

[sgen] New SMALL_PTRFREE descriptor type for faster has_references checking.

We use 3 to denote SMALL_PTRFREE, and 7 for COMPLEX_PTRFREE, so we can
check for both simply with ((desc & 3) == 3).

[sgen] Only enqueue objects with references.

[sgen] Look at descriptor, not block, to see whether object has references.

[sgen] Special descriptor encoding for strings.

The complex pointer-free type carries no additional information.  We use its
data to mark strings so we can determine object size quicker.

[sgen] Faster generic large bitmap scanning if CTZ builtin is available.

[sgen] Remove small bitmap descriptor type.

The reason for having a small bitmap was that we could encode the object
size in the descriptor.  The main attraction for having object size handy is that
we can quickly check whether an object is in the small object major heap or
in the LOS.  We solve this problem by always using complex descriptor types
for large objects, so now we can tell whether an object is small just by looking
at the descriptor type.

[sgen] Heavy statistics on copied object descriptors.

[sgen] Heavy statistic counter for scanning of no-ref objects.

[sgen] Use HANDLE_PTR in the fast-path, too.

We had just expanded the macro verbatim and never changed it, so
there's no point in not using it directly.

[sgen] Optional scanning without the small bitmap fast path.

To experiment with different optimization combinations.

[sgen] Fix heavy statistics in mark-scan loop.

[sgen] Limit run-length descriptors to small object size, too.

To identify more small objects quicker.

Since we now use the runl-length descriptor types to indicate object
size as well, and strings can have any size, we can't use that type
for strings anymore, so we use the complex type which forces us to
look up its size to determine whether it's a small or large object.

[sgen] Make mark on enqueue vs dequeue configurable.

So we can experiment with a variety of optimization configurations.

[sgen] Make block info in header optional.

So we can experiment with a variety of optimization configurations.

[sgen] Tag cemented objects so we don't have to go through the hash.

We can do the cemented check faster by using the third vtable bit to
tag cemented objects (in addition to the pinned bit).  In workloads
that are heavy on cementing (like `lcscbench` or `perimeter`) this
significantly increases performance.

[sgen] Prefetch mark bits, not block start.

When prefetching, we calculate which mark bits we need and prefetch
those for writing.  The object itself we prefetch for reading.

[sgen] Put block info into blocks.

Another experiment: What if we put the whole block info into the block
itself, not just a pointer to it.  There's one less indirection we
need to do.  On the other hand, many of them will share the same cache
lines.  So do the pointers to the block infos, though.

[sgen] Bring mark-scan loop stats up to date.

[sgen] Also prefetch the (potential) block header.

When we scan a small object in the major heap we have to read the
block header of its block.  It makes sense to prefetch that as well,
in addition to the object itself.

[sgen] Count scanned objects.

[sgen] Mark on dequeue, not enqueue.

This is another experiment.

When marking on enqueue, what we need to do is look at the object
we're about to enqueue, to check whether it's a small or large object.
Then, when we dequeue to scan, we look at the object again, so we
essentially fetch each live object header twice.

With mark on dequeue, when we encounter a pointer we always enqueue
it, without even looking at the object.  Only when we dequeue do we
figure out whether it's marked yet, and thus whether we need to scan
it.

[sgen] Make enqueuing descriptors compile-time optional.

We want to test this in combination with other changes, so we make
each of them configurable.

[sgen] Make prefetch queue compile-time optional.

We want to benchmark the prefetch queue in combination with other
changes, so we make each of them configurable.

[sgen] Prefetch queue for optimized mark/scan loop.

We put a short FIFO between the gray stack and the actual scanning, to
be able to prefetch objects ahead of time, with an adjustable delay.

[sgen] Optimized mark/scan loop for major collections.

The basic idea here is to make a loop that combines dequeuing from the
gray queue, scanning and marking/copying/enqueuing, with redundancies
removed and special-casing of the common case.

We make the small bitmap type descriptor only apply to small (as
opposed to LOS) objects so that we can quickly check in that case
whether an object is in the LOS or not without actually looking up its
size.

We disable evacuation and the split nursery because the code doesn't
support them yet.

[gc] Remove the `new object count` counter, because it's useless.

Without heavy statistics it counts almost no objects, and even with
heavy statistics turned on, it doesn't count everything.  SGen has an
accurate counter when heavy statistics are turned on.

[sgen] Fix build with binary protocol.

Merge pull request #1426 from ignacionr/webclient-delay-file-creation

Webclient delay file creation

[corlib] Implement ExecutionContext flow for async infrastructure. Fixes #24757

Merge pull request #1398 from jwestfall69/dgv-first_row_index

[MWF] DataGridView: ensure first_row_index will be valid after row removal

Merge pull request #1396 from jwestfall69/dgvrc-clear-speedup

[MWF] DataGridViewRowCollection Clear() speed up

Bump the version.

Merge pull request #1429 from mono/fixProcessStartInfo2

Fix ProcessStartInfo null checking and replace with Length checks.

Fix ProcessStartInfo null checking and replace with Length checks.

[msvc] duplicate 1d6b8a75fa31d60e9ddbc0b9eddbf05ed3fb6c12 for eglib

Merge pull request #1428 from mono/fixProcessStartinfo

Update ProcessStartInfo to fix some inconsistency

Shortcircuit ProcessStartInfo Verbs logic.

Let's not do IO operations except if needed.

Update ProcessStartInfo to fix some inconsistency

Introduce failing ProcessStartInfo tests.

ConsoleUi no longer breaks when the test runner returns null.
In case the test runner returns null we will no longer suffer a NullArgumentException and the collector exceptions will be printed.
The test runner was returning null because of an IOException "Too many open files" on NUnit side.

[jit] Resurrect the precise stack marking code.

[corlib] Improve a test failure to be more actionable.

[mono-api-html] Colorize html output.

* Add support for colorizing the HTML output. This can be turned off if desired.

* Some changes are now reported inline (using colors/underline/strikeout)
  instead of generating an removed/added pair. This makes the diff
  a lot easier to read.

[corlib] Replace few threading types from reference sources

[msvc] Allow cygwin "make" to be called after winsetup.bat

As-is, winsetup.bat replaces config.h with winconfig.h, which is needed for the MSVC compilation - but breaks all further use of cygwin's make (e.g. to build the class library, or run "make install").

This patch introduces a new cygconfig.h as a backup prior to squashing config.h (if it exists, so the runtime can still be built without cygwin ever being used), and makes winconfig.h use it on non-MSVC compilers (i.e. cygwin)

[msvc] Fix MONO_INTERNAL undefined in Boehm

Fix "make dist" issue from MS.NET regex switchover

[corlib] Add check for collection modification during ForEach. Fixes #24775

Revert "[System] Ignore two tests which are failing due to external factors changing."

This reverts commit 597183658e04260ba493495bcff2da28222b48b8.

According to the comments on the commit [1], this has already been fixed.

[1] https://github.com/mono/mono/commit/597183658e04260ba493495bcff2da28222b48b8

Revert my last change to a submodule. ALL MY LOVE TO THOSE THAT INVENTED GIT SUBMODULES. <3

[System.Core] Make one test much less likely to fail.

[Microsoft.Build.Tasks] Fix a net 2.0 failure.

[System.ComponentModel.DataAnnotations] Replace with .net implementation

Fixes build

[Fix] WebClient to delay downloaded file creation

Fixed unwanted spaces, changed for tabs.

WebClient delay file creation until a response is obtained

Update .csproj files to include .NET System.Text.RegularExpressions

Bring .NET implementation of concurrent collections

[mcs] Add special-cased HostProtectionAttribute handling

Remove Mono's previous System.Text.RegularExpressions

Remove 2.0 profile csproj files

[System.Core] Switch to common SR class

Simplify System.Data makefile

Add SR.cs (for Reference Source regex implementation) to EXTRA_DIST

Fix case error causing build failure on case-sensitive filesystems

Remove net_2_0 reference from make dist.

[System] Bring tests for open bugs on RegularExpressions that have now been fixed

Add newline

[System] Bring .NET implementation of System.Text.RegularExpressions

This patch brings .NET's implementation of the RegularExpressions
stack and brings some of the supporting infrastructure required to
build without resource files.

The build commands have been updated with two new defines to assist in
bringing .NET code: MONO (to indicate that the code is being compiled
as part of Mono) and a more granular DISABLE_CAS_USE that is used to
mark regions where Code Access Security is being used in the source
code, as Mono does not actually ship with a working CAS implementation.

[jit] Move the SHARED_EXT define to mono-dl.h, rename it to MONO_SOLIB_EXT.

[runtime] Remove conditional logic from LL_SO_OPEN() macro.

Fix the mcs-compileall test target.

Remove net 2.0 dependencies from mcs tests.

Remove build system support for the net 2.0/3.5 profiles.

Revert "[android] Add a workaround for ndk r10c defining RTLD_DEFAULT as 0 on 64 bit platforms."

This reverts commit 5ee92ecb768b73263f258a0d0fa1c8c676d12f88.

Revert this. There was already some android specific code in LL_SO_OPEN ().

Remove --enable-nunit-tests option from build system

It isn't used anymore as the classlib tests are always enabled now during 'make check'.

Added missing newline to net_4_0_System.Core.dll.sources (fixes Linux build)