Merge pull request #5010 from Unity-Technologies/boehm-gc-alloc-fixed-sre

Boehm GC Fixes - SRE and Handle Stack

Merge pull request #5049 from mono/fixSdbTests

Fixed Mono.Debugger.Soft unit tests

Enable translation of WSEACCESS (10013) on mobile (#5050)

This error can occur on mobile devices during network operations
as evidenced in https://bugzilla.xamarin.com/show_bug.cgi?id=56653
and having an actual description of the error printed in this case
makes it easier for the user to discover what's going on.

Fixed Mono.Debugger.Soft unit tests and added new `new String('a', 3);` unit test after `return;`

Merge pull request #5042 from mono/sdbSyncDebuggerLibs

Upstreaming changes from mono/debugger-libs to Mono.Debugger.Soft

Bug 44266 - Unable to change variable values whilst debugging
https://github.com/mono/debugger-libs/commit/ac17c08938408abc7f5aaf0f862d83bbd2b56d42

caching thread state
https://github.com/mono/debugger-libs/commit/e3e665525a59823563c23babaf5d0e29a44a644a

Updated SourceLocation with end line and end column
https://github.com/mono/debugger-libs/commit/479a84ce506e7cf25d6aac4353d59b7fc6526a17

Fix one extra allocation on MethodMirror.FullName
https://github.com/mono/debugger-libs/commit/cfea89011ef690fe2cd9fefccf6b34ee1d4b1584

Bug 36053 - Broken enum values conversion
plus moved some code to correct location
https://github.com/mono/debugger-libs/commit/d65261617baddb5b41f665b0eb717cd1f81873b6

Fixed fetching Enum values on older runtimes
https://github.com/mono/debugger-libs/commit/525c3a685d52eb6ed053ee23c358e54dc091d9cb

[Debugger] Set the encoding of the error/output readers.
Bug 40556 - Output pad no longer displays unicode characters
https://github.com/mono/debugger-libs/commit/c10de4dd44493156a112fdc0d315db75e0457a2d

Merge pull request #5032 from kumpera/profiler-reorder-heap-events

Fix how HEAP_START / HEAP_END works

Add back missing TypeConverter that got removed in last commit

Also bump API snapshot with the latest changes.

Use CoreFX sources for System.Printing (#5041)

Use CoreFX sources for System.Drawing.Imaging (#5048)

* Use CoreFX sources for System.Drawing.Imaging

* Bump API snapshot

In mono_thread_info_suspend_lock in non-coop, don't assert MonoThreadInfo* is non-NULL

mono_thread_info_suspend_lock () can be called from boehm-gc.c
on_gc_notification before the new thread's start_wrapper calls
mono_thread_info_attach but after pthread_create calls the start wrapper.

As a result, the asserts in mono_thread_info_suspend_lock_with_info can catch
the new thread in an inconsistent state.

[msvc] Update csproj files

Use Drawing2D classes from CoreFX

Ensure monodoc/Test/ exists, with an empty file

This prevents build failures building monodoc tests, as git cannot check out empty directories, but Test/ must exist for `make check` to work

Initialize new handle chunks on in mono_handle_stack_alloc ()

Use Brush classes from CoreFX (#5039)

Revert "[win] set HAVE_ONLINE_VES" (#5038)

This reverts commit 501e77f91215d31c56aa63de0c99c91d8b13bfa5.

superseded by https://github.com/mono/mono/pull/5000

[arm64] Fix the patching of MONO_PATCH_INFO_METHOD_JUMP so it handles thunks properly. Allocate thunk space for tail calls. Fixes asserts in the System.Numerics xunit tests. (#5026)

[packaging] Add missing .pc files to Windows folder

It got accidentally ignored by the root .gitignore.

[profiler] Handle zero object heap dumps in mprof-report and fix the test suite.

[profiler] Emit post-gc sync point with the world stopped to avoid racing with allocating threads not stopped on the GC lock.

[sgen] Don't report GC moves with the world running and before a GC happened - it makes no sense!.

[sgen] Move STW GC events to sgen-stw.c so they are properly reported.

[profiler] Move HEAP_START and HEAP_EVENTS to happen outside of heap shots.

They now are produced every time a GC spills heap events such as roots, moves and objects.

Additionally, I changed GC syncpoints to happen in case any GC events are active.
It's a safer choice with little penalty. Figuring out the actual combinations that would require them is non-trivial.

[packaging] Fix wrong argument in Windows script

[jit] Add a ExceptionTraceIp structure to represents entries in MonoException.trace_ips, making it easier to add more information to it in the future. NFC. (#5025)

Merge pull request #5020 from lambdageek/fix-strict-loader-image-cache-hit

[loader] If using strict strong names, recheck loaded assm before returning it.

[packaging] Fix prerequisite in Windows script

Use CoreFX sources for System.Drawing.Text (#5036)

Use CoreFX sources for System.Drawing.Imaging (#5035)

* Use CoreFX sources for System.Drawing.Imaging

* Bump API snapshot

Use source from CoreFX for System.Drawing.Drawing2D (#5034)

[packaging] Remove msiexec prerequisite from Windows script

We're using lessmsi now.

[packaging] Exit Windows packaging script on error

Also quote passed in mdk path.

Use GC memory for handle stack under Boehm so it's scanned. Cleanup handle stack on thread unregister.

[metadata] s/HAVE_ONLINE_VES/ENABLE_ILGEN/g

[configure] move HAVE_ONLINE_VES away from autotools to a header file

Bump corefx

[Mono.Security] Fix typo in CryptographicException message

Fixes https://bugzilla.xamarin.com/show_bug.cgi?id=52621

[loader] If using strict strong names, recheck loaded assm before returning it.

Suppose we have two versions of an assembly: AsmA 1.0.0.0 and AsmA 2.0.0.0 that
we want to load into the same domain at the same time (for example we want to
load AsmB and AsmC that statically reference the two versions, respectively, or
maybe we used reflection).  Suppose version 1 got loaded first (and we found it
on our MONO_PATH in "somepathdir/AsmA.dll").  Now we want to load version 2.
The problem is that if version 1 is on MONO_PATH first, we'll find a filename
that matches ("somepathdir/AsmA.dll") and try to open that image.  Then we'll
end up here in mono_assembly_open_predicate() after the mono_image_open_a_lot()
call hits the image cache.  So we get back an image and image->assembly is
version 1.

The old behavior would just return any non-NULL image->assembly.  The new
behavior is to check the predicate and reject opening the propose file if the
predicate doesn't match.  (If we're not using the strict loader, or if there's
no predicate set, return the existing image->assembly as before).

[tests] Strict assembly loading of two version of the same assm should work.

In particular, we should be able to use classes/methods that are unique to each
version.  We should not get only one version loaded.

[MacSDK] Remove quotes in nuget wrapper script

None of the other wrapper scripts quote the Mono path and this
broke the Windows packaging script which extracts nuget from the
Mac package.

Revert "[exceptions] only do SIGSEGV related actions for SIGSEGVs in mono_handle_native_crash"

This reverts commit a27bc024f1732edb6b1edddd96d6c90f4a2983f8.

We never want the crash handler to be recursive.

[aot] fix compilation for targets that do not set MONO_ARCH_HAVE_FULL_AOT_TRAMPOLINES (#5017)

Merge pull request #5011 from kumpera/quiet-mode

Don't emit profiler events we don't need to.

[profiler] Don't emit sync point on restart the world unless gc moves are enabled.

[profiler] Add + prefix to file names to append the pid. This makes enabling it with env vars doable.

Bump bockbuild (#5023)

[ci] Get rid of remaining usages of WORKSPACE env var

Most of it was already removed in ea519ada8c38cae67f56e27ca70d32923ce9f23a

Bump corefx

[packaging] Fix path to wrapper.bat for Windows MSI

Merge pull request #5002 from BrzVlad/feature-sgen-modes

[sgen] SGen modes

Merge pull request #5021 from BrzVlad/fix-parallel-fixes

[sgen] Fix parallel fixes

[profiler] Fix issue found by review.

[packaging] Simplify Windows packaging scripts

We don't need to build in a separate checkout of mono anymore.
Also use .pkg passed in from upstream build.

[packaging] Move Windows MSI scripts into repository

They lived in https://github.com/mono/release before, moving them
into the main repo allows us to version them more easily.

Note: I intend to do more cleanup on those scripts in the future,
this is just the first step.

[man] Add entries for sgen modes and new major/minor types

[sgen] Add sgen modes

Group gc params configurations into general gc modes. The default mode (SGEN_MODE_NONE) is what we've been using so far, meaning old default features. The other modes can include experimental features.

[profiler] Remove heapshot request polling from all over the place and depend only on the finalizer callback.

We the profiler now emiting a lot less events by default, all the existing polling no longer makes sense as they won't matter in the common path.

Instead we make sure the finalization end callback is always installed and poll from it.

This introduces the risk of a heapdump never happening or experiencing long delays because there are either too many finalizers or one of them hung.
It's an acceptable risk.

[build] Bumps mcs bootstrap requirement

[msvc] Update csproj files (#4898)

[profiler] When using heapshot, don't collect roots when not doing a heapshot.

[profiler] Don't emit sync points during GC if we don't need to.

[profiler] Don't emit thread and gc events if they are not enabled.

Merge pull request #4967 from kumpera/profiler-arg-cleanup

Rework profiler argument handling.

Bump corefx

Fix OpenMappedWebConfiguration throws: System.IndexOutOfRangeException, when using RazorGenerator under mono (#5013)

Fix System.Numerics xunit tests and add them to CI (#5006)

* Fix System.Numerics xunit tests and add them to CI

Xunit.Extensions.NetCore.dll is available as a net46 version now
so we can just use it instead of building it from our buildtools fork.
This also allows us to remove the fork from our submodules.

We were missing running the System.Numerics xunit tests in CI,
this adds them so we catch breaks like these earlier.

* Skip tests on Windows, they seem to fail there

[mcs] C#7 type pattern matching

[sdb] Fix passing of nullable parameters in invokes. Fixes #57160. (#5012)

[sgen] Avoid using parallel minors for small nurseries

It is not effective and it can lead to regressions, due to the added synchronizations and work splitting.

[sgen] Disable parallel mode if not enough cores

[sgen] Use logical cpu count for number of workers

It actually leads to better performance. The downside is the creation of more sgen workers. This is currently capped at 8.

Use regular allocator rather than GC memory for SRE related types since the contained GC tracked hash tables are now themselves roots since 863ddf25bfb4e88db7225dd4968a4403840c42af.
Fixes crash due to MonoDynamicAssembly or MonoDynamicImage being collected under Boehm as they were unreferenced GC memory.

Remove the mono-profiler- prefix from all source files in the profiler subdir.

Additionally, rename arg-parsing.c to log-args.c so it's clear it's part of the log profiler.

[profiler]Use g_warning and remove bad usage() line

Merge pull request #4998 from kumpera/fix_56684

[corlib] Don't pass RuntimeMethodHandle across domains. Fixes #56684

Merge pull request #4997 from lambdageek/bug-57222

[sre] FieldBuilder:RuntimeResolve shouldn't lookup by name (Fixes #57222)

Bump corefx

[marshal] allocate dummy string always in root domain

otherwise it can happen that the dummy string is allocated in a
different domain, and when it's onloaded the GC root points to an
invalid object.

Bunch of minor fixes.

Remove env var.

update usage, print warning on output:-FILENAME and add a TODO.

Remove spurious header. Change from enum to bucket of defines.

[test] Test SRE of a class with two methods with the same name.

Regression test for https://bugzilla.xamarin.com/show_bug.cgi?id=57222

Although methods aren't affected by this bug, I added a regression test for
this case anyway in case the implementation changes.

Currently MethodBuilder.RuntimeResolve() goes through a different codepath - it
calls RuntimeType.GetMethod (MethodInfo) which calls into an icall which looks
for a method with a matching token rather than a matching name.

[corlib] Don't pass RuntimeMethodHandle across domains. Fixes #56684

We can't pass RuntimeMethodHandle across AppDomains since that can lead to memory corruption.

The way this happens is that when Domain (A) passes a method handle (M) to Domain (B), (B) will get the reflection object for
which will add that MonoMethod to the per-domain reflection hashtable. This won't cause the assembly of (M) to be registered with (B).

When (A) is unloaded, it might be the only domain referencing the assembly of (M), cause it to unload resulting in (B) having a dangling
pointer to (M) on its reflection hashtable.

The fix is to serialize enough lookup data across the wire so we can do type/method lookup using reflection on the target domain.
It might be slower, but this only happens on some remoting slowpaths anyways.

Finally, we can't simply register the assembly of (M) into domain (B) as that list (MonoDomain::domain_assemblies) is used for type loading,
thus breaking the target domain in some scenarios.

[sre] FieldBuilder:RuntimeResolve shouldn't lookup by name. (Fixes #57222)

RuntimeType:GetField (FieldInfo) looks up the field by name and attributes,
which doesn't work for SRE because it is legal to create multiple fields with
the same name and type and attributes.  So lookup using the
RuntimeFieldHandle (aka MonoClassField*) instead.

[test] Test SRE of a class with two fields with same name

Regression test for https://bugzilla.xamarin.com/show_bug.cgi?id=57222

Merge pull request #4995 from lambdageek/dev-monodis-show-field-tokens

[monodis] Document --show-tokens and show field tokens

[amd64] Fix a check in mono_emit_stack_alloc (). (#4985)

[monodis] Show field tokens in --show-tokens mode

[monodis] Print table name (when valid) in --show-tokens mode

[monodis] Document --show-tokens

Merge pull request #4994 from lewurm/interp-aot-mode-fix-windows

[win] set HAVE_ONLINE_VES

[win] set HAVE_ONLINE_VES