Merge pull request #3609 from xmcclure/checked-imageset

Fix outstanding failures in "metadata" checked build mode

Fix two problems with the checked build metadata mode which were causing spurious failures, one a bug introduced by my last commit, one of which has been present since the start:

- Check assemblies in `references[]` are non-NULL before looking up their images
- A "from" imageset only needs to reference every image in the "to" imageset, it does not need to actually contain every image.

Also added support for a checked build jenkins lane.

[mono-threads] Move platform unregister after detach (#3604)

This is important as platform unregister is where we signal the thread handle, and that should be done as late as possible, but still before we switch the thread state to DETACHED and remove it from the thread list.

The fact that we do under the suspend lock shouldn't be an issue as we shouldn't call in any other code than w32handle code.

New run-jenkins tags to allow a checked build job and fix partial checked build support in the coop job

Fix imageset->imageset audits in checked-build "metadata" mode

An imageset can reference another imageset if every image in the "to"
imageset is referenced by some image in the "from" imageset.
Previously the checked build code was requiring the stricter criteria
of every image in the "to" imageset being present in the "from"
imageset, which was not only inconsistent with image->imageset and
imageset->image reference checking, but lead to spurious failures.

An example of a scenario where the previous check logic would fail is:
Assembly A:
class ClassA<T>
Assembly B:
class ClassB<T> extends ClassA<T>, ClassB2
Attempting to run the constructor for ClassB<ClassB2> would result in
a pointer to memory in imageset [A,B] being written into a structure
located in imageset [B]. This is valid since B references A, however
the MONO_CHECK_MODE=metadata checker would flag it as an error.

[corcompare] Another try to make breaking change not too discruptive

[sdb] Add a SetThis () method to StackFrame which can be used to set the fields of the receiver for valuetype instance methods. Fixes #44341. (#3605)

Merge pull request #3600 from henricm/fix-win-network-info-tests

Fix NetworkInformation tests on Windows

Try to use an IPv4 address first for TCP remoting (#3507)

* In the .NET implementation of TcpServerChannel, if IPv4 is supported, the address for the host will use the first IPv4 address.
* Even if the first address is an IPv6 address, it should be skipped, as the server side will expect and IPv4 address.
* Change this implementation to look for an IPv4 address first, then fall back to whatever the first address is (IPv4 or IPv6) if things don't work out.

[mkbundle] - Add support for bundling native libraries.

* [mkbundle] add support for bundling native libraries

* [glib] add g_mkdtemp

* mono: Load the various library payloads for bundled executables

* [msvc] Export mono_dl_open and mono_loader_register_module

Add missing file

[colrib] Fixes aecdb91a0628efb03d0b6578e9dcdda90904ad20 and add GC tests

[corcompare] Drop ParameterAttributes from method signature

Merge pull request #3585 from lateralusX/jlorenss/win-counter-warning

Resolve "you are registering twice the same counter address" warning on Windows Release builds.

[Mono.Security]: Add 'MonoTlsConnectionInfo.PeerDomainName'.

(cherry picked from commit 0bafe8c3c7aaa58d28bbea51fe8756e053718c68)

Remove obsolete Mono.Security.Providers.* assemblies  (#3595)

* Remove Mono.Security.Providers.NewSystemSource and Mono.Security.Providers.NewTls.

* Remove InternalVisible for "Xamarin.BoringTls".

* Remove Mono.Security.Providers.OldTls and Mono.Security.Providers.DotNet.

(cherry picked from commit 7b7b7c9b64212843842f957f6c0b84c99fc90f26)

Back out trivial crash when running metadata checked-build mode
introduced by f822445711c1

[runtime] Fix the managed name of the ReRegisterForFinalize () icall.

Merge pull request #3548 from cmp-/fix-sgen-resume-thread-win32

[sgen] Fix sgen_resume_thread return value on Windows

[sgen] Fix sgen_resume_thread return value on Windows

According to sgen_resume_thread in sgen-os-mach.c, the function is
supposed to return false if the thread was not suspended.

[gacutil] Use IKVM.Reflection instead of System.Reflection (#3582)

* gacutil should use System.Reflection.Assembly.ReflectionOnlyLoadFrom() since it doesn't need to run the assemblies;
* but in fact, it could also use a managed reflection library. So in this PR we change it to use IKVM.Reflection

[w32mutex] Move own/disown code to w32mutex-unix.c (#3599)

* [w32handle] Fix race condition

* [w32mutex] Improve logging

* [w32mutex] Only add to owned mutex when we own it for the first time

* [w32mutex] Move own/disown code to w32mutex-unix.c

Merge pull request #3583 from xmcclure/test-418-checked

Fix issues (leaks, possible crash) around netmodule loading

Merge pull request #3602 from henricm/fix-configuration-symlink-removed

Removing symlink to make Configuration tests run on Windows

Removing symlink to make Configuration tests run on Windows

[corlib] Simplify terminal evaluator nesting expression

Merge pull request #3547 from cmp-/remove-obsolete-stack-checks-win32

Remove obsolete stack limit checks on Windows

[System.Core] Expose a few more System.IO.Pipes APIs on mobile

Required for netstandard matching.

Implementation of GetLoopbackInterfaceIndex on Windows

Ignoring IsDnsEnabled test on Windows

Using InternalAdd to handle read only of IPAddressCollection

The read-only nature of Win32IPAddressCollection is handled by
the base class IPAddressCollection. Therefor removing the read-only
handling in this class and use InternalAdd from base class instead.

[mcs] Add compilergenerated attribute for private event backing fields to match newer csc

Merge pull request #3587 from henricm/fix-set-no-delay-tcp-only

Only set NoDelay by default for protocol TCP

[threadpool-ms] Fix race condition on domain unload (#3592)

This race condition has been introduced with 348d793ebb716012326b113fcdd7d4c855ffb01e. This is because we would wait on the cleanup_semaphore outside of the threadpool->domains_lock lock.

By using a cond variable instead of a semaphore, we avoid a potential deadlock.

Merge pull request #3588 from ntherning/fix-line-ending-issue-in-XmlReflectionImporterTests-Bug594490_SerializationOfXmlLangAttribute

Fixes line ending issue in XmlReflectionImporterTests.Bug594490_SerializationOfXmlLangAttribute

Merge pull request #3569 from lambdageek/monodis-no-segfault

[monodis] Don't segfault using cooperative GC.

Fix issues in previous commit

- mono_assembly_load_module was not following MONO_RT_EXTERNAL_ONLY
  rules
- New _checked methods were not following init rules
- module[] load code was botched

[threads] Move thread describe code to mono_thread_internal_describe (#3590)

Fix Linux build break due to case sensitivity

[System] Add more types to mobile profile

[corlib] Remove duplicate files entries

[corlib] GC from referencesource

Merge pull request #3589 from ntherning/fix-line-ending-issues-in-System.Data-tests

Fixes line ending issues in System.Data tests

Fixes line ending issues in System.Data tests

To make them run successfully on Windows.

[threads] Detach thread in all possible cases (#3584)

* [threads] Use mono_thread_detach_internal to factor code

* [threads] Make sure we detach the thread before exiting

* [threads] Add mono_thread_internal_current_is_attached

* [threads] Ensure we detach the thread on Boehm

Resolve "you are registering twice the same counter address" warning on Windows Release builds.

When registering profile counters on optimized Windows build you will get the following logging twice:

"you are registering twice the same counter address"

This happens since the optimizer will collapse cpu_load_1min, cpu_load_5min and cpu_load15min into
the same function on optimized Windows builds and that is not expected by register_internal.

By preventing inlining of cpu_load we can keep the different callback methods unique and optimizer
won't fold them into one single representation in the final binary.

Fixes line ending issue in XmlReflectionImporterTests.Bug594490_SerializationOfXmlLangAttribute

This test is sensitive to the line ending mode used by git. When LF is used by
git (which is what Cygwin's git defaults to) this test fails on Windows since
CRLF will be used as line ending in the serialized XML. This patch changes the
test to use Environment.NewLine explicitly in the expected string.

Merge pull request #3586 from henricm/fix-win-uri-tests

Ignoring URI tests with unix path on windows

Only set NoDelay by default for protocol TCP

Rewrite 67cdb99 to make more sense and don't regress

Ignoring URI tests with unix path on windows

In the .NET runtime, parsing unix paths like "/foo"
on Windows fails. Therefore ignoring tests with such paths
when running tests on Windows.

Merge pull request #3578 from henricm/fix-win-process-test

Fixes for ProcessTest on Windows

Add link to Bugzilla ticket for unifying the behavior between .NET and Mono

[corlib] Cleanup more warnings

[mcs] Warn about unused local constants

Merge pull request #3580 from esdrubal/msym_no_cecil_ref

[mono-symbolicate] Added Mono.Cecil sources.

Merge pull request #3577 from ntherning/fix-path-to-mono-exe-in-soft-debugger-tests-on-windows

Use the path of the current executable by default in soft debugger test on Windows to launch the child mono process

Safety check for "diamond dependencies" on netmodules

This is something I noticed while following up on an issue with
mcs/tests/test-418.exe. The ECMA-335 spec contains the text:

    "Usually, a module belongs only to one assembly, but it is
possible to share it across assemblies. When assembly A is loaded at
runtime, an instance of M3 will be loaded for it. When assembly B is
loaded into the same application domain, possibly simultaneously with
assembly A, M3 will be shared for both assemblies. Both assemblies
also reference F2, for which similar rules apply."

What happens in Mono when two assemblies both load the same module? We
never planned for that possibility in our architecture. Looking at our
current code, when an assembly image loads a module image into its
modules[] or files[] array, it immediately sets the "assembly" field
of that module to its own MonoAssembly. This field is a plain C
pointer with no safety on it whatsoever, and is references in various
places including by icalls. Consider the following scenario:

- Assembly A is loaded, references module M3, sets M3->assembly to
  A->assembly.
- Assembly B is loaded, references module M3, sets M3->assembly to
  b->assembly.
- Assembly B is unloaded.

At this point the image for B is unloaded, but M3 is still alive
because A keeps it alive, and its image contains a C pointer to freed
memory. There is likely some way to trigger a crash from this point.

Because the above scenario is fairly exotic, I dealt with it by just
causing the module loader to detect when multiple assemblies are
referencing the same module and throwing an exception in this case. I
also added a test to verify the exception is thrown. Allowing the
module load to raise an exception required adding _checked versions of
several functions.

Fix leaks, checked build support around netmodules loaded as "files"

Test mcs/tests/test-418.exe was failing when running a checked build
with MONO_CHECK_MODE=metadata. I audited how images track their
modules and fixed the following issues:

1. The checked build metadata "reference audit" was following
references stored in the "modules" field, but not the "files" field. I
changed the audit code to follow both.
2. Loading a module into the "modules[]" field was causing a leak
because mono_image_addref() was being called after
mono_image_open_full(), even though mono_image_open_full itself
returns the module +1. I removed the addref.
3. Loading a module into the "files[]" field was causing a leak
because we were opening the module with mono_image_open_full and then
never attempting to close it. I modified our image close to do the
same thing to "files[]" we do to "modules[]".

In order for 1 and 3 to work, I modified MonoImages to track the size
of the "files[]" field.

Merge pull request #3567 from BrzVlad/fix-conc-memusage2

[sgen] Fix concurrent memory usage

[Facades] Another define fix

It was missed in https://github.com/mono/mono/commit/c84760250884989e10d707c049fd0aacae79c93e.

[Facades] Use correct define

Merge pull request #3522 from henricm/fix-csharp-compiler-path-windows

Using running process to determine mono exe path on windows

[mono-symbolicate] Added Mono.Cecil sources.

Mono.Cecil.Mdb is not installed with mono.
Instead of reference Mono.Cecil.Mdb we now add its sources directly.
Mono.Cecil internals are visible to Mono.Cecil.Mdb, but not to
mono-symbolicate so we add Mono.Cecil source too.

Fixes mono-symbolicate not working with installed mono.

Merge pull request #3579 from radical/mcs-ignore-args

[mcs] Accept and ignore command line args supported by csc that we don't

[mcs] Accept and ignore command line args supported by csc that we don't

.. support:

/publicsign+
/publicsign-

[mcs] Fixes codegen of predefined pointer arithmetic operators with user defined operator conversion for one of operands. Fixes #44440

Fixes for ProcessTest on Windows

* Checking more error codes on whitespace tests.
* Using findstr instead of type to enable stdin/out pipes.

Use the path of the current executable by default in soft debugger tests on
Windows to launch the child mono process

The 'mono' shell script generated by the Cygwin make file system doesn't work
when running the soft debugger tests against an MSVC built mono executable.
This patch first tries with the main module of the current process when
running on Windows (and mono is built using MSVC). If it looks like a mono
executable the tests will use it before falling back to the shell script.

[bcl] Add more reflection types to monotouch

Merge pull request #3576 from ntherning/ignore-FileSecurityTest.EveryoneMayNotBeOwner-when-Administrator

Ignore the FileSecurityTest.EveryoneMayNotBeOwner test when running as Administrator

[mkbundle] support satellite assemblies (#3448)

Satellite assemblies are special in that they all share the same file
name, but they live in separate directories named after the locale the
satellite assemblies pack. mkbundle currently doesn't support "clashing"
assembly filenames and will not be able to store the satellite
assemblies in the bundle for that reason.

This patch adds support for storing satellite assemblies with their
culture path prefix (e.g. en-US/MyAssembly.resources.dll) in the bundle
and also special code in the assembly loader to support such filenames
in the code which loads assemblies from the bundle.

Fixes https://bugzilla.xamarin.com/show_bug.cgi?id=27061

Ignore the FileSecurityTest.EveryoneMayNotBeOwner test when running as
Administrator

This test fails when running as Administrator since Administrator CAN set the
owner to Everyone. This patch ignores the test when running as Administrator.
The check has to be done after the File.SetAccessControl() call that is
expected to fail since when we aren't running as Administrator the IsInRole()
check will trigger UAC which we need to prevent when possible.

Merge pull request #3573 from ntherning/replace-NUnit-Culture-with-SetCulture

Use NUnit's SetCulture attribute rather than Culture

[sgen] Trim worker gray queue after finishing concurrent mark

This was keeping around potentially many unused gray queue sections, or even constantly leaking in the case of many majors since every time we start a concurrent major we redirect some additional gray queue sections from main to worker thread gray queues, leading to unbounded growth. The gc thread always trims its gray queues at the end of the collection.

On graph8 this reduces memory usage by 5%. Fixes mem leak from #41995

[sgen] We don't need to trim the free list when finishing gray stack

We always dispose the gray queue at the end of the collection, which implies its trimming.

[sgen] Increase counter when actually allocating gray sections

Merge pull request #3562 from BrzVlad/fix-reverse-wbarrier

[jit] Fix missing wbarrier for array generic setter

Merge pull request #3565 from vargaz/no-free-imt-thunks

[runtime] Avoid freeing IMT thunks, some threads might still be execu…

[corlib] Add missing apis

Merge pull request #3574 from ntherning/disable-tests-with-com-instantiation-on-mono-on-windows

Disable tests which instantiate COM objects on Windows

Disable tests which instantiate COM objects on Windows

COM is not working on Mono on Windows and adding support for it is not a
priority at the moment.

[System.Net.Http] Show invalid values added to HttpHeaderValueCollection. to Fixes #44413.

[mcs] Delay array base type interfaces initialization. Fixes #44402

Merge pull request #3564 from henricm/thread-safe-win32eventlog-notifications

Making Win32EventLog notification thread safe

Merge pull request #3545 from ntherning/throw-AbandonedMutexException-on-unix

Correctly handle abandoned mutexes on non-Windows platforms

Use NUnit's SetCulture attribute rather than Culture

A few tests are currently ignored when running on a system where the default
culture isn't "en" or "en-US". This patch changes Culture attributes to
SetCulture attributes instead to make those tests run on all system and make
NUnit set the culture to the required one during the test run.

Also found and fixed a test failure in one of these methods,
DateTimeTest.ToUniversalTime_TimeZoneOffsetShouldNotOverflow(), which assumed
the minimum year is 0 while it's actually 1. Confirmed that this is the case
on .NET as well.

Making Win32EventLog notification thread safe

The _notifyResetEvent could be closed and nulled and the
NotifyEventThread would still try to read from the event log.
Also multiple calls to EnableNotification would cause issues.
With this fix, we make sure only one notify event thread is
running and that we thread safe the disabling of notifications.

[runtime] Fix build

[threads] Check InternalThread.last just after checking corlib version

[io-layer] include `w32mutex-utils.h` (#3568)

Correctly handle abandoned mutexes on non-Windows platforms

When a thread owning a mutex doesn't release it before it exits and a second
thread tries to take it using e.g. Mutex.WaitOne() an AbandonedMutexException
should be thrown. This is what .NET and Mono on Windows does.

This commit builds on the work done in PR #2267, which modifies the Win32
emulation of WaitForSingleObjectEx(), SignalObjectAndWait() and
WaitForMultipleObjectsEx() to return WAIT_ABANDONED_0 when expected, and
updates it to the current HEAD. It also adds a few test methods to
WaitHandleTest that test that WaitHandle.WaitAny() and WaitHandle.WaitAll()
follows the .NET behaviour.

Correctly handle abandoned mutexes on non-Windows platforms

When a thread owning a mutex doesn't release it before it exits and a second
thread tries to take it using e.g. Mutex.WaitOne() an AbandonedMutexException
should be thrown. This is what .NET and Mono on Windows does.

This commit adds the infrastructure needed in the Win32 emulation layer to
coomunicate that a mutex has been abandoned. It builds on the work done in
PR #2267 and updates it to the current HEAD.

[mcs] Report more errors for nameof expressions. Fixes #44168

Merge pull request #3566 from ntherning/fix-time-zone-issues-on-windows

Fixes time zone issues when running on Windows

Revert "[loader] Tests for RefereceAssemblyAttribute support"

This reverts commit 31de4df835d27ec750fc81739bdd84a87a2efaa7.

Revert this as the corresponding fix was reverted.

[monodis] Don't segfault using cooperative GC.

monodis with coop enabled segfaulted in mono_thread_info_attach

[winx64] Mark some inline functions static to hopefully fix the mxe build.

[runtime] Add a counter for the number of freed IMT trampolines.

[corlib] Use simple BinaryCompatibility as anywhere else

[bcl] Fix few warnings