Merge pull request #2998 from lateralusX/jlorenss/win-x64-full-aot-support

Windows x64 full AOT support for mono/mini regression tests.

Merge pull request #3020 from akoeplinger/fix-ttl

[System] Raise ArgumentOutOfRangeException for values > 255 in Socket.Ttl setter

Update .gitignore, remove stale file

[System.Windows.Forms] Fix incorrect compare of IntPtr to null

[genproj] Fix THISDIR location in a few projects, so genproj can generate MSBuild files

[System.Web] Remove duplicate file listings which break msbuild and update csprojs

[System] Raise ArgumentOutOfRangeException for values > 255 in Socket.Ttl setter

This is consistent with the .NET implementation: https://github.com/mono/mono/blob/8054793e5bc158015154fb8cdcdd56777a0c8351/mcs/class/referencesource/System/net/System/Net/Sockets/Socket.cs#L734-L737 (sadly, MSDN says SocketException should be thrown in this case...).

It fixes the SocketTest.TtlChangeoverflow test that started failing after https://github.com/mono/mono/pull/2250.
The reason is we refactored the SetSocketOption () overload the Ttl setter is using so that it now
checks for `error == (int) SocketError.InvalidArgument` instead of just falling through to raising
a SocketException with the error code.

Merge pull request #2992 from lambdageek/dev/monoerror-other-invokes

[runtime] MonoError mono_runtime_invoke_{array,delegate}

Merge pull request #2989 from lambdageek/dev/monoerror-message

[runtime] MonoError for mono_message_init

Merge pull request #2977 from BrzVlad/fix-major-log2

[sgen] Improve logging

[genproj] Sync with latest set of changes to Makefiles

[genproj] Use an explicit IntermediateOutputPath to prevent rebuilds on cyclic assemblies

[sgen] Fix warnings at printing 64bit ints

[sgen] Refactor sgen_perform_collection

This enables logging for major concurrent collections and for nursery collections while a concurrent collection is running.

[sgen] Log also the real size used by the major objects

Due to performance concerns, we don't account for the space wasted in blocks, since it would require dereferencing all vtables. We also don't account for allocation that might happen during sweep.

[sgen] Log also the total los memory usage

[sgen] Don't log previous collection memory size

This information can be found in the previous log entries.

[sgen] Precisely log the size of the promoted objects during minors

Merge pull request #3008 from lateralusX/jlorenss/win-x64-shutdown-crash

[runtime] Fix for random, timing dependent, mono runtime crash during shutdown on Windows.

Merge pull request #3012 from marek-safar/rs-Net

[System] WebHeaderCollection from referencesource

[runtime] MonoError-ize mono_message_invoke

[runtime] MonoError-ize mono_runtime_invoke_array

As with mono_runtime_invoke, we split up into three functions:
1. mono_runtime_invoke_array is external only.  Runtime should use
   one of the other two.
2. mono_runtime_invoke_array_checked threads exceptions and failures through
  MonoError in coop mode.  In non-coop managed exceptions unwind the
  stack as before.
3. mono_runtime_try_invoke_array sends exceptions from method invocation
through a MonoException* outarg, and other errors through MonoError.

[runtime] Refactor mono_runtime_invoke_array

Pull a helper function invoke_array_extract_argument out to simplify
error handling.

[runtime] MonoError-ize mono_runtime_delegate_invoke

Mark it external only.  Runtime can use
mono_runtime_delegate_invoke_checked or mono_runtime_delegate_try_invoke.

[runtime] Don't raise while calling unhandled exception delegate.

[runtime] Remove an unused variable.

Merge pull request #2994 from ludovic-henry/remove-nacl

[runtime] Remove support for NaCl

[runtime] MonoError-ize mono_message_init

[runtime] MonoError-ize mono_marshal_xdomain_copy_value

[runtime] MonoError-ize mono_method_call_message_new

[runtime] MonoError-ize mono_delegate_ctor

[runtime] MonoError-ize mono_async_result_new

[runtime] MonoError-ize mono_ldstr

Mark it external only.  Runtime should use mono_ldstr_checked.

Remove more deprecated stuff

Remove dead code, update solution files

genproj: Improve handling of executables and projects with build dependencies

Merge pull request #2815 from lambdageek/dev/monoerror-mono_compile_method

[runtime] MonoError-ize mono_compile_method

Merge pull request #3014 from lambdageek/dev/coop-enabled

[coop] Make mono_threads_is_coop_enabled a normal function

Merge pull request #3007 from directhex/use-mingw64

[jenkins] Use mingw64 to build, not 32

[coop] Make mono_threads_is_coop_enabled a normal function

It doesn't need to live in the header.

In particular is_coop_enabled variable used to be in every translation
unit instead of just a single flag.

Merge pull request #3011 from akoeplinger/ci-fixes

[ci] Move setting CFLAGS and MONO_CHECK_MODE into the run-jenkins.sh script

Merge pull request #3003 from marek-safar/rs-NetworkInformation

[System] Common NetworkInformation code from referencesource

Graduate the csproj/solution to completed - you can now build with the toplevel net_4_x.sln

Merge pull request #3009 from akoeplinger/fix-sockettest-catch

[System] Get rid of useless catch-all clauses in SocketTest

[System] Common NetworkInformation code from referencesource

[jenkins] Use VS2015, not 2013

Remove [assembly:TargetFramework] as no other assembly uses it, and causes our msbuild to fail

[WIP] Important change: more comprehensive Makefile to support csproj-local on System.Design (#3006)

* Important change: more comprehensive Makefile to support csproj-local on System.Design

* Change the dependency

* update

[System] WebHeaderCollection from referencesource

[System] Throw PlatformNotSupportedException if NetworkInformation.NetworkChange is used on watchOS. (#3010)

NetworkInformation.NetworkChange requires the SystemConfiguration framework,
which isn't available on watchOS.

[ci] Move setting CFLAGS and MONO_CHECK_MODE into the run-jenkins.sh script

So we can further reduce the state we keep on Jenkins itself.

[System] Get rid of useless catch-all clauses in SocketTest

When one of the tests doesn't fail with the expected exception, we'd get just a useless message
like "TtlChangeoverflow #3" instead of the much more useful exception info + stacktrace that
NUnit catches when an unhandled exception is thrown.

Fix for rare mono runtime crash during shutdown sequence on Windows.

During mono shutdown on windows there is, on rare occasions, an exception
in CloseHandle indicating the closure of an invalid handle. This exception
is normally a strong indication of a much more severe underlying problem,
a doubled close on a handle, that could lead to random data corruptions
and very hard to track bugs in random areas of the code. If the system reused
the handle for a different object that silently gets incorrectly closed by above
call, the above bug could manifest itself into some completely different issues,
so getting a consistent repro with the above exception with CloseHandle was a good
point to start tracking down the bug.

The exception throwed in CloseHandle boils down to the fact that threads
in thread pool's that have their finalizer run on shutdown can end up in
a scenario where the thread handle has already been closed elsewhere.

When the threads are finalized in mono_gc_finialize_threadpool_threads,
the handle on the internal thread object, stored in MonoInternalThread,
will be closed by the thread objects finializer in ves_icall_System_Threading_InternalThread_Thread_free_internal.
Under some rare occasions, one of the handles are not valid and will cause
the exception in CloseHandle or even worse, pointing to a complete different
kind of object, potentially closed by the threads finalizer, causing an instable
process with random behavior related to WIN32 objects (files, mutexes, threads, events etc).

The reason why it rarely manifests itself is due to a race between the finializer thread and the
main thread during shutdown. Main thread gives finalizer thread 2000 ms to complete its work and
if it’s time outs, the main thread won’t call the code that will run the finalizers,
mono_gc_finalize_threadpool_threads for the thread objects added to an internal list
by the finalizer thread, so if the finalizer takes more than 2000 ms to complete during shutdown
the bug won’t manifest itself. By increasing the wait time in mono_domain_finalize to for example INFINITE,
the repro of this bug will be 100% and not timing dependent anymore.

Turns out that the offending CloseHandle on the thread object happens at an
earlier point in time during shutdown, when mono_thread_manage tries to wait for
threads to complete manage thread it will do remove_and_abort_threads for background
threads still around. The way this works is that it will setup a list of thread handles
that it will wait for using WaitForMultipleObjects and then close the handles.
It turns out that the implementation of remove_and_abort_threads adds the wrong
handle to the list, not the duplicated handle but the original thread handle,
and that will trigger this bug, since the original thread handle will be closed
(and the duplicated handle will leak). The fix is to use the duplicated thread
handle instead of the original, similar to how it was already done in other similar methods, like build_wait_tids.
Sinces this bug seems to been around for quite some time and is a race related to managed threads and mono
shutdown sequence it could give other weird side effects on windows during shutdown
(since it could have closed a random WIN32 object instead of the intended thread).

Looking at Bugzilla, there is one bug that very well could be related to this specific problem, 10108:

https://bugzilla.xamarin.com/show_bug.cgi?id=10108

This bug should most likely be retested with this fix to see if it still reproducible once merged into master.

[jenkins] Use mingw64 to build, not 32

[genproj] Updates to project generator and csproj files.

* Adds support for a handful of new command line arguments that we now use in the build.

* Always attempts to match to a project name, to get the proper project dependency.

* Update to support .exe and .dll in the generation.

* Remove warnings and some dead code

* Update the resulting csproj files based on running:

make update-csproj
make package-inputs
mono genproj.exe

Merge pull request #3004 from xmcclure/gc-bridge-various

Various GC bridge cleanup from looking at bug #40844

[runtime] Remove support for NaCl

Merge pull request #2250 from esdrubal/master

[System] Check SocketOptionName.ReuseAddress support.

Add some comments in new/old gc bridges

Fix error message in sgen-bridge which does not list all options

Remove redundant flag set in sgen-tarjan-bridge

bridge_processing_in_progress is set by sgen-tarjan-bridge.c at the
start and end of each bridge, although sgen-bridge sets this flag at
the same time.

More accurate trace reporting duration of android gc bridge

There is some code that reports the length of a gc bridge operation in
sgen-stw. This is dead code dating from a period when gc bridges
occurred synchronously as part of a stop the world operation. The new
code globally tracks the end of the last stw and reports time since
then when the bridge thread completes.

Merge pull request #2979 from akoeplinger/tests-simplify

[tests] Simplify 'test-sgen' target logic in Makefile.am

Merge pull request #2988 from radical/xbuild-fix-processwrapper

[xbuild] Fix ProcessWrapper to WaitForExit(..) before accessing ExitCode

Change Url for raw runtimes

Fix man page

[runtime] MonoError-ize mono_compile_method

Mark it external only.  Runtime should use mono_compile_method_checked.

Merge pull request #3001 from ludovic-henry/coop-blocking-rename

[coop] Use GC safe/unsafe macros inside the runtime

Merge pull request #2987 from spouliot/ipv6only

[System][tests] Tweak Dns unit tests so it does not fail on an IPv6 only network

[arm] Align the stack to 16 bytes in mono_arch_get_call_filter () so it works on watchos.

[coop] Use GC safe/unsafe macros inside the runtime

This allow the removal of MONO_(PREPARE|FINISH)BLOCKING and MONO(PREPARE|FINISH)_RESET_BLOCKING, which were not explicit in their intent, leading to confusion. This also harmonize how the product and the runtime transition between thread states.

Merge pull request #2969 from ludovic-henry/coop-no-try-finally

[coop] Remove try { ... } finally { ... } blocks from wrappers + Fix state transitions in trampolines

Merge pull request #2999 from marek-safar/rs-FileWeb

[System] FileWebResponse/FileWebRequest from referencesource

[System] Use common assertion api in IPAdressTest to fix monodroid build

`Assertion.Fail` isn't supported by NUnitLite in monodroid, use `Assert` instead to fix the build:

```
[12:29:46] /Users/builder/data/lanes/1845/88dbce4e/source/monodroid/tests/bcl-test/BclTests.csproj (default targets) ->
[12:29:46] /Library/Frameworks/Mono.framework/Versions/4.2.1/lib/mono/4.5/Microsoft.CSharp.Targets (CoreCompile target) ->
[12:29:46]
[12:29:46]  src/System/Test/System.Net/IPAddressTest.cs(282,4): error CS0103: The name `Assertion' does not exist in the current context
[12:29:46]
[12:29:46]   14 Warning(s)
[12:29:46]   1 Error(s)
```

[System] FileWebResponse/FileWebRequest from referencesource

[coop] Ensure exception handling is done in GC unsafe mode

[debug] Print MonoMethod pointer in mono_pmip output

[coop] Assert that trampolines are called from GC unsafe code

[coop] The magic trampoline might be called from BLOCKING state

[coop] Add default ftnptr eh callback

[coop] Use unbalanced state switching functions for managed-to-native wrapper

[coop] Add possibly unbalanced state switching functions

This will be used by managed-to-native and native-to-managed wrappers, as well as trampolines, to switch between states. This is necessary as their calls might be unbalanced (a prepare blocking, without the corresponding finish blocking).

[coop] Throw exception from finally clause in native-to-managed wrapper

If we do not throw it from the finally clause, then in case of a Thread.Abort, we will not rethrow the catched exception, but the ThreadAbortException, and this without using the callback, leading to native stack unwinding.

[coop] Remove try { ... } finally { ... } from managed-to-native wrapper

[coop] Remove support for invoke thunk wrapper

The support will be broken when we will introduce MonoHandle, as we can't pass the exception naked object ref around, but need to wrap it in a MonoHandle, while still in RUNNING mode.

Merge pull request #2993 from lambdageek/dev/monoerror-mono_string_from_utf16

[runtime] MonoError-ize mono_string_from_utf16

[System] Fixes build

[System] Authorization from referencesource

Merge pull request #2995 from marek-safar/rs-IPAddress

[System] IPAddress from referencesource

Windows x64 full AOT support for mono/mini regression tests.

Fixes needed in order to get full AOT working for mono/mini regression tests on windows x64 builds (currently disabling the gsharedvt and dyncall tests).

Fixes are done in two main areas, exception and thread local storage support.

SEH exception handling enabled in order to catch CPU generated exceptions. All exception related regression tests pass with fix and runtime won't attempt to JIT any code since it is prevented when running with --full-aot startup argument.

Thread local storage (TLS) support was not complete on windows x64. When running full AOT the sgen allocator uses TLS for its allocator. AOT compiler will issues OP_TLS_GET_REG operations when compiling the “Alloc” methods. On win x64 this was not implemented, just the default OP_TLS_GET, meaning that methods compiled using OP_TLS_GET_REG was "silently" dropped when full AOT:ed compiled. At runtime, the sgen allocator would tried to locate the “Alloc” method but fails to find it and since this will cause an exception (that also needs the allocator to be used) and the program entered a loop that will end in a stack overflow crashing the program.

The fix implements OP_TLS_GET_REG and other needed support for win x64. It also fixes the offset calculation needed by full AOT builds (translating to correct runtime TLS key) for keys used by mono/mini regression tests. Since windows TLS support is a little more complex (two different conditions depending on where the TLS key gets allocated) the max size of tls_get_reg for amd64 has been increased from 32 to 64 byte as well.

[reflection] Avoid force-setting klass->has_finalize for dynamic classes, compute it normally. Fixes #40953. (#2997)

[llvmonly] Avoid generating gsharedvt out wrappers for non-generic signatures.

mkbundle commands for cross compilation. (#2970)

* Start of packager for mkbundle

* [mkbundle] Add fingerprint and directory at end of package

* [mkbundle] Update embedding file format, add support for --options, support for --runtime, chmod +x

* [driver] Add a way to parse arbitrary command line options

* [mkbundle] Align the assemblies on a page boundary, do not release directory buffer

* Work-around odd compiler error by using memcpy

* Update makefile

* Fix the windows build

* [Windows] Export the new mono_parse_options_from API

* Implement the various cross-compiler target fetching commands

* Clean

[System] IPAddress from referencesource

[System] Replace few System.Net types with referencesource

[coop] Avoid calling mono_marshal_set_last_error () in the managed-to-native wrapper inside the blocking block. Also make sure the prepare/finish_blocking jit icalls have no wrappers, so calling them doesn't involve trampolines.

Merge pull request #2974 from lambdageek/dev/monoerror-misc_fixes

[runtime] Eliminate some mono_error_raise_exception calls

Fix a warning.

[llvmonly] Make sure that linkonce methods need no initialization since they could be called before the AOT module they belong to is loaded. Still not enabled, since they seem to actually increase executable size.

[System] Remove unused files