Merge pull request #3008 from lateralusX/jlorenss/win-x64-shutdown-crash

[runtime] Fix for random, timing dependent, mono runtime crash during shutdown on Windows.

Merge pull request #3012 from marek-safar/rs-Net

[System] WebHeaderCollection from referencesource

[runtime] Remove an unused variable.

Merge pull request #2994 from ludovic-henry/remove-nacl

[runtime] Remove support for NaCl

Remove more deprecated stuff

Remove dead code, update solution files

genproj: Improve handling of executables and projects with build dependencies

Merge pull request #2815 from lambdageek/dev/monoerror-mono_compile_method

[runtime] MonoError-ize mono_compile_method

Merge pull request #3014 from lambdageek/dev/coop-enabled

[coop] Make mono_threads_is_coop_enabled a normal function

Merge pull request #3007 from directhex/use-mingw64

[jenkins] Use mingw64 to build, not 32

[coop] Make mono_threads_is_coop_enabled a normal function

It doesn't need to live in the header.

In particular is_coop_enabled variable used to be in every translation
unit instead of just a single flag.

Merge pull request #3011 from akoeplinger/ci-fixes

[ci] Move setting CFLAGS and MONO_CHECK_MODE into the run-jenkins.sh script

Merge pull request #3003 from marek-safar/rs-NetworkInformation

[System] Common NetworkInformation code from referencesource

Graduate the csproj/solution to completed - you can now build with the toplevel net_4_x.sln

Merge pull request #3009 from akoeplinger/fix-sockettest-catch

[System] Get rid of useless catch-all clauses in SocketTest

[System] Common NetworkInformation code from referencesource

[jenkins] Use VS2015, not 2013

Remove [assembly:TargetFramework] as no other assembly uses it, and causes our msbuild to fail

[WIP] Important change: more comprehensive Makefile to support csproj-local on System.Design (#3006)

* Important change: more comprehensive Makefile to support csproj-local on System.Design

* Change the dependency

* update

[System] WebHeaderCollection from referencesource

[System] Throw PlatformNotSupportedException if NetworkInformation.NetworkChange is used on watchOS. (#3010)

NetworkInformation.NetworkChange requires the SystemConfiguration framework,
which isn't available on watchOS.

[ci] Move setting CFLAGS and MONO_CHECK_MODE into the run-jenkins.sh script

So we can further reduce the state we keep on Jenkins itself.

[System] Get rid of useless catch-all clauses in SocketTest

When one of the tests doesn't fail with the expected exception, we'd get just a useless message
like "TtlChangeoverflow #3" instead of the much more useful exception info + stacktrace that
NUnit catches when an unhandled exception is thrown.

Fix for rare mono runtime crash during shutdown sequence on Windows.

During mono shutdown on windows there is, on rare occasions, an exception
in CloseHandle indicating the closure of an invalid handle. This exception
is normally a strong indication of a much more severe underlying problem,
a doubled close on a handle, that could lead to random data corruptions
and very hard to track bugs in random areas of the code. If the system reused
the handle for a different object that silently gets incorrectly closed by above
call, the above bug could manifest itself into some completely different issues,
so getting a consistent repro with the above exception with CloseHandle was a good
point to start tracking down the bug.

The exception throwed in CloseHandle boils down to the fact that threads
in thread pool's that have their finalizer run on shutdown can end up in
a scenario where the thread handle has already been closed elsewhere.

When the threads are finalized in mono_gc_finialize_threadpool_threads,
the handle on the internal thread object, stored in MonoInternalThread,
will be closed by the thread objects finializer in ves_icall_System_Threading_InternalThread_Thread_free_internal.
Under some rare occasions, one of the handles are not valid and will cause
the exception in CloseHandle or even worse, pointing to a complete different
kind of object, potentially closed by the threads finalizer, causing an instable
process with random behavior related to WIN32 objects (files, mutexes, threads, events etc).

The reason why it rarely manifests itself is due to a race between the finializer thread and the
main thread during shutdown. Main thread gives finalizer thread 2000 ms to complete its work and
if it’s time outs, the main thread won’t call the code that will run the finalizers,
mono_gc_finalize_threadpool_threads for the thread objects added to an internal list
by the finalizer thread, so if the finalizer takes more than 2000 ms to complete during shutdown
the bug won’t manifest itself. By increasing the wait time in mono_domain_finalize to for example INFINITE,
the repro of this bug will be 100% and not timing dependent anymore.

Turns out that the offending CloseHandle on the thread object happens at an
earlier point in time during shutdown, when mono_thread_manage tries to wait for
threads to complete manage thread it will do remove_and_abort_threads for background
threads still around. The way this works is that it will setup a list of thread handles
that it will wait for using WaitForMultipleObjects and then close the handles.
It turns out that the implementation of remove_and_abort_threads adds the wrong
handle to the list, not the duplicated handle but the original thread handle,
and that will trigger this bug, since the original thread handle will be closed
(and the duplicated handle will leak). The fix is to use the duplicated thread
handle instead of the original, similar to how it was already done in other similar methods, like build_wait_tids.
Sinces this bug seems to been around for quite some time and is a race related to managed threads and mono
shutdown sequence it could give other weird side effects on windows during shutdown
(since it could have closed a random WIN32 object instead of the intended thread).

Looking at Bugzilla, there is one bug that very well could be related to this specific problem, 10108:

https://bugzilla.xamarin.com/show_bug.cgi?id=10108

This bug should most likely be retested with this fix to see if it still reproducible once merged into master.

[jenkins] Use mingw64 to build, not 32

[genproj] Updates to project generator and csproj files.

* Adds support for a handful of new command line arguments that we now use in the build.

* Always attempts to match to a project name, to get the proper project dependency.

* Update to support .exe and .dll in the generation.

* Remove warnings and some dead code

* Update the resulting csproj files based on running:

make update-csproj
make package-inputs
mono genproj.exe

Merge pull request #3004 from xmcclure/gc-bridge-various

Various GC bridge cleanup from looking at bug #40844

[runtime] Remove support for NaCl

Merge pull request #2250 from esdrubal/master

[System] Check SocketOptionName.ReuseAddress support.

Add some comments in new/old gc bridges

Fix error message in sgen-bridge which does not list all options

Remove redundant flag set in sgen-tarjan-bridge

bridge_processing_in_progress is set by sgen-tarjan-bridge.c at the
start and end of each bridge, although sgen-bridge sets this flag at
the same time.

More accurate trace reporting duration of android gc bridge

There is some code that reports the length of a gc bridge operation in
sgen-stw. This is dead code dating from a period when gc bridges
occurred synchronously as part of a stop the world operation. The new
code globally tracks the end of the last stw and reports time since
then when the bridge thread completes.

Merge pull request #2979 from akoeplinger/tests-simplify

[tests] Simplify 'test-sgen' target logic in Makefile.am

Merge pull request #2988 from radical/xbuild-fix-processwrapper

[xbuild] Fix ProcessWrapper to WaitForExit(..) before accessing ExitCode

Change Url for raw runtimes

Fix man page

[runtime] MonoError-ize mono_compile_method

Mark it external only.  Runtime should use mono_compile_method_checked.

Merge pull request #3001 from ludovic-henry/coop-blocking-rename

[coop] Use GC safe/unsafe macros inside the runtime

Merge pull request #2987 from spouliot/ipv6only

[System][tests] Tweak Dns unit tests so it does not fail on an IPv6 only network

[arm] Align the stack to 16 bytes in mono_arch_get_call_filter () so it works on watchos.

[coop] Use GC safe/unsafe macros inside the runtime

This allow the removal of MONO_(PREPARE|FINISH)BLOCKING and MONO(PREPARE|FINISH)_RESET_BLOCKING, which were not explicit in their intent, leading to confusion. This also harmonize how the product and the runtime transition between thread states.

Merge pull request #2969 from ludovic-henry/coop-no-try-finally

[coop] Remove try { ... } finally { ... } blocks from wrappers + Fix state transitions in trampolines

Merge pull request #2999 from marek-safar/rs-FileWeb

[System] FileWebResponse/FileWebRequest from referencesource

[System] Use common assertion api in IPAdressTest to fix monodroid build

`Assertion.Fail` isn't supported by NUnitLite in monodroid, use `Assert` instead to fix the build:

```
[12:29:46] /Users/builder/data/lanes/1845/88dbce4e/source/monodroid/tests/bcl-test/BclTests.csproj (default targets) ->
[12:29:46] /Library/Frameworks/Mono.framework/Versions/4.2.1/lib/mono/4.5/Microsoft.CSharp.Targets (CoreCompile target) ->
[12:29:46]
[12:29:46]  src/System/Test/System.Net/IPAddressTest.cs(282,4): error CS0103: The name `Assertion' does not exist in the current context
[12:29:46]
[12:29:46]   14 Warning(s)
[12:29:46]   1 Error(s)
```

[System] FileWebResponse/FileWebRequest from referencesource

[coop] Ensure exception handling is done in GC unsafe mode

[debug] Print MonoMethod pointer in mono_pmip output

[coop] Assert that trampolines are called from GC unsafe code

[coop] The magic trampoline might be called from BLOCKING state

[coop] Add default ftnptr eh callback

[coop] Use unbalanced state switching functions for managed-to-native wrapper

[coop] Add possibly unbalanced state switching functions

This will be used by managed-to-native and native-to-managed wrappers, as well as trampolines, to switch between states. This is necessary as their calls might be unbalanced (a prepare blocking, without the corresponding finish blocking).

[coop] Throw exception from finally clause in native-to-managed wrapper

If we do not throw it from the finally clause, then in case of a Thread.Abort, we will not rethrow the catched exception, but the ThreadAbortException, and this without using the callback, leading to native stack unwinding.

[coop] Remove try { ... } finally { ... } from managed-to-native wrapper

[coop] Remove support for invoke thunk wrapper

The support will be broken when we will introduce MonoHandle, as we can't pass the exception naked object ref around, but need to wrap it in a MonoHandle, while still in RUNNING mode.

Merge pull request #2993 from lambdageek/dev/monoerror-mono_string_from_utf16

[runtime] MonoError-ize mono_string_from_utf16

[System] Fixes build

[System] Authorization from referencesource

Merge pull request #2995 from marek-safar/rs-IPAddress

[System] IPAddress from referencesource

[reflection] Avoid force-setting klass->has_finalize for dynamic classes, compute it normally. Fixes #40953. (#2997)

[llvmonly] Avoid generating gsharedvt out wrappers for non-generic signatures.

mkbundle commands for cross compilation. (#2970)

* Start of packager for mkbundle

* [mkbundle] Add fingerprint and directory at end of package

* [mkbundle] Update embedding file format, add support for --options, support for --runtime, chmod +x

* [driver] Add a way to parse arbitrary command line options

* [mkbundle] Align the assemblies on a page boundary, do not release directory buffer

* Work-around odd compiler error by using memcpy

* Update makefile

* Fix the windows build

* [Windows] Export the new mono_parse_options_from API

* Implement the various cross-compiler target fetching commands

* Clean

[System] IPAddress from referencesource

[System] Replace few System.Net types with referencesource

[coop] Avoid calling mono_marshal_set_last_error () in the managed-to-native wrapper inside the blocking block. Also make sure the prepare/finish_blocking jit icalls have no wrappers, so calling them doesn't involve trampolines.

Merge pull request #2974 from lambdageek/dev/monoerror-misc_fixes

[runtime] Eliminate some mono_error_raise_exception calls

Fix a warning.

[llvmonly] Make sure that linkonce methods need no initialization since they could be called before the AOT module they belong to is loaded. Still not enabled, since they seem to actually increase executable size.

[System] Remove unused files

[runtime] MonoError-ize mono_string_from_utf16

Marked it external only.  Runtime should use mono_string_from_utf16_checked

Also mark mono_string_from_utf32 as external only.

(It's currently unused in the runtime, but in the future
 mono_string_from_utf32_checked is available)

Merge pull request #2984 from amccague/ping-task-fix

Resolved bug (8554) with Task Based Ping API

Merge pull request #2990 from akoeplinger/fix-fsharp

[bcl] Add stub Mono.Posix.dll to 4.0 folder so FSharp bootstrapping works

[arm] Make sure MONO_CONTEXT_GET_CURRENT () sets sp to an aligned value on watchos.

[bcl] Add stub Mono.Posix.dll to 4.0 folder so FSharp bootstrapping works

It was checking the existence of the file which doesn't work anymore after the -api rename.
This was already fixed upstream in https://github.com/fsharp/fsharp/pull/525 but the bootstrap package doesn't have the fix yet.

Fixes https://bugzilla.xamarin.com/show_bug.cgi?id=41052

[runtime] MonoError-ize mono_mlist_{alloc,prepend,append}

Mark the various functions external only.  Runtime should use the
_checked variants.

[runtime] Eliminate some uses of mono_error_raise_exception

[cominterop] Get rid of uses of mono_error_raise_exception

in icalls

[cominterop] MonoError-ize mono_string_from_bstr

Runtime should use mono_string_from_bstr_checked. The icall is
mono_string_from_bstr_icall. Marked mono_string_from_bstr external only.

Fix an bug added by 5b9f9751baedfeba4a0771fb18b50cba3c5ea69b.

Merge pull request #2853 from alexrp/thread-name-improvements

More thread name improvements

[threads] Add a missing mono_hazard_pointer_clear () in thread_cleanup ().

[threads] mono_thread_set_name_internal (): Rename 'managed' arg to 'permanent'.

The actual meaning is about whether or not the name is allowed to change after
having been set by the mono_thread_set_name_internal () call; it has nothing to
do with whether the call came from managed per se.

[threads] Don't consider MONO_THREAD_FLAG_NAME_SET when setting thread name at thread startup.

If we did consider this, an internal runtime thread that had its name set by a
mono_thread_set_name_internal (..., FALSE /*managed*/, ...) call prior to
starting would not have its native name set nor its name reported to the
profiler.

[threads] Don't exempt thread pool threads from the 'name already set' check + exception.

MS.NET doesn't, so we shouldn't either.

Bug: https://bugzilla.xamarin.com/show_bug.cgi?id=23206

[threads] Only mark a thread as having a name set if the given name is non-null.

This is consistent with MS.NET behavior.

[threads] Rename mono_thread_info_set_name () to mono_native_thread_set_name ().

This function has nothing to do with MonoThreadInfo structures, so the name is
somewhat misleading. It only requires a native thread ID.

[domain] Remove an unnecessary call to mono_thread_info_set_name ().

We now do this in the thread main function.

Bump nunit-lite to get compiler warning fix.

commit //github.com/mono/NUnitLite@7065bc89e8661cad447140752c0fce118644e06e
Author: Rolf Bjarne Kvinge <rolf@xamarin.com>
Date:   Thu May 12 12:30:28 2016 +0200

    Fix compiler warning.

[arm] Implement a dummy version of MONO_CONTEXT_GET_CURRENT () on watchos, only the sp register is set, this is the only one needed by sgen.

[arm] Fix the DISABLE_JIT build.

[aot] Add some MonoError machinery to aot-runtime.c.

[System][tests] Make sure Dns tests works in a mixed IPv4/IPv6 network too

Previous tweak could disable some tests in a mixed network, e.g.
if an IPv6 address was first but an IPv4 address was available.

[xbuild] Fix ProcessWrapper to WaitForExit(..) before accessing ExitCode

Process.Exited event can get invoked before the process has really
exited. So, accessing process.ExitCode before the real exit can throw:

Error executing task Exec: System.InvalidOperationException: Process must exit before requested information can be determined.
  at System.Diagnostics.Process.EnsureState (System.Diagnostics.Process+State state) [0x000b9] in /Users/ankit/dev/mono/mcs/class/referencesource/System/services/monitoring/system/diagnosticts/Process.cs:1439
  at System.Diagnostics.Process.get_ExitCode () [0x00000] in /Users/ankit/dev/mono/mcs/class/referencesource/System/services/monitoring/system/diagnosticts/Process.cs:219
  at (wrapper remoting-invoke-with-check) System.Diagnostics.Process:get_ExitCode ()
  at Microsoft.Build.Utilities.ToolTask.ExecuteTool (System.String pathToTool, System.String responseFileCommands, System.String commandLineCommands) [0x00101] in /Users/ankit/dev/mono/mcs/class/Microsoft.Build.Utilities/Microsoft.Build.Utilities/ToolTask.cs:185
  at Microsoft.Build.Tasks.Exec.ExecuteTool (System.String pathToTool, System.String responseFileCommands, System.String commandLineCommands) [0x00026] in /Users/ankit/dev/mono/mcs/class/Microsoft.Build.Tasks/Microsoft.Build.Tasks/Exec.cs:83
  at Microsoft.Build.Utilities.ToolTask.Execute () [0x0001c] in /Users/ankit/dev/mono/mcs/class/Microsoft.Build.Utilities/Microsoft.Build.Utilities/ToolTask.cs:128
  at Microsoft.Build.BuildEngine.TaskEngine.Execute () [0x00000] in /Users/ankit/dev/mono/mcs/class/Microsoft.Build.Engine/Microsoft.Build.BuildEngine/TaskEngine.cs:134
  at Microsoft.Build.BuildEngine.BuildTask.Execute () [0x0008f] in /Users/ankit/dev/mono/mcs/class/Microsoft.Build.Engine/Microsoft.Build.BuildEngine/BuildTask.cs:101

ProcessWrapper.WaitForOutput depends on the
`endEventExit`(ManualResetEvent) to be set, which is done in the event
handler for Process.Exited . So, effectively, WaitForOutput can return
before the process has really exited and ToolTask ends up throwing an
exception when it accesses the ExitCode.

Fix: Add a WaitForExit in WaitForOutput, to be sure!

Merge pull request #2971 from BrzVlad/feature-cross-binprot

[sgen] Cross platform binary protocol grep

Merge pull request #2986 from akoeplinger/fix-mono310-bootstrapping

[System] Rename variable to fix bootstrapping with Mono 3.10 mcs

[corlib] Put back instance creation using activation attributes. Fixes #40758

Merge pull request #2982 from ludovic-henry/fix-cross-monocontext

Revert "[MonoContext] Make cross compiler a specific case"

[System][tests] Tweak Dns unit tests so it does not fail on an IPv6 only network

Some existing tests only works when IPv4 is available, which was fine as
it match how we historically ran those tests.

Apple has a new requirement [1] to test under an "IPv6 only network" and
the change facilitate this.

[1] https://developer.apple.com/news/?id=05042016a

Merge pull request #2985 from akoeplinger/fix-bug39305

[corlib] Make CountdownEventTests.Signal_Concurrent more reliable