Merge pull request #3112 from akoeplinger/test-runner-nofile

[test-runner] Write stdout/stderr into StringBuilder instead of an intermediate file

More updates

Fix make dist

It got broken when the versions.py file was moved around in d110f526706b7c4880ca916e2dfbab93138871cd.
Also add the new locations to EXTRA_DIST so they get distributed too.

Merge pull request #3119 from kumpera/fix-getname-and-shadowcopy

[corlib] Take shadow copying when computing CodeBase in Assembly::GetName.

Merge pull request #3082 from alexanderkyte/no_alloc_klass_error

[runtime] Set klass-error-based MonoError state without allocating

Merge pull request #3110 from BrzVlad/fix-complex-conc-scan

[sgen] Fix concurrent scan of complex objects

Merge pull request #3124 from mono/revert-2734-master

Revert "Enhance log tracing"

Revert "Enhance log tracing"

[amd64] Fix an off-by-one in the dyn call code.

Llvm submodule (#3108)

* Move the versions.mk infrastructure to scripts/submodules so it can be used elsewhere too.

* Add a conditional submodule for llvm.

* Fix commit messages emitted by the bump- targets.

* Use a anonymous git url for llvm.

[runtime][mobile_static] Add flag for rgctx_fetch_trampolines and use it (#3088)

* [runtime] Add commandline option for rgctx fetch trampolines.

* [mobile_static] Increase the number of trampolines

[runtime] Call mono_class_init () for classes in mono_class_is_subclass_of (). Fixes #41466.

[corlib] Take shadow copying when computing CodeBase in Assembly::GetName.

Merge pull request #3116 from alexrp/master

Some improvements to the profiler makefile

[sgen] Make gcpauseviz histograms more meaningful.

There were too many bins, because the x axis was not logarithmic, and
there were no meaningful labels.

[sgen] Fix gcpauseviz.

It didn't detect starts of concurrent collections anymore because of how
the binary protocol outputs it.

[profiler] Don't install the coverage suppression file if the profiler is disabled.

[profiler] Don't run the test suite when the profiler is disabled.

Also clean up the makefile logic surrounding tests a bit.

Merge pull request #3113 from akoeplinger/boehm-fixes

[ci] Turn off Boehm on Windows x64 gcc build

[offsets-tool] Generate offsets for SgenClientThreadInfo.

[sgen] Fix define argument

The code worked by accident because the function in which the define was expanded had an argument with the name desc.

[sgen] Fix race between complex descriptor allocation and complex object scanning

When we allocate the complex descriptor for a new type we might have the concurrent marker scan objects. While the concurrent marker scans the bitmap for a complex object, which resides in the complex_descriptor array, another thread might allocate a new complex descriptor, thus reallocate the complex_descriptor array, which would lead to corruption of the bitmap used by the concurrent marker.

We reuse the SgenArrayList which never reallocates, using instead a list of exponentially increasing arrays.

Only define Boehm variables in configure.ac when it is enabled

Fix the message that is printed in the configure summary at the end to contain only "sgen" when Boehm is disabled.

[ci] Turn off Boehm on Windows x64 gcc build

It was never supported there, turn it off to fix the build on Jenkins.

[amd64] Fix a loop variable reuse in a58c2ef804779be70832c6b0e092fbca1edaebf1.

Merge pull request #3100 from lambdageek/dev/monoerror-exns

[runtime] Pass MonoError to exception creation utilities

[sgen] Make sure we will scan the bits correctly for complex objects

[sgen] Add missing memory type description

Merge pull request #3104 from lambdageek/dev/monoerror-resolve_vcall

[llvm] Raise MonoError using mono_llvm_throw_exception

[jit] Fix the emission of Selector.GetHandle () implementation to avoid the creation of string objects, which could cause GCs don't work in a cross compiler. Fixes #41431.

[test-runner] Write stdout/stderr into StringBuilder instead of an intermediate file

We don't need to write out and then read back in the contents. Additionally, this will prevent
an unhandled exception we've seen on Jenkins due:

```
Unhandled Exception:
System.IO.IOException: Sharing violation on path /media/ssd/jenkins/workspace/test-mono-mainline-linux/label/debian-8-arm64/mono/tests/finalizer-wait.exe.stdout
  at System.IO.FileStream..ctor (System.String path, System.IO.FileMode mode, System.IO.FileAccess access, System.IO.FileShare share, System.Int32 bufferSize, System.Boolean anonymous, System.IO.FileOptions options) <0x7f7eb4a740 + 0x00650> in <filename unknown>:0
  at System.IO.FileStream..ctor (System.String path, System.IO.FileMode mode, System.IO.FileAccess access, System.IO.FileShare share, System.Int32 bufferSize, System.IO.FileOptions options, System.String msgPath, System.Boolean bFromProxy, System.Boolean useLongPath, System.Boolean checkHost) <0x7f7eb4a620 + 0x00053> in <filename unknown>:0
  at (wrapper remoting-invoke-with-check) System.IO.FileStream:.ctor (string,System.IO.FileMode,System.IO.FileAccess,System.IO.FileShare,int,System.IO.FileOptions,string,bool,bool,bool)
  at System.IO.StreamReader..ctor (System.String path, System.Text.Encoding encoding, System.Boolean detectEncodingFromByteOrderMarks, System.Int32 bufferSize, System.Boolean checkHost) <0x7f7e9b2170 + 0x000f3> in <filename unknown>:0
  at System.IO.StreamReader..ctor (System.String path, System.Text.Encoding encoding, System.Boolean detectEncodingFromByteOrderMarks, System.Int32 bufferSize) <0x7f7e9b2120 + 0x00037> in <filename unknown>:0
  at System.IO.StreamReader..ctor (System.String path, System.Boolean detectEncodingFromByteOrderMarks) <0x7f7e9b2040 + 0x0003b> in <filename unknown>:0
  at System.IO.StreamReader..ctor (System.String path) <0x7f7e9b2010 + 0x0001f> in <filename unknown>:0
  at (wrapper remoting-invoke-with-check) System.IO.StreamReader:.ctor (string)
  at System.IO.File.ReadAllText (System.String path) <0x7f7eb48c70 + 0x0003b> in <filename unknown>:0
  at TestRunner.DumpPseudoTrace (System.String filename) <0x7f7cfc6450 + 0x00023> in <filename unknown>:0
  at TestRunner.Main (System.String[] args) <0x7f8128b770 + 0x01ed3> in <filename unknown>:0
```

[test-runner] Print timeout value when test times out

This is useful when multiple timeouts are in place e.g. like in the runtime testsuite.

Merge pull request #3111 from directhex/sed-before-sign

Move call to sn.exe to *after* cil-stringreplacer.exe

Merge pull request #2734 from nealef/master

Enhance log tracing

Move call to sn.exe to *after* cil-stringreplacer.exe

This makes sure mscorlib.dll still has a valid signature (fixes nightly builds on Linux)

Merge pull request #3070 from kumpera/runtime-handles

Local handles initial drop

Merge pull request #3083 from alexrp/gc-pointless-memory-barrier

[sgen] Remove a pointless memory barrier from the middle of the managed allocator.

[System] Override SupportsHeaders in all WebResponse overrides

[amd64] Enable dyncall tests on amd64.

[amd64] Support stack args in dyn calls.

[amd64] Handle ArgValuetypeAddrInIReg in dyncalls.

[mini] Set pending MonoError in mono_vcall_trampoline (#3107)

Remove unused header.

[coop] New local handles implementation.

This is the initial code drop of a new handles implementation.

It differs from the previous one is a few ways:

- It keeps a separate stack of handles which is shared by all "arenas".
This eliminates malloc in the majority of the cases without the need for any tuning

- Custom gc scanning code for the handles stack.
The original implementation registered the chunks as a GC roots. Which is a terribly
slow operation as it takes the GC lock.

Instead of allocating a new handle arena for each icall, we compute a stack mark,
which is the position in the handles stack at icall entry. On exit, we simply restore that
position, which is just a couple of stores.

Since the stack is implemented using arraylets, addressed are stable in the face of
expansion.

Only the typed handles function/macros are in as having both typed and untyped handles
adds extra complexity for no clear value.

The macros only handle what was needed to port a sizeable chunk of locales.c.

This commit just sets the stage for the feature, there's quite some work left
before we can start using it, as it can be seen in the big TODO in handle.c

[sgen] Fix scan thread data job to set ops so it can do precise scanning.

[mono-error] Fix error_init macro to work with MonoError pointers.

[llvm] Propagate MonoError out of mini_resolve_imt_method

To the enclosing llvm jit icalls

Use %Y-%m-%d %H:%M:%S for Windows log message header

Merge pull request #3040 from xmcclure/debugger-step-recursive

Debugger stepping does not understand recursion (bug 38025)

[genproj] Update project files

[jit] Pass MonoError to resolve_vcall

[System] Flush few colliding changes

[runtime] Use new mono_error_set_for_class_failure where applicable.

We were seeing an issue where attempts to create the MonoClass for an
exception in a no-exec context was causing failure. No-exec will forbid
the constructor call. Our solution was to realize that there was no
need to allocate an exception, as MonoError could already encode the
errors.

[runtime] Make helper to set MonoError directly from MonoClass error

Correct typo

Correct for widechar on Windows

[mcs] Fixes NRE during error reporting

[System] Remove duplicate file entry

Several corrections thanks to Johan Lorensson

[WinForms] Fix build broken by 5d54803af7af4c78cfeac020e0e2046b1282af91

Correcty initialize image ref_count. Ensures image is correctly unloaded during appdomain unload. (#3084)

Merge pull request #3102 from alexrp/master

[System] Add back IWebProxyScript to the mobile profile.

[System] Add back IWebProxyScript to the mobile profile.

SWF - Fixed exiting modal runloop. (#2980)

Fixes a bug in exiting modal runloop that caused not really exiting it
(not calling XplatUI.SetModal(..., false).

It caused issues with menu, for example, if you first ran a modal
dialog (a wizard), and then you started the application.

Merge pull request #3099 from marek-safar/rs-Semaphore

[System] Semaphore from referencesource

[sgen] Use raw mutex for pin_queue_mutex as it's only used during a collection

[coop] Reuse local info variable for polling

This would lead to a crash when unregistering the thread from the currnt MonoThreadInfo* destructor, as `mono_thread_info_current_unchecked` would return NULL. This would trigger an infinite loop in `mono_threads_enter_gc_safe_region_unbalanced_with_info`.

[marshal] Fix unused variable warning

[threads] Make mono_thread_detach_if_exiting return if it detached

[coop] Use mono_thread_info_is_current in checked build

[coop] Remove unecessary assertion

[coop] Switch to GC unsafe state in SIGILL signal handler as it may throw an exception

[runtine] We should always ignore SIGPIPE signal

[coop] Ensure GC unsafe state when throwing exception

[coop] Switch to GC safe around pthread_join

[coop] Do not pass current thread to mono_threads_enter_gc_unsafe_region_cookie

[coop] Fix state transition when unregistering the thread

unregister_thread is the destructor for the current MonoThreadInfo* TLS key, meaning that when in this function, calling mono_thread_info_current_unchecked will always return NULL.

[coop] Make GC safe/unsafe unbalanced transitions public

This is needed by Xamarin.iOS for unbalanced transitions, for example aroung a ObjC @throw.

[coop] Do not include mono-threads-coop.h and mono-threads-api.h in mono-threads.h

This leads to circular dependency between them, while mono-threads.h does not depends on the other 2.

[coop] Do not allow transition on not-attached, not-current and not-live thread

[coop] Remove unecessary GC unsafe transition

[marshal] Fix setting of last error for P/Invoke

On Unix, errno value might change between the native call and the call to mono_marshal_set_last_error, if we exit the gc safe region. We need to ensure that it's done right after the native call.

[checked-build] Fix warning

[coop] Remove DoneBlockingAborted state transition

This state transition would only be possible in case something went wrong. It's better to fix where this issue comes from.

Merge pull request #2881 from alexrp/gc-sample-managed-alloc

[gc] Register a critical region when executing managed allocators.

Previously, if we stopped a thread and it had a stack looking like this:

    ...
    profiler_signal_handler
    <signal handler called>
    managed_allocator
    ...

We would fail to identify the fact that we've just interrupted a thread that's
in a managed allocator (uninterruptible code) because we only look at the very
latest instruction pointer of the thread, which will be pointing into
profiler_signal_handler or some other function called by it. So we would
happily continue along with the STW process and proceed to doing the actual GC,
where we would see a broken heap.

We could solve this by unwinding the stack and checking all frames, but that's
complicated and error-prone. Instead, register a critical region while the
managed allocator runs. This way, if we don't identify it by instruction pointer, we
will identify it by the fact that the thread is in a critical region.

Merge pull request #3066 from alexanderkyte/pedump_sgen

[runtime] Replace pedump boehm dependency with sgen dependency

[runtime] Mark mono_exception_from_token_two_strings external only

Runtime should use mono_exception_from_token_two_strings_checked

[runtime] Mark mono_exception_from_name_two_strings external only.

Runtime should use mono_exception_from_name_two_strings_checked

[System] Semaphore from referencesource

Correct use of localtime() in Win32

Use localtime for Win32 and localtime_r for others

Correct syntax error and G_LOG_xxx identifier

Correct use of Windows APIs

Use correct APIs for Windows; Remove sys/time.h

Correct conditional compilation & move logger source files to correct place

Merge pull request #3087 from lambdageek/dev/monoerror-mono_object_to_string

[runtime] Mark mono_object_to_string external only.

[System] Internal connectionpool from referencesource

Merge pull request #3096 from alexrp/master

[bcl] Avoid ObjectDisposedException in EndPointListener.

[corlib] Fixes mobile tests

Merge pull request #3097 from rolfbjarne/mono-api-info-compare-generic-method-parameters

[mono-api-info] Take number of generic parameters into account when comparing methods.