Merge pull request #2379 from xmcclure/babysitter-contd

scripts/babysitter stdout logging improvements

Always print stdout log statements, even when all babysitter features
are turned off, even when the test suite does not support the protocol.

scripts/babysitter stdout logging improvements

Always print stdout log statements, even when all babysitter features
are turned off, even when the test suite does not support the protocol.

[mkbundle] Add support for --quiet.

[mkbundle] Fix compiler warnings.

[llvm] Fix LLVM support after e7166e4f9cee4eb896f1a2ff0290e0b9d8fedacb.

ucm2cp: Remove the deprecated '#if NET_2_0' fence

[System.Xml.Linq] Reenable a test that was commented out

It works fine now, the underlying mcs bug was fixed long ago.

Merge pull request #2366 from xmcclure/scripts-babysitter

Adds babysitter script for PR tests

Support process-group killing in babysitter script

The babysitter script was failing to act as a GNU timeout replacement
because it was delivering signals to the spawned process only, whereas
GNU timeout would create a process group. This lead to a problem where
timeout kills by the babysitter would leave children of the spawned
process still running. To fix this, the babysitter script now follows
the exact steps that GNU timeout does (or as close as is possible in
Python). An attempt at a Windows process-group implementation is also
included, but I have not tested it.

Also changed the 'retry_support' key to 'babysitter_protocol' in the
JSON logs, because it was pointed out the old key was misleading (it
is true even when retries are deactivated).

Have scripts/babysitter use MONO_BABYSITTER_LOG_FILE configuration

Instead of configuring logs with WORKSPACE dir

More peer review changes on scripts/babysitter

- Using “iteration” for # of retries instead of ambiguous “passes”
- More clearly document what environment keys are for in-script
- Remove CRASH_RESUME key, make setting always true
- Print explicit human-readable messages for stdout log

Merge pull request #2375 from akoeplinger/servicemodel-remove-portfinders

[ServiceModel] Remove custom free port finder code

Merge pull request #2376 from rolfbjarne/bitcode-without-undefined-references

Do not allow undefined references if bitcode is enabled.

Merge pull request #2034 from alexrp/ctx-cleanup

[runtime] Actually clean up context-static data segments.

Merge pull request #1896 from meum/patch-1

Fix dot stuffing in SmtpClient

Merge pull request #2374 from lambdageek/dev/bug-37035

[WCF] ServiceHost should look for inherited ServiceBehaviorAttribute

Do not allow undefined references if bitcode is enabled.

The linker does not allow the '-undefined' flag when bitcode
is enabled, so we can't pass it to the linker at all.

[ServiceModel] Remove custom free port finder code

We have a common one in NetworkHelpers now.

[WCF] ServiceHost should look for inherited ServiceBehaviorAttribute

Fixes #37035

[aot] Add hooks which can be used by embedders to load the aot data for aot images compiled with --aot=data-outfile=...

Add documentation for MONO_ENABLE_COOP

Merge pull request #2373 from akoeplinger/servicemodel-tcpreplychannel-race

[ServiceModel] Make TcpReplyChannel.OnClose thread-safe

Merge pull request #2372 from abock/dcs-iserializable-bxc37171

XmlObjectSerialier: fix ISerializable (bxc#37171)

XmlObjectSerialier: fix ISerializable (bxc#37171)

The shim/bridge between Mono and the RS implementation of
XmlObjectSerializer, DataContractSerializer, etc. did not properly
invoke the constructor required by ISerializable, as it completely
omitted passing the populated SerializationInfo object.

Fixes https://bugzilla.xamarin.com/show_bug.cgi?id=37171

[ServiceModel] Make TcpReplyChannel.OnClose thread-safe

We were seeing the following unhandled exception on Jenkins:

````\rUnhandled exceptions:
1) MonoTests.System.ServiceModel.OperationContextTest.Current : System.NullReferenceException: Object reference not set to an instance of an object
  at System.ServiceModel.Channels.NetTcp.TcpReplyChannel.OnClose (TimeSpan timeout) [0x00000] in /media/ssd/jenkins/workspace/test-mono-mainline/label/debian-armhf/mcs/class/System.ServiceModel/System.ServiceModel.Channels.NetTcp/TcpReplyChannel.cs:141
  at System.ServiceModel.Channels.CommunicationObject.Close (TimeSpan timeout) [0x0001c] in /media/ssd/jenkins/workspace/test-mono-mainline/label/debian-armhf/mcs/class/System.ServiceModel/System.ServiceModel.Channels/CommunicationObject.cs:140
  at System.ServiceModel.Channels.CommunicationObject.Close () [0x00000] in /media/ssd/jenkins/workspace/test-mono-mainline/label/debian-armhf/mcs/class/System.ServiceModel/System.ServiceModel.Channels/CommunicationObject.cs:131
  at System.ServiceModel.Dispatcher.ListenerLoopManager.TryReceiveRequestDone (IAsyncResult result) [0x00027] in /media/ssd/jenkins/workspace/test-mono-mainline/label/debian-armhf/mcs/class/System.ServiceModel/System.ServiceModel.Dispatcher/ChannelDispatcher.cs:583
```

This happens because multiple threads can call OnClose() and so `client` can be null.

Fixed this by taking code from HttpReplyChannel.OnClose which handled this already and also fixed the race condition there (the checks need to happen under a lock).

Merge pull request #2370 from DavidKarlas/replaceQuote

[XBuild] Fixed method invocation with string argument containing ",` or '

Add preliminary support for storing the AOT metadata outside the AOT image. This can save about 10-20% from the executable size when statically linking AOT images. Needs callbacks to allow embedding apps to load the aot data.

Merge pull request #2371 from akoeplinger/symbolicate-quoted

[symbolicate] Make sure MONO_PATH is quoted

Without it we saw a " ./../../class/lib/net_4_x: Is a directory" error in the cygwin build.

@monojenkins merge

[symbolicate] Make sure MONO_PATH is quoted

Without it we saw a " ./../../class/lib/net_4_x: Is a directory" error in the cygwin build.

[XBuild] Fixed method invocation with string argument containing ",` or '
Before this commit string value starting or ending with this char was malformed because Trim removed also part of string value
Also fixed recent regression from 42c0a94445 which failed to split arguments if doubleQuote was inside singleQuoute

[llvmonly] Avoid emitting runtime invoke wrappers for the signatures which the gsharedvt based invoke wrappers can handle.

[llvmonly] Share more gsharedvt wrappers.

[llvmonly] Avoid generating gsharedvt in wrappers for method signatures, they are not needed.

[csproj] Refreshed order.xml and csproj files

Update the System.Diagnostics.Tracing namespace to better match the .NET API

Merge pull request #2364 from lambdageek/dev/checked-critical

[coop] checked build GC critical regions

Merge pull request #2367 from BillSeurer/master

[powerpc] New macros and utility functions for v2 elf ABI function calls

Merge pull request #2369 from akoeplinger/msvc-win64-crash

[sgen] Disable freeing of OS memory on 64bit Windows build too

Merge pull request #2368 from DavidKarlas/portablePdbTargetsSupport

[XBuild] Add support for copying/cleaning portable .pdb files generated by Roslyn compiler

[sgen] Disable freeing of OS memory on 64bit Windows build too

This was applied for the x86 build in 398c7fc21f849798e18770d4ec85d7acb8b66333.
Moved the check so that it applies to the x64 MSVC build as well.

We were hitting the same assert in mono_vfree() on Jenkins and this fixes it.

[XBuild] Add support for copying/cleaning portable .pdb files generated by Roslyn compiler

[llvmonly] Avoid adding some gsharedvt wrappers which are already added.

[jit] Only emit the gsharedvt runtime invoke wrappers in llvm-only mode.

[runtime] Factor out a part of mono_jit_runtime_invoke () into a separate function.

[runtime] Disable the check-seq-points tests on arm, it cannot be made to reliably work without major changes since arm cannot encode all 32 bit immediates inside instructions, which means that opcodes which call is_rotated_imm8 () would need special handling whe the 'single-imm-size' option is used.

[jit] Enable gsharedvt in llvmonly mode by default if ENABLE_GSHAREDVT is defined.

[coop] Checked build GC critical regions.

For local handles in coop suspend configuartions we need the idea of a
"critical region": a situation when transitioning from GC
Unsafe (running) to GC Safe (blocking) mode constitutes a bug. In
checked builds, we'd like to assert when that happens.

This PR adds MONO_PREPARE_GC_CRITICAL_REGION,
MONO_FINISH_GC_CRITICAL_REGION and MONO_REQ_GC_NOT_CRITICAL.

In regular build, these are nops. In checked build, they use a new
thread-local flag to prevent transitions from running to blocking.

[mcs] Propagate null operator flag during standalone to extension methods promotion. Fixes #37080

Peer feedback changes for babysitter script PR

Merge pull request #2314 from lambdageek/dev/local-handles

Just the low-level bits of the handles API

[powerpc] New macros and utility functions for v2 Elf ABI function calls.

Adds babysitter script for PR tests

I see two problems with our current automated PR tests:
- Many false negatives— PR tests often fail due to recurring failures
  unrelated to the PR
- Information about what failed is awkward to retrieve, scattered in
  multiple places

This commit adds a Python script, `scripts/babysitter`. Currently our
Jenkins test suites are each run wrapped with the `timeout` command.
The babysitter acts as a drop-in replacement for GNU timeout but adds
the following features:
- Logs machine readable output about each test suite (as
  line-delimited json)
- If the test suite uses NUnit, can detect if a test case failed or
  crashed (terminated mono in mid-test), and retry unsuccessful tests
  (up to a limit).

The reasoning here is that tests which fail inconsistently are
currently most likely due to one of our outstanding recurring failures
rather than the change made in the PR. Therefore, if a failing test
succeeds on retry, the PR itself is probably valid (although the
failure should be logged and looked at).

In addition to the script itself, changes to NUnit were required in
order to support the retry feature and allow fine-grained logging for
NUnit suites.

Major TODOs:
- Add retry support for our non-NUnit-based test suites
- Save the XML files NUnit produces (since reruns stomp XMLs from
  previous runs)
- Add some kind of sensible feature for dealing with timeouts

[icall/GetMachineName] Use sysconf if available to capture the whole host name, fall back to a fixed size buffer otherwise

[coop] Cleanup

[coop] Introduce new runtime handle API

[runtime] Remove some debug printfs.

Add an alternative implementation for runtime invokes in llvmonly mode
which uses gsharedvt out wrappers. We invoke the wrappers, and the
wrappers invoke the methods themselves. The advantage of this approach is
that the set of possible signatures for gsharedvt out wrappers is small,
so the set of runtime invoke wrappers needed to invoke them is also small,
thus only a small number of them need to be generated.
Not yet enabled.

[runtime] Add a mono_marshal_get_runtime_invoke_for_sig () helper function to create a runtime invoke wrapper for a signature.

[mkbundle] Fix --nomain option for Windows

[mkbundle] Allow override of embedded assemblies.
If they exist, name-matched assemblies in the current directory will be embedded instead of the properly resolved ones.

Merge pull request #2365 from akoeplinger/fix-llvm-method

[mini] Ensure mono_llvm_create_vars() is only present in ENABLE_LLVM

[mini] Ensure mono_llvm_create_vars() is only present in ENABLE_LLVM

It caused a build error on msvc debug builds because the symbol wasn't there.

Merge pull request #2350 from akoeplinger/signcode-sha1

[signcode] Change default hashing algorithm from MD5 to SHA1

[mkbundle] Fix typo

[mkbundle] Correct some linking options for Windows

[mkbundle] Allow overriding linked Mono library path

Merge pull request #2342 from lewurm/mkbundlefix

[mkbundle] restore old behavior of -c flag

[test][System.Runtime.Serialization] Ensure test compile on XI (avoid more than one Main method)

Fix "make dist" WITHOUT accidentally un-bumping referencesources

Revert "Fix typo in dde9ee9e (Fixes `make dist`)"

This reverts commit 85cbe23b99807da23284740896a3966539c8000f.

Fix typo in dde9ee9e (Fixes `make dist`)

[jit] Fix the support for gshared types in mini_emit_initobj (), previously we were treating them as reference types, leading to stack overwrites. Fixes #37079.

[jit] Make it possible to enable gsharedvt in llvmonly mode even if MONO_ARCH_GSHAREDVT_SUPPORTED is not enabled.

[jit] Remove a superfluous assert.

[jit] Reorganize mono_jit_runtime_invoke () a bit so info->ret_box_class is set even if dyncall is not supported.

Add support for translating between normal and gsharedvt calling conventions in llvmonly mode.

This is implemented by generating two wrappers for each concrete signature found in the assembly:
* an 'in' wrapper translates from the normal to the gsharedvt signature
* an 'out' wrapper translates from the gsharedvt to the normal signature

The wrappers take an extra argument, which points to a function descriptor, which is an <addr, arg> pair. They
make a call to ADDR which ARG as an extra argument. ADDR/ARG is either a gsharedvt method with an rgctx
argument, or another gsharedvt wrapper with a function descriptor argument.

All calls made out of gsharedvt methods with a variable signature use the gsharedvt calling convention. If the
callee is also gsharedvt, no wrapper is needed. If the callee is not gsharedvt, the call goes thought
a gsharedvt out wrapper.
Calls made from normal methods to gsharedvt methods go though a gsharedvt in wrapper.

    * mini-generic-sharing.c (mini_get_gsharedvt_in_sig_wrapper): New function to generate gsharedvt in
    wrappers as IL code.
    (mini_get_gsharedvt_out_sig_wrapper): Ditto for out wrappers.

    * method-to-ir.c (emit_llvmonly_calli): New helper function to make a call to a function descriptor.
    (mono_method_to_ir): Make some indirect calls to MONO_RGCTX_INFO entries using function descriptors.

    * aot-compiler.c (compile_method): Generate gsharedvt wrappers for the signatures used by the method.

    * aot-runtime.c (decode_method_ref_with_target): Decode gsharedvt wrappers.

    * jit-icalls.c (resolve_vcall): Rewrite this so it can handle gsharedvt as well.
    (resolve_iface_call): Ditto.
    (mono_init_delegate): Ditto.
    (mono_init_delegate_virtual): Ditto.

    * mini-trampolines.c (mini_create_llvmonly_ftndesc): New helper function to create a function descriptor.
    (mini_add_method_wrappers_llvmonly): New helper function to add gsharedvt in/out wrappers, similar
    to mini_add_method_trampolines ().

    * mini-generic-sharing.c (mini_get_gsharedvt_wrapper): Return the newly added wrappers in llvmonly mode.
    (class_type_info): Insert gsharedvt wrappers if needed. Some MONO_RGCTX_INFO types will now resolve to
    function descriptors instead of function addresses.
    (instantiate_info): Ditto.

2015-12-16  Zoltan Varga  <vargaz@gmail.com>

Add mono_signature_full_name () helper function.

* debug-helpers.c (mono_signature_full_name): New helper function to stringify a signature, including
its return types as well.

2015-12-16  Zoltan Varga  <vargaz@gmail.com>

Add beginnings for support for gsharedvt in llvmonly mode. Gsharedvt methods use a calling convention
where everything is passed and returned by ref, even normal types. I.e.

public int foo<T> (T t, int i);

becomes:

void foo (int *vret, T* t_addr, int *i_addr);

Not enabled yet.

* mini-llvm.c: Implement support for gsharedvt.

* ssa.c (mono_ssa_remove_gsharedvt): Same as mono_ssa_remove (), but only remove the
OP_VPHI nodes referencing gsharedvt variables, since they cannot be handled by the
llvm backend.

* mini-llvm.c (mono_llvm_create_vars): New backend function, similar to mono_arch_create_vars ().

* decompose.c (mono_decompose_vtype_opts): Decompose more opcodes in llvm mode so
opcodes using gsharedvt variables don't reach the llvm backend. Some, like OP_LDADDR and
vcalls, still do.

* method-to-ir.c (mono_allocate_gsharedvt_vars): New function to allocate gsharedvt locals,
extracted from mono_spill_global_vars () so it can be used in llvm mode too.

[mono-api-info] Add `mono-api-info -L`, `mono-api-info -r`

**The Scenario**: `mono-api-info` and `mono-api-html`, together, are a
useful way to track API changes over time, specifically to check for
accidental API breakage:

# Have a "known good" assembly version;
# keep reference/assembly.xml in version control
$ mono-api-info assembly.dll > reference/assembly.xml

# ...then on every new build, check for breakage:
$ mono-api-info assembly.dll > new-assembly.xml
$ mono-api-html reference/assembly.xml new-assembly.xml > assembly-diff.html
$ if grep '<p>Removed' assembly-diff.html > /dev/null ; then \
echo "ABI BREAK IN assembly.dll" ; \
cat assembly-diff.html ; \
fi

This is a very nice workflow, and has been used in Xamarin.Android to
track accidental API breakage for some time.

**The problem** with the above workflow are *implicit* references:
`mono-api-info` will happily look for dependencies in the same
directory as `assembly`, but it will *also* look for assembly
references in various system-specific directories, which is fine...

...until it *isn't* fine, e.g. if you have your own version of
mscorlib.dll that you need to use, *not* the system one, as your own
version may have API differences from the system mscorlib.dll which
are "percolated" into `mono-api-info` output. For example, on
"desktop" profiles, System.Attribute implements
System.Runtime.InteropServices._Attribute, and thus *all* custom
attribute types will have _Attribute listed as an implemented
interface. The Xamarin.iOS and Xamarin.Android mscorlib.dll,
meanwhile, does *not* have System.Attribute implementing _Attribute.
Consequently, changing the mscorlib.dll which is used while processing
an assembly will change `mono-api-info` output, resulting in "API
breakage" which doens't actually exist, because the wrong mscorlib.dll
was used to generate the original API description in the first place.

We need a way to control which mscorlib.dll/etc. are used. This can be
done by allowing specification of the assembly search directories, so
that we can "override" the default system-specific directory location.

**The solution**: Add a `mono-api-info -L PATH` option which adds PATH
to the list of directories that `mono-api-info` will search when
resolving assembly references. This allows "overriding" the system
directory location, as PATH will be searched for mscorlib.dll before
the system directory location.

Additionally, add a `mono-api-info -r ASSEMBLY` option, which will
pre-process ASSEMBLY (and all dependencies) and add the directory
which contains ASSEMBLY to the assembly search paths.

These two options are conceptually similar to `mcs -L` and `mcs -r`.

Finally, while adding support for these options, add support for
`mono-api-info --help`, so that we don't need to use only the man page
to get option information.

Merge pull request #2324 from akoeplinger/caching-locking

[System.Runtime.Caching] Add missing locking when accessing cache entries

Merge pull request #2356 from ludovic-henry/fix-thread-suspend-deadlock

[threads] Fix potential deadlock on suspend

[threads] Fix potential deadlock on suspend

Because mono_thread_info_safe_suspend_and_run is locking the suspend lock, we cannot enter the blocking state in any of its callee, as that could lead to a deadlock.

Merge pull request #2353 from ludovic-henry/fix-servicemodel-15153

Add test and merge #1879

@monojenkins merge

Merge pull request #2351 from ludovic-henry/fix-socket-36941

[socket] Add test for SocketOptionName.MulticastTimeToLive

Merge pull request #2345 from akoeplinger/xbuild14

Bump xbuild script to 14.0 and a few other fixes

Add test for bug #15153

[socket] Add test for SocketOptionName.MulticastTimeToLive

Merge pull request #2354 from xmcclure/ugh-no-gdi

Fix Microsoft.Build.Tasks make check on OS X

Fix Microsoft.Build.Tasks make check on OS X

The mcs/class/Microsoft.Build.Tasks make check contains a test whose
goal is to verify that Microsoft.Build.Evaluation.Project can run a
MSBuild code fragment which has an assembly reference. The assembly
referenced in the test is System.Drawing. However on many systems
System.Drawing does not work without special setup. The test should
reference a different assembly (I picked System.Runtime.Serialization)
because ensuring System.Drawing is working isn't relevant to the test.

Merge pull request #2346 from xmcclure/proxy-load-fail

Let GetTransparentProxy fail clean on load error (bug 36848)

[signcode] Change default hashing algorithm from MD5 to SHA1

MD5 is considered insecure and switching the default to SHA1 should be better for everyone.

See the discussion on the mailing list: http://lists.ximian.com/pipermail/mono-devel-list/2015-December/043424.html

[scripts] Bump xbuild script to 14.0

This means we'll use xbuild 14.0 by default, which allows users to build projects with ToolsVersion=14.0

[xbuild] Add new TargetFrameworkVersion entries in Microsoft.Common.targets

Add the new 4.5.2, 4.6 and 4.6.1 versions to Microsoft.Common.targets so xbuild doesn't print "warning : TargetFrameworkVersion 'v4.6.1' not supported by this toolset".

Additionally I found a bug in the target where "and" was used instead of "or" which means the condition was never true, fixed as well.

Let GetTransparentProxy fail clean on load error (bug 36848)

icall for Remoting.RealProxy.GetTransparentProxy can sometimes attempt
to load an invalid class which is not previously loaded. Currently,
this leads to an assert failure in mono_class_proxy_vtable which does
not expect to be getting an invalid proxy class as input. Fix is for
the icall to load the class early and raise on failure.

A test is included.

Merge pull request #2338 from BogdanovKirill/httpwritefix3

[HttpConnection] Bug fix: HttpListener's "IgnoreWriteExceptions" property value is ignored when "Expect: 100-Continue" header set in request

That problem was discussed previously here: https://github.com/mono/mono/pull/2300
I want to offer alternative solution now.

Merge pull request #2344 from ludovic-henry/fix-servicemodel-flakiness

[tests] Fix more System.ServiceModel flakiness

@monojenkins: automerge

[tests] Fix more System.ServiceModel flakiness

Merge pull request #2343 from ludovic-henry/threads-cleanup

[automerge][threads] Various cleanups

None

[threads] Add mono_thread_info_usleep function

[threads] Bring mono_thread_info_safe_suspend_and_run code together