Merge pull request #2353 from ludovic-henry/fix-servicemodel-15153

Add test and merge #1879

@monojenkins merge

Merge pull request #2351 from ludovic-henry/fix-socket-36941

[socket] Add test for SocketOptionName.MulticastTimeToLive

Merge pull request #2345 from akoeplinger/xbuild14

Bump xbuild script to 14.0 and a few other fixes

Add test for bug #15153

[socket] Add test for SocketOptionName.MulticastTimeToLive

Merge pull request #2354 from xmcclure/ugh-no-gdi

Fix Microsoft.Build.Tasks make check on OS X

Fix Microsoft.Build.Tasks make check on OS X

The mcs/class/Microsoft.Build.Tasks make check contains a test whose
goal is to verify that Microsoft.Build.Evaluation.Project can run a
MSBuild code fragment which has an assembly reference. The assembly
referenced in the test is System.Drawing. However on many systems
System.Drawing does not work without special setup. The test should
reference a different assembly (I picked System.Runtime.Serialization)
because ensuring System.Drawing is working isn't relevant to the test.

Merge pull request #2346 from xmcclure/proxy-load-fail

Let GetTransparentProxy fail clean on load error (bug 36848)

[scripts] Bump xbuild script to 14.0

This means we'll use xbuild 14.0 by default, which allows users to build projects with ToolsVersion=14.0

[xbuild] Add new TargetFrameworkVersion entries in Microsoft.Common.targets

Add the new 4.5.2, 4.6 and 4.6.1 versions to Microsoft.Common.targets so xbuild doesn't print "warning : TargetFrameworkVersion 'v4.6.1' not supported by this toolset".

Additionally I found a bug in the target where "and" was used instead of "or" which means the condition was never true, fixed as well.

Let GetTransparentProxy fail clean on load error (bug 36848)

icall for Remoting.RealProxy.GetTransparentProxy can sometimes attempt
to load an invalid class which is not previously loaded. Currently,
this leads to an assert failure in mono_class_proxy_vtable which does
not expect to be getting an invalid proxy class as input. Fix is for
the icall to load the class early and raise on failure.

A test is included.

Merge pull request #2338 from BogdanovKirill/httpwritefix3

[HttpConnection] Bug fix: HttpListener's "IgnoreWriteExceptions" property value is ignored when "Expect: 100-Continue" header set in request

That problem was discussed previously here: https://github.com/mono/mono/pull/2300
I want to offer alternative solution now.

Merge pull request #2344 from ludovic-henry/fix-servicemodel-flakiness

[tests] Fix more System.ServiceModel flakiness

@monojenkins: automerge

[tests] Fix more System.ServiceModel flakiness

Merge pull request #2343 from ludovic-henry/threads-cleanup

[automerge][threads] Various cleanups

None

[threads] Add mono_thread_info_usleep function

[threads] Bring mono_thread_info_safe_suspend_and_run code together

[threads] Remove dead code

Merge pull request #2340 from ludovic-henry/fix-servicemodel-flakiness

Merge pull request #2340 from ludovic-henry/fix-servicemodel-flakiness

[tests] Attempt at fixing System.ServiceModel.Dispatcher.Bug32886.Bug32886_Test flakiness

[tests] Attempt at fixing System.ServiceModel.Dispatcher.Bug32886.Bug32886_Test flakiness

Merge pull request #2306 from migueldeicaza/master

[mono/driver] On OSX, increase the number of file handles available.

Merge pull request #2341 from ludovic-henry/fix-threadpool-max-worker

Merge pull request #2341 from ludovic-henry/fix-threadpool-max-worker

[automerge][threadpool] Fix various threadpool issues

Tests results:
 - ARM soft float Linux: pending
 - i386 Windows: pending
 - i386 Linux: success
 - ARM hard float Linux: pending
 - AMD64 Linux: success
 - i386 OSX (Proprietary): failure

[threadpool] Saner default for max number of worker threads on android and ios

[threadpool] Limit number of threads created per second

[threadpool] Fix overflow of max number of worker threads

In case all threads would wait on a Sleep or a Wait, the monitor thread would simply increase the number of max working thread, up to the point it would overflow the number of max worker threads.

Merge pull request #2218 from mono/assignProjectConfigurtionFix

AssignProjectConfigurtion task fix

Bump reference souces to include fix for #36786

[mcs] test update to work on 64bit mono

Merge pull request #2334 from iainx/handle-comma

[mcs] Handle commas inside quotes correctly

[mcs] Handle commas inside quotes correctly

OpenLiveWriter's build files break due to incorrectly parsing (".",",") as three arguments: a . and two " instead of two: a . and a ,

This is the error:

OpenLiveWriter/writer.build.targets: error : Error executing task WriteLinesToFile: Error converting Property named 'Lines' with value '#define FILE_VERSION $(BuildVersion.Replace(".",","));#define PRODUCT_VERSION $(BuildVersion)' to type Microsoft.Build.Framework.ITaskItem[]: Method 'Replace(., , )' arguments cannot be evaluated'

This patch ignores , as a separator character if it is inside ""

[HttpConnection] Bug fix: HttpListener's "IgnoreWriteExceptions" property value is ignored when "Expect: 100-Continue" header set in request

The problem is connected with "Listener" property of "context" object. It is null in "GetResponseStream" method, when it's called internally from "FinishInitialization" method of "HttpListenerRequest" class. This problem is possible only in situation when we have "Expect: 100-Continue" header from http client.

This change is released under the MIT license.

Merge pull request #2335 from iainx/implement-mir

Microsoft.Build.Engine] Implement ConvertToITaskItemArray

[acceptance-tests] Bump coreclr and ms-test-suite repos

Brings in similar fixes to those repos like in e6cf61f920b6ec1c6ecb67bcbe226256d6dc4db7

[corlib] Fix String.PadLeft/Right tests and add a new test for large string

We didn't catch the regression that is fixed in a780c52749695141c2037a5828808a82880292f6
because the tests didn't check the actual string or that an OOM is raised.

Add a new test for creating a large string (which works on 64bit Mono) to test a similar
codepath.

Microsoft.Build.Engine] Implement ConvertToITaskItemArray

Create a TaskItem containing the result of the invocation

Revert "[System]: Add _HelperAsyncResults.cs from the referencesource."

This reverts commit c6d239fa790ef48d932d1243d002253101648f7f.

(cherry picked from commit cfc81a28ab232777959d5abc43292b88d3359efa)

[mcs] Improve a780c52749695141c2037a5828808a82880292f6 to not emit extra conversion for constant values

Merge pull request #2311 from mlancione/master

[System.Windows.Forms] Locking Window Handle List

Merge pull request #1916 from ludovic-henry/iolayer-remove-sharedhandle

[io-layer] Remove shared handles cross process support

[threadpool] Fix GetAvailableThreads test

[mcs] Extend int to native int when doing pointer arithmetic on it. Fixes #36839

Typo error

Fixing a compiler error.

[io-layer] Remove shared handles cross process support

Merge pull request #2327 from akoeplinger/fix-msvc

[msvc] Fix casts that result in an error when building with VS

Fix endless recursion in XmlCompiledTransform on mobile

One of the XmlCompiledTransform overloads called itself recursively,
leading to either a stack overflow or segfault

Fixes https://bugzilla.xamarin.com/show_bug.cgi?id=36436

[msvc] Fix casts that result in an error when building with VS

Those showed up after the recent C++ compliance commit.

[System]: Add _HelperAsyncResults.cs from the referencesource.

(cherry picked from commit 17e92c87759edcee72a06659e8a0790cf72e5190)

[jit] Better error message for a gsharing assert.

[configure] Bump mono version.D

Fixed Windows MinGW build and avoid leakage of io-layer types.

[corlib]: Cleanup X509Certificate and move the implementation-specific bits into a separate class.

(cherry picked from commit b82b0b8402297854bcceccc4329703024c5aad63)

[threadpool] Fix System.Web tests failures

Merge pull request #2310 from lambdageek/dev/bug-36305

[reflection] Fix MethodInfo.GetBaseDefinition for open constructed types (close #36305)

More code-style changes

Fixed a few other code style requirements.

Code-style changes

Chaged code to match mono coding style.

Merge pull request #2305 from ludovic-henry/fix-threadpool-36414

[threadpool] Fix get min and available threads icalls

Merge pull request #2296 from xmcclure/webrequest-regex

Correctly escape proxy domains in WebRequest (bug #36356)

Merge pull request #2312 from ArsenShnurkov/bug36724

fix for https://bugzilla.xamarin.com/show_bug.cgi?id=36724

Fix the x86/ppc build.

[corlib]: X509Certificate needs to implement IDisposable.

Merge pull request #2288 from evincarofautumn/c++-compat

[runtime] Compile cleanly with -Wc++-compat.

[runtime] Compile cleanly with -Wc++-compat.

 * Add explicit casts for void pointers and enums.

 * Rename 'class' to 'klass' and 'this' to 'this_obj'.

 * Avoid other C++ keywords by appending an underscore.

 * Change MonoSeqPointInfo to avoid empty struct size warnings.

[sdb] Align the location of the MonoContext structure on the stack in the sdb trampolines on x86, to prevent a possible crash with memcpy.

[threadpool] Fix get min and available threads icalls

Fix bug #36414

[reflection] Fix MethodInfo.GetBaseDefinition() for open constructed base types.

When a generic derived class has an open constructed base type, we have
to apply the type arguments in order to find the correct base definition MethodInfo.

Merge pull request #2285 from knocte/filesystemwatcher

[FileSystemWatcher] Kill race condition (fixes BXC#10205)

Fixing Tab Spaces

Replaced spaces in previous commit with tabs, to follow format of
mono/master.

[mkbundle] Fix execution on OS X and Linux

fix for https://bugzilla.xamarin.com/show_bug.cgi?id=36724

[reflection] Test case for 36305.

When the base type of a generic type is an open constructed generic
type, GetBaseDefinition() must take the instantiation into account while
traversing the class hierarchy.

[mono/driver] On OSX, increase the number of file handles available.

We just reverted a patch that prevented the FileSystemWatcher from
opening too many file descriptors (200).  That was a band-aid at one
of the spots that opened too many file, as we would exhaust the number
of files, and later abort when some other operation needed files.

The problem is that OSX defaults to 256 file descriptors, and .NET
applications are file descriptor hungry, in fact, many applications
increase their file handled limit before starting.

This patch on OSX will attempt to increase the number of handles
available to 1024 if the number of handles avaialble is less than
that.

The commit that removed the limit was:

2af882232ce4961fdbe1ba0ae36246456bb1fbfb

And it was closed to fix:

#28693

Merge pull request #2297 from akoeplinger/msvc-autoupdate-config.h

[msvc] Automatically update (win-)config.h with the correct version number

Disable partial sharing again, it causes problems on ppc/s390x, and crashes in the roslyn benchmark:

https://performancebot.mono-project.com/builders/debian-armhf_utilite-desktop_auto-sgen/builds/743/steps/roslyn/logs/stdio

[llvm] Use a separate calling convention for gsharedvt methods in llvmonly mode, pass/return everything by ref. Not yet used.

Merge pull request #2295 from lambdageek/dev/test-conc-hashtable-coop-fix

(test-conc-hashtable.c) Make test work with cooperative suspend

Merge pull request #2302 from ludovic-henry/fix-delegate-36640

[delegate] Fix multicast Method property implementation

[runtime] remove debug statements introduced by a0e1dae32ceaf5331f5caf70b659de1392bbbc14

Merge pull request #2304 from BillSeurer/master

[ppc] Temporary fix for power to get builds working.

Merge pull request #2301 from ludovic-henry/fix-delegate-36646

[delegate] Fix multicast remove behaviour

[ppc] Temporary fix for power to get builds working.

[runtime] Initialize a dynamic_images_mutex.

[delegate] Fix multicast remove behaviour

The .NET delegate removal semantic is a bit unpredictable. For example, the following (d1 + d2 + d3) - (d1 + d3) is going to return the d123 delegate, and not the d2 delegate as we could have guessed. This is because removal will remove the `list' of delegates as a whole, and not the elements in the list.

The previous implementation would then have a different behavior than the one observed on .NET.

Fixes bug #36646

[delegate] Fix multicast Method property implementation

.NET returns the method for the last delegate of the multicast delegate.

Merge pull request #2299 from lewurm/finalizer_thread

[runtime] adding additional assert to highlight source of a race

Merge pull request #2298 from akoeplinger/gsnprintf

[metadata] Use g_snprintf instead of snprintf to fix MSVC build

[runtime] adding additional assert to highlight source of a race

We've seen that error for quite some time:

> `* Assertion at ../../mono/utils/mono-os-mutex.h:71, condition `res != EINVAL' not met`

It looks like there's a race between `finalizer_thread()` and `mono_gc_cleanup()` around
`reference_queue_mutex`. The source of the problem is, `finalizer_thread` could end up
being alive, although `mono_gc_cleanup()` made some effort to kill it and then destroys
`reference_queue_mutex`, while the finalizer thread is still using it in
`reference_queue_proccess_all()`.

> $ MONO_GC_DEBUG=bridge=Bridge MONO_GC_PARAMS=minor=split MONO_ENV_OPTIONS=--gc=sgen MONO_PATH=/home/lewurm/monoperf/mono/mcs/class/lib/net_4_x ../../mono/mini/mono sgen-bridge-major-fragmentation.exe --optimize=all --debug
> [...]
> [12/08/2015 01:49:31] done
> Shutting down finalizer thread timed out.
> * Assertion at gc.c:867, condition `finalizer_thread_exited' not met
>
> Stacktrace:
>
>
> Native stacktrace:
>
>
> Debug info from gdb:
>
> [New LWP 7623]
> [New LWP 7622]
> [Thread debugging using libthread_db enabled]
> Using host libthread_db library "/lib/arm-linux-gnueabihf/libthread_db.so.1".
> 0x4043b5f4 in __libc_do_syscall () from /lib/arm-linux-gnueabihf/libpthread.so.0
>   Id   Target Id         Frame
>   3    Thread 0x417ff430 (LWP 7622) "mono" 0x4043b5f4 in __libc_do_syscall () from /lib/arm-linux-gnueabihf/libpthread.so.0
>   2    Thread 0x42573430 (LWP 7623) "Finalizer" 0x0021482a in finalizers_with_predicate (predicate=0x1fd121 <object_in_domain_predicate>, user_data=0x37a348, out_array=0x42572c70, out_size=64, hash_table=0x338f68 <major_finalizable_hash>) at sgen-fin-weak-hash.c:581
> * 1    Thread 0x406c4250 (LWP 7620) "mono" 0x4043b5f4 in __libc_do_syscall () from /lib/arm-linux-gnueabihf/libpthread.so.0
>
> Thread 3 (Thread 0x417ff430 (LWP 7622)):
> #0  0x4043b5f4 in __libc_do_syscall () from /lib/arm-linux-gnueabihf/libpthread.so.0
> #1  0x404371d8 in pthread_cond_wait@@GLIBC_2.4 () from /lib/arm-linux-gnueabihf/libpthread.so.0
> #2  0x00242266 in mono_os_cond_wait (cond=0x346e98 <work_cond>, mutex=0x346e80 <lock>) at ../../mono/utils/mono-os-mutex.h:105
> #3  0x00242c1a in thread_func (thread_data=0x0) at sgen-thread-pool.c:118
> #4  0x40433fbc in start_thread () from /lib/arm-linux-gnueabihf/libpthread.so.0
> #5  0x405a0b3c in ?? () from /lib/arm-linux-gnueabihf/libc.so.6
> Backtrace stopped: previous frame identical to this frame (corrupt stack?)
>
> Thread 2 (Thread 0x42573430 (LWP 7623)):
> #0  0x0021482a in finalizers_with_predicate (predicate=0x1fd121 <object_in_domain_predicate>, user_data=0x37a348, out_array=0x42572c70, out_size=64, hash_table=0x338f68 <major_finalizable_hash>) at sgen-fin-weak-hash.c:581
> #1  0x00214894 in sgen_gather_finalizers_if (predicate=0x1fd121 <object_in_domain_predicate>, user_data=0x37a348, out_array=0x42572c70, out_size=64) at sgen-fin-weak-hash.c:622
> #2  0x001fd16a in mono_gc_finalizers_for_domain (domain=0x37a348, out_array=0x42572c70, out_size=64) at sgen-mono.c:546
> #3  0x001ca2a4 in finalize_domain_objects (req=0x47ba68) at gc.c:678
> #4  0x001ca3b6 in finalizer_thread (unused=0x0) at gc.c:730
> #5  0x001a1392 in start_wrapper_internal (data=0x3b1100) at threads.c:713
> #6  0x001a1430 in start_wrapper (data=0x3b1100) at threads.c:760
> #7  0x0027097a in inner_start_thread (arg=0xbed58de0) at mono-threads-posix.c:92
> #8  0x40433fbc in start_thread () from /lib/arm-linux-gnueabihf/libpthread.so.0
> #9  0x405a0b3c in ?? () from /lib/arm-linux-gnueabihf/libc.so.6
> Backtrace stopped: previous frame identical to this frame (corrupt stack?)
>
> Thread 1 (Thread 0x406c4250 (LWP 7620)):
> #0  0x4043b5f4 in __libc_do_syscall () from /lib/arm-linux-gnueabihf/libpthread.so.0
> #1  0x4043a396 in waitpid () from /lib/arm-linux-gnueabihf/libpthread.so.0
> #2  0x000d1b24 in mono_handle_native_sigsegv (signal=6, ctx=0xbed58a80, info=0xbed58a00) at mini-exceptions.c:2235
> #3  0x00112424 in sigabrt_signal_handler (_dummy=6, _info=0xbed58a00, context=0xbed58a80) at mini-posix.c:218
> #4  <signal handler called>
> #5  0x405248e6 in ?? () from /lib/arm-linux-gnueabihf/libc.so.6
> #6  0x405330fe in raise () from /lib/arm-linux-gnueabihf/libc.so.6
> #7  0x40535956 in abort () from /lib/arm-linux-gnueabihf/libc.so.6
> #8  0x00277eaa in monoeg_log_default_handler (log_domain=0x0, log_level=G_LOG_LEVEL_ERROR, message=0x47bb28 "* Assertion at gc.c:867, condition `finalizer_thread_exited' not met\n", unused_data=0x0) at goutput.c:233
> #9  0x00277dca in monoeg_g_logv (log_domain=0x0, log_level=G_LOG_LEVEL_ERROR, format=0x3089b8 "* Assertion at %s:%d, condition `%s' not met\n", args=...) at goutput.c:113
> #10 0x00277e32 in monoeg_assertion_message (format=0x3089b8 "* Assertion at %s:%d, condition `%s' not met\n") at goutput.c:133
> #11 0x001ca786 in mono_gc_cleanup () at gc.c:867
> #12 0x001c1d24 in mono_runtime_cleanup (domain=0x37a348) at appdomain.c:356
> #13 0x0001dec0 in mini_cleanup (domain=0x37a348) at mini-runtime.c:3560
> #14 0x000a672c in mono_main (argc=5, argv=0x358098) at driver.c:2065
> #15 0x00017c4e in mono_main_with_options (argc=5, argv=0x358098) at main.c:20
> #16 0x00017c7e in main (argc=4, argv=0xbed591b4) at main.c:53

=================================================================
Got a SIGABRT while executing native code. This usually indicates
a fatal error in the mono runtime or one of the native libraries
used by your application.
=================================================================

Update Makefile.am with monobt script

[metadata] Use g_snprintf instead of snprintf to fix MSVC build

The latter only works with Visual Studio 2015 and later. We're still using VS2013 on Jenkins

Document HTTP_PROXY and NO_PROXY environment variables.

Merge pull request #2246 from BrzVlad/feature-concurrent-evacuation

Feature evacuation with concurrent sgen

[sgen] Fix binary protocol scan process reference entries

The obj pointer can actually point inside the object for big arrays

[sgen] Binary protocol entry for mod union cardtable markings

[sgen] Fix mod union cardtable marking race

When the nursery collector is starting and we have a concurrent collection in progress we need to save the global card table entries to the mod union card tables. When doing so we were marking all the mod union cards with either 0 or 1, so we could lose a mark if the concurrent collector tries to mark the same card at the same time, since the concurrent collector now runs concurrent even with nursery collections. We fix this by never marking with 0.

[sgen] Remove pointless prototype

[sgen] Remove allow synchronous flag for concurrent collection

When concurrent, we always handle evacuating blocks, without the need of a synchronous major collection.

[sgen] Evacuation for the concurrent collector

The concurrent mark no longer follows references into blocks that are evacuated. The cardtable is marked instead and all the objects will be moved during the finishing pause.

[msvc] Automatically update (win-)config.h with the correct version number

A small powershell command grabs the version number from configure.ac and uses it during winsetup.bat,
this way we don't have to manually keep them in sync.

[msvc] Add 'include' directory to .gitignore

Copying of header files to this directory was introduced in 8c455550ab91f88362c01fcbe64208b8772877e8,
but we don't want to actually check it in.

[aot] Fix the encoding/decoding of generic parameters after 835cc6eda9fb6edc6e51774443dd6cce853dcea2.

Correctly escape proxy domains in WebRequest (bug #36356)

Our implementation for System.Net.WebRequest takes proxy exclusions
which are in fileglob (*.example.com) format, and passes them to
System.Net.WebProxy as a "bypass list", which expects Regex format.
This means immediate failure if you have an exclusion with a fileglob,
because WebProxy will throw an exception for bad Regex format.