Merge pull request #2323 from esdrubal/servicemodel

[System.ServiceModel] Fixes missing xsi xsd attributes

Merge pull request #2613 from knocte/crypto-refsource

[Crypto] Include CngKeyBlobFormat from reference sources (rm old)

[mcs] Populate ProductVersion from all valid sources. Fixes #38553

[corlib] Add missing semicolon in StringTest

Merge pull request #2608 from ludovic-henry/monoerror-icall

[runtime] Use MonoError for icall.c functions

Merge pull request #2611 from akoeplinger/cleanup

[corlib] Remove FIXME_CORLIB_CMP section from Makefile

Merge pull request #2612 from xmcclure/largestring

Do not run 4GB string tests on low memory systems (fixes #38392)

"Low memory" here is defined as 32-bit, less than 6GB of physical RAM, or mobile (since mobile lacks the class for querying physical RAM).

Without this patch, one of the corlib tests allocates 4 GB of RAM, which causes OOM crashes on low-memory Jenkins instances and also mobile phones.

Merge pull request #2442 from schani/fix-larger-tlab-size

[automerge] Fix larger tlab size

[jit] Add a checked version to mono_resolve_patch_target () so exceptions are thrown in upper level code.

Revert "[Process] Add stress tests"

This reverts commit a7955a93f5d063feadb4198d8a6f142d81373b79.

The Process import commit was reverted in f74f7037195fe81396edde11c57cea3ec16f03fd,
this reverts the added tests as well since they fail on Jenkins now.

Merge pull request #2573 from BrzVlad/fix-conc-memusage

[sgen] Improve memory usage with the concurrent collector

Merge pull request #2589 from gofman/master

sgen: fix bit counting in mword

Fixes GC crashe for 64-bit architecture when using libmono.
http://lists.ximian.com/pipermail/mono-devel-list/2016-February/043507.html

Merge pull request #2585 from lambdageek/dev/bug-38222

[reflection] Signal pending loader error in mono_reflection_get_custom_attrs_data

Fixes [Bugzilla 38222](https://bugzilla.xamarin.com/show_bug.cgi?id=38222)

While we're at it, convert `mono_reflection_get_custom_attrs_data` to use
`MonoError` and mark it external only.  Runtime should use
`mono_reflection_get_custom_attrs_data_checked`

Use Assert.Ignore for insufficient-memory test skips

[Crypto] Include CngKeyBlobFormat from reference sources (rm old)

CngKeyBlobFormat was never included in the build, but anyway
we can include the one from referencesource now.

Detected by a user of Npgsql 3.0.5 which reported the problem
in stackoverflow:
http://stackoverflow.com/questions/35016066/failure-to-resolve-system-security-cryptography-cngkeyblobformat-when-using-npgs

Do not run 4GB string tests on low memory systems (fixes #38392)

"Low memory" here is defined as 32-bit, less than 6GB of physical RAM,
or mobile (since mobile lacks the class for querying physical RAM).

[corlib] Remove FIXME_CORLIB_CMP section from Makefile

Looks like this isn't needed anymore.

Merge pull request #2605 from lambdageek/dev/bug-38408

[io] Release Pipe and Console shared handles

Revert "[System] Import System.Diagnostics.Process"

This reverts commit d30e99d172ec5074ce6deb44bc37f9a9ecaef7fe.

[sgen] Allow TLABs larger than MAX_SMALL_OBJ_SIZE.

`sgen_ensure_free_space()` assumed that if `size` was larger than
`SGEN_MAX_SMALL_OBJ_SIZE`, it should find free space on the major
heap, so it wouldn't consider triggering a nursery allocation.  Making
TLABs larger than that would thus never trigger nursery collections
anymore.

Now we pass in the generation that says where we want space.

[sgen] Add necessary type cast.

[runtime] Use MonoError for mono_module_get_types

[runtime] Use MonoError for fill_reflection_assembly_name

[runtime] Use MonoError for create_version

[runtime] Use MonoError for type_from_parsed_name

Merge pull request #2576 from ludovic-henry/referencesource-process

[System] Import System.Diagnostics.Process

Merge pull request #2604 from mattleibow/pcl-mono.dataconverter

[corlib] Ensure PCL compatibility with Mono.DataConverter

[io] Don't leak Pipe filename

Named FIFOs do indeed have names, but pipe_close doesn't free
it.  (Because CreatePipe doesn't set a filename).

[io] Release Pipe and Console shared handles

Allows opening a character device or named fifo more than once with code like:

  using (var f = new FileStream ("/dev/zero", FileMode.Open))
  {
    ...
  }
  using (var f = new FileStream ("/dev/zero", FileMode.Open))
  {
    ...
  }

[io] Test repeatedly opening a character device

Regression test for https://bugzilla.xamarin.com/show_bug.cgi?id=38408

Merge pull request #2606 from akoeplinger/fix-hardcoded-testports

[System] Fix a few more hardcoded ports in tests

They'd cause "address already in use" errors when two builds are running concurrently on the same machine on Jenkins.

@monojenkins merge

Add link to the updated location for the utf8 test file

[Process] Add stress tests

That's to ensure we do not have regression in the Process implementation.

[System] Import System.Diagnostics.Process

[System] Fix a few more hardcoded ports in tests

They'd cause "address already in use" errors when two builds are running concurrently on the same machine on Jenkins.

[jit] Fix the bblock linking in c5512c0d3e2b102ed16158ce8c599c8203ccd510.

[Mono.Security]: Make 'Mono.Security.Protocol.Ntlm' public and include in System.dll on mobile.

(cherry picked from commit 2026a0b408d122cf3eb2f25cb7355215aa100291)

Remove old, unused code

[corlib] Ensure PCL compatibility with Mono.DataConverter

Merge pull request #2560 from ludovic-henry/coop-threads-cleanup

[threads] Split abort/suspend into self and async cases

Merge pull request #2587 from lambdageek/monoerror-api-cleanup-mistakes

[runtime] Better error handling in mono_{assembly,module_file}_get_object

Merge pull request #2590 from esdrubal/wcf_req

BCL changes required by dotnet/wcf

Merge pull request #2595 from ludovic-henry/tests-sgen

[tests] Remove manual for loop to run sgen tests and use different make targets

[reflection] Better error behavior for API functions

mono_assembly_get_object and mono_module_file_get_object should return
NULL on failure without raising an exception.

[tests] Remove manual for loop to run sgen tests and use different make targets

[threads] Split abort/suspend into self and async cases

Separate the code path for async and self abort/suspend. This make the code intention more clear. It also allows us to remove some unused parameters (can_raise_excetpion which is always TRUE). Add some comments and harmonise locking behaviours : async_suspend_internal and self_suspend_internal now both call UNLOCK_THREAD.

Merge pull request #2598 from dellis1972/master

[msbuild] Registered the XmlPeek Build Task in the Microsoft.Common.tasks

[msbuild] Registered the XmlPeek Build Task in the Microsoft.Common.tasks

Fixes https://bugzilla.xamarin.com/show_bug.cgi?id=36183
Fixes https://bugzilla.xamarin.com/show_bug.cgi?id=38638

The previous commit () was incomplete, while it added the source
file for XmlPeek it did not register them in the appropriate
MSBuild tasks files. As a result the XmlPeek task cannot be used.

[aot] Fix the check in mono_aot_get_plt_entry () for thumb code, use 'code-4' instead of 'code', since the latter points to after a call, so it could point outside the range of llvm code. Fixes #36723.

[jit] Add a fastpath to Monitor.Enter () which doesn't have a wrapper, and add a slowpath which has a wrapper, so async stack traces work for threads blocked on monitors. Fixes #38525.

Fix a warning.

[jit] Fix the peephole optimization added by 9fc7c1de3a2f7d42c732b20e272d9d6693720012, compare_imm+cond_exc_imm can only be eliminated if the comparison is false.

Remove table that was not licensed under MIT

[Mono.Security]: MonoTlsProviderFactory.GetProvider(string) now returns null on error.

(cherry picked from commit 7f965e8220a67f3d806fb410e99ad453bddbe3bc)

Merge pull request #2591 from gofman/cherry-branch

[System.Windows.Forms] Recreate FosterWindow when required in XplatUIWin32

Merge pull request #2594 from akoeplinger/fix-facade-lookup-when-mono-path-overriden

[metadata] Fix Facades lookup in assembly.c when MONO_PATH is set

[profiler] Remove perf_event.h from EXTRA_DIST, too.

[profiler] Only include perf_event.h when actually needed, and use the system header.

[profiler] Remove the bundled perf_event.h header.

Bundling this in Mono is technically a GPL violation. We need to switch to the
system <linux/perf_event.h> header.

[Mono.Security]: Add 'MonoTlsProviderFactory.GetProvider(string)'.

Similar to 'SetDefaultProvider(string)', but return the provider instead
of installing it.

(cherry picked from commit 024241f424062a41f35061cd851f0923e25f16c7)

[llvmonly] Remove some leftover debugging code.

[swf] Flow SynchronizationContext through ExecutionContext. Fixes #38599

[metadata] Fix Facades lookup in assembly.c when MONO_PATH is set

When MONO_PATH is set, the corlib lookup returns early on in mono_assembly_load_corlib (),
without adding the Facades dir to default_path.

This causes any app/library that relies on the facades to fail at runtime.

Fixing this by always doing the Facades lookup when returning the found corlib image.

[corlib] Adds property AccessToken to WindowsIdentity

System.Security.Principal.WindowsIdentity.AccessToken is required for
dornet/wcf to compile.

Impelements IDisposable in X509Store

This class implement IDisposable in .NET and dotnet/wcf depends on this
to compile.

[System.Windows.Forms] Recreate FosterWindow when required in XplatUIWin32

Fixes #38614

[System.Net.Security] Adds NegotiateStream methods

System.Net.Security was missing some methods that are used by
dotnet/wcf.

[corlib] Added missing properties to EventAttribute

sgen: fix bit counting in mword

Fixes GC crashe for 64-bit architecture when using libmono.
http://lists.ximian.com/pipermail/mono-devel-list/2016-February/043507.html

[corlib] Use correct max/min value for DateTime overflows. Fixes #35876

[System] Simple readability changes to SimpleAsyncResult

[jit] Add a peephole optimization to remove the ldaddr+compare_imm 0+cond_exc checks inserted when using explicit null checks.

[llvmonly] Disable the 'overriding the module target triple with' clang warning when compiling the bitcode files.

[llvmonly] Fix a few issues passing and returning vtypes smaller than one machine word.

[llvmonly] Fix the locking in the gsharedvt wrapper creation functions.

Merge pull request #2584 from lewurm/fix-mobile-compilation

[bcl] fix compilation of test on mobile

although a nunit category is specified, the compilation still failed on mobile.

[reflection] Set pending loader exception in mono_reflection_get_custom_attrs_data

Fixes [Bugzilla 38222](https://bugzilla.xamarin.com/show_bug.cgi?id=38222)

While we're at it, convert mono_reflection_get_custom_attrs_data to use
MonoError and mark it external only.  Runtime should use
mono_reflection_get_custom_attrs_data_checked

[bcl] fix compilation of test on mobile

fix for the following problem:
> [13:33:37] src/System/Test/System.Diagnostics/ProcessTest.cs(1048,19): error CS0103: The name `GetCrossPlatformStartInfo' does not exist in the current context

Merge pull request #2582 from ludovic-henry/fix-threadpool-starvation

[threadpool] Improve the monitor thread heuristic

Because the ThreadPool heuristic is optimized for short lived work item, it has more difficulty when executing long lived work item. That case can lead to a starvation of the worker threads: they are all doing work, while there is outstanding request, and these requests are not satisfied because we reached the max number of working thread.

To fix that issue, we have the monitor thread, whose sole job is to unstuck this kind of starvation cases. Unfortunately, it only works when all the worker threads are in the ThreadState.WaitSleepJoin state, which excludes the case of calling an IO operation in a Task. That includes the case of FileStream.BeginRead/Write/... which implementation can be simplified as follows: FileStream.BeginRead(...) -> Task.Run(() => FileStream.Read(...)).

The way we implement it in this commit is: every MONITOR_INTERVAL (500ms here), we check if there is any outstanding request, and if so, we assume that we are in the starvation case, and we simply increase the max number of working thread. Also to reduce the number of false positives, we do that only if there has been no completed work item for more than at least MONITOR_INTERVAL (in case of low CPU usage, more otherwise, see monitor_sufficient_delay_since_last_dequeue). This case is typically the case where we have all working thread stuck in long running work items.

Finally we increase the monitor interval from 100ms to 500ms so we guarantee we do not create more than 2 threads per second in the monitor thread. That is the value used by the old threadpool.

[Docs] handle code-markdown with dots on the names

[Docs] Continue to improve the Mono runtime documentation

Merge pull request #2570 from lambdageek/monoerror-reflection-bubble-2

[reflection] Grab bag of MonoError commits

[threadpool] Improve the monitor thread heuristic

Because the ThreadPool heuristic is optimized for short lived work item, it has more difficulty when executing long lived work item. That case can lead to a starvation of the worker threads: they are all doing work, while there is outstanding request, and these requests are not satisfied because we reached the max number of working thread.

To fix that issue, we have the monitor thread, whose sole job is to unstuck this kind of starvation cases. Unfortunately, it only works when all the worker threads are in the ThreadState.WaitSleepJoin state, which excludes the case of calling an IO operation in a Task. That includes the case of FileStream.BeginRead/Write/... which implementation can be simplified as follows: FileStream.BeginRead(...) -> Task.Run(() => FileStream.Read(...)).

The way we implement it in this commit is: every MONITOR_INTERVAL (500ms here), we check if there is any outstanding request, and if so, we assume that we are in the starvation case, and we simply increase the max number of working thread. Also to reduce the number of false positives, we do that only if there has been no completed work item for more than at least MONITOR_INTERVAL (in case of low CPU usage, more otherwise, see monitor_sufficient_delay_since_last_dequeue). This case is typically the case where we have all working thread stuck in long running work items.

Finally we increase the monitor interval from 100ms to 500ms so we guarantee we do not create more than 2 threads per second in the monitor thread. That is the value used by the old threadpool.

[reflection] Fix decl of mono_image_create_token

For the DISABLE_REFLECTION_EMIT case

[reflection] Mark mono_custom_attrs_construct external only

The function mono_custom_attrs_construct_by_type is available for the
runtime (though currently static) and uses MonoError for error handling.

[reflection] Use MonoError in mono_reflection_marshal_as_attribute_from_marshal_spec

[runtime] Use MonoError for mono_event_get_object

Mark mono_event_get_object external only.
Runtime should use mono_event_get_object_checked.

[runtime] Use MonoError for mono_property_get_object

Mark mono_property_get_object external only.
Runtime should use mono_property_get_object_checked.

[reflection] Push MonoError through some static functions

[debugger] Don't call buffer_add_objid with NULL

Fixup 64778857e4652ccac18c6fbf990f3e7cc69fa275

[runtime] Cleanup MonoError after mono_runtime_try_invoke

If both an exception exc is set and the MonoError is not ok, we could
leak the MonoError memory.  Explicitly cleanup.

[mini] Use catchExcInMonoError to decide if exc should be embedded in MonoError

Do the dyn_runtime_invoke decision the same way as other invokes.

Fixup to 45bd9bb5d50e6cbd806a5e95696656eedad3bb78

[runtime] Don't raise MonoError when unloading appdomain

There's no managed code calling mono_domain_try_unload, so raising was
wrong.  Thread the error out through exc which gets checked by callers.

Fixup for 45bd9bb5d50e6cbd806a5e95696656eedad3bb78

[Docs] document one of our most key APIs: mono_add_internal_call

[Docs] Improved the rendering, added some docs

Merge pull request #2579 from ludovic-henry/fix-asyncresult-unhandledexception

[AsyncResult] Fix unhandled exception behaviour in AsyncCallback

The AsyncCallback is called after the BeginInvoke has completed. In all cases, this AsyncCallback is called on the ThreadPool, meaning that an unhandled exception would lead to a process crash.

The correct behaviour, after verification on .NET, is to not swallow the exception, and to properly crash the process.

@monojenkins merge

[AsyncResult] Fix unhandled exception behaviour in AsyncCallback

The AsyncCallback is called after the BeginInvoke has completed. In all cases, this AsyncCallback is called on the ThreadPool, meaning that an unhandled exception would lead to a process crash.

The correct behaviour, after verification on .NET, is to not swallow the exception, and to properly crash the process.

[corlib] AppContext from reference source

[Docs] Use an external style sheet, prefix the css classes with mapi to isolate, fix various processing problems

Merge pull request #2578 from akoeplinger/fix-hardcoded-mono-2.0-path

[metadata] Fix hardcoded mono/2.0 path in assembly.c