Merge pull request #2679 from lambdageek/dev/monoerror-reflection

[reflection] MonoError cleanups

[runtime] Remove some declarations from marshal.h which are not used outside of marshal.c.

Merge pull request #2683 from mfilippov/master

Add generation WepApplication.targets for v12.0 and v14.0 xbuild.

Add generation WepApplication.targets for v12.0 and v14.0 xbuild.

Merge pull request #2681 from kumpera/pedump_fix

[pedump] Fix init crash on pedump when using --verify.

@marek-safar  here's your fix

@monojenkins merge

[aot] Move a mono_error_raise_exception () call higher up the call chain.

[pedump] Fix init crash on pedump when using --verify.

[sdb] Remove some mono_error_raise_exception () calls.

[jit]: Correctly restore callee saved registers in mono_arch_get_call_filter() on amd64.

(cherry picked from commit 8c1ffe78ccf68fab9acad53eebc01b5c84fc81ec)

Fixed the build.

[support/zlib] Added API exports to exported calls from zlib-helper.c.

This is so we can re-use this code from libmonodroid, which currently has its own duplicated copy.

[support/zlib] Remove eglib link dependencies from zlib-helper.c.

This is so we can re-use this code from libmonodroid, which currently has its own duplicated copy.

[reflection] MonoError in mono_reflection_get_custom_attrs_info

Also mark that function external only.  Runtime should use
mono_reflection_get_custom_attrs_info_checked

[reflection] MonoError for mono_reflection_type_get_underlying_system_type

Merge pull request #2655 from ludovic-henry/fix-wait-timeout

[WaitHandle] Fix Wait(One|Any|All) and SignalAndWait with timeout

[reflection] MonoError for mono_custom_attrs_data_construct

[reflection] MonoError for create_cattr_{typed,named}_arg

[reflection] MonoError for mono_reflection_method_on_tb_inst_get_handle

[jit] Remove a few mono_error_raise_exception () calls.

Fix the build.

[jit] Add a MonoError argument to mono_create_jit_trampoline (), get rid of the mono_create_jit_trampoline_in_domain () variant.

[jit] Add a MonoError argument to mono_create_jump_trampoline ().

[llvm] Remove some unused argument passing conventions.

Merge pull request #2673 from serpentblade/master

[System.Data.SqlClient] Fix for bulk copy inserts via IDataReader

[System.Data.SqlClient] Fix for bulk copy inserts via IDataReader

Resolve same with DataTable requiring name problem fixed in 1858ce4a94ab07f615a0e5ded37f8caa18473700

[llvm] Fix the loaded llvm build.

Fix the build.

[llvm] Emit dwarf debug info when running with llvm 3.9. This is not enabled yet, since it doesn't seem to work, the dwarf info is in the object file emitted by llc, but disappears during linking.

[mcs] escaped quoted interpolated format specifier has no restrictions. Fixes #38992

Merge pull request #2664 from lambdageek/dev/monoerror-mono_rand

[runtime] Use MonoError in mono_rand_try_get_bytes

[System.IO.Compression.DeflateStream] Fixed end condition in decompression loop.

Keep track of total bytes read from input stream and break from the loop if it matches the number of bytes inflated by zlib.

Fixes https://bugzilla.xamarin.com/show_bug.cgi?id=34916.

[msvc] %PATH% is sometimes empty in Jenkins, so "powershell" doesn't run

Try using a system-standard default variable which points to the required folder instead.

Merge pull request #2666 from lambdageek/dev/kill-InternalReplaceStrComp

[runtime] Remove ves_icall_System_String_InternalReplace_Str_Comp

It appears to be dead code.

[runtime] Use MonoError in mono_rand_try_get_bytes

Bump Mono version -> 4.5.0

[runtime] Remove ves_icall_System_String_InternalReplace_Str_Comp

It appears to be dead code.

Merge pull request #2661 from ludovic-henry/fix-safehandle-abort

[SafeHandle] Avoid handle leakage in case of ThreadAbortException

If we get a ThreadAbortException while at SafeHandle.cs:124 (before this commit), we would not set release to true, even after incrementing the internal reference count of the SafeHandle. That could lead to potential leak, as the caller (following the common following pattern) would never call DangerousRelase, thus never calling PerformRelease. The finalizer or Dispose would not lead to the call of PerformRelease either, as the DangerousAddRef / DangerousRelase calls are unbalanced.

The common pattern for DangerousAddRef / DangerousRelease is the following:

bool release = false;
try {
  safeHandle.DangerousAddRef (ref release);
  /* do something with safeHandle.DangerousGetHandle () */
} finally {
  if (release)
    safeHandle.DangerousRelease ();
}

@monojenkins merge

Merge pull request #2657 from xmcclure/little-embed-fixes

Minor platform-support fixes

* Fix error in DISABLE_HW_TRAPS implementation
* Rename class in mono/tests/threadpool.cs to allow embedding

Merge pull request #2653 from lambdageek/dev/exception_type-1

[runtime] Don't access MonoClass::exception_type directly.

Use `mono_class_get_failure ()` and `mono_class_has_failed ()`

This is mostly just cleanup refactoring at this point that will make it easier to change how exception_type is used.

Also from this exercise we've learned that most of the class handling code just cares whether the class has an error or not, not what sort of error it was.

Merge pull request #2646 from ludovic-henry/fix-processwatch-dispose

[Microsoft.Build] Fix XS build error + Fix expected output newline from ProcessWrapper.OutputStreamChanged and ProcessWrapper.ErrorStreamChanged

[SafeHandle] Avoid handle leakage in case of ThreadAbortException

If we get a ThreadAbortException while at SafeHandle.cs:124 (before this commit), we would not set release to true, even after incrementing the internal reference count of the SafeHandle. That could lead to potential leak, as the caller (following the common following pattern) would never call DangerousRelase, thus never calling PerformRelease. The finalizer or Dispose would not lead to the call of PerformRelease either, as the DangerousAddRef / DangerousRelase calls are unbalanced.

The common pattern for DangerousAddRef / DangerousRelease is the following:

bool release = false;
try {
  safeHandle.DangerousAddRef (ref release);
  /* do something with safeHandle.DangerousGetHandle () */
} finally {
  if (release)
    safeHandle.DangerousRelease ();
}

[WaitHandle] Fix Wait(One|Any|All) and SignalAndWait with timeout

In the case where we would call for example WaitHandle.WaitOne with a timeout, we could run in the case where we would wait way longer than the timeout would allow it (240s instead of 90s for example). This would be due to spurious wake, which would not be considered to be an error, but which would lead calling the `mono_os_cond_timedwait` function with the same timeout every time. That would mean that `mono_os_cond_timedwait` would return that it timedout, if and only if, it would timed out after N milliseconds, with N the millisecondsTimeout parameter to WaitOne in this example. That mean that any spurious wake would effectively lead to rewaiting with a full timeout every time.

That could lead to the following scenario:
 - T1 calls waitHandle.WaitOne(timeout = 1000ms) at T=0ms
 - T1 calls mono_os_cond_timedwait(timeout = 1000) at T=0ms
 - GC suspend T1 at T=500ms <- here it's not necessarily the GC, it can be anything suspending/signaling the thread
 - T1 spurious wake, and call mono_os_cond_timedwait(timeout = 1000) at T=500ms
 - GC interrupt T1 at T=1250ms
 - T1 spurious wake, and call mono_os_cond_timedwait(timeout = 1000) at T=1250ms
 - etc.

As you can see, T1 should have returned from waitHandle.WaitOne before the second spurious wake, but as it recalled mono_os_cond_timedwait with a timeout of 1000ms again, it didn't.

The fix consists in keeping track of when the call is supposed to finish, and pass an adaptable timeout to mono_os_cond_timedwait, which decreases as time goes on, to enventually reach 0, and return in a timely manner.

Fixes https://bugzilla.xamarin.com/show_bug.cgi?id=38382

Merge pull request #2620 from ludovic-henry/referencesource-waithandle

[corlib] Import System.Threading.WaitHandle

Merge pull request #2651 from akoeplinger/dmcs-warning

[scripts] Add deprecation warning to dmcs

[runtime] Don't access MonoClass::exception_type directly.

Use mono_class_has_failure () or mono_class_get_failure ()

[System.IO.Compression] Lower minimum version in ZIP headers for compatibility.

This fixes compatibility with tools like MS Excel, file tool, and others that do not know how to recognize newer ZIP version formats.

Fixes https://bugzilla.xamarin.com/show_bug.cgi?id=33553.

Merge pull request #2593 from ludovic-henry/coop-fix-native-to-managed

[coop] Fix native-to-managed wrapper

[WaitHandle] Call SafeWaitHandle DangerousAddRef / DangerousRelease around native calls

We do not want to wait on a handle that have been cleaned up, as that will lead to a warning message from the io-layer, without any error in managed code. That mean we could not detect this error case and recover from it.

By doing this DangerousAddRef / DangerousRelease before going to native, we ensure that the WaitHandle is and will stay alive while waiting on it. This same is done in CoreCLR, but in the marshalling code.

[corlib] Import System.Threading.WaitHandle

[io-layer] Fix process_wait return value for current process

When waiting on the current process, we would return WAIT_FAILED, as waitpid would return -1, with errno set to ECHILD.
But the semantic of WaitForSingleObjectEx and WaitForMultipleObjectsEx when waiting on current process is to return WAIT_TIMEOUT. This is then a special case that we need to add to this code.

[scripts] Add deprecation warning to dmcs

dmcs was deprecated in favor of mcs a while back, yet people are still creating new scripts with it.
Adding a message that shows up on each dmcs invocation should hopefully make this more obvious.

Merge pull request #2648 from BrzVlad/fix-cprop-vregs

[jit] Fix init of cprop defs for vregs

[llvm] Avoid setting the mono.nofail.load flag with the new llvm branch, its not supported there.

Merge pull request #2660 from kumpera/loader-error-cleanup6

[mono-error] This PR eliminates mono_class_from_name and a couple of assorted fixes.

[runtime] Ban mono_class_from_name mono_class_from_name_case.

They are no longer in use by the runtime. Begone!

[tests] Pass cli args to test runner so we can pick which test to run

[util] When creating the TLE exception only provide aditional data if both type and assembly names are provided. Otherwise one would fail and we'd get an OOM instead.

[runtime][jit] Replace usage of mono_class_from_name with mono_class_load_from_name for variable type lookups.

[runtime] Switch probing usage of mono_class_from_name to mono_class_try_load_from_name.

Those are call sites that can handle missing types correctly.

[runtime] Add MonoError to search_modules. Fix signature of mono_class_from_name_checked_aux (MonoError MUST be last arg).

[runtime] Switch GENERATE_GET_CLASS_WITH_CACHE to use mono_class_load_from_name. Kill dead macro.

[runtime] Add manually coded version of GENERATE_GET_CLASS_WITH_CACHE that uses System.dll

[runtime] Replace mono_class_from_name with mono_class_load_from_name for explicit loads that must not fail.

[runtime] Add type load caching to one missing thing appdomain.c

[runtime] Use mono_class_load_from_name to load types in mono_defaults.

We can use mono_class_load_from_name in all cases that we previously used to assert after loading.

All optional types have being moved over to use GENERATE_TRY_GET_CLASS_WITH_CACHE.

All but System.Runtime.ConstrainedExecution.CriticalFinalizerObject which is used within
sgen and we must ensure we don't try to lazy load it there.

I'm not 100% sure whether it should be optional, maybe it's a leftover from the 1.0 -> 2.0 timeframe?

The problem is that marking more types as required would be a burden on linkers as they might not force
it to be preserved.

I'm not particularly happy with the current large set of types that are loaded upfront. A significant
number of them could be lazy loaded.

[runtime] Replace explicit lookup with GENERATE_GET_CLASS_WITH_CACHE in cominterop.c

Last place with adhoc lookup & caching.

[runtime] Add GENERATE_TRY_GET_CLASS_WITH_CACHE macro that generates a probing function.

This function generates probing functions that rely on mono_class_try_load_from_name.

In addition replace usage of hand crafted loading code from all around.

[runtime] Add mono_class_load_from_name and mono_class_try_load_from_name.

Those are variants of mono_class_from_name_checked that implement two common type loading scenarios in the rutime.

The first is mono_class_load_from_name, that loads critical types that the runtime cannot function without.
This means we abort if the type is missing or broken. We should use it in places where today we crash when
either of those would happen.

The other is mono_class_try_load_from_name, which is ok if the type is not found, but will abort if the type is broken.
The reasoning for aborting on a broken type is that it's unclear on whether the runtime should be using the type or not,
specially given most of those optional types change behavior of the application. This, in practice, forces the linker to
not produce a broken corlib.

Merge pull request #2647 from qmfrederik/fixes/eventsources

WSDualHttpBinding: Additional constructor overloads to match .NET 4.5

Merge pull request #2659 from tritao/system_io_compression_reopen

[System.IO.Compression] Fixed re-opening of disposed Zip entry streams.

Revert "Revert "[jit] Don't allocate memory for unused vreg""

This reverts commit c4037092ac415665b4b2aa639b389deb5bcfc12d.

[jit] Clear defs only for valid vregs used by the bblock's instructions

Also clean the most significant part of long vregs.

[System.Web.ApplicationServices] Add new file to EXTRA_DISTFILES

It was added in 383d80a7850c2737e931a6d9ca8b26c98eefd79c. Fixes tarball.

Merge pull request #2638 from gofman/fixprintsettings

[System.Drawing.Printing] CUPS default PageSize and InputSlot should …

[System.Drawing.Printing] CUPS default PageSize and InputSlot should override PPD defaults.

There is already a test case for that (PrintingServicesUnixTest.cs, Bug602934_PrinterSettingsReturnActualValues) which fails when user configured options are different from PPD settings. Patch also makes this test not to fail if "Resolution" option is not present in CUPS options.

[llvm] Allow the llvm backend to work with a new version of the mono llvm fork based on llvm 3.9.
This version is at:
https://github.com/mono/llvm/tree/llvm-master
It has a mono api version starting from 100. Currently, using LLVM in JIT mode is not supported, only AOT.

Merge pull request #2649 from kjuby8709gsome/master

[System]: System.TimeZoneInfo - implemented GetUtcOffset with DateTim…

[System.IO.Compression] Fixed re-opening of disposed Zip entry streams.

Fixes System.IO.Compression to work against Microsoft Office OpenXML SDK which depends on this behavior.

Also partial fix for https://bugzilla.xamarin.com/show_bug.cgi?id=33553.

Add placeholders for missing methods:
* WSDualHttpBinding: Add additional constructor overloads to match .NET 4.5
* Dispatcher: Add support for the various InvokeAsync methods

Merge pull request #2656 from lambdageek/dev/bug-38600

[mkbundle] Support spaces, strange symbols in assembly names

[mkbundle] Support spaces, strange symbols in assembly names

In the asm stubs, replace everything that isn't a-zA-Z0-9_ by an underscore.

Sprinkle quotes in commandline args when running the linker.

Fixes [Bugzilla #38600](https://bugzilla.xamarin.com/show_bug.cgi?id=38600)

Rename class in mono/tests/threadpool.cs to allow embedding

Fix error in DISABLE_HW_TRAPS implementation

Merge pull request #2652 from PAVBAN95/master

Fixed typo in README.md

Fixed typo in README.md

slightly was misspelled as slighty.

Merge pull request #2632 from kasthack/sysweb-import

[System.Web.*] Reference source import

[runtime] Wrap mono_jit_attach and mono_jit_detach in try { ... } finally { ... } clause

This is useful for coop mode only, as coop needs additionnal thread state transition from BLOCKING to RUNNING and vice versa, and if both these transitions are not done properly, we finish in a incorrect state.
In non-coop mode, the mono_jit_detach only sets the domain to NULL, to avoid scanning threads unnecessarily, so not actually detaching properly is not hurting anything.

[coop] Fix native-to-managed wrapper thread attach

Previously, when we would invoke a native-to-managed wrapper from a thread that has not been attached to the runtime, we would simply ensure to attach this thread to the runtime. The issue arise when using coop and needing to switch a thread which is not executing runtime or managed code to BLOCKING state.

That would arise on iOS when using dispatch_async:
 - the user would enqueue a Delegate, triggering a call to mono_delegate_to_ftnptr, generating this native-to-managed wrapper
 - the wrapper would be called asynchronously on a thread managed by the OS/dispatch_async
 - the thread would attach to the runtime, switching its state from STARTING -> RUNNING
 - the thread would finish executing the delegate, thus 'detaching' from the runtime, but without switching its state from RUNNING -> BLOCKING
 - during the next garbage collection, the GC would try to suspend this thread as it is still in RUNNING state, but because it's neither executing runtime code, neither managed code, it will never hit a safepoint, leading to a timeouting suspend.

To fix that issue, we need to support the following state switches:
 - STARTING -> RUNNING -> BLOCKING: happens when it's the first time this thread calls a native-to-managed wrapper
 - BLOCKING -> RUNNING -> BLOCKING: happens when it's not the first time this thread is called from a facility like dispatch_async, or if it is, for example, called as a callback from an external library
 - RUNNING -> RUNNING -> RUNNING: if we call this wrapper from runtime or managed code, see for example System.Reflection.Emit.ILGeneratorTest.TestEmitCalliWithNullReturnType

This facility also need to take care of the current domain, to ensure that we switch properly between domains, and set it to the one that was used when creating this delegate, then restoring the original one.

Merge pull request #2650 from radical/csc-args

[mcs] Accept and ignore command line args supported by csc that we don't

[mcs] Accept and ignore command line args supported by csc that we don't

support:

/win32manifest
/nowin32manifest

[System]: System.TimeZoneInfo - implemented GetUtcOffset with DateTimeOffset

[System.Web.*] Reference source import: System.Web.Profile.(ProfileInfoCollection, ProfileInfo, ProfileAuthenticationOption, DefaultProfile), missing System.Web.ModelBinding and System.Web.UI types, System.Web.ApplicationServices.(...)

[Microsoft.Build] Fix expected output newline from ProcessWrapper.OutputStreamChanged and ProcessWrapper.ErrorStreamChanged

The previous implementation of ProcessWrapper OutputStreamChanged and ErrorStreamChanged would manually launch a background thread to read on the process StandardOutput and StandardError, then simply passing the output to the OutputStreamChanged and ErrorStreamChanged events. This mean that even the newline characters would be passed to these events, leaving these events callbacks deal with splitting the output line by line.
On the other hand, Process.OutputDataReceived and Process.ErrorDataReceived already split the data line by line, and discard the newline character. That implies that, to keep the old ProcessWrapper behaviour, we need to add these newlines character before calling OutputStreamChanged and ErrorStreamChanged events callbacks.

[Microsoft.Build] Fix XS build error

We observe the following error when building XS:

"Threadpool worker" tid=0x0x7f011bfff700 this=0x0x7f01394bfb30 thread handle 0x432 state : not waiting owns ()
  at <unknown> <0xffffffff>
  at (wrapper managed-to-native) System.Threading.WaitHandle.WaitAll_internal (System.Threading.WaitHandle[],int,bool) <0x0005d>
  at System.Threading.WaitHandle.WaitAll (System.Threading.WaitHandle[]) <0x00026>
  at Microsoft.Build.Utilities.ProcessWrapper.<Start>m__0 (object,System.EventArgs) <0x0008f>
  at System.Diagnostics.Process.OnExited () <0x000ed>
  at System.Diagnostics.Process.RaiseOnExited () <0x0009f>
  at System.Diagnostics.Process.CompletionCallback (object,bool) <0x00017>
  at System.Threading.RegisteredWaitHandle.DoCallBack (object) <0x00088>
  at System.Threading.QueueUserWorkItemCallback.WaitCallback_Context (object) <0x00058>
  at System.Threading.ExecutionContext.RunInternal (System.Threading.ExecutionContext,System.Threading.ContextCallback,object,bool) <0x001c6>
  at System.Threading.ExecutionContext.Run (System.Threading.ExecutionContext,System.Threading.ContextCallback,object,bool) <0x00020>
  at System.Threading.QueueUserWorkItemCallback.System.Threading.IThreadPoolWorkItem.ExecuteWorkItem () <0x0004c>
  at System.Threading.ThreadPoolWorkQueue.Dispatch () <0x001d6>
  at System.Threading._ThreadPoolWaitCallback.PerformWaitCallback () <0x00008>
  at (wrapper runtime-invoke) <Module>.runtime_invoke_bool (object,intptr,intptr,intptr) <0x0005a>

And the process output would contains a bunch of "_wapi_handle_ref: Attempting to ref unused handle 0x1234" and "_wapi_handle_unref_full: Attempting to unref unused handle 0x1234".

The expected behaviour is for WaitHandle.(WaitAll|WaitAny|WaitOne|SignalAndWait) and EventWaitHandle.Set to throw an ObjectDisposedException in case the WaitHandle (or one of them if calling WaitAll, WaitAny or SignalAndWait) have been disposed.

This error would be due to a race between ProcessWrapper.Dispose, which closes endEventOut and endEventErr, and the above Process.Wrapper.<Start>m__0 (the base.Exited) callback, which waits on endEventOut and endEventErr.

[bcl] Add workaround for csc bug

[System.Drawing.Printing] CUPS default PageSize and InputSlot should override PPD defaults.

There is already a test case for that (PrintingServicesUnixTest.cs,
Bug602934_PrinterSettingsReturnActualValues) which fails when user
configured options are different from PPD settings. Patch also makes
this test not to fail if "Resolution" option is not present in CUPS
options.

*Update: removed leftover debug Console.WriteLine from patch

[jit] Fix a regression introduced by c0b9be3e03ac5001dffd6dd13ca16ef361ee79ee.

[runtime] Avoid a crash when trying to load a non-assembly file as an assembly. Fixes #38825.

Revert accidental change to submodule from 40017f9

Merge pull request #2643 from xmcclure/disable-hw-traps

DISABLE_HW_TRAPS flag to disable signal reliance

Single switch for both explicit null checks and explicit illegal-divide checks.

[jit] Add missing div check to OP_IREM_IMM.