scrollview imbriqué + recyclerview, comportement autoscroll étrange

Dans un pager de vue j'ai plusieurs fragments, l'un d'eux utilise un scrollview imbriqué avec un en-tête et un recyclerview:

<android.support.v4.widget.NestedScrollView
    xmlns:android="http://schemas.android.com/apk/res/android"
    xmlns:app="http://schemas.android.com/apk/res-auto"
    xmlns:tools="http://schemas.android.com/tools"
    android:id="@+id/scrollview"
    android:layout_width="match_parent"
    android:layout_height="match_parent"
    android:fillViewport="true"
    app:layout_behavior="@string/appbar_scrolling_view_behavior"
    tools:context="com.m360.android.fragment.Members.MemberDetailsFragment">

    <LinearLayout
        android:layout_width="match_parent"
        android:layout_height="wrap_content"
        android:orientation="vertical"
        android:paddingTop="20dp">

        <header/>

        <android.support.v7.widget.RecyclerView
            android:id="@+id/recycler"
            android:layout_width="match_parent"
            android:layout_height="wrap_content"
            android:clipToPadding="false"
            android:paddingTop="0dp" />

    </LinearLayout>

</android.support.v4.widget.NestedScrollView>

La balise "header" représente une mise en page complexe que je ne voulais pas poster ici car elle étire beaucoup le code.

Lorsque je commute entre les onglets, il fait défiler strait vers la vue recycleur. L'en-tête est caché, je dois faire défiler vers le haut pour le voir.

Des idées sur ce qui cause cela ? Je ne veux pas utiliser un type dans mon adaptateur si je peux l'éviter.