Клавиатура выдвигает раскладку под строкой состояния (или даже дальше вверх)

Question

У меня есть следующий XML

<RelativeLayout
    ...>

    <Toolbar
        .../>

    <ScrollView
        android:layout_width="match_parent"
        android:layout_height="match_parent"
        android:layout_below="@id/toolbar"
        android:fitsSystemWindows="true"
        android:fillViewport="true">

        <LinearLayout
            android:layout_width="match_parent"
            android:layout_height="wrap_content"
            android:orientation="vertical">

            <TextInputLayout
                android:layout_width="match_parent"
                android:layout_height="wrap_content">

                <EditText
                    android:layout_width="match_parent"
                    android:layout_height="wrap_content"/>
            </TextInputLayout>

            <TextInputLayout
                android:layout_width="match_parent"
                android:layout_height="wrap_content">

                <EditText
                    android:layout_width="match_parent"
                    android:layout_height="wrap_content"/>
            </TextInputLayout>

            <Button
                android:layout_width="match_parent"
                android:layout_height="wrap_content"/>

        </LinearLayout>
    </ScrollView>
</RelativeLayout>

В моем AndroidManifest.xml я установил windowSoftInputMode в adjustResize, Но теперь, когда я нажимаю в одном из тех, EditText поля, макет перемещается вверх, и фактическое поле, в котором я хочу ввести текст, даже больше не видно. Прокрутка работает, но только вниз и не полностью вверх. Любые идеи о том, как это исправить? Я не хочу использовать adjustPan потому что это отключает прокрутку в целом.