RecyclerView не первый ребенок SwipeToRefresh

Question

У меня есть макет, где родитель SwipeToRefresh и у него двое детей в первую очередь ImageView и второй RecyclerView, Теперь я хочу, чтобы пользователь прокручивал RecyclerView тяга для обновления должна работать, только если переработчик достиг вершины, иначе переработчик должен прокрутить. Если прокрутка вверх включена ImageView тогда смахивание должно работать нормально.

Прямо сейчас SwipeToRefresh срабатывает каждый раз, когда я прокручиваю RecyclerView:

<?xml version="1.0" encoding="utf-8"?>
<RelativeLayout xmlns:android="http://schemas.android.com/apk/res/android"
    xmlns:app="http://schemas.android.com/apk/res-auto"
    android:layout_width="match_parent"
    android:layout_height="match_parent">

    <android.support.v4.widget.SwipeRefreshLayout
        android:id="@+id/swipe_refresh_layout"
        android:layout_width="match_parent"
        android:layout_height="match_parent"
        android:layout_alignParentTop="true"
        android:fillViewport="true">

        <RelativeLayout
            android:layout_width="match_parent"
            android:layout_height="match_parent">

            <ImageView
                android:id="@+id/imageView"
                android:layout_width="match_parent"
                android:layout_height="300dp"
                android:layout_alignParentStart="true"
                android:layout_alignParentTop="true"
                app:srcCompat="@mipmap/ic_launcher_round" />

            <android.support.v7.widget.RecyclerView
                android:layout_width="match_parent"
                android:layout_height="wrap_content"
                android:layout_centerHorizontal="true"
                android:layout_below="@+id/imageView" />
        </RelativeLayout>
    </android.support.v4.widget.SwipeRefreshLayout>
</RelativeLayout>