Раскраски точек и выбор метода агрегирования для Datashader в HoloViews

Question

Моя цель здесь - создать диаграммы рассеяния x,y,z в HoloViews, где графики создаются с помощью Datashader, причем точки агрегируются путем минимизации по "z", а точки окрашиваются в соответствии с "z". В конечном итоге это делается для создания графиков вероятности профиля.

Я добился значительных успехов в создании графиков с помощью HoloViews + Datashader, даже связывая их классными способами (см., Например, " Как сделать выборку связанных данных в HoloViews с помощью Datashader + Bokeh backend"), однако я не могу понять, как управлять цветами точек и метод агрегации.

Ниже приведен код (запущенный в блокноте Jupyter), который (почти) выполняет то, что я хочу, в "простой ванили" Datashader + Bokeh. Как я могу достичь того же с помощью HoloViews, чтобы я мог воспользоваться преимуществами этого пакета?

В частности, обратите внимание, что я хочу, чтобы цвета были присвоены определенным значениям z, я не хочу, чтобы они автоматически нормализовались или что-либо подобное. Я попытался добиться этого в приведенном ниже коде, установив аргумент "span" в функции "shade", хотя это не совсем работает, потому что когда я увеличиваю график, я вижу новые зеленые области, которые указывают, что Абсолютная нормализация цветов не остается постоянной. Во всяком случае, это должно быть достаточно близко, чтобы проиллюстрировать, что я после.

import pandas as pd
from bokeh.plotting import figure, output_notebook
import datashader as ds
from datashader.bokeh_ext import InteractiveImage
from datashader import transfer_functions as tf

output_notebook(hide_banner=True)

import matplotlib.colors as colors

#Define colormap
mn=0
mx=5
s0=0./(mx-mn)
s1=1./(mx-mn)
s2=2./(mx-mn)
s3=3./(mx-mn)
s4=4./(mx-mn)
s5=5./(mx-mn)

cdict = {
'red'  :  ((s0, 0., 0.), (s1, 1., 1.), (s2, 1., 1.), (s3, 1., 1.), (s4, .5, .5), (s5, .2, .2)),
'green':  ((s0, 1., 1.), (s1, 1., 1.), (s2, .5, .5), (s3, 0., 0.), (s4, 0., 0.), (s5, 0., 0.)),
'blue' :  ((s0, 0., 0.), (s1, 0., 0.), (s2, 0., 0.), (s3, 0., 0.), (s4, 0., 0.), (s5, 0., 0.))
}

chi2cmap = colors.LinearSegmentedColormap('chi2_colormap', cdict, 1024)
chi2cmap.set_bad('w',1.)


# Create some data to plot
x = np.arange(0,10,1e-2)
y = np.arange(0,10,1e-2)
X,Y = np.meshgrid(x,y)
x = X.flatten()
y = Y.flatten()
z = 5 * np.sin(x) * np.cos(y)

#------ Create pandas dataframe object from the data ------
print "Creating Pandas dataframe object"
df = pd.DataFrame.from_dict({"x": x, "y": y, "z": z})

# Create callback function for bokeh
def create_image(x_range, y_range, w, h):
    cvs = ds.Canvas(x_range=x_range, y_range=y_range, plot_width=200, plot_height=200)
    agg = cvs.points(df, 'x', 'y', ds.min('z'))
    img = tf.shade(agg, cmap=chi2cmap, how='linear', span=[mn,mx])
    #return tf.dynspread(img, threshold=0.9, max_px=10)
    return img

# Export image
#ds.utils.export_image(img, "test", fmt=".png", export_path=".", background="white")

# Interactive image via bokeh
p = figure(tools='pan,wheel_zoom,box_zoom,reset', background_fill_color="white",
           plot_width=500, plot_height=500, x_range=(np.min(x),np.max(x)), y_range=(np.min(y),np.max(y)))

p.axis.visible = False
p.xgrid.grid_line_color = None
p.ygrid.grid_line_color = None
InteractiveImage(p, create_image)

с выходом

Answer 1

Хорошо, я, кажется, преуспел с этим, вот что я придумал. Ключевым моментом является создание нового класса, производного от holoviews.operation.datashader.datashadeи изменить там элементы данных агрегатора и cmap:

class chi2_datashade(hvds.datashade):
    """Custom datashade class to do our projection and colormap"""
    aggregator = ds.min('z')
    cmap = chi2cmap
    normalization = 'linear'
    span = [mn,mx] # this requires https://github.com/ioam/holoviews/pull/1508 to work, which I just hacked in to holoviews for now

а затем просто используйте его, как если бы вы использовали исходный класс datashade:

data = hv.Points(df)
chi2_datashade(data)

Возникла проблема с span элемент данных, в том смысле, что он не существовал и поэтому не был связан с базовыми опциями dashashader, но он будет исправлен в следующей версии и может быть легко изменен в источнике, если вы хотите сделать это самостоятельно (см. https://github.com/ioam/holoviews/pull/1508)

На самом деле есть еще одна проблема, на этот раз от datashader, которая заключается в том, что она смещает данные 'z' в соответствии с минимальным значением внутри, и, таким образом, оборачивает значение параметра 'span'. Я поднял эту проблему с ними, но это также довольно простое исправление в источнике, если вы хотите сделать это самостоятельно (см. https://github.com/bokeh/datashader/issues/368)

Вот полный пример:

import numpy as np
import pandas as pd
import datashader as ds
import holoviews as hv
import holoviews.operation.datashader as hvds
import matplotlib.colors as colors
hv.notebook_extension('bokeh')

#Define colormap
mn=0
mx=5
s0=0./(mx-mn)
s1=1./(mx-mn)
s2=2./(mx-mn)
s3=3./(mx-mn)
s4=4./(mx-mn)
s5=5./(mx-mn)

cdict = {
'red'  :  ((s0, 0., 0.), (s1, 1., 1.), (s2, 1., 1.), (s3, 1., 1.), (s4, .5, .5), (s5, .2, .2)),
'green':  ((s0, 1., 1.), (s1, 1., 1.), (s2, .5, .5), (s3, 0., 0.), (s4, 0., 0.), (s5, 0., 0.)),
'blue' :  ((s0, 0., 0.), (s1, 0., 0.), (s2, 0., 0.), (s3, 0., 0.), (s4, 0., 0.), (s5, 0., 0.))
}

chi2cmap = colors.LinearSegmentedColormap('chi2_colormap', cdict, 1024)
chi2cmap.set_bad('w',1.)


# Create some data to plot
x = np.arange(0,10,1e-2)
y = np.arange(0,10,1e-2)
X,Y = np.meshgrid(x,y)
x = X.flatten()
y = Y.flatten()
z = 5 * np.sin(x) * np.cos(y)

#------ Create pandas dataframe object from the data ------
print "Creating Pandas dataframe object"
df = pd.DataFrame.from_dict({"x": x, "y": y, "z": z})

class chi2_datashade(hvds.datashade):
    """Custom datashade class to do our projection and colormap"""
    aggregator = ds.min('z')
    cmap = chi2cmap
    normalization = 'linear'
    span = [mn,mx] # this requires https://github.com/ioam/holoviews/pull/1508 to work, which I just hacked in to holoviews for now


data = hv.Points(df)
chi2_datashade(data)

который производит это изображение:

Это немного отличается от OP-изображения, но оказывается, что это только из-за ошибки в dashashader, о которой я упоминал. Исправив эту ошибку и повторно запустив код OP, я получаю следующий вывод:

что хорошо сочетается. Похоже, что Holoviews просто обрезает данные за пределами выбранного "диапазона" или чего-то подобного, что мне подходит для моих текущих потребностей.