source: sasview/src/sas/sascalc/fit/AbstractFitEngine.py @ 50fcb09

ESS_GUIESS_GUI_DocsESS_GUI_batch_fittingESS_GUI_bumps_abstractionESS_GUI_iss1116ESS_GUI_iss879ESS_GUI_iss959ESS_GUI_openclESS_GUI_orderingESS_GUI_sync_sascalcmagnetic_scattrelease-4.2.2ticket-1009ticket-1094-headlessticket-1242-2d-resolutionticket-1243ticket-1249ticket885unittest-saveload
Last change on this file since 50fcb09 was 50fcb09, checked in by Paul Kienzle <pkienzle@…>, 7 years ago

move qsmearing to fit package

  • Property mode set to 100644
File size: 19.7 KB
Line 
1from __future__ import print_function
2
3import  copy
4#import logging
5import sys
6import math
7import numpy as np
8
9from sas.sascalc.dataloader.data_info import Data1D
10from sas.sascalc.dataloader.data_info import Data2D
11_SMALLVALUE = 1.0e-10
12
13class FitHandler(object):
14    """
15    Abstract interface for fit thread handler.
16
17    The methods in this class are called by the optimizer as the fit
18    progresses.
19
20    Note that it is up to the optimizer to call the fit handler correctly,
21    reporting all status changes and maintaining the 'done' flag.
22    """
23    done = False
24    """True when the fit job is complete"""
25    result = None
26    """The current best result of the fit"""
27
28    def improvement(self):
29        """
30        Called when a result is observed which is better than previous
31        results from the fit.
32
33        result is a FitResult object, with parameters, #calls and fitness.
34        """
35    def error(self, msg):
36        """
37        Model had an error; print traceback
38        """
39    def progress(self, current, expected):
40        """
41        Called each cycle of the fit, reporting the current and the
42        expected amount of work.   The meaning of these values is
43        optimizer dependent, but they can be converted into a percent
44        complete using (100*current)//expected.
45
46        Progress is updated each iteration of the fit, whatever that
47        means for the particular optimization algorithm.  It is called
48        after any calls to improvement for the iteration so that the
49        update handler can control I/O bandwidth by suppressing
50        intermediate improvements until the fit is complete.
51        """
52    def finalize(self):
53        """
54        Fit is complete; best results are reported
55        """
56    def abort(self):
57        """
58        Fit was aborted.
59        """
60
61    # TODO: not sure how these are used, but they are needed for running the fit
62    def update_fit(self, last=False): pass
63    def set_result(self, result=None): self.result = result
64
65class Model:
66    """
67    Fit wrapper for SAS models.
68    """
69    def __init__(self, sas_model, sas_data=None, **kw):
70        """
71        :param sas_model: the sas model to wrap for fitting
72
73        """
74        self.model = sas_model
75        self.name = sas_model.name
76        self.data = sas_data
77
78    def get_params(self, fitparams):
79        """
80        return a list of value of paramter to fit
81
82        :param fitparams: list of paramaters name to fit
83
84        """
85        return [self.model.getParam(k) for k in fitparams]
86
87    def set_params(self, paramlist, params):
88        """
89        Set value for parameters to fit
90
91        :param params: list of value for parameters to fit
92
93        """
94        for k,v in zip(paramlist, params):
95            self.model.setParam(k,v)
96
97    def set(self, **kw):
98        self.set_params(*zip(*kw.items()))
99
100    def eval(self, x):
101        """
102            Override eval method of model.
103
104            :param x: the x value used to compute a function
105        """
106        try:
107            return self.model.evalDistribution(x)
108        except:
109            raise
110
111    def eval_derivs(self, x, pars=[]):
112        """
113        Evaluate the model and derivatives wrt pars at x.
114
115        pars is a list of the names of the parameters for which derivatives
116        are desired.
117
118        This method needs to be specialized in the model to evaluate the
119        model function.  Alternatively, the model can implement is own
120        version of residuals which calculates the residuals directly
121        instead of calling eval.
122        """
123        raise NotImplementedError('no derivatives available')
124
125    def __call__(self, x):
126        return self.eval(x)
127
128class FitData1D(Data1D):
129    """
130        Wrapper class  for SAS data
131        FitData1D inherits from DataLoader.data_info.Data1D. Implements
132        a way to get residuals from data.
133    """
134    def __init__(self, x, y, dx=None, dy=None, smearer=None, data=None, lam=None, dlam=None):
135        """
136            :param smearer: is an object of class QSmearer or SlitSmearer
137               that will smear the theory data (slit smearing or resolution
138               smearing) when set.
139
140            The proper way to set the smearing object would be to
141            do the following: ::
142
143                from sas.sascalc.fit.qsmearing import smear_selection
144                smearer = smear_selection(some_data)
145                fitdata1d = FitData1D( x= [1,3,..,],
146                                        y= [3,4,..,8],
147                                        dx=None,
148                                        dy=[1,2...], smearer= smearer)
149
150            :Note: that some_data _HAS_ to be of
151                class DataLoader.data_info.Data1D
152                Setting it back to None will turn smearing off.
153
154        """
155        Data1D.__init__(self, x=x, y=y, dx=dx, dy=dy, lam=lam, dlam=dlam)
156        self.num_points = len(x)
157        self.sas_data = data
158        self.smearer = smearer
159        self._first_unsmeared_bin = None
160        self._last_unsmeared_bin = None
161        # Check error bar; if no error bar found, set it constant(=1)
162        # TODO: Should provide an option for users to set it like percent,
163        # constant, or dy data
164        if dy is None or dy == [] or dy.all() == 0:
165            self.dy = np.ones(len(y))
166        else:
167            self.dy = np.asarray(dy).copy()
168
169        ## Min Q-value
170        #Skip the Q=0 point, especially when y(q=0)=None at x[0].
171        if min(self.x) == 0.0 and self.x[0] == 0 and\
172                     not np.isfinite(self.y[0]):
173            self.qmin = min(self.x[self.x != 0])
174        else:
175            self.qmin = min(self.x)
176        ## Max Q-value
177        self.qmax = max(self.x)
178
179        # Range used for input to smearing
180        self._qmin_unsmeared = self.qmin
181        self._qmax_unsmeared = self.qmax
182        # Identify the bin range for the unsmeared and smeared spaces
183        self.idx = (self.x >= self.qmin) & (self.x <= self.qmax)
184        self.idx_unsmeared = (self.x >= self._qmin_unsmeared) \
185                            & (self.x <= self._qmax_unsmeared)
186
187    def set_fit_range(self, qmin=None, qmax=None):
188        """ to set the fit range"""
189        # Skip Q=0 point, (especially for y(q=0)=None at x[0]).
190        # ToDo: Find better way to do it.
191        if qmin == 0.0 and not np.isfinite(self.y[qmin]):
192            self.qmin = min(self.x[self.x != 0])
193        elif qmin is not None:
194            self.qmin = qmin
195        if qmax is not None:
196            self.qmax = qmax
197        # Determine the range needed in unsmeared-Q to cover
198        # the smeared Q range
199        self._qmin_unsmeared = self.qmin
200        self._qmax_unsmeared = self.qmax
201
202        self._first_unsmeared_bin = 0
203        self._last_unsmeared_bin = len(self.x) - 1
204
205        if self.smearer is not None:
206            self._first_unsmeared_bin, self._last_unsmeared_bin = \
207                    self.smearer.get_bin_range(self.qmin, self.qmax)
208            self._qmin_unsmeared = self.x[self._first_unsmeared_bin]
209            self._qmax_unsmeared = self.x[self._last_unsmeared_bin]
210
211        # Identify the bin range for the unsmeared and smeared spaces
212        self.idx = (self.x >= self.qmin) & (self.x <= self.qmax)
213        ## zero error can not participate for fitting
214        self.idx = self.idx & (self.dy != 0)
215        self.idx_unsmeared = (self.x >= self._qmin_unsmeared) \
216                            & (self.x <= self._qmax_unsmeared)
217
218    def get_fit_range(self):
219        """
220            Return the range of data.x to fit
221        """
222        return self.qmin, self.qmax
223
224    def size(self):
225        """
226        Number of measurement points in data set after masking, etc.
227        """
228        return len(self.x)
229
230    def residuals(self, fn):
231        """
232            Compute residuals.
233
234            If self.smearer has been set, use if to smear
235            the data before computing chi squared.
236
237            :param fn: function that return model value
238
239            :return: residuals
240        """
241        # Compute theory data f(x)
242        fx = np.zeros(len(self.x))
243        fx[self.idx_unsmeared] = fn(self.x[self.idx_unsmeared])
244
245        ## Smear theory data
246        if self.smearer is not None:
247            fx = self.smearer(fx, self._first_unsmeared_bin,
248                              self._last_unsmeared_bin)
249        ## Sanity check
250        if np.size(self.dy) != np.size(fx):
251            msg = "FitData1D: invalid error array "
252            msg += "%d <> %d" % (np.shape(self.dy), np.size(fx))
253            raise RuntimeError, msg
254        return (self.y[self.idx] - fx[self.idx]) / self.dy[self.idx], fx[self.idx]
255
256    def residuals_deriv(self, model, pars=[]):
257        """
258            :return: residuals derivatives .
259
260            :note: in this case just return empty array
261        """
262        return []
263
264
265class FitData2D(Data2D):
266    """
267        Wrapper class  for SAS data
268    """
269    def __init__(self, sas_data2d, data=None, err_data=None):
270        Data2D.__init__(self, data=data, err_data=err_data)
271        # Data can be initialized with a sas plottable or with vectors.
272        self.res_err_image = []
273        self.num_points = 0 # will be set by set_data
274        self.idx = []
275        self.qmin = None
276        self.qmax = None
277        self.smearer = None
278        self.radius = 0
279        self.res_err_data = []
280        self.sas_data = sas_data2d
281        self.set_data(sas_data2d)
282
283    def set_data(self, sas_data2d, qmin=None, qmax=None):
284        """
285            Determine the correct qx_data and qy_data within range to fit
286        """
287        self.data = sas_data2d.data
288        self.err_data = sas_data2d.err_data
289        self.qx_data = sas_data2d.qx_data
290        self.qy_data = sas_data2d.qy_data
291        self.mask = sas_data2d.mask
292
293        x_max = max(math.fabs(sas_data2d.xmin), math.fabs(sas_data2d.xmax))
294        y_max = max(math.fabs(sas_data2d.ymin), math.fabs(sas_data2d.ymax))
295
296        ## fitting range
297        if qmin is None:
298            self.qmin = 1e-16
299        if qmax is None:
300            self.qmax = math.sqrt(x_max * x_max + y_max * y_max)
301        ## new error image for fitting purpose
302        if self.err_data is None or self.err_data == []:
303            self.res_err_data = np.ones(len(self.data))
304        else:
305            self.res_err_data = copy.deepcopy(self.err_data)
306        #self.res_err_data[self.res_err_data==0]=1
307
308        self.radius = np.sqrt(self.qx_data**2 + self.qy_data**2)
309
310        # Note: mask = True: for MASK while mask = False for NOT to mask
311        self.idx = ((self.qmin <= self.radius) &\
312                            (self.radius <= self.qmax))
313        self.idx = (self.idx) & (self.mask)
314        self.idx = (self.idx) & (np.isfinite(self.data))
315        self.num_points = np.sum(self.idx)
316
317    def set_smearer(self, smearer):
318        """
319            Set smearer
320        """
321        if smearer is None:
322            return
323        self.smearer = smearer
324        self.smearer.set_index(self.idx)
325        self.smearer.get_data()
326
327    def set_fit_range(self, qmin=None, qmax=None):
328        """
329            To set the fit range
330        """
331        if qmin == 0.0:
332            self.qmin = 1e-16
333        elif qmin is not None:
334            self.qmin = qmin
335        if qmax is not None:
336            self.qmax = qmax
337        self.radius = np.sqrt(self.qx_data**2 + self.qy_data**2)
338        self.idx = ((self.qmin <= self.radius) &\
339                            (self.radius <= self.qmax))
340        self.idx = (self.idx) & (self.mask)
341        self.idx = (self.idx) & (np.isfinite(self.data))
342        self.idx = (self.idx) & (self.res_err_data != 0)
343
344    def get_fit_range(self):
345        """
346        return the range of data.x to fit
347        """
348        return self.qmin, self.qmax
349
350    def size(self):
351        """
352        Number of measurement points in data set after masking, etc.
353        """
354        return np.sum(self.idx)
355
356    def residuals(self, fn):
357        """
358        return the residuals
359        """
360        if self.smearer is not None:
361            fn.set_index(self.idx)
362            gn = fn.get_value()
363        else:
364            gn = fn([self.qx_data[self.idx],
365                     self.qy_data[self.idx]])
366        # use only the data point within ROI range
367        res = (self.data[self.idx] - gn) / self.res_err_data[self.idx]
368
369        return res, gn
370
371    def residuals_deriv(self, model, pars=[]):
372        """
373        :return: residuals derivatives .
374
375        :note: in this case just return empty array
376
377        """
378        return []
379
380
381class FitAbort(Exception):
382    """
383    Exception raise to stop the fit
384    """
385    #pass
386    #print"Creating fit abort Exception"
387
388
389
390class FitEngine:
391    def __init__(self):
392        """
393        Base class for the fit engine
394        """
395        #Dictionnary of fitArrange element (fit problems)
396        self.fit_arrange_dict = {}
397        self.fitter_id = None
398
399    def set_model(self, model, id, pars=[], constraints=[], data=None):
400        """
401        set a model on a given  in the fit engine.
402
403        :param model: sas.models type
404        :param id: is the key of the fitArrange dictionary where model is saved as a value
405        :param pars: the list of parameters to fit
406        :param constraints: list of
407            tuple (name of parameter, value of parameters)
408            the value of parameter must be a string to constraint 2 different
409            parameters.
410            Example:
411            we want to fit 2 model M1 and M2 both have parameters A and B.
412            constraints can be ``constraints = [(M1.A, M2.B+2), (M1.B= M2.A *5),...,]``
413
414
415        :note: pars must contains only name of existing model's parameters
416
417        """
418        if not pars:
419            raise ValueError("no fitting parameters")
420
421        if model is None:
422            raise ValueError("no model to fit")
423
424        if not issubclass(model.__class__, Model):
425            model = Model(model, data)
426
427        sasmodel = model.model
428        available_parameters = sasmodel.getParamList()
429        for p in pars:
430            if p not in available_parameters:
431                raise ValueError("parameter %s not available in model %s; use one of [%s] instead"
432                                 %(p, sasmodel.name, ", ".join(available_parameters)))
433
434        if id not in self.fit_arrange_dict:
435            self.fit_arrange_dict[id] = FitArrange()
436
437        self.fit_arrange_dict[id].set_model(model)
438        self.fit_arrange_dict[id].pars = pars
439        self.fit_arrange_dict[id].vals = [sasmodel.getParam(name) for name in pars]
440        self.fit_arrange_dict[id].constraints = constraints
441
442    def set_data(self, data, id, smearer=None, qmin=None, qmax=None):
443        """
444        Receives plottable, creates a list of data to fit,set data
445        in a FitArrange object and adds that object in a dictionary
446        with key id.
447
448        :param data: data added
449        :param id: unique key corresponding to a fitArrange object with data
450        """
451        if data.__class__.__name__ == 'Data2D':
452            fitdata = FitData2D(sas_data2d=data, data=data.data,
453                                 err_data=data.err_data)
454        else:
455            fitdata = FitData1D(x=data.x, y=data.y,
456                                 dx=data.dx, dy=data.dy, smearer=smearer)
457        fitdata.sas_data = data
458
459        fitdata.set_fit_range(qmin=qmin, qmax=qmax)
460        #A fitArrange is already created but contains model only at id
461        if id in self.fit_arrange_dict:
462            self.fit_arrange_dict[id].add_data(fitdata)
463        else:
464        #no fitArrange object has been create with this id
465            fitproblem = FitArrange()
466            fitproblem.add_data(fitdata)
467            self.fit_arrange_dict[id] = fitproblem
468
469    def get_model(self, id):
470        """
471        :param id: id is key in the dictionary containing the model to return
472
473        :return:  a model at this id or None if no FitArrange element was
474            created with this id
475        """
476        if id in self.fit_arrange_dict:
477            return self.fit_arrange_dict[id].get_model()
478        else:
479            return None
480
481    def remove_fit_problem(self, id):
482        """remove   fitarrange in id"""
483        if id in self.fit_arrange_dict:
484            del self.fit_arrange_dict[id]
485
486    def select_problem_for_fit(self, id, value):
487        """
488        select a couple of model and data at the id position in dictionary
489        and set in self.selected value to value
490
491        :param value: the value to allow fitting.
492                can only have the value one or zero
493        """
494        if id in self.fit_arrange_dict:
495            self.fit_arrange_dict[id].set_to_fit(value)
496
497    def get_problem_to_fit(self, id):
498        """
499        return the self.selected value of the fit problem of id
500
501        :param id: the id of the problem
502        """
503        if id in self.fit_arrange_dict:
504            self.fit_arrange_dict[id].get_to_fit()
505
506
507class FitArrange:
508    def __init__(self):
509        """
510        Class FitArrange contains a set of data for a given model
511        to perform the Fit.FitArrange must contain exactly one model
512        and at least one data for the fit to be performed.
513
514        model: the model selected by the user
515        Ldata: a list of data what the user wants to fit
516
517        """
518        self.model = None
519        self.data_list = []
520        self.pars = []
521        self.vals = []
522        self.selected = 0
523
524    def set_model(self, model):
525        """
526        set_model save a copy of the model
527
528        :param model: the model being set
529        """
530        self.model = model
531
532    def add_data(self, data):
533        """
534        add_data fill a self.data_list with data to fit
535
536        :param data: Data to add in the list
537        """
538        if not data in self.data_list:
539            self.data_list.append(data)
540
541    def get_model(self):
542        """
543        :return: saved model
544        """
545        return self.model
546
547    def get_data(self):
548        """
549        :return: list of data data_list
550        """
551        return self.data_list[0]
552
553    def remove_data(self, data):
554        """
555        Remove one element from the list
556
557        :param data: Data to remove from data_list
558        """
559        if data in self.data_list:
560            self.data_list.remove(data)
561
562    def set_to_fit(self, value=0):
563        """
564        set self.selected to 0 or 1  for other values raise an exception
565
566        :param value: integer between 0 or 1
567        """
568        self.selected = value
569
570    def get_to_fit(self):
571        """
572        return self.selected value
573        """
574        return self.selected
575
576class FResult(object):
577    """
578    Storing fit result
579    """
580    def __init__(self, model=None, param_list=None, data=None):
581        self.calls = None
582        self.fitness = None
583        self.chisqr = None
584        self.pvec = []
585        self.cov = []
586        self.info = None
587        self.mesg = None
588        self.success = None
589        self.stderr = None
590        self.residuals = []
591        self.index = []
592        self.model = model
593        self.data = data
594        self.theory = []
595        self.param_list = param_list
596        self.iterations = 0
597        self.inputs = []
598        self.fitter_id = None
599        if self.model is not None and self.data is not None:
600            self.inputs = [(self.model, self.data)]
601
602    def set_model(self, model):
603        """
604        """
605        self.model = model
606
607    def set_fitness(self, fitness):
608        """
609        """
610        self.fitness = fitness
611
612    def __str__(self):
613        """
614        """
615        if self.pvec is None and self.model is None and self.param_list is None:
616            return "No results"
617
618        sasmodel = self.model.model
619        pars = enumerate(sasmodel.getParamList())
620        msg1 = "[Iteration #: %s ]" % self.iterations
621        msg3 = "=== goodness of fit: %s ===" % (str(self.fitness))
622        msg2 = ["P%-3d  %s......|.....%s" % (i, v, sasmodel.getParam(v))
623                for i,v in pars if v in self.param_list]
624        msg = [msg1, msg3] + msg2
625        return "\n".join(msg)
626
627    def print_summary(self):
628        """
629        """
630        print(str(self))
Note: See TracBrowser for help on using the repository browser.