source: sasview/park_integration/AbstractFitEngine.py @ 92320e5

ESS_GUIESS_GUI_DocsESS_GUI_batch_fittingESS_GUI_bumps_abstractionESS_GUI_iss1116ESS_GUI_iss879ESS_GUI_iss959ESS_GUI_openclESS_GUI_orderingESS_GUI_sync_sascalccostrafo411magnetic_scattrelease-4.1.1release-4.1.2release-4.2.2release_4.0.1ticket-1009ticket-1094-headlessticket-1242-2d-resolutionticket-1243ticket-1249ticket885unittest-saveload
Last change on this file since 92320e5 was 109e60ab, checked in by Mathieu Doucet <doucetm@…>, 16 years ago

Added first attempt at resolution smearing

  • Property mode set to 100644
File size: 19.5 KB
Line 
1
2import park,numpy
3
4class SansParameter(park.Parameter):
5    """
6        SANS model parameters for use in the PARK fitting service.
7        The parameter attribute value is redirected to the underlying
8        parameter value in the SANS model.
9    """
10    def __init__(self, name, model):
11        """
12            @param name: the name of the model parameter
13            @param model: the sans model to wrap as a park model
14        """
15        self._model, self._name = model,name
16        #set the value for the parameter of the given name
17        self.set(model.getParam(name))
18         
19    def _getvalue(self):
20        """
21            override the _getvalue of park parameter
22            @return value the parameter associates with self.name
23        """
24        return self._model.getParam(self.name)
25   
26    def _setvalue(self,value):
27        """
28            override the _setvalue pf park parameter
29            @param value: the value to set on a given parameter
30        """
31        self._model.setParam(self.name, value)
32       
33    value = property(_getvalue,_setvalue)
34   
35    def _getrange(self):
36        """
37            Override _getrange of park parameter
38            return the range of parameter
39        """
40        lo,hi = self._model.details[self.name][1:]
41        if lo is None: lo = -numpy.inf
42        if hi is None: hi = numpy.inf
43        return lo,hi
44   
45    def _setrange(self,r):
46        """
47            override _setrange of park parameter
48            @param r: the value of the range to set
49        """
50        self._model.details[self.name][1:] = r
51    range = property(_getrange,_setrange)
52   
53class Model(park.Model):
54    """
55        PARK wrapper for SANS models.
56    """
57    def __init__(self, sans_model, **kw):
58        """
59            @param sans_model: the sans model to wrap using park interface
60        """
61        park.Model.__init__(self, **kw)
62        self.model = sans_model
63        self.name = sans_model.name
64        #list of parameters names
65        self.sansp = sans_model.getParamList()
66        #list of park parameter
67        self.parkp = [SansParameter(p,sans_model) for p in self.sansp]
68        #list of parameterset
69        self.parameterset = park.ParameterSet(sans_model.name,pars=self.parkp)
70        self.pars=[]
71 
72 
73    def getParams(self,fitparams):
74        """
75            return a list of value of paramter to fit
76            @param fitparams: list of paramaters name to fit
77        """
78        list=[]
79        self.pars=[]
80        self.pars=fitparams
81        for item in fitparams:
82            for element in self.parkp:
83                 if element.name ==str(item):
84                     list.append(element.value)
85        return list
86   
87   
88    def setParams(self,paramlist, params):
89        """
90            Set value for parameters to fit
91            @param params: list of value for parameters to fit
92        """
93        try:
94            for i in range(len(self.parkp)):
95                for j in range(len(paramlist)):
96                    if self.parkp[i].name==paramlist[j]:
97                        self.parkp[i].value = params[j]
98                        self.model.setParam(self.parkp[i].name,params[j])
99        except:
100            raise
101 
102    def eval(self,x):
103        """
104            override eval method of park model.
105            @param x: the x value used to compute a function
106        """
107        return self.model.runXY(x)
108   
109   
110
111
112class Data(object):
113    """ Wrapper class  for SANS data """
114    def __init__(self,x=None,y=None,dy=None,dx=None,sans_data=None):
115        """
116            Data can be initital with a data (sans plottable)
117            or with vectors.
118        """
119        if  sans_data !=None:
120            self.x= sans_data.x
121            self.y= sans_data.y
122            self.dx= sans_data.dx
123            self.dy= sans_data.dy
124           
125        elif (x!=None and y!=None and dy!=None):
126                self.x=x
127                self.y=y
128                self.dx=dx
129                self.dy=dy
130        else:
131            raise ValueError,\
132            "Data is missing x, y or dy, impossible to compute residuals later on"
133        self.qmin=None
134        self.qmax=None
135       
136       
137    def setFitRange(self,mini=None,maxi=None):
138        """ to set the fit range"""
139        self.qmin=mini
140        self.qmax=maxi
141       
142       
143    def getFitRange(self):
144        """
145            @return the range of data.x to fit
146        """
147        return self.qmin, self.qmax
148     
149     
150    def residuals(self, fn):
151        """ @param fn: function that return model value
152            @return residuals
153        """
154        x,y,dy = [numpy.asarray(v) for v in (self.x,self.y,self.dy)]
155        if self.qmin==None and self.qmax==None: 
156            fx =numpy.asarray([fn(v) for v in x])
157            return (y - fx)/dy
158        else:
159            idx = (x>=self.qmin) & (x <= self.qmax)
160            fx = numpy.asarray([fn(item)for item in x[idx ]])
161            return (y[idx] - fx)/dy[idx]
162       
163    def residuals_deriv(self, model, pars=[]):
164        """
165            @return residuals derivatives .
166            @note: in this case just return empty array
167        """
168        return []
169class FitData1D(object):
170    """ Wrapper class  for SANS data """
171    def __init__(self,sans_data1d):
172        """
173            Data can be initital with a data (sans plottable)
174            or with vectors.
175           
176            self.smearer is an object of class QSmearer or SlitSmearer
177            that will smear the theory data (slit smearing or resolution
178            smearing) when set.
179           
180            The proper way to set the smearing object would be to
181            do the following:
182           
183            from DataLoader.qsmearing import smear_selection
184            fitdata1d = FitData1D(some_data)
185            fitdata1d.smearer = smear_selection(some_data)
186           
187            Note that some_data _HAS_ to be of class DataLoader.data_info.Data1D
188           
189            Setting it back to None will turn smearing off.
190           
191        """
192        ## Smearing object
193        self.smearer = None
194
195        # Initialize from Data1D object
196        self.data=sans_data1d
197        self.x= sans_data1d.x
198        self.y= sans_data1d.y
199        self.dx= sans_data1d.dx
200        self.dy= sans_data1d.dy
201       
202        ## Min Q-value
203        self.qmin=None
204        ## Max Q-value
205        self.qmax=None
206       
207       
208    def setFitRange(self,qmin=None,qmax=None,ymin=None,ymax=None,):
209        """ to set the fit range"""
210        self.qmin=qmin
211        self.qmax=qmax
212       
213       
214    def getFitRange(self):
215        """
216            @return the range of data.x to fit
217        """
218        return self.qmin, self.qmax
219     
220     
221    def residuals(self, fn):
222        """
223            Compute residuals.
224           
225            If self.smearer has been set, use if to smear
226            the data before computing chi squared.
227           
228            @param fn: function that return model value
229            @return residuals
230        """
231        x,y,dy = [numpy.asarray(v) for v in (self.x,self.y,self.dy)]
232           
233        # Find entries to consider
234        if self.qmin==None and self.qmax==None:
235            idx = Ellipsis
236        else:
237            idx = (x>=self.qmin) & (x <= self.qmax)
238                       
239        # Compute theory data f(x)
240        fx = numpy.zeros(len(x))
241        fx[idx] = numpy.asarray([fn(v) for v in x[idx]])
242       
243        # Smear theory data
244        if self.smearer is not None:
245            fx = self.smearer(fx)
246           
247        # Sanity check
248        if numpy.size(dy) < numpy.size(x):
249            raise RuntimeError, "FitData1D: invalid error array"
250                           
251        return (y[idx] - fx[idx])/dy[idx]
252     
253    def residuals_old(self, fn):
254        """ @param fn: function that return model value
255            @return residuals
256        """
257        x,y,dy = [numpy.asarray(v) for v in (self.x,self.y,self.dy)]
258        if self.qmin==None and self.qmax==None: 
259            fx =numpy.asarray([fn(v) for v in x])
260            return (y - fx)/dy
261        else:
262            idx = (x>=self.qmin) & (x <= self.qmax)
263            fx = numpy.asarray([fn(item)for item in x[idx ]])
264            return (y[idx] - fx)/dy[idx]
265       
266    def residuals_deriv(self, model, pars=[]):
267        """
268            @return residuals derivatives .
269            @note: in this case just return empty array
270        """
271        return []
272   
273   
274class FitData2D(object):
275    """ Wrapper class  for SANS data """
276    def __init__(self,sans_data2d):
277        """
278            Data can be initital with a data (sans plottable)
279            or with vectors.
280        """
281        self.data=sans_data2d
282        self.image = sans_data2d.image
283        self.err_image = sans_data2d.err_image
284        self.x_bins= sans_data2d.x_bins
285        self.y_bins= sans_data2d.y_bins
286       
287        self.xmin= self.data.xmin
288        self.xmax= self.data.xmax
289        self.ymin= self.data.ymin
290        self.ymax= self.data.ymax
291       
292       
293    def setFitRange(self,qmin=None,qmax=None,ymin=None,ymax=None):
294        """ to set the fit range"""
295        self.xmin= qmin
296        self.xmax= qmax
297        self.ymin= ymin
298        self.ymax= ymax
299       
300    def getFitRange(self):
301        """
302            @return the range of data.x to fit
303        """
304        return self.xmin, self.xmax,self.ymin, self.ymax
305     
306     
307    def residuals(self, fn):
308        """ @param fn: function that return model value
309            @return residuals
310        """
311        res=[]
312        if self.xmin==None:
313            self.xmin= self.data.xmin
314        if self.xmax==None:
315            self.xmax= self.data.xmax
316        if self.ymin==None:
317            self.ymin= self.data.ymin
318        if self.ymax==None:
319            self.ymax= self.data.ymax
320           
321        for i in range(len(self.y_bins)):
322            #if self.y_bins[i]>= self.ymin and self.y_bins[i]<= self.ymax:
323            for j in range(len(self.x_bins)):
324                #if self.x_bins[j]>= self.xmin and self.x_bins[j]<= self.xmax:
325                res.append( (self.image[j][i]- fn([self.x_bins[j],self.y_bins[i]]))\
326                            /self.err_image[j][i] )
327       
328        return numpy.array(res)
329       
330         
331    def residuals_deriv(self, model, pars=[]):
332        """
333            @return residuals derivatives .
334            @note: in this case just return empty array
335        """
336        return []
337   
338class sansAssembly:
339    """
340         Sans Assembly class a class wrapper to be call in optimizer.leastsq method
341    """
342    def __init__(self,paramlist,Model=None , Data=None):
343        """
344            @param Model: the model wrapper fro sans -model
345            @param Data: the data wrapper for sans data
346        """
347        self.model = Model
348        self.data  = Data
349        self.paramlist=paramlist
350        self.res=[]
351    def chisq(self, params):
352        """
353            Calculates chi^2
354            @param params: list of parameter values
355            @return: chi^2
356        """
357        sum = 0
358        for item in self.res:
359            sum += item*item
360        return sum
361    def __call__(self,params):
362        """
363            Compute residuals
364            @param params: value of parameters to fit
365        """
366        self.model.setParams(self.paramlist,params)
367        self.res= self.data.residuals(self.model.eval)
368        return self.res
369   
370class FitEngine:
371    def __init__(self):
372        """
373            Base class for scipy and park fit engine
374        """
375        #List of parameter names to fit
376        self.paramList=[]
377        #Dictionnary of fitArrange element (fit problems)
378        self.fitArrangeDict={}
379       
380    def _concatenateData(self, listdata=[]):
381        """ 
382            _concatenateData method concatenates each fields of all data contains ins listdata.
383            @param listdata: list of data
384            @return Data: Data is wrapper class for sans plottable. it is created with all parameters
385             of data concatenanted
386            @raise: if listdata is empty  will return None
387            @raise: if data in listdata don't contain dy field ,will create an error
388            during fitting
389        """
390        #TODO: we have to refactor the way we handle data.
391        # We should move away from plottables and move towards the Data1D objects
392        # defined in DataLoader. Data1D allows data manipulations, which should be
393        # used to concatenate.
394        # In the meantime we should switch off the concatenation.
395        #if len(listdata)>1:
396        #    raise RuntimeError, "FitEngine._concatenateData: Multiple data files is not currently supported"
397        #return listdata[0]
398       
399        if listdata==[]:
400            raise ValueError, " data list missing"
401        else:
402            xtemp=[]
403            ytemp=[]
404            dytemp=[]
405            self.mini=None
406            self.maxi=None
407               
408            for item in listdata:
409                data=item.data
410                mini,maxi=data.getFitRange()
411                if self.mini==None and self.maxi==None:
412                    self.mini=mini
413                    self.maxi=maxi
414                else:
415                    if mini < self.mini:
416                        self.mini=mini
417                    if self.maxi < maxi:
418                        self.maxi=maxi
419                       
420                   
421                for i in range(len(data.x)):
422                    xtemp.append(data.x[i])
423                    ytemp.append(data.y[i])
424                    if data.dy is not None and len(data.dy)==len(data.y):   
425                        dytemp.append(data.dy[i])
426                    else:
427                        raise RuntimeError, "Fit._concatenateData: y-errors missing"
428            data= Data(x=xtemp,y=ytemp,dy=dytemp)
429            data.setFitRange(self.mini, self.maxi)
430            return data
431       
432       
433    def set_model(self,model,Uid,pars=[]):
434        """
435            set a model on a given uid in the fit engine.
436            @param model: the model to fit
437            @param Uid :is the key of the fitArrange dictionnary where model is saved as a value
438            @param pars: the list of parameters to fit
439            @note : pars must contains only name of existing model's paramaters
440        """
441        if len(pars) >0:
442            if model==None:
443                raise ValueError, "AbstractFitEngine: Specify parameters to fit"
444            else:
445                for item in pars:
446                    if item in model.model.getParamList():
447                        self.paramList.append(item)
448                    else:
449                        raise ValueError,"wrong paramter %s used to set model %s. Choose\
450                            parameter name within %s"%(item, model.model.name,str(model.model.getParamList()))
451                        return
452            #A fitArrange is already created but contains dList only at Uid
453            if self.fitArrangeDict.has_key(Uid):
454                self.fitArrangeDict[Uid].set_model(model)
455            else:
456            #no fitArrange object has been create with this Uid
457                fitproblem = FitArrange()
458                fitproblem.set_model(model)
459                self.fitArrangeDict[Uid] = fitproblem
460        else:
461            raise ValueError, "park_integration:missing parameters"
462   
463    def set_data(self,data,Uid,qmin=None,qmax=None,ymin=None,ymax=None):
464        """ Receives plottable, creates a list of data to fit,set data
465            in a FitArrange object and adds that object in a dictionary
466            with key Uid.
467            @param data: data added
468            @param Uid: unique key corresponding to a fitArrange object with data
469        """
470        if data.__class__.__name__=='Data2D':
471            fitdata=FitData2D(data)
472        else:
473            fitdata=FitData1D(data)
474       
475        fitdata.setFitRange(qmin=qmin,qmax=qmax, ymin=ymin,ymax=ymax)
476        #A fitArrange is already created but contains model only at Uid
477        if self.fitArrangeDict.has_key(Uid):
478            self.fitArrangeDict[Uid].add_data(fitdata)
479        else:
480        #no fitArrange object has been create with this Uid
481            fitproblem= FitArrange()
482            fitproblem.add_data(fitdata)
483            self.fitArrangeDict[Uid]=fitproblem   
484   
485    def get_model(self,Uid):
486        """
487            @param Uid: Uid is key in the dictionary containing the model to return
488            @return  a model at this uid or None if no FitArrange element was created
489            with this Uid
490        """
491        if self.fitArrangeDict.has_key(Uid):
492            return self.fitArrangeDict[Uid].get_model()
493        else:
494            return None
495   
496    def remove_Fit_Problem(self,Uid):
497        """remove   fitarrange in Uid"""
498        if self.fitArrangeDict.has_key(Uid):
499            del self.fitArrangeDict[Uid]
500           
501    def select_problem_for_fit(self,Uid,value):
502        """
503            select a couple of model and data at the Uid position in dictionary
504            and set in self.selected value to value
505            @param value: the value to allow fitting. can only have the value one or zero
506        """
507        if self.fitArrangeDict.has_key(Uid):
508             self.fitArrangeDict[Uid].set_to_fit( value)
509    def get_problem_to_fit(self,Uid):
510        """
511            return the self.selected value of the fit problem of Uid
512           @param Uid: the Uid of the problem
513        """
514        if self.fitArrangeDict.has_key(Uid):
515             self.fitArrangeDict[Uid].get_to_fit()
516   
517class FitArrange:
518    def __init__(self):
519        """
520            Class FitArrange contains a set of data for a given model
521            to perform the Fit.FitArrange must contain exactly one model
522            and at least one data for the fit to be performed.
523            model: the model selected by the user
524            Ldata: a list of data what the user wants to fit
525           
526        """
527        self.model = None
528        self.dList =[]
529        #self.selected  is zero when this fit problem is not schedule to fit
530        #self.selected is 1 when schedule to fit
531        self.selected = 0
532       
533    def set_model(self,model):
534        """
535            set_model save a copy of the model
536            @param model: the model being set
537        """
538        self.model = model
539       
540    def add_data(self,data):
541        """
542            add_data fill a self.dList with data to fit
543            @param data: Data to add in the list 
544        """
545        if not data in self.dList:
546            self.dList.append(data)
547           
548    def get_model(self):
549        """ @return: saved model """
550        return self.model   
551     
552    def get_data(self):
553        """ @return:  list of data dList"""
554        #return self.dList
555        return self.dList[0] 
556     
557    def remove_data(self,data):
558        """
559            Remove one element from the list
560            @param data: Data to remove from dList
561        """
562        if data in self.dList:
563            self.dList.remove(data)
564    def set_to_fit (self, value=0):
565        """
566           set self.selected to 0 or 1  for other values raise an exception
567           @param value: integer between 0 or 1
568        """
569        self.selected= value
570       
571    def get_to_fit(self):
572        """
573            @return self.selected value
574        """
575        return self.selected
576   
577
578
579   
Note: See TracBrowser for help on using the repository browser.