Estimation of a regression function by maxima of minima of linear functions

Abstract

The estimation of a multivariate regression function from independent and identically distributed random variables is considered. First we propose and analyse estimates which are defined by minimisation of the empirical L_{2} risk over a class of functions consisting of maxima of minima of linear functions. It is shown that the estimates are strongly universally consistent. Moreover results concerning the rate of convergence of the estimates with data-dependent parameter choice using "splitting the sample'; are derived in the case of an unbounded response variable. In particular it is shown that, for smooth regression functions satisfying the assumptions of single index models, the estimate is able to achieve (up to some logarithmic factor) the corresponding optimal one—dimesional rate of convergence. In this context it is remarkable that this newly proposed estimate can be computed in applications (see the appendix). Furthermore an L_{2} boosting algorithm for estimation of a regression function is presented. This method repeatedly fits a function from a fixed function space to the residuals of the data and the number of iteration steps is chosen data—dependently by "splitting the sample';. A general result concerning the rate of convergence of the algorithm is derived in the case of an unbounded response variable. Finally this method is used to fit a sum of maxima of minima of linear functions to a given set of data. The derived rate of convergence of the corresponding estimate does not depend on the dimension of the observation variable.

Die vorliegende Arbeit beschäftigt sich mit der Schätzung multivariater Regressionsfunktionen anhand von unabhängig und identisch verteilten Zufallsvariablen. Zunächst wird ein neues Schätzverfahren vorgestellt, welches auf der Minimierung des empirischen L_{2}—Risikos bezüglich einer Funktionenklasse, die aus Maxima von Minima von linearen Funtionen besteht, basiert. Für dieses Schätzverfahren wird zunächst die starke universelle Konsistenz nachgewiesen. Weiterhin werden sowohl für diesen Schätzer als auch für das entsprechende Schätzverfahren mit datenabhängiger Parameterwahl (mittels "Splitting the Sample") die entsprechenden Konvergenzraten hergeleitet. Diese Konvergenzraten gelten insbesondere auch dann, wenn die abhängige Variable unbeschränkt ist. Insbesondere wird gezeigt, dass unter den Voraussetzungen des "Single Index Models" die (bis auf einen logarithmischen Faktor) zugehörige optimale eindimensionale Konvergenzrate erreicht wird. Weiterhin wird in dieser Arbeit ein L_{2}—Boosting—Algorithmus zur Schätzung multivariater Regressionsfunktionen vorgestellt. Bei diesem Verfahren werden schrittweise Funktionen eines festgewählten Funktionenraumes an die Residuen der Daten angepasst. Auch hierbei erfolgt die Wahl der Anzahl der Iterationsschritte wieder datenabhängig. Es wird für diesen L_{2}—Boosting—Algorithmus zunächst ein allgemeines Resultat bezüglich der Konvergenzrate hergeleitet, welches auch in dem Fall einer unbeschränkten abhängigen Variablen gilt. Abschließend wird dieses Verfahren verwendet, um einen Schätzer zu konstruieren, der als Summe von Maxima von Minima von linearen Funktionen dargestellt werden kann. Die für diesen Schätzer hergeleitete Konvergenzrate hängt nicht mehr von der Dimension der unabhängigen Variablen ab.