oracle inequalities for efromovich–pinsker blockwise estimates

20
Methodology and Computing in Applied Probability, 6, 303±322, 2004 # 2004 Kluwer Academic Publishers. Manufactured in The Netherlands. Oracle Inequalities for Efromovich±Pinsker Blockwise Estimates SAM EFROMOVICH [email protected] Department of Mathematics and Statistics, The University of New Mexico, Albuquerque, NM, 87131, USA Received December 19, 2002; Revised January 9, 2004; Accepted January 16, 2004 Abstract. Oracle inequality is a relatively new statistical tool for the analysis of nonparametric adaptive estimates. Oracle is a good pseudo-estimate that is based on both data and an underlying estimated curve. An oracle inequality shows how well an adaptive estimator mimics the oracle for a particular underlying curve. The most advanced oracle inequalities have been recently obtained by Cavalier and Tsybakov (2001) for Stein type blockwise estimates used in ®ltering a signal from a stationary white Gaussian process. The authors also conjecture that a similar result can be obtained for Efromovich±Pinsker (EP) type blockwise estimators where their approach, based on Stein's formula for risk calculation, does not work. This article proves the conjecture and extends it upon more general models which include not stationary and dependent processes. Other possible extensions, a discussion of practical implications and a numerical study are also presented. Keywords: adaptation, asymptotic, ®ltering, mean integrated squared error, non-Gaussian noise, nonparametric, Stein estimator, wavelets AMS 2000 Subject Classification: Primary: 62G07, 62G20; Secondary: 62N01 1. Introduction Oracle inequalities have become an important tool in the analysis of adaptive nonparametric estimates. Different types of oracle inequalities and their discussion can be found in Kneip (1994), Donoho and Johnstone (1994, 1995), Johnstone (1998), Cai (1999), and Birge and Massart (2001). The most advanced results are obtained in the recent article by Cavalier and Tsybakov (2001) (in what follows the article and/or the authors will be referred to as CT). Let us brie¯y recall the setting considered and results obtained. The studied ®ltering model is a classical one with an additive stationary white standard Gaussian noise, and the model is written in Fourier, wavelet or any other orthogonal basis domain. The observations are y k y k ex k ; k 1; 2; ... ; 1 where x k are independent standard Gaussian random variables (stationary process), 0 < e < 1 and y fy 1 ; y 2 ; ...g is an unknown vector-parameter of interest such that kyk 2 : P ? k 1 y 2 k < ?. The estimate studied is a Stein type blockwise estimator (CT call it a penalized Stein estimator),

Upload: sam-efromovich

Post on 06-Aug-2016

213 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: Oracle Inequalities for Efromovich–Pinsker Blockwise Estimates

���������� �� �� ������ �� ������� ���������� �� �������� ����

� ���� ������ ���� �� ���������� ���!������ �� "�� #���������

������ ��������� ��� �������������� ���������� � � ������

$�� %&'(�()*�+ �!�� , �� �� ���

���������� �������� �� ��� ���� �� ��� ��� �� ���� �� ��� ��� �� ������������ ��� � !"!� ���

#��� ��� �������� !$� %&&%' #�� ��� (������ $� %&&)' �������� (������ !*� %&&)

�� ������ (���� ���-���� �� �����.�� ��� ��������� ���� !�� ��� ����� �! ����� ����� ����.�

���� ��� (���� �� ���� ������/���� �� ��� �� ���� �� ���� �� �� � ��������� ���� ��� ���.� ��

����� ���-���� ����� ��� ���� � ����.� ���� ��� � ��� ��� ����� !�� �������� ��������� ���.� "��

��� �.���� ����� ���-������� �.� ���� ������� ������� � �.���� �� "��0�. 1���23 !�� $���� ���

����0���� ���� ��� ���� �� 4������� ����� !�� ������� ����� 5����� ������� "�� ������ ���

���6������ ��� �� ��� ������ �� �� ������� !�� %!�� �.��������0�� 1%�3 ��� ����0���� ���� ���� �����

����� ������� ���� �� $����7� !�� �� !�� ���0 ���������� ���� ��� ���0 "��� ������ ���.�� ��� ���6������ ��

�8����� �� ���� ��� ������ ����� ����� ������� ��� ������� �� ��������� ��������� (���� ��������

�8��������� ���������� �! ������� � ��������� �� �� ����� ���� �� ��� ���������

������� � �������� � ������� 4�������� �� ��������� �-���� ������ ���/5����� ������ ����� ������

$���� ���� ���� �.�����

� ! "### !�$��� %�� ���������� ��� �9 ��5�:� ��5��; $������9 ��#�2

&� �����������

(���� ���-������� �.� ���� � � � ������ ���� �� ��� ����� �! ����.�

����� ����� ���� ��� <�!!����� ���� �! ����� ���-������� �� ����� ���������� ��

�� !���� �� ����� 12==�3� <����� �� >�������� 12==�� 2==?3� >�������� 12==@3� ��

12===3� �� A���� �� ����� 1���23

"�� ��� �.���� ������� �� ������� �� ��� ������ ������ � �.���� �� "��0�.

1���23 1�� ��� !������ ��� ������ ��B�� ��� ������ ���� �� ��!����� �� � �"3 C�� ��

����D ����� ��� ������� ���������� �� ������� ������� "�� ������� 4������� ���� ��

������� ��� ���� � �����.� ������� ����� ������ 5����� ������ �� ��� ���� ��

������� �� &������� �.���� �� � ����� ��������� ���� �� �� "�� �����.����� ��

�+ � �+ � ��+� + � 2� �� � � � � �2�

����� �+ �� ����������� ������ 5����� ���� .������ 1������� �������3�

� � � � 2 �� � � ��2� ��� � � �� �� � ��0���� .�����/�� ���� �! �������� ���� ���

��������

+� 2 ��+ � � "�� ���� �� ������� �� $���� ��� ����0���� ���� ��� 1�" ���

�� �����E�� $���� ���� ���3�

Page 2: Oracle Inequalities for Efromovich–Pinsker Blockwise Estimates

��+ ��+� �! + �,- ���� - ����

�+�2 � ���-�2 � �-����� �- �� � �! + �,- ���� - � ��� - (�

�� ����������

��� ���

����� �,-� - � 2� �� � � �� �� ��� �.�������� ����0� �! ������.� �������� ��� ��.��

�� ������.� �������� �� ������� ��� ���������� �- ������� �������� �! ��� ����0

,-� � �- � 2 �� ���������� 1�" ��!�� �� 2 � �- � ��� �����3� ����- ��

�+ �,-

��+ �

�� � � - � �- ���2 � �-�� - ( �� �� ���� �� 8��� �� +��� �� �� ��� !������ ���

����0� �,-�� ��� ���������� ��-� �� ��� �� ���� ( �� ��� �� �� �� ��.��

*� �� ���� 0���� ��� �� �-���� ����� �! � ����� ����0���� ���� ��� �! ��� !�� ��+ � �-�+� + �,- �� ��� �E�� � ��� !�������� ����� �����0�� ���!4����� ��- ���� �� ���

��������� ��

��- �����

-

����- � �-��

� ���

*� ����� ������ ��� � ����2� ����� � � �� ���� ���+ � ��- �+� + �,- �� ���.� � ����� ����0����

����� #��� ��� ���� ����� �� ����� � ���� �� �.��� ������� �����0�� ���!4������

!�� ��� ����0� *� ��� �� �8������� ��� 8 ����������� ��� ��� ���������� �� >��������

12==@3 �� %!�� �.��� 12===3

"���� �� �� ����� �� ��� ��� �� �-���� ����� �! ���� ����� � ����� �0 !�� ��� ���0

�! � ����0���� ���� ��� � �� ��� ��������� ����� ���

.���� � ��� ��(-� 2

�+ �,-

.���- �+ � �+�� ��-� (

����-

� ���(-� 2

�-��- ��-� (

����- � ���

#�� �� �� !�� ���� ��� �! ��� �� ������� ������� �� �" <�4�� !�� �.��

� � 2� �� � � � � (

�� ��(-��

�� ����������������2 � �-

��-

��������-�

��

�8� � �-��-

��2 � �-�

� � �?�

�� � 8� - (

���- � ��-�

� 2- � �� � 2

- �2��� ���

"+%('%� 2 1�"3 /�� ��� ��� 0���� �1 ���� 2!3� ��� ��� �� � ���2����� � � �� �� ��� ��� �

���+� �� ��� ���� 2%34 ���� � ��� ��� � � ��� � � � � 2�

.���� ��� ��2� (

�2 � ���.���� � ��� � �� �� �

��� 2

-� 2

�-

� �� ��

�- ���

�-� �:�

����� �� ������ ���

-� 2 � �

*� ��� !������ �� ��!�� �� ��� ����� ���-���� 1:3 � ��� �" ����� ���-����

�" ���� ���� ��������� �� �������� ������ �! ����0� �� ����������� ��� �" �����

��� %&'(�()*�+

Page 3: Oracle Inequalities for Efromovich–Pinsker Blockwise Estimates

���-���� � ����� ����� ���������� ������� ����� ���-������� *� ��������� �! 1:3 �����

!�� � ���� ��� �� ����� ����� �� � �����4� ��� ������ �� ��� ����0� �� ����������� ���

�� ��� ��/����� �8�� ����� ���-���� .���� ��� �2 � �2��.���� � ���� ����

�2�� � � �� � J���� ����� ��� ������ ��� !���� 2 � �2� �� �� ������� �

�������� �� ���� ��� ��� ���-���� �� ����� � ����8� �� ����� ���-���� �����.���

�� �� � ���� 1:3 � ����� � ��0��� ����� ����� ���� ���������� ���������

�����0�� ���!4������ "�� ����� �� ��!����� �� �" !�� ��� ������ ���� ����� �� �����

���������� �! ��� �" ����� ���-���� "�� ���������� �� ��� !�� �������� ����.�

���� ��� �� ��!4��� �� �������� ��� �" ����� ���-����� ���� ��� ������ ���� !����� �

����������

���� �! $���� ����0���� ���� ����� ��� ����� ����� ��������� ��� �������

%!�� �.��������0�� 1%�3 ����0���� ���� ����� ��� ��� ���������� �� %!�� �.��� ��

����0�� 12=@�3� ���0����� �� ��4 12==�3� +�� �� ��4 12==@� 2===3� >�������� 12==@3�

���� 12===3� )��0�.�� 12===3� �� %!�� �.��� 12===3

*� ��������� �" ��!�� �� ��� %� ���� ��� ��.5 � ���.52 � ��.5� � � � �� ����

��.5+ � �2 � ���-���� �- � 6�����

- � ���-�2 � �-���+ �! + �,-� - (�� ���������

��@�

+��� 6� � � �� ��� ��������

#��� ��� ��� ��!!������ ������� ��� %� ���� ��� �� ��� $���� ���� ��� 1�3 �� ��� ��

��� ��� �! ������������ ���� (� ��� ����� ���� �" ������ ��� ����� ������-�� �!

�������� ����� ���-������� �� ���� �� ��� ! ��� $���� !�� �� !�� ���0 ��������� ���

����� �� ������ �� ��� ������������� ���/��������� �����0�� 1��� ���������� ����� ��

4�� ��� ���� ���� ����� ���� �� ��� �����-������ �� >��������� 2==@3

"��� �.���� �� "��0�. 1���2� � �?�3 ���� ��� ��� ������ �! 4����� �����

���-������� !�� %�/���� ��� �� ����� �� �" ���6������ ��� �� �� �� ���.��

"��� ������ ���.�� ��� �" ���6������ �� �8���� ��� �" ������� ���� ����� ���� �!

��������� ��������� *� ��������� ��� ������� �� ��������� ��������� �� ����������

��� �� � ������ !�� ��� ����� �! ����.� �����.���� ���� ��� 1��� ��� ���������� ��

<����� �� $��.�� �� 2==@� �� %!�� �.���� ���23 "�� ������ ��� � ���� ��!!�����

������-�� ���� �� %!�� �.��� 12=@?3; ����� ��� $����7� !�� �� �� ��� 0� �� ��� �"

�����

"�� ������� �! ��� ������ �� � !������ (���� ���-������� �� ��������� �� $������ �

$������ � �� ��.���� �� ���������� �! ��� ������� ������� *� ��� �������� �� �����

���� ��� ���� ��� ����� �� ������ ��������� ��� ��� ��E�� ���� ��� ���!��

����!� �� ��������� ����� $������ �

"� ������ ��������� ��� �� � ������

*� ���� �������� �� �������� ���� 123 ���� ���8�� ��� ������ ���� ��� ���������

������� �2� ��� � � � #� ������ �� �� ��� �� ��� �� �� �������� ����������� �� �� �����4�

������������ *������ �� �� ��� �� ��� ��2� ��� � � �� �� ������� ���� E��� ��� ����

.����� �� ���!�� � ������� ������ � ����; ��� ���� .������ �� �� ���������

('��C% *#%KJ�C*"*%$ ��?

Page 4: Oracle Inequalities for Efromovich–Pinsker Blockwise Estimates

�� ��� ��������� ����������� "��� 0�� ����� ���-������� ������ A����� ��� %�/

��� ���� ��� �� ����������� �� �� ��� �� ��� �- � � *� �� ��� ��� �� ��� ��� � �

F� ����� ���� �������� ����������� ��� ��� ��� 0� ���� �� ��� ����� �� ��� ��

�� ���� !�� � ��������� ���� ��������� ������ ���� ����� ����������� ���

'���� ��� !�� ��� 4������� ���� ���������� �� "����� 2 �� �.�

.���� � ���- � ����- �- ����� ��- �� ��4��� �� 1�3 <����� �- � � � 2

- ����-

C%��� 2 /�� ��� � ���� ����� ���+ ,-� - � �2� �� � � � � (�4 ������ ���� ��� ����� ��+ ���������� �+� + �,- ��� ��� �����

.�����- � ����

- � ���-�2 � #-�� �=�

��� � ��� ������� ������� /� � �

. �����- � ���- � ����

-

��

/��� ����

- � ���-

��

� �2��

7�� ��.5 �� �� .5 ��� ���� 1�3 � �� �+ �������� �� ��+� + �,- ���� � ��� �- � �

.���.5 � ���- ����- �- � ���- ��- ��

- � ���- �� �22�

�����

��- �� �- � �2 � �� 2

- ��/

2��� � � 2

- �2 � ��� 2- � � /��

�- ��-��

- �� ��2 � ��-��

� �2 � �-���- #- � �����- �2 � �-�� ��-�6��- � ��-����� �2��

���- �� �/� 2 � �� 2

-

� ���-�-�� �6 �- �

2

� ��-�

� �� �2��

&�� 4������� ���� 123 �� �� ����� �� ������ ��+ � �+� �� ���� � ����� ����������� �!

��� ���� �� �� ��� ������� #-�� �� 1=3 ����� �� �� ��� ��!4���� �� ����0 ��� 12�3 �����

�����.�� �+ �� ����������� 1�� ������� ��� ��������� �����������L3 �� �.�

���!�� � ������� ������ � ����

�����.��� �� �� ���� ��� ��� ��� ����� 12�3 ����� !�� ���� ���� �! ��0�

��������� ��������� ��������� ��+� F� ���� � ��� ��������� ������� ��2� ��� � � �� ��

%�/��0� ��������� �! 12�3 ����� 1���� ��- � �+ � �+3 !�� �� - (

C�� �� �������� !�������� ��� ���0 � <����� 12==?3� ��� ������� �8��� ���������

��� � �� ��� %�/��0 ���������� <����� � ����,� � ���,� � 8��� ��� �������

������� ��� ���� � �� , �! ������.� �������� ���� ��� � � � !�� �� � ��� � �,; ��� ��������� �������� 1��� �� ��� �! ��� ����3 �! � C�� � ������ /����� �������� �

��+� + ���� �� ��������� �8��� ���!4�����

�� � ��� �5�8�5�9� � 5�8 � 9�� � 8 � ��9 � ,������,� � �� ��� �� �,� �� �� � � ��� �2��

���� ����� ��� ������� ��+� �� ����� � �/��������� �! � �� , �� �����������

�����.�� ����,� � �

��� %&'(�()*�+

Page 5: Oracle Inequalities for Efromovich–Pinsker Blockwise Estimates

C%��� � ����� ���� ��� ��� �1 �� ��� � �� ��� ������ ��+� + � 2� � .5:���+�� ���������;

� ��� ������ � <�� ����� �� � ��� ����� �/��������� ��� ��� �� ���� ������� 1��� �����;

� ��� ������ � <�� ����� �� � ��� ���� ��� ��� �0�� � ��� � � �

���� 2

�� � 2�������� ��� � � �� .�@� ��

+ / � �� + � 2� �2?�

#��� ��� 12?3 �� ������� ��� ����� �� ��� �8��� ���������� �� ����� �� ����� �!

�8 ���� ����� �� �����; ��� ���������� ����� �� ��!����� �� <����� 12==?3

#�� �� �� !�� ���� ��� �� ������ �! ���� ������� *� ��� !������ ��-� - � 2� �� � � ���� ��-����� �! ������.� �� ����� �� ��� ������� 12�3�12�3 �� �����E��

"+%('%� � /�� ��� � 0���� �1 ���� 2!3 � �� ��� ������ �2� ��� � � � �� �1 <�� ������� � ��� ���� ��� .5:���+�� ��������� ���� �1 ���� 2!&3 ���� � ��� - (4 ����;

� # �+ ��� .5 ��� ���� 1�3 � ������ �� ���� �� ��� ��� �1 ����� ������ ���

.���.5 � ��� .���� � ��� � ���(-� 2

�- ��- ��- � ���

- �� �2��

� �����

�� �� 8� - (

��- � �2:�

�� ���(-��

�-���- � �2@�

���

�� �� � - � ��- ��- � ���

- � 2�� �2=�

����

.���.5 � ��� ��2� (

�2 � ���.���� � ��� � �� �� ���� 2

-� 2

�-

� �

� ���- ���

�- ��- ��- � ���

- �� ����

� ��� ��� �� � - � ��- � ����- � 2� � �� ���

- ��� ����- ��0��� �� � 1!%3 ��� 1!"3 ��� � ��

��- ��� �� ���� ���� �� �������� �� !4 ���� � � ����� � ��� /� �������� 1%3� ����� �� � .5 ��� ���� ��.5+ � - � ��� �� ��� ��� �1 ��.5+ �� �+ � + � �-� - � ��� �����.5+ �� ��.5+ ����� ��4 ���� /� ����� ������ �� 1 3 ���� � ��� �� 0�� .5��� ���� � �� �� ��� �� ��0��� � 2! 3=2!�3 ��� �� �������� �� ���

('��C% *#%KJ�C*"*%$ ��:

Page 6: Oracle Inequalities for Efromovich–Pinsker Blockwise Estimates

"��� ������ ���.�� ��� �"/���6������ �� �8����� �� �� ����� ���� �! ���������� ��

��������� ��������� #��� ��� ��� ������������ �! ��� �� ��� 1�3 �� �8������ � ��� !��

��� %� ���� �� �� ��/���.�� ���� �� �� ���� �� ����� ������ �� � ���� ��� �����

1��� ��� ��� !�������� �� �03

'%��'� 2 "�� �������� �! "����� � ��.����� ����� ���� ��� �������� !�������� ��

��- ����� ������� � 2 �� 12�3� 12�3 �� 12=3 ������ ����� !����� �� ��� ����� ��� 2

"��� �� ���4����� 0�� ��� ������� �� ��� �� �" ����� ��� �� �� �� ������ ��� ��

��-��-� ��� ��� �� ��-� (� ��� ����� ���� �� �� �8������ �� ��� ��8� ������� �� �����

��-� �� � ����� ���-���� �� .�� ���!�� !�� �������� ���������� �� �� �����

�������

�� � ����������� ��������� �� �0� ��� �� ����� ��� ������ ����� ���-���� ��

�������� �� %!�� �.��� �� ����0�� 12=@�3 ������ �! ������� �� ����� ��� ������

�� !����

C%��� � 1%�3 8� � ���� 2!3 � �� � �������� �� �� >���� �� � �� ��+� ��� ��� �1����� ������ � �� ����

.���.5 � ���- .���� � ���

- � ���-��-

2��

� 2��- �2 � �� 2

- �

� ��� � 2- �2 � �� 2

- �� � ��2��-

�� ���� � � 2

- �� �- �

���

.���.5 � ��� .���� � ��� � ���(-� 2

�-��-

2��

� 2��- �2 � �� 2

- �

� ��� � 2- �2 � �� 2

- �� � ��2��-

�� ����

�(-� 2

� � 2- �� �

- �

"�� ����! �! C� �� ��������� �� %!�� �.��� �� ����0�� 12=@�3� ���� ��� ��� ���

!�� ��� ��� ����� 5����� ����� �� � �8�������� � ���; ��� ��� ���������� ��

%!�� �.��� 1����3 *! ���� !�� �� �0�� ���� ������ ����� �� ���� �� �"� �8��������

��� � �� �� �� �� ������� "� �������� ���� !��� ��� �� ����� 0���� ������� !�� ���

5 !������� 1��� ��� ����E �� $������ 2=�?� $������ � 23�

� � ��� ������ ����2��

�� �������������� 2��� ���� � �� ��2�

����� ����2 �� ���� �2 � ���

C%��� � /�� ��� � 0���� �1 ���� 2!3 � �� � �������� �� �� >���� �� � �� ��+���� ������ ���� � � �- 24 ���� � ��� ���+ ,-� - � �2� �� � � � � (� ��� ����- � 2��� ���2� 2���-�� ��� ������ �� 2!!3 ���� � �� ��

- ��� ���- �������� ��

���- �� �- � �2 � �� 2

- � /

2��� � � 2

- �2 � �2 � �2��- �� ��� 2

- �

� /���- ��-��

- �� ��2 � ��-�� � �����- �2 � �-�� ��-�6��- � ��-����� ����

��@ %&'(�()*�+

Page 7: Oracle Inequalities for Efromovich–Pinsker Blockwise Estimates

���

����- �� � � 2

- �2��- ���� � @���-�-�� 2�� � ��-��

- �� 2��� �

� �8� � �- �-�- � ���2 � �-�-����� �

6��- � �2 � �2��- ���-�

��� ����

6� ���� ������ �� � ������ ��� �� ���� ��� ������ � ������ % ���� � �� ���- ��� ����

-

�� � <�� � ����� ��- ��� ���

- � ������� ����

F� �� 4������� ���� ������� ���� �� ��� ������ ����� ���� ���� �� �� ��E� ���

�8�������� !���� �� 1��3

C%��� ? /�� ��� � ���� ����� ���+ ,-� - � �2� �� � � � � (� ��� ������ ���� ���- � �4���� � � 0���� �1 ���� 2!3 � �� � �������� �� �� >���� �� � �� ��+� ��� ��� �1���� ���� �����

.���.5 � ���- �

�-

���� �2 � �-����

2��- �8�

� �- �- � ���2 � �-���

� �� ����

'� (� � ���

���� ����� ��� �� ��� ������ ����������

"�� �� � �! ����� ����� ���-������� �� �� ����9 1�3 ��� ���� ��/���.�� ���� ��

�� � �� � ����� ��� 0���� ���� �� �� � ��������� ���� ��� ���.�; 1��3 ���

�� ����� �! � ����.� ���� �� !!��� ��� � ��0��� "��� �� ��� ��� ��� � �������

�! %!�� �.��� �� ����0�� 12=@�3 �� %!�� �.��� 12=@?3 ����� ��� � �� �� .���! ���

� ����.� ���� ��� 8 1����� �*$% �������3 ���� ���� �� �������� *������ �� �� ���

��!4���� �� ����0 ��� ��� ����� ���- �� � �������� ���� ��� 8 �.�� .�� ���� �!

!�������� 1���� !�� �������� >��������� 2==@ �� %!�� �.���� 2===� �� :3� ����� ��/

���.�� ���� ��� ����� �*$% �� ����� � �� �*$% �! ��� ������ �� ��� ����

��� 8

���� ������� � �������

C� 2 ����� ��� ���������� ����� �� �8���� ��� ������� ������� �� .�� ���� �!

����� ��� �������� ������ ���� ����� ������� ������� ����������� ��� *������ ���

��� ������ 1=3�12�3 �� �� .���4�� !�� ��!!����� �����; ��� �8 ���� �� %!�� �.���

12=@?� 2===3 �����.��� �� �� ����� �������!����� ��0 �� �8���� ��� ������� ��

����.���� ���.��; ��� ���������� ����� �� 4�� �8 ���� �� ���� �� %!�� �.���

1�����3 �� "��0�. 1����3

('��C% *#%KJ�C*"*%$ ��=

Page 8: Oracle Inequalities for Efromovich–Pinsker Blockwise Estimates

���� �������� �� �������� !�"��� � # �� $����

+��� �� ������� ���������� �! � ����������� ����� ���� ��� �8����� �� �� ��

���������� �� �������� � ����� ���-���� ����� ����� ���� ������� �� ��-�� ��� ��� ��

� ��������� �����

C�� �� �������� ��� !�������� ����� �" ���� ��� ��� ����� ���-���� 1:3 � ��

��� ��������� ��.��� ������ .���� 1� -��3 !�� $���� ���� �� �� ����� � �� ���

����� *������ �! ��-� �� ������� ����� !�� E���� ���� ���� �� ��� ������� �����

!�� E���� �� ����� �� ���� � ��0��� !������ !�� 1:3 (! ������� ���� �� ���6������

���� �� ��� ����� �! ��� ����� ����� 1:3 1 ��� �8���� �� ��� ����� �! ��� ��- ��

1�33� ��� �� �� �������� �� ������� ���� ���6������ � ����� ����� *� ����� ������ ��� �"

������ �� .��� *� ��������� �" ���� ��� �� ��� ��������� ��.��� ����������� ��

�����-���-�2������ �- � � � - � �

"���� �� � ����������� ����� �� ���� ����� $�.��� ����������� �� ����� ������� �!

����0���� �.���� ���� ��� �.� ��.���� ��� ����� ���� ��� �� ������ �!! � �����E���

���������� ������� ����� !�� E��� �����.��� ���� ����� ��������� ��.��� �� ��

�����.�� ����; ��� ��� ���������� �� �� 12===� ����3 �� <�������� �� )��0�.��

1���23 "�� ���������� ����� �� ��� ��� ��� ��!���� �! %!�� �.��� 12===3 �� ����0

���� ���

C�� �� 0� � ��� �� �� �8���� ���� ��������� ������� ��� ���������� ��

�� ����� ����� � ����� ��� ������� ����� ���-������� ��� ������� ��-� 1��� ��� �

��������� �����3 �� ����� ����� �����

"�� ��� ��� �����- �2 � �-�� ��-� 6��- � ��-��� �� 12�3� ����� �� � ���� �! ���

��� ��- �� 1�3� �� ��� ������ �! ��� ��-���� ��� �� .������� ���������� (� ��� ����� ����

��� !�� ��� ��� ���� ��� �������� ���� ��- �� ��� �������� !������� ����� �� ��

�������� ��� �! � ��������� ����� ����4��

�(-� 2 �-���- ���2 � �-� 6��- � ��-�

���(-� 2 �-�

�-

� � � � � �� ��?�

����� �������� �� "����� �� ����� �� �� �������� !�� ��������� ��.��� �- �� .���� �

-��

+����������� 1�?3 ��� ��� ��-� �� ������ �����.�� ���� �� � �� ���� ������� �� ��

"�� ����� �� ������� ��� �� �!��� ����� �� ��� �.���� ��������� #��� ��� 1�?3 ��

��� ���� .���4�� !�� �������� ��������� ����� &�� �������� �� ���� �������� ��

���������� � ? ��7� 12===3 ������ �! �������� ������� �� ����0� �� �������� ����������

�-���? ���� !�� ����.�� �! ����� � ����� �� ����� ����� ���������� ����; ���

&����� � ���� �� ��� ������������� ���������� ��7� 12===3 ��������� ��.�� �� �����.��

���� �� ���� ��� .����� ����������� ��� ���� �! ��� ������������� ����� �� 1�?3 �� !��

� �2 �� � �: ���� � ��� ��E�� �� �����/��/����� ����� 1���3 �! ���������� ����������

����� �� ������ !�� �2� �� ���=� �� !�� � �� 2�� ��������.�� �� ������� ���

� ��� �! ��� .������� ���������� �� ��� ��.��� $� ��� ����� �� �.� ���� �����.�� !��

����� ���������� ���� ������

F� �������� ��� ��� ��������� ����� ���-������� �8���� ��� ���������

�2� %&'(�()*�+

Page 9: Oracle Inequalities for Efromovich–Pinsker Blockwise Estimates

���������� ������� ���������� �� �� ����� ���� �������� �� ��� �� ������

����������

��%� ������� &���'�

*� �� ! ���� ������� �����.���� ��� � ���� ����0� ������ � �� ������ ���� /

���� "��� �8����� ��� � ������� �! ��� �������� �! �8�������� !����� �� �����

���-������� ������ ��� ���� ��� ���������� �� ����� � �� ��� ����� � �����

� ���� ����0�

"���� �� �� �! �������� �� ��������� ��� ��� �8�������� !����� ���� �� 1��3� �� !� !��

��� � ��� C� ? ����� �� � ����� �� ���� ����� *������ � �������� ����.�

���� �� ������ ����.�� ���� � ���� ��0������� �� ���� ��� ���������� ��� �! E���

����� �� �� ��!����� �� � ����/��� 1!��� ��� ���� ����� ������� �� �� !������� �����

������� �� ��� ���������3

"��� �������� �- ��� 2 1���� �� �������� �����.�� �- 2��3 � ����� ��� ���

�8�������� !���� �� 1��3 �� � ����� �� ��� �8�������� !���� �� ��� ����� ����� 1��3

� ��� ���������� ������

*� �� ��� ����������� �� ���� ��� ��� ��� ���� ���-���� � ���� � �����2 � �� � ���� � ����� � � � � ����� ��� ��� �" �8�������� !���� �� 1?3 �� ���

�8�������� !���� �� 1��3 �� ����� �� ��� ����� �����.�� �- �� � ��

C�� �� 4���� ���� ���������� � ��� !�������� �� �0 �" ����� ���-���� 1:3 ��������

��� �2 1��4��� �� 1?33 ������ ���.���� � (�� �! ��� ���������� ���� �� �������

���� � ��0��� �! ��� ����� 1��� ��� ��� ���������� �� �"3 $� ����� C� � � �����

��� ��� ��������� ��

�(-� 2 �

2��- �8��� �- �-�- � ���2 � �-�-����� 6��- � �2 � �2��

- ���-����(

-� 2 �-��-

� � � �� ��

����

"�� ������� 1��3 �� ����������� !�� ��� ������ �! .��� &���� �! ��� �� � ����� ���

��������� ����0 ������� �� ������ ��� !�� ������ �! ����0� ���� �- � �2 � �2��- ���-�

(! ������� ��� ���������� ���� ��� 0��� �-� ����������� ��� �� �0 ����� ������.�

���������� !�� ��/���.�� ������ �! ����0� 1�� ������� �� ��� ������� ����� �! �����

48�� ����0�3 "�� ���������� ����� �� 4�� �� � ������� �� ���������� ���� ����.�

������ �! ����0� �� %!�� �.��� 12===�3

(�� ������ �� �0 �� � !������ $� � �� ����� ������� ������� ��� ����� �����.��

� �� ����0� �! ��E�� � �� � � �� ���� ����.�� �! ��������� ������ �.�� !��

�����.�� � �� .���� �! �; ���� !�� �������� ��� ���������� �� <�������� �� )��0�.��

1���23 "����� � �������� ���� 1��3 �8����� � ���� ������� �� ����� ����0����

���� ��� ���!�� ����

('��C% *#%KJ�C*"*%$ �22

Page 10: Oracle Inequalities for Efromovich–Pinsker Blockwise Estimates

��(� ) �������� �����

C�� �� 4���� ���� ���������� � ���������� �� ����� ���� ��� ���� ��� ����� ��

������ ��������� ��� ������� ����0���� ����.� ���������� *� ��� !������ �.����

���� ��� �� ����������; �� �����4� ������ �� �� !���� �� %!�� �.��� 12===3

&����� 2 �8������ ������� �! ��� �� ������� ��� ���� ��� ����� �� ��������� ���

$���� �� %� ����0���� �����0��� ���!�� "�� ��������� ���� �� � �-��������

���������� ���� � � 2���� �����.����� �� �����/��/����� ���� 1���3 ����� �� ��� �����

+��� �������� ������� �� ����0� ���� �-�������� �� �������� ��������� ��.��� �-���?�� �����E�� � ���� $���� �� %� ���� ���� "���� �� ����� �� �����4���

���� ����� � �� 12===� ����3 !�� $���� �.���� ���� ���; ����� ������� ���

������ ������� �! �������.� �� ����� �� ������� ��� ���� ���������� �! ��� $����

���� ��� �.�� � ����� ���������� ���� �.���� ���� ���� "�� ���������� ����� ��

��� ��� ��� ��!���� �! %!�� �.��� 12===� &����� � @3 �� ����0 ��� ���.���� ��

���������0 �.���� ���� ��� ����.�� ��� ��������� ������

#��� ��� ���� ��� ����0���� ���� ��� ����.�� ��� ��������� ��������� �� ����� �

������ "�� ��������� �! ���0�� �8������ �� � ��!!������� �� ��� ���!�� ��� �! ����� ���

8 1��� !4 '���.�� �! ��� ������ ���� �������� ������ � %� �� $���� �.���� ���� ��� ���� ��7� 12===3

�� �����9 �������� ������� �� ����0� �� ��������� ��.�� � ? "�� �� ������� �� ���� �� �-��������

���������� ���� � ��� ��E� � � 2����� ��� �� ����� �� ��� ������ ��� �.���� ���� �� $ ��� @

�2� %&'(�()*�+

Page 11: Oracle Inequalities for Efromovich–Pinsker Blockwise Estimates

���� ��� ��� �� �8������ � ��� ��!� �� ��� ������������� �����E�� � $���� �� %�

���� ���� ��������.�� �� �� ���� $���� ���� �� �����0� ���0�� ��� ����� ��� %�

���� �� ����� !�� ��� ����� � ����� ��� %� ���� �� ��� ������� �8������ ��� 6� �

����� ��� $���� ���� �� ������ �������� � ���� ��0������ ��� ��� 6� �

&����� � �8������ ��� ��� �� ������� ��������� !�� ��� ��������� 6� ����� �����

(.����� ��� ���� ��� �� .�� ���� 6�� �� ��� ����.�� �! ���� ������� ����� ����� ���

��!4���� ����� ������ "� ���� �������� ����� �� ��� -���� �! ���� ���� �! ���� �����

� ��� ��� ���� ���� ���������� �� ����� ���� �� ��������� "�� ���� �� ���� ��

������� ?�� �� �� �� ������� !�� ��� �8���� ��� ���� ��!!����� � ��� ��E�� �� �����

�� ����� ����� 1���3 "��� !�� ��� �8���� ��� �-���� ������ 1$%3 �� ��������� �-����

������ 1*$%3 �! ��� ��� ���� ��� ���� �� ���� $�������� ������� �� �� ��E�� ��

"��� 2 ������ ���� �� ?�� �� ������� !�� ��� �������� �8���� ���� ����� �! �����

������� $%� �! $���� �� %� ���� ��� �� ����� �� ��� 4��� ��8 ���� !�� ��� �������������

������ �� �� ��� ����� ��� ����� ����� �! ����� ������� � ������ *$%� �! ���

���� ��� #��� ��� ��� ��� 6� �� �! ��� ����� 6� ����� ����� � � � ����? ��

� � ��@:?

"�� �� ����� ���� ����� ��� ���� �! ��� ���� ��� �����4���� ������!�� � ������

C�� �� ���0 � ����� �� !�� ������ ��� ��� ������ 6� � �� ��� 6� � ����� � � ��@:? ��

�������� � ��� ������ ����� � � ��= %� ���� �� ���!�� � ������ (� ��� ����� ���� �

8 1��� %4 J�������� ����� �� 6� ����� �� ����� �! ��� ���� ��� �� �! ��� ���� ���� �� ��� � � � ��

&����� 2

('��C% *#%KJ�C*"*%$ �2�

Page 12: Oracle Inequalities for Efromovich–Pinsker Blockwise Estimates

����� � � ��=? $���� ���� �� ���!�� � ������ #��� ��� ���� ����������� ����� � ����� ��

��������� !�� ��� .���� ����� �! &����� � F� �������� ��� � ����.� �8����

�! ����� ��� ���� ��� �� �� !������

)� �����

����� �� *���� &� <����� ��- �� �2 � ���-����� �- �6������

- � ���-�2 � �-��� ���+ � ��- ��+�� �����

.���.5 � ���- � .

�+ �,-

���-��+ � �+�� � .�+ �,-

���- � ��- ���+ � ���- ��+ � �+������

���

� .�+ �,-

���- � ��- ���+�� � .���� � ���- � �.

�+ �,-

���- � ��- ���+���- ��+ � �+����

���

�2 � �� 2- �. ���- � ��- ��

�+ �,-

���+

���

���� �2 � �-� .���� � ���

- � ��:�

F� �� ���� ���� ��� ��� ��� � �� 1�:3 �� ���� *� ��� !������ �� �0�� ����������

�����.�� �� ���!����� �� ����� <����� � �� � � 2�

+ �, ��+ �

�� �� � � 2�

+ �,���+ � ��

�� �����

� �� ���� �����+ �,

���+ � ���� ���� �� ��� ���

� ��� ������6� �� � ���� �� ��� ��� ��� ������ ���

� �����6� �� � ���� �� ��� ��� �� �2 � ��� ��@�

����� !4 '������ �! �� ����� �8���� ��� ���� �� &����� � %�� ���� �� ��� 4��� ��8 ���� ����� ���� �!

?�� � ������ ����� ������� $%7� �! $���� �� %� ���� ��� "�� ����� ��� �8������ ����� �! ?�� � ������

����� ������� *$%7� �! $���� �� %� ���� ���

��� � ? :

� �?� ?2� 2���� ����@ �?� ?2� 2���� ����@ �?� ?2� 2���� ����@

� � ��� 2 �@ 2 2: 2 2= 2 �? 2 �@ 2 �@ 2 �� 2 �: 2 :@ 2 �: 2 �? 2 �@

� � ��? 2 �: � =: � =? � =@ 2 ?� 2 2� � =@ 2 �: 2 �? 2 �2 � =? � ==

� � ����? 2 �� 2 �� 2 �� 2 �2 2 �� 2 �2 2 �2 2 �2 2 �: 2 �� 2 2� 2 ��

� � ��@:? 2 �= 2 2� 2 �� 2 �: 2 �? 2 �? 2 �? 2 �: 2 �� 2 �: 2 �? 2 �@

� � ��= 2 �2 2 �: 2 �? 2 �� 2 2: 2 �= 2 2: 2 2@ 2 2� � =@ � =? � =�

� � ��=? � :@ � @2 � @� � @: � @= � =2 � =� � =� � =: � =@ � == � =@

*$% 2 2� 2 �= 2 2� 2 22 2 2@ 2 2� 2 2� 2 2? 2 �@ 2 �� 2 2� 2 2�

�2� %&'(�()*�+

Page 13: Oracle Inequalities for Efromovich–Pinsker Blockwise Estimates

"� �.���� �2 �� ��������� ��� �� ���� � � ��� 2� ����� ���� �� ��� ��� �����E��

�� ��� ����! �! C� � ��������� ����� F����

�2 � ��� ������6� �� � ���� �� ��� ������ ����

6�� � �2 � ������ � 6�� � �2 � �������

��� �������

� ��� ������ ����6� ���� � ����� 6�� � �2 � ������

� ��� �������

��� ����6�� � �2 � ������ �� �22 � �2�� ��=�

J���� �������. ���-���� �� 12�3 �� ���

.��22� ��/���� � 2��� ����

��� �����������6�� � �2 � ������

� ���� �/��� 2�� �6�� � �2 � ������� ����

"� �.���� �2� �� ���� ��� �� � 2 � �2 � ��� 2�� 2�� 2�����.�� � � �2 � �����

"��� ����� 12�3 �� ���

.��2�� ���� 2 � �2 � ��� 2�� 2� � /2��� ��� � 2��� ���

��� ����

����� /2��� � � 2�2 � �2 � ��� 2�� 2��� ��2�

&�� ��� �� �� ���� ����! �� �� ����������� � � 2��

#�� �� �� �.������ ��� ������ ��� �� �� 1�@3�

�� � ������� ��� ��� 6� �� � ���� 6�� � ����� � 6�� � ������

���������2 � �� 6 �� �� � ��

� �6�� � �����

� ���������2 � �� 6�� � ����� �� ��2 � ���� ����J���� �������. ���-���� �� 12�3 �� ���

.���2� ����� �2 � ���� /���� � ���� ����

������6�� � �����

����� �2 � ����/��� ��� ��2 � ����� ����� /��

��� � 2�� ����2 � ������"� �.���� ��� �� ���� ���

�2 � ����6�� � ����� � �2 � ������

�2 � �����6�� � ����� ��6�� � ������

"��� � �����

��� ����� ������2 � ��� ��� 6�� � �������

('��C% *#%KJ�C*"*%$ �2?

Page 14: Oracle Inequalities for Efromovich–Pinsker Blockwise Estimates

�� ������ ��� ������� ������� �� ���

.��� ������/

2��� � � 2�2 � ��� 2� � /��

��� � 2�� ����2 � ����

� �� ����2 � ��� ���6�� � ������� �� �/��� 2�� �6 � �

2

� ����

� �� ��

#�� ��� �� �.���� ��� ������ ��� �� 1�:3 F����

.�+ �,

����+ � �+�� � .�+ �,

�����+ � �+�� ��+ �,

. �����+ � �+� � �2 � ����+���

'���� ��� ��+ �� � ������� ���� �� �! �+ �� ��� 1=3 ����� "���

.�+ �,

����+ � �+�� � ������+ �,

�.����+� � ��

+� � �2 � �����+ �,

��+

� ���������2 � #� � ��

�� ��

� ��

��

� ��� ��� ��

��� ��

� ��

�� ��

� �� ����� ��#� � ����� � ����� ��#�� ����

�� ������ ��� ������� �� .���! 1223 �

����� �� *���� "� F����

�����- � ���- � ����

- � ����- � ���- � ����

- � ���+ �,-

�+�+ � ���+ �,-

���+ � 2�� ����

"��� �� ��� ����� �����

. �����- � ���- � ����

- �� @�� .�+ �,-

�+�+

��

� ��.�+ �,-

���+ � 2�

��

�!"

#$� ��?�

J���� ��� ��� ����� 13 1��� ��� �! � �/��������� ������� ��+�3� �� �� ��� ��!4���� ��

.���! ���

.�+ �,-

�+�+

��

/����- �� .

�+ �,-

���+ � 2�

��

/��- � ����

����� ��� ������� / ������� �� � �� 8+ .�@+ "��� �������� ���� 1�?3 � ����� %�/

��0 ����������

������ �! ��� �/ �8��� ������� ����� ��� ��� ����� 1�3 �� �� ���!�� �� �����

"����� � �! <����� 12==?� � ��3 1�� �� ��� �� ��������� ������� ����� ! ����

��.����� ���-������� !�� ��� �8��� ������� ��� ���� ������ ����! �� .�� ������M�� ��

��� ����� �� ��� ��� ���� ������ ������ ������ �� ���!���� ����� ��� �����3

��������� �� ��� ������ � ��� ���-������� �� 1��3 ���� ���� ������� / ��������� ���

�2� %&'(�()*�+

Page 15: Oracle Inequalities for Efromovich–Pinsker Blockwise Estimates

�� ��� �8��� ���!4����� �� �� 8+ .�@+ "��� ����� ��� ������ ������ ����� ���

��� ����� 1�3 C� � �� ���.�� �

����� �� +������ "� #��� ���

.���.5 � ��� ��(-� 2

.���.5 � ���- ��-� (

����- �

+��� ��+ �� �+� �� ���� ��+ �� ������� ����� ��� ������� 1��3 � ����� ��� 1=3 ����� ����

#-�� "��� ��� ���-���� 12�3 !������ !�� C� 2 "� .���! ��� 1�3 �� ���� ���

C� 2 � �����

.���.5 � ���- .���� � ���

- � ���- 8� ��- ��- � ���

- �� 2��J���� ���� �������� ���� ��- 2 �� ��� ��� ��� !�������� ���-���� ����� !�� �

� � 2� �� � � � � (9

.���.5 � ��� �2 � ��� .���� � ��� � �� �� ���� 2

-� 2

�-

�� ��

�- ���

�- ��- ��- � ���

- ��

"��� .���4�� ��� 1�3 "�� ��� ��� 1�3 !������ !�� ��� ��� 1�3 �� ��� ���� �� �0 ���

.���.5+ � ���- � ���- �����.�� - � ��� "����� � �� ���.�� �

����� �� *���� '� "�� �������� !������ � ���� !�� ��� ��� ���� ��.� ��� ����! �!

C� � �� !�� C� � �� %!�� �.��� �� ����0�� 12=@�3 #��� ��� �� ��� ������

��� ������� ��-�� �- �� �- �� ���� �� ���� �! �-� ��- �� �-� ��������.��

����� �� *���� )� F� �� ����������� 4������� ���� ����� ��+ � �+� �� �� ����

��� ������� ���������� �� ��� ����! �! C� 2 "�� ����� �! ��� ����! ��.��� ��� ��

��� ���� �� ���.���� ��� ��� �22 ��4��� �� 1�=3 F����

�22 � ��� �������

� ��� ������ ����6� ���� � ����� 6�� � �2 � ������

�� ����� 6��� ����� � ������ 6�� � �2 � ������� ��:�J���� ��4������ �! �� �� ���

�� ����� � ���+ �,

�+�+ � ���+ �,

��+ � ���� ��@�

�� ��� !�� � � ��� 2�

6��� ����� � ������ 6 ���+ �,

�+�+ � �2 � ������

� 6 ���+ �,

��+ � ��� � �����

� � ��=�

('��C% *#%KJ�C*"*%$ �2:

Page 16: Oracle Inequalities for Efromovich–Pinsker Blockwise Estimates

#��� �� ��E� .�22 �� �� ����������� ������� ��� ��� ������� �������� �� 1�=3

F����

.�222 �� . �� �����6 ���+ �,

�+�+ � �2 � ������

� % &6�� � �2 � ������

�.2�� � ������� �

.2�� 6�+ �,

�+�+ �2

� ��2 � �����

� % &

�6�� � �2 � �������A����� ��+� �� ������ ����� 5����� ������ ��� ���

�+ �, �+�+ �� ��� �

������������ ���� E��� �� �� .����� �� ���� ����� ! ���� ���-���� !��

������ ��� � ���� .����� �� 1��� &������ 2=�@� �� 2=��2=�3

5��� � �� 2

����2����� ����� � � ��

�� ���� ��� ������ ��������� � �����

.2���� ������� � � � 2������ �����2���

"���

.�222 � � � 2�������2 � ���� ��2�� �

6�� � �2 � ������

��8��� �2 � ������������@��������2���2����2 � ����������2��

�2��

�2���� ��2 � ���� ��2�� ��2 � ������2��

����2���2����2 � ������2��

� �8� � �2 � ����������

2���2 � �����

% &6�� � �2 � ������

�� � 2 � ��2 � ����2���2 � ��2��

�2 � �2���2������� 2��

� �8� � �2 � ����

2��2 � �� ��% &

6�� � �2 � �������

#��� ����� 1�@3� �� �� �.������ ��� ����� ������ �������� �� 1�=3 F����

�22� �� ���+ �,

�+�+ � ���+ �,

��+ � ���

�6�+ �,

��+ � ��2 � ���

� 6�� � �2 � �������

<����� �� ���+ �, �

�+ �� ���� ��� ���� �� ���/�-���� ���� .����� ���� �

������� �! !����� ����� �� ��� ������

�2@ %&'(�()*�+

Page 17: Oracle Inequalities for Efromovich–Pinsker Blockwise Estimates

����� � ,�������� 2�� ���� ,� � ������������ 2

� � � ��

+��� ���� �� ��� 5 !������� *� �� �� �� ��� ����� �����$����E ���-���� ����+ �, �+�+ ��

��2������2�� "���

.�22� ��.� ���2 � �����2������2�� � ��

� � ��� 6��� � ��2 � ������

F� ����� ��� �.������ ���� ��� ���

��2 �� .���� � �� 6��

� � ��2 � ����� ����

*��������� � ���� ����� ���

' �

�������� � ,�

' �

������ �����

� �,������� ��� � �,������

' �

������� 2�� �����

� �,������� ��� � �5��

� � ���

�� ����

��2 � � ������������ 2�����2 � �������8��� ��2 � ������� ��2�

"��� ����� ��� ����� ����� �� 1�23 �� �.���� ��� 5 !������� !�� ����� � �����

��2 �������������� 2� ��� ���2� ����

���������������� 2���� �������2��

�2

���

� ��2��

�8� � � ��� ���2 � ����

� ��

���� �� �� �����

.�����2��6��

� � ��� � ,�

' �

������� 2���� �����

� �,�������� 2���� ��� � �,��� � 2��2���

' �

������� ����� �����

�,�������� 2���� ��� � �,��� � 2��2����� 2

' �

������� 2���� ������

"��� ������� ����� !�� � � � � 2 ���

,�

' �

������� 2���� ����� �2 � �� � 2����� 2�,��

������ 2���� ����

&�� � � ��2 � ��� ��� ��� ���-���� � �����

('��C% *#%KJ�C*"*%$ �2=

Page 18: Oracle Inequalities for Efromovich–Pinsker Blockwise Estimates

.�����2��6��

� � ��2 � ����� �2 � ��� ��� � � 2

�2���� � ��� ���2� ������

������2 � ����2��

�2 � ��2���

����2 � ���� �� � ��� ���2� �������

�� ������ ��� ������� �� ���

.�22 ��

� 2 � ��2 � ����2��

�2��

�2 � ��2��

�2 � �2������� 2��

� �8�

%� �2 � ����

2��2 � �� ��&

� �2��

���

�2 � �2 � ��2���2��

�2 � ����

� �8�

%� �

��� ���2 � �����

&�6�� � �2 � ������� ����

"�� ������� �8�������� �� ���� �� ��� ����� ���-���� *� ��� !������� ��

�� ���! ��� ����� ���-���� ���� �� ����� �� � �����4� .���� �� �� �; ���

���������� ����� �� �� ��� ����� .���� $��� � � �8 ���� � �2�� ��

� � 2 � �2 � �2���� *� ��� !������ �� �� ��� �� ��� � � 2��� ���2� 2����� �� ����

��� ���� �� ��� ��� ���� ����� �� ��� ��� ��� ����� �� ��� 2� 1��������� ���

�� ������� ������ �� ������3 *� �� �� �� .���! ��� !�������� ��������9

� � �2���2 � �2 � �2����� � ��� � �2��� � ��

�2 � ������2��2 � �� � ����

2�� ������

��

1���� �� ���� 2�2� � ���� ����� �� .��� !�� ��� ���������� � �� �3� ��

� �� ���2 � �� � ���� � �� � � � 1�� .���! ��� ��� ���-���� ���� ��� ��� ��!� ���� ��

E��� ���� � � � �� ��� ����.��.� �� ������.� ���� � � �3 J���� ����� �������� ��������

���� �� ��� ��������� �� �������� ��� ��� ����� ���� �! 1��3 �� �� �� ���4�� ����

.�22 �� �2������ � @������ 2�� � ������ 2��� �

� �8� � � ��� ���2 � ����

� �6�� � �2 � �2���������

J���� ���� ���-���� �� ���� �! 1��3� ����� 2 � � � �2 � �2������ 1�23 �� ��������

��� �� ����� ���� �! ��� ����! �! C� 2 �.� ���� �� ���� ��� � �� �� .���! ���

4��� ��� �! C� � "��� ��� ����! �! "����� � .���4�� ��� ������ ��� �! C� �

C� � �� ���.�� �

��� %&'(�()*�+

Page 19: Oracle Inequalities for Efromovich–Pinsker Blockwise Estimates

����� �� *���� ,� �������� ����- � �� ����� ��� �� ��� ��� � � ������� � �� ���

���.���� ����!�� �� ��� ��������� �� �0����� �! �� ���!����� ������ "���

.���.5 � ���- � .

� � 2�

+ �,���+ � ��

� � 2�

+ �,���+

���+ �,

���+6 � � 2

�+ �,

���+ � �2 � ����

� ���

���

� . ���

+ �,���+ � 2���

���

+ �, ��+

6 ���+ �,

��+ � ��2 � ����

� % &�

#��� ��� �!�

+ �, ��+ � ��2 � �� ����

�+ �,

��+ � � � 2 � 2

2 � �

� ��+ �,

��+ �

+���� �� ���

.���.5 � ���- �

���

2 � �.���

� � ��6��� � ��2 � ����

"�� ��� �8�������� �� ��� ��� ��2 ��4��� �� 1��3 ����� �� ��� ��� � � 2 J���� ���

�8�������� ������� �� 1�23 �������� ���� ��� ����� ����� �� 1�23 �� ���

.���.5 � ���- �

����� �2 � �� �

��2����� �� ���2�������

C� ? �� .���4�� �

���������-����

"�� ������� �� ��������� � #$& 5��� <�$/������� � ���.������� ���� �

"��0�. ������ ��� �����7� .���� �� ���� �� ��������� )����� �� ���� �! ��� �%

�� ��!����� � ���� � ��� ���������� �� ������� ������� ����!�� �� ���������

.��������

� ��� ����E �� * $������ 9����+ �������� ��� 8���� ��� <�.��9 #�� N��0� 2=��

C A���� �� � ������ OO5����� ���� ����������77 (4 .������ ����4 ��4 .�� � �� ������@� ���2

" ��� OO�����.� �.���� ���� ����9 ����0 ������������ �� ����� ���-���� �������77 ���4 ���� �� .�� �:

�� @=@�=��� 2===

" ��� OO(� ����0���� ������������ �� �.���� ����������9 ����.��� ����0 ��E� �� ��������� ��.���77 ���� �� ��� � �� .�� 2� �� 2��2�2�:�� ����

C �.���� �� � "��0�.� OO�����E�� ����0���� $����7� ������ ������� ������ �� ���� ����.�

���� �����77 �������� ��� ������ ���� �� �� .�� 2� �� ��:��@�� ���2

< <�������� �� A )��0�.��� OOF.���� A���� ����0 �����0�� .� �8���� �! #�� ��*�.���� 5

�������77 ����� ��� #����� 5����� *�������� �! "��������� ���2

< <����� �� * >��������� OO*��� ����� ������� .� �.���� �����0���77 , ���� +� .�� @2 ��?��??� 2==�

('��C% *#%KJ�C*"*%$ ��2

Page 20: Oracle Inequalities for Efromovich–Pinsker Blockwise Estimates

< <����� �� * >��������� OO������� �� ��0���� � �������� .� �.���� �����0���77 (���.�� =� �� 2����

2���� 2==?

� <������ � � �1; 5����� �� ��� .�������� $�������/)����9 #�� N��0� 2==?

" ' <����� �� A � $��.�� �� OO"�� �������� ������� �.���� ����!�� �� ��������� �������77

�������� �� � � 1��� 5����� �1 .�� �� �� �??@��?�2� 2==@

$ %!�� �.��� �� � ����0��� OO�� ����.� ������� �! ����� ����� 4��������77 ������ � ��� #����/���� .�� 22 �� ?@��?� 2=@�

$ %!�� �.���� OO#���� ����� ���� ���� �! ������ ���� ��0���� � ���������77 ����� 5����4���� ��� �� .�� �� �� ??:�?�@� 2=@?

$ %!�� �.���� ���������� � /���� .�� ��� �; ������� ������ ��� ���� ��� ��� $�������9 #�� N��0�

2===

$ %!�� �.���� OOK���/����� �.���� ���� �����77 (����� ��� ���� ��� ���� �� ��� ���� �� � .�� =��

�� :���::�� 2===�

$ %!�� �.���� OO�� ����.� ���� ��� !�� &������ ������ �� �! �������� �� �.�����P77 ,������ .�� � �� �==�

:�@� ����

$ %!�� �.���� OO(� ���� ���� � ���� ���� �! ����.���� ���.���77 �������� ��� ������ ���� �� �� .�� =

�� 22:�2�=� �����

$ %!�� �.���� OO������.����� �� ����� ����������77 ���+��� � .�� �� �� ��:��=�� ���2

F &������ �� 6������� � � 5���� � �� ����� ��� 6�� ���� ��� ��� ��� � �� +��9 C������ 2=@�

� +��� 5 ���0������ �� < ������ OOA���0 ��������� ����� !�� ���.� ���� ���� ����� 0����� �� �.����

�������77 ���4 ���� ��4 .�� �� �� =���=��� 2==@

� +��� 5 ���0������ �� < ������ OO(� ��� ��� 8 ���� ��� �! ����0 ����������� �.���� ���� ����77

���� �� �� � � �� .�� = �� ���?�� 2===

* >��������� 8���� � .�� ��� � � >���� �� � ��; �������� ������ J���������� ��������� $��!���

J��.�����9 $��!���� 2==@

5 ���0������ < ������ �� � "�������� OO7� ����.� ������ ���� �����77 ,������ .�� � �� ��=���:�

2==�

� ������ OO(������ ����� � ��������77 ���4 ���� ��4 .�� �� �� @�?�@��� 2==�

$ ����� �?������ ��� � 1��� 5����� �1� ��� �������� ���� �� �����9 A������ 2===

� "��0�.� OO<��������� �� ���� ���� �� ���������� �����������77 ���4 ���� ��4 .�� �� �� �:=��@?� ����

A )��0�.��� ���� �� ��� ���� �1 �� ?�������� F���9 #�� N��0� 2===

��� %&'(�()*�+