<<
>>

РЕЗУЛЬТАТЫ ТЕСТОВ

Были выполнены шесть тестов. Эволюционный процесс использовался для поиска оптимальных правил входа в длинные и короткие позиции с каждым из трех приказов для входа: по цене открытия, стоп-приказу и лимитному приказу.
Во всех случаях было создано 2500 поколений генетичес

ГЛАВА 12 ГЕНЕТИЧЕСКИЕ АЛГОРИТМЫ

295

кой обработки. Задача вычисления всех решений и сохранения их в файлы потребовала всего несколько часов на быстром Pentium, что демонстрирует практическую пригодность этого метода. Для каждого теста генетический процесс произвел табличный файл (GFiles от 1 до 6), состоящий из строк, соответствующих каждому из поколений. Таким образом, каждая строка представляет определенное решение. Большинство ранних решений были мало пригодными для торговли, но качество решений улуч -шалось с появлением новых поколений, что характерно для ГА. Каждая строка содержит информацию относительно эффективности отдельного решения — набора параметров, который представляет ген, содержащийся в полной хромосоме.

Были выбраны лучшие решения для входа в длинную и короткую позицию по цене открытия. Эти решения использовались для проведения шести тестов, результаты которых приведены ниже. В частности, было протестировано решение, которое обеспечивало лучший вход в длинную позицию по цене открытия, и его эффективность была оценена обычным способом на обеих выборках. То же самое решение было проверено и оценено с входом по стоп-приказу и лимитному приказу. Такая же процедура была проведена для коротких позиций: было определено лучшее решение для входа в короткую позицию по цене открытия. Затем решение было проверено на обеих выборках с каждым из двух типов приказов. Мы не отбирали отдельное оптимальное решение для каждого типа приказа, потому что такие действия не позволят сравнить эффективность различных видов приказов. Например, оптимальный вход по цене открытия может давать модель пробоя, в то время как оптимальный вход по стоп-приказу может наблюдаться при использовании противотрендовой модели ценового импульса.

Эти модели никак не связаны друг с другом, и их результаты ничего не говорят об общей эффективности различных видов приказов. Поэтому мы сначала искали наилучшую модель с рыночным приказом по цене открытия, а затем тестировали найденную модель с другими видами приказов. Поскольку модель остается неизменной, этот подход позволяет делать значимые сравнения различных типов приказов.

Решения для входов в длинную позицию

Табл. 12-1 представляет торговые результаты 20 лучших решений для входов в длинные позиции по цене открытия (GFile 1). Каждая строка представляет различную торговую модель. Параметры не указываются, но представлены номера поколений (НОМЕР), вероятность или статистическая значимость (ВЕР, десятичный знак опущен, но подразумевается), средняя прибыль в долларах за сделку ($СДЕЛ), общее количество сделок (СДЕЛ), фактор прибыли (Ф.ПРИБ), доходность в процентах годовых (ДОХ%) и чистая прибыль или убыток (П/У).

296

ЧАСТЬ II ИССЛЕДОВАНИЕ входов в РЫНОК

Таблица 12—1. Лучшие 20 решений, полученные для длинных позиций с входом по цене открытия НОМЕР ВЕР 6СДЕЛ СДЕЛ Ф.ПРИ& дох% П/У 230ft 000097 17204 43 3.60 82.2 742352 1ввв 000002 7407 254 1.81 53.8 1090010 2239 000257 1*571 105 3.27 100.0 1214955 2301 000413 19031 25 5.32 100.0 475775 23*2 000471 13550 70 4.09 100.0 940500 2054 0004» 6010 177 1.91 00.8 1525300 1664 0006*1 3201 654 1.30 57.4 2733064 1912 000747 4901 437 1.53 52.1 2141737 1473 000750 11415 70 2.92 83.0 TW03Q " то 000079 5941 304 1.57 41.5 2102524 2220 000699 8087 110 2.00 00.2 977570 т 000М1 ееог 231 1.70 70.6 1525052 1075 000*71 7017 12в 211 50.4 959742 1904 001100 15591 25 ь.ю 95.0 359775 2300 001140 23073 15 10.44 00.9 355095 1019 001200 25045 1? 17 05 100.0 эыизо 2132 OOT4GO 8133 245 1.00 77.5 1502505 1+03 001402 0020 311 1.02 405 1074006 1105 001*15 23403 15 9.03 501 3519*5 21» 001415 23403 IS 9.63 00.1 351945 Эффективность большинства из этих моделей, по меньшей мере, впечатляет. Лучшие модели имеют статистическую значимость выше 0,00007, что означает, что эти решения имеют очень высокую вероятность прибыльной торговли в будущем.

Многие решения заработали более 50% годовых. В некоторых случаях прибыли достигли значительно более высоких уровней. Хотя лимитный приказ дал много наилучших решений, остальные приказы также показали много хороших, если не великолепных результатов. Как и в предыдущих исследованиях, ГА превосходно обнаруживает многие пригодные для торговли модели.

Решения для входов в короткие позиции

Табл. 12-2 представляет маленькую часть файла GFfile 4, в котором представлены найденные модели входов в короткие позиции по цене открытия. Как и в тесте 1, представлены 20 наилучших решений (отобранных по статистической значимости или соотношению риск/прибыль). И в этом случае налицо много хороших решений. Однако они уже не столь впечатляют, как решения для длинных позиций. Модели, приведенные в табл. 12-2, обладают меньшей статистической значимостью и доходностью. Другое от

ГЛАВА 12 ГЕНЕТИЧЕСКИЕ АЛГОРИТМЫ

297

Таблица 12—2. Лучшие 20решений, полученные для коротких позиций с входом по цене открытия НОМЕР ВЕР ЗСДЕИ сдел ф.ПРИБ дох% П/У 1*71 003284 11620 38 2.06 54.0 420444 1474 00455ft, 10742 34 2.80 57,2 385228 1413 ODB045 "11744 22 2.87 90.8 293308 155 010383 27187 11 4.71 40.7 »88Э7 1521 010383 27107 11 4.71 40.7 208837 124ft 012240 0022 48 2.30 53.0 481850 1912 012780 «787 39 2.90 20,8 318282 158ft 014758 10331 50 2.47 «2,9 818590 1522 014095 7005 32 2.25 40.0 289520 1825 015355 1151* 22 2.07 44,8 25341В 1532 018217 4003 104 1.08 33.3 «79712 1711 01008» 20137 11 4.94 42.0 221507 1747 010483 7103 34 2.00 340 241502 1893 010055 13460 13 3.17 44.0 174890 1508 020870 10815 28 2.44 27,8 207220 1754 021007 12004 14 2.74 ЗВ.4 17Т2В6 1847 022071 0242 35 ш 43.8 288470 537 02Э02» 12111 14 2.51 33.1 100554 1325 023020 12111 14 2.51 33.1 100554 1324 023043 14738 101 3.02 22.0 147380 личие состоит в том, что в большинстве случаев количество сделок было очень маленьким; оценки моделей основываются на редких событиях. Несмотря на все это, эволюционный процесс нашел много прибыльных наборов правил для входов в короткие позиции.

Результаты тестирования для стандартного портфеля

Лучшее решение, показанное в табл. 12-1 (длинные позиции), и лучшее решение из табл. 12-2 (короткие позиции) были протестированы со всеми тремя видами приказов. Тесты с 1 по 3 представляют лучшую модель для длинных позиций с входом по цене открытия, протестированную с входом по цене открытия, лимитному приказу и стоп-приказу соответственно. Тесты с 4 по 6 представляют лучшую модель для коротких позиций со всеми тремя видами приказов. Табл. 12-3 содержит результаты лучших моделей с входом по цене открытия. Результаты приведены для длинных и коротких позиций на данных в пределах выборки и вне ее со всеми видами входных приказов.

В таблице: ВЫБ— вид выборки данных (В— в пределах, ВНЕ— вне пределов выборки); ДОХ% — доходность в процентах годовых; Р/ПРИБ —

298

ЧАСТЬ II ИССЛЕДОВАНИЕ входов в РЫНОК

Таблица 12—3. Эффективность лучшей модели с входом по цене открытия, испытанной на выборке и вне ее пределов со всеми видами входных приказов ВЫ Б ДОХ% Р/ПРИБ ВЕР СДЕЛ ПРИБ% $СДЕЛ ДНИ ПРИБДЛ ПРИБКР Тест 01. Длинная позиция, вход по цене открытия В 82.2 1.22 0.000 43 62 17264 7 742 0 Вне 63.0 0.66 0.089 17 47 10231 6 173 0 Тест 02. Длинная позиция, вход по лимитному приказу В 65.8 0.99 0.001 36 61 14846 8 534 0 Вне 87.7 0.86 0.038 14 50 14920 6 208 0 Тест 03. Длинная позиция, вход по стоп-приказу В 42.2 0.88 0.003 22 72 16247 8 357 0 Вне 11.7 0.20 0.344 8 50 4246 6 33 с Тест 04. Короткая позиция, вход по цене открытия В 54.8 0.87 0.003 36 69 11929 8 0 429 Вне -10.0 -0.21 0.669 17 35 -2711 6 0 -46 Тест 05. Короткая позиция, вход по лимитному приказу В 16.5 0.51 0.056 34 64 7424 8 0 252 Вне -10.8 -0.24 0.686 14 42 -3351 6 0 -46 Тест 06. Короткая позиция, вход по стоп-приказу 23.1 0.60 0.031 24 54 7493 6 0 179 -13.0 -0.25 0.696 13 30 -3704 5 0 -48 соотношение риска/прибыли в годовом исчислении; ВЕР — ассоциированная вероятность статистической достоверности; СДЕЛ — число сделок на всех рынках в составе портфеля; ПРИБ% — процент прибыльных сделок; $СДЕЛ— средняя прибыль/убыток со сделки; ДНИ— средняя длительность сделки в днях; ПРИБДЛ — общая прибыль от длинных позиций в тысячах долларов; ПРИБКР— общая прибыль от коротких позиций в тысячах долларов.

Тесты 1—3. Тестирование модели входа в длинные позиции с входами по цене открытия, по лимитному приказу и стоп-приказу.

Как видно из табл. 12-3, модель, полученная с помощью эволюционного процесса, была прибыльна при всех трех типах приказов как в выборке (как и ожидалось, учитывая мощь ГА), так и вне ее. В выборке вообще не

ГЛАВА 12 ГЕНЕТИЧЕСКИЕ АЛГОРИТМЫ

299

было прибыли меньше 42% (в годовом исчислении) для любого вида приказа. Все значения средней прибыли в сделке были больше чем $14 000, и ни одна система не имела меньше 60% прибыльных сделок! Вне выборки результаты были довольно разнообразны. С входами по цене открытия или по лимитному приказу система по-прежнему показывала выдающиеся результаты: средняя прибыль в сделке была выше $10 000, а доходность — выше 60% годовых. Со стоп-приказом модель работала не так хорошо: доходность не превысила 11%, а средняя сделка принесла всего $4246. Единственным внушающим беспокойство аспектом результатов является малое количество сделок. Например, в пределах выборки с входом на открытии было произведено только 43 сделки за 10-летний период для портфеля из 36 товаров. Вне выборки было только 17 сделок в течение 5-летнего периода; частота торговли была постоянна и составляла около 4 сделок в год.

По-видимому, правила обнаруживали необычные (но пригодные для торговли) рыночные события; подобную модель можно назвать моделью для «торговли в нетипичных случаях». Эта модель не так бесполезна, как может показаться на первый взгляд. Ассортимент систем, каждая их которых торгует при различных редких событиях, может давать превосходную прибыль. При работе с системой такого типа рекомендуется торговля как портфелем систем, так и портфелем финансовых инструментов. Однако небольшое количество сделок может поставить под сомнение статистическую значимость полученных результатов. Данная задача, вероятно, может быть решена при использовании более сложного способа обработки больших комбинаций правил.

Гесты 4—6. Тестирование модели входа в короткие позиции с входом по цене открытия, по лимитному приказу и стоп-приказу. Во

всех случаях эффективность лучшей модели для коротких позиций, протестированной на трех видах приказов, была хуже, чем результаты моделей для длинных позиций в пределах выборки. Вне выборки результаты знаменательно ухудшились, и были отмечены убытки. В отличие от модели для длинных позиций эта модель не прошла проверку на торговлю вне пределов выборки. Однако стоит отметить, что если бы мы торговали с помощью модели как для длинных, так и для коротких позиций одновременно, то на данных вне пределов выборки прибыль от длинных позиций значительно перевесила бы потери от коротких. Полная система была бы выгодна. То, что модели торговли для длинных позиций работают лучше, чем для коротких, было не один раз отмечено в предыдущих главах этой книги. Возможно, этот факт связан с присутствием в стандартном портфеле нескольких рынков, которые находились в бычьем тренде в течение долгого времени. Вероятно, причиной повышенной эффективности длинных позиций являются отличия в реакции товарных рынков на избыточное предложение и нехватку товара.

300

ЧАСТЬ II ИССЛЕДОВАНИЕ входов в РЫНОК

Результаты тестирования для каждого рынка

Табл. 12-4 содержит результаты по рынкам для лучших моделей как для длинных, так и для коротких позиций, протестированных на оптимизационных и проверочных выборках, с использованием трех видов приказов для входа в рынок. Пустые ячейки в этой таблице отражают отсутствие сделок. Первая колонка содержит обозначения изучаемых рынков. Центральная и правые колонки содержат количество прибыльных тестов для данного рынка. Числа в первой строке представляют идентификаторы тестов: 01, 02 и 03 означают тесты для длинных позиций с входом на открытии, по лимитному приказу и стоп-приказу соответственно; 04, 05 и 06 представляют соответствующие тесты для коротких позиций. Последняя строка содержит количество рынков, на которых данная модель была прибыльна. Данные в этой таблице представляют относительно детальную информацию о том, какие рынки прибыльны, а какие нет, для каждой конкретной модели: один минус ( — ) указывает на умеренный средний убыток в сделке — от $2000 до $4000; два минуса (-) представляют

большую среднюю потерю в сделке — $4000 или больше; один плюс (+) означает умеренную среднюю прибыль в сделке — от $1000 до $2000; два плюса (+ +) указывают на большую среднюю прибыль в сделке — $2000 или больше; а пустая ячейка соответствует убытку до $1999 или прибыли в пределах $1000. (Названия рынков и их символы соответствуют обозначениям табл. ; часть II, введение.)

Тесты 1—3. Тестирование модели входа в длинные позиции с входом по цене открытия, по лимитному приказу и стоп-приказу. Табл. 12-4 указывает, что в пределах выборки модель была весьма прибыльна для NYFE (но не для S&P 500), для британского фунта, немецкой марки, японской йены, палладия, для большинства рынков пшеницы, канзасской пшеницы, какао, леса и сырой нефти (если не учитывать покупку по цене открытия). Вне выборки на NYFE не было сделок, британский фунт и немецкая марка продолжали оставаться весьма прибыльными для всех типов приказов. Многие рынки, прибыльные в пределах выборки, вне ее пределов не заключали сделок. Некоторые рынки, которые не участвовали в торговле в пределах выборки, были успешны вне выборки (особенно неэтилированный бензин, серебро и кофе). Это указывает на то, что модель продолжала работать хорошо, причем не только на другом периоде времени, но и на другом наборе рынков.

Тесты 4—6. Тестирование модели входа в короткие позиции с входами по цене открытия, по лимитному приказу и стоп-приказу. В пределах выборки казначейские векселя, немецкая марка, швейцарский франк, канадский доллар, свиная грудинка, овес, канзасская пшеница, апельсиновый сок и лес показали устойчивую прибыль. Британский фунт и немецкая марка также принесли прибыль вне выборки. Швейцарский франк был прибыльным вне выборки, но только с лимитным прика

ГЛАВА 12 ГЕНЕТИЧЕСКИЕ АЛГОРИТМЫ 301

Таблица 12—4. Анализ эффективности для тестов и рынков Рва ,'льтаты is ntuatn&x аывиркя Результаты вне прецепаа Еьгёорнн SYM 01 02 03 04 05 oe ИТОГО 01" 02 03 04 05 оа ИТОГО SP 0 0 YX 4+ 44 44 3 44 44 +4 3 US 0 0 те 44 44 2 44 1 TV 0 0 BP 44 ++ 44 4 ++ s 4+ 44 44 +4 4+ 5 DM 44 ++ ++ 44 +4 5 4+ 44 ++ + 4 44 5 SF 44 44 44 3 4+ 1 JY ++ 44 44 44 4 0 CD 4 + 4 + 44 4 5 0 ED 0 0 CL 44 44 2 0 HO 0 0 ни 44 1 ++ 44 2 GC 0 0 SI 0 44 44 2 PL 44 ++ ++ 3 0 PA 0 0 FC 0 о LC 0 0 LH 0 0 PB 44 +4 2 0 s 0 0 SM 0 - 0 eo 0 0 с 0 0 0 44 44 44 3 0 w 44 44 2 0 KW 44 +? +4 + 44 s 0 MW 44 1 0 КС 0 44 44 2 cc 44 44 44 з 0 ?8 0 0 JO 44 44 44 г 0 CT 0 о LB 44 ++ 44 44 44 44 в 0 итого 11 is 9 10 9 10 5 5 2 3 3 3 зом. Другие рынки либо не были задействованы в торговле, либо были убыточны. Вне выборки NYFE показал прибыль при всех типах приказов (будучи убыточным в пределах выборки).

Рис. 12-1 изображает рост капитала при торговле портфелем для длинных позиций с входом по цене открытия. Как видно из графика, наблю

302

ЧАСТЬ II ИССЛЕДОВАНИЕ входов в РЫНОК

Рисунок 12-1. Рост капитала при торговле портфелем (длинные позиции, вход по цене открытия).

дался устойчивый рост капитала. Ступенчатая форма графика связана с небольшим количеством сделок.

Время от времени весьма выгодная сделка являлась причиной внезапного ступенчатого роста капитала. Линия наименьших квадратов, вписанная в график изменения капитала, показывает последовательный рост в обеих выборках, с небольшим перевесом в ранние годы. Рост капитала при торговле портфелем для длинных позиций с входом по лимитному приказу, который помогает контролировать транзакционные издержки, представлен на рис. 12-2. И здесь наблюдается аналогичное ступенчатое изменение капитала. Однако на этом графике не видно замедления роста в последние годы — линия, вписанная методом наименьших квадратов, почти прямая. Эффективность вне выборки была почти идентична эффективности в пределах выборки.

Рис. 12-3 показывает рост капитала при торговле портфелем с помощью наилучшей модели для коротких позиций с входом по цене открытия. Здесь также присутствует подобный ступенчатый эффект. Однако, за исключением сильного роста капитала в период с августа 1989 г. по июнь 1993 г., капитал системы практически не менялся.

ГЛАВА 18 ГЕНЕТИЧЕСКИЕ АЛГОРИТМЫ

.303

Правила протестированных решений

Правила для открытия длинных позиций. Хромосома, представившая лучшее решение для входов в длинные позиции по цене открытия, содержит три гена. Каждый ген был составлен из четырех чисел и связан с определенным правилом.

Ген 1 состоял из чисел 4, 850, 65 и 653, что означает правило снижения открытого интереса (case 4), анализируемый период 34 и порог 0,042 соответственно. Последнее число (653) не было использовано, потому что данное правило содержит только два параметра. Таким образом, данное правило возвращает значение ИСТИНА, если открытый интерес снизился по меньшей мере на 4,2% за последние 34 дня. Другими словами, разность открытого интереса 34 дня назад и открытого интереса 1 день назад, поделенная на открытый интерес 34 дня назад, должна быть больше

чем 0,042.

Ген 2 состоит из чисел 1, 256, 530 и 709. Первое число (1) соответствует простому правилу ценового сравнения (case 1). Смысл других чисел гена состоит в том, что правило возвращает значение ИСТИНА, когда цена зак-

304

ЧАСТЬ II ИССЛЕДОВАНИЕ входов в РЫНОК

рытия 3 дня назад превышает цену закрытия 14 дней назад на величину среднего истинного диапазона, умноженного на 3,46.

Ген 3 состоит из чисел 5, 940, 47 и 610. Шаблон правила 5 (case 5) соответствует правилу повышения открытого интереса. Полная реализация этого правила показывает, что правило возвращает значение ИСТИНА, если открытый интерес рынка увеличился по крайней мере на 5,6% за последние 44 дня.

Если условия для всех трех правил, определяемые генами 1, 2 и 3, выполняются на данный день, то модель генерирует сигнал к покупке.

Интересно, что два правила используют открытый интерес — переменную, которую обычно не рассматривают во многих популярных торговых методах. Также примечательно, что два объединенных правила открытого интереса почти противоречат друг другу: текущий открытый интерес должен быть больше, чем открытый интерес 44 дня назад, но меньше, чем открытый интерес 34 дня назад. Модель напоминает систему следования за трендом, поскольку последний открытый интерес должен быть больше, чем открытый интерес за некоторую предыдущую дату. Однако

ГЛАВА 12 ГЕНЕТИЧЕСКИЕ АЛГОРИТМЫ

305

остается время для маленького отката, т.е. увеличение открытого интереса должно произойти 3 дня назад, а не в текущий день. Это не тот набор правил, который легко обнаружить обычным способом без помощи генетического алгоритма.

Правила для входа в короткие позиции. Подобный анализ также можно провести для коротких позиций. Числа 5, 890, 391 и 532 (ген 1); 5, 705, 760 и 956 (ген 2) и 10, 163,999 и 196 (ген 3) соответствуют хромосоме, которая представила лучшее решение для входа в короткую позицию по цене открытия. Два указанных гена соответствуют правилам, связанным с открытым интересом, и один — с осциллятором MACD. Первое правило открытого интереса утверждает, что открытый интерес 1 день назад должен быть по крайней мере на 38% больше, чем открытый интерес 38 дней назад. Второе правило открытого интереса утверждает, что открытый интерес 1 день назад должен быть по крайней мере на 75% больше, чем открытый интерес 25 дней назад. Третье правило утверждает, что наклон MACD (период короткого скользящего среднего = 2, а период длинного скользящего среднего = 50) должен быть направлен вниз, предполагая наличие нисходящего тренда. Если были выполнены условия для всех трех правил, указанных этими тремя генами, то подается сигнал на продажу. Повторюсь, эти правила было бы не так легко обнаружить, если разрабатывать торговую модель в более традиционной манере.

ЗАКЛЮЧЕНИЕ

Как и в нашем раннем исследовании, использование ГАдля поиска торговых правил помогло найти весьма убедительные модели входа. Результаты впечатляют, несмотря на такие проблемы, как малое число сделок во многих решениях. Этот подход, несомненно, может служить в качестве основания для дальнейших усилий в разработке системы. В данном исследовании была использована лишь маленькая база шаблонов правил, включающая простейшие элементы (ценовые сравнения, скользящие средние и осцилляторы). Несомненно, намного лучшие результаты могли быть получены при использовании более сложного и полного набора шаблонов в качестве зерна для генетической мельницы.

ЧТО МЫ УЗНАЛИ?

Длинные позиции, как правило, работают лучше, чем короткие, на рынках, составляющих наш стандартный портфель, с большинством исследованных моделей. Следовательно, заслуживают большего внимания усилия, направленные на развитие системы, в которой делается акцент на длинные позиции.

306

ЧАСТЬ II ИССЛЕДОВАНИЕ входов в РЫНОК

Генетические алгоритмы представляются эффективным средством обнаружения нестандартных торговых систем, которые практически невозможно разработать общепринятыми методами.

При правильном использовании ГА избыточная оптимизация (подгонка под исторические данные) не является серьезной проблемой, несмотря на оптимизационную мощь генетических алгоритмов.

Ограничения количества и сложности правил в любом решении представляются ключевым элементом в контроле над демоном подгонки под исторические данные.

Генетическая эволюция правил имеет большое преимущество, связанное с тем, что полученные правила могут быть переведены на простой язык и понятны. В отличие от нейросетевых систем торговые правила, созданные с помощью ГА, не скрыты в непостижимом черном ящике.

Использование генетики описанным выше способом помогает создать большое количество отдельных прибыльных решений, которые затем можно объединить в портфеле, торгующем несколькими моделями.

<< | >>
Источник: Джеффри Оуэн Кац, Донна Л. МакКормик . Энциклопедия торговых стратегий / Пер, с англ. — М.: Альпина Паблишер. — 400 с. . 2002

Еще по теме РЕЗУЛЬТАТЫ ТЕСТОВ:

  1. РЕЗУЛЬТАТЫ ТЕСТОВ
  2. РЕЗУЛЬТАТЫ ТЕСТОВ
  3. Практикум (сборник тестов, задач и вопросов)
  4. НАЗНАЧЕНИЕ ТЕСТОВ
  5. Типы тестов
  6. Виды тестов
  7. 2.3 Результаты исследования зависимости результатов деятельности компании от уровня её устойчивого развития
  8. Глава 15 Тестовые компании
  9. ИСТОРИЯ, ПРИНЦИПЫ И РЕЗУЛЬТАТЫ РЕФОРМИРОВАНИЯ НАЦИОНАЛЬНЫХ ЭКОНОМИК СТРАН МИРОВОГО СООБЩЕСТВА (ОБОБЩЕННЫЕ РЕЗУЛЬТАТЫ ИССЛЕДОВАНИЯ).
  10. ПРАВИЛА КОНСТРУИРОВАНИЯМ ФОРМУЛИРОВАНИЯ ТЕСТОВ
  11. Тестовые задания
  12. Тестовые задания
  13. Тестовые задания
  14. Тестовые задания
  15. Тестовые задания
  16. Тестовые задания
  17. МАТЕРИАЛЫ ТЕСТОВОЙ СИСТЕМЫ