AWS EMR - шаги

Я запускаю следующий .sh, чтобы запустить команду на AWS с использованием EMR:

aws emr create-cluster --name "Big Matrix Re Run 5" --ami-version 3.1.0 --auto-terminate --log-uri FILE LOCATION --enable-debugging --instance-groups InstanceGroupType=MASTER,InstanceCount=1,InstanceType=c3.xlarge InstanceGroupType=CORE,InstanceCount=3,InstanceType=c3.xlarge --steps NAME AND LOCATION OF FILE

Я удалил соответствующее имя файла и расположение, так как это не моя проблема, но у меня проблема с --steps частью скрипта.

Как указать шаги, которые я хочу выполнить в кластере? В документации нет примеров.

Вот ошибка:

Параметр синтаксического анализа ошибок '--steps': должен быть: пары значений ключа, где значения разделены запятыми, а несколько пар разделены пробелами. --steps Name = string1, Jar = string1, ActionOnFailure = string1, MainClass = string1, Type = string1, Properties = string1, Args = string1, string2 Name = string1, Jar = string1, ActionOnFailure = string1, MainClass = string1, Type = строка1, Свойства = строка1, аргументы = строка1, строка2

Спасибо!


person DataGuy    schedule 22.07.2015    source источник


Ответы (1)


страница документации для командной строки AWS Интерфейсная команда create-cluster показывает примеры использования параметра --steps.

Шаги могут быть указаны в командной строке или могут относиться к файлам, доступным в HDFS или Amazon S3.

В HDFS:

aws emr create-cluster --steps file://./multiplefiles.json --ami-version 3.3.1 --instance-groups InstanceGroupType=MASTER,InstanceCount=1,InstanceType=m3.xlarge InstanceGroupType=CORE,InstanceCount=2,InstanceType=m3.xlarge --auto-terminate

В Amazon S3:

aws emr create-cluster --steps Type=HIVE,Name='Hive program',ActionOnFailure=CONTINUE,ActionOnFailure=TERMINATE_CLUSTER,Args=[-f,s3://elasticmapreduce/samples/hive-ads/libs/model-build.q,-d,INPUT=s3://elasticmapreduce/samples/hive-ads/tables,-d,OUTPUT=s3://mybucket/hive-ads/output/2014-04-18/11-07-32,-d,LIBS=s3://elasticmapreduce/samples/hive-ads/libs] --applications Name=Hive --ami-version 3.1.0 --instance-groups InstanceGroupType=MASTER,InstanceCount=1,InstanceType=m3.xlarge InstanceGroupType=CORE,InstanceCount=2,InstanceType=m3.xlarge
person John Rotenstein    schedule 23.07.2015