Я запускаю сценарий bash, который будет использовать путь в S3 (как указано в ls) и выгрузите содержимое всех файловых объектов в stdout. По сути, я хотел бы реплицировать cat /path/to/files/*, кроме S3, например. s3cat '/bucket/path/to/files/*'. Моя первая склонность при рассмотрении вариантов - использовать команду cp для временного файла, а затем cat это.
Кто-нибудь пробовал это или подобное, или уже есть команда, которую я не нахожу, которая это делает?
выгрузить содержимое всех файловых объектов на стандартный вывод.
Вы можете сделать это, если передадите - в качестве назначения команды aws s3 cp. Например, $ aws s3 cp s3://mybucket/stream.txt -.
Вы пытаетесь сделать что-то вроде этого? ::
#!/bin/bash
BUCKET=YOUR-BUCKET-NAME
for key in `aws s3api list-objects --bucket $BUCKET --prefix bucket/path/to/files/ | jq -r '.Contents[].Key'`
do
echo $key
aws s3 cp s3://$BUCKET/$key - | md5sum
done
aws --version: aws-cli/1.15.40 Python/3.6.5 Darwin/17.7.0 botocore/1.10.40)
- person MichaelChirico; 03.08.2018
Если вы используете версию интерфейса командной строки AWS, которая не поддерживает копирование в "-", вы также можете использовать / dev / stdout:
$ aws s3 cp --quiet s3://mybucket/stream.txt /dev/stdout
Вы также можете захотеть, чтобы флаг --quiet предотвращал добавление итоговой строки, подобной следующей, к вашему выводу:
скачать: s3: //mybucket/stream.txt в ../../dev/stdout
Вы можете попробовать использовать s3streamcat, он также поддерживает форматы bzip, gzip и xz.
Установить с помощью
sudo pip install s3streamcat
Использование:
s3streamcat s3://bucketname/dir/file_path
s3streamcat s3://bucketname/dir/file_path | more
s3streamcat s3://bucketname/dir/file_path | grep something
Ah ha!
https://pypi.python.org/pypi/s3cat/1.0.8
Я пишу больше символов, чтобы удовлетворить требованиям к длине.
Если вы хотите сделать это с помощью BASH, вам нужно будет вызвать внешнее приложение, такое как AWS Command -Линейный интерфейс (CLI). У него нет эквивалента CAT, поэтому вам нужно будет скопировать файл локально, а затем CAT.
В качестве альтернативы вы можете использовать / написать приложение, которое напрямую вызывает AWS SDK, доступный для таких языков, как Python, PHP, Java. Используя SDK, содержимое файла может быть получено в памяти, а затем отправлено на стандартный вывод.
