Публикации по теме 'boto3'
AWS SageMaker: обучение и развертывание модели XGBoost в наборе данных Iris
Введение
Amazon Web Services (AWS) — популярный поставщик облачных услуг, предлагающий широкий спектр услуг, включая SageMaker, полностью управляемый сервис для создания, обучения и развертывания моделей машинного обучения. В этой статье мы рассмотрим сценарий Python, который использует AWS SageMaker для обучения и развертывания модели XGBoost в известном наборе данных Iris. Мы подробно объясним каждую строку кода и обсудим ключевые концепции развертывания моделей машинного обучения..
Создание снимков томов AWS EC2 с помощью Python
Научитесь создавать и удалять снимки состояния Amazon EBS с помощью библиотеки Python boto3
Данные - один из важнейших аспектов любого программного приложения. Таким образом, резервное копирование данных становится одной из важнейших задач в процессе разработки приложений.
Создание снимков наших хранимых данных - отличная стратегия для резервного копирования данных.
Это то, на чем мы собираемся сосредоточиться. Мы собираемся затронуть следующие темы:
Что такое снимки и зачем..
Как запустить модель машинного обучения в производство
Часть 8. Создание и развертывание инфраструктуры на AWS с помощью Terraform и Boto3
К Части 7 мы завершили тестирование нашего кода. Теперь мы можем беспокоиться о том, как его развернуть.
В этой статье наша задача состоит в том, чтобы собрать все ресурсы посередине примера 1, и мы сделаем это с помощью Terraform .
Терраформ
HashiCorp Terraform — это инструмент инфраструктура как код , который позволяет вам определять как облачные, так и локальные ресурсы в удобочитаемых..
Развертывание моделей машинного обучения - подход для новичков
В Интернете есть множество материалов по машинному обучению. Тем не менее, для нашего конкретного требования мы не смогли найти метод, который мог бы удовлетворить наш вариант использования для доставки моделей машинного обучения в производство.
Решения, доступные в Интернете, варьировались от простого копирования модели в папку до сложных подходов, согласованных для удовлетворения потребностей в высоких технологиях. Простая модель требовала ручного труда, в то время как сложные модели..
Использование Python Lambdas, Javascript для получения фотографий на S3
В недавнем проекте NuxtJS мне нужно было разрешить пользователям загружать и отправлять изображения по разным причинам. Я решил, что проще всего загрузить все на S3, а затем сохранить URL-адреса изображений в DynamoDB для последующего поиска.
В прошлом я использовал AWS Lambdas в узле для создания предварительно подписанного URL-адреса, который позволял бы загружать фотографии, но, поскольку я недавно работал на Python, либо рекомендации AWS изменились, либо это ошибка boto3, но теперь они..
Вопросы по теме 'boto3'
Amazon AWS Cognito и Python Boto3 для установления соединения с AWS и загрузки файла в Bucket
Я пытаюсь использовать сервис AWS cognito для аутентификации и загрузки файла. Мне были предоставлены мой regionType, identityPool, идентификатор учетной записи AWS и UnAuthRole. Я также знаю названия сегментов производства и разработки.
Я думаю,...
17626 просмотров
schedule
28.05.2022
Django с Amazon S3 через boto3: неправильно сконфигурирован
Я следил за это руководство для настройки Amazon S3 с Django. Но поскольку я использую Python 3.3, я установил совместимый с Python-3 форк хранилищ django. и вместо этого boto3 .
Вот файл settings.py:
AWS_STORAGE_BUCKET_NAME =...
6075 просмотров
schedule
14.09.2022
ошибка подключения python boto3 без видимой причины
Я получаю сообщение об ошибке с кодом, который подключается к AWS с помощью boto3. Ошибка только началась вчера днем, и между последним разом, когда я не получил ошибку, и первым разом, когда я получил ошибку, я не вижу ничего, что изменилось....
5193 просмотров
schedule
02.07.2022
Простой способ сохранить содержимое ключа S3 в строку в boto3?
Поэтому, когда я выдаю get(), у меня есть dict, а член 'Body' dict - это тип StreamingBody и на Как сохранить объект S3 в файл с помощью boto3 , я вижу, как я могу читать из этого потока кусками, но я интересно, есть ли более простой способ сделать...
10527 просмотров
schedule
19.08.2022
boto3 aws api - список доступных типов экземпляров
Типы экземпляров: (t2.micro, t2.small, c4.large ...) перечисленные здесь: http://docs.aws.amazon.com/AWSEC2/latest/UserGuide/instance-types.html
Я хочу получить доступ к их списку через boto3. что-то вроде:
conn.get_all_instance_types()...
9653 просмотров
schedule
23.01.2023
Вызовы функций AWS boto из кода Lambda
Я пытаюсь изменить код запланированных событий aws-lambda по умолчанию, чтобы позвонить в SNS. Всякий раз, когда возникает ошибка, я хочу публиковать в теме SNS вместо того, чтобы поднимать ошибку, а затем использовать cloudwatch.
Не удается...
2426 просмотров
schedule
02.09.2022
Boto3: загрузка файла на S3
В Boto3, как я могу проверить, успешно ли загрузка файла выполнена без ошибок?
Какой ответ я получу, если не смогу загрузить?
В случае put_object ответ выглядит следующим образом( ссылка ):
{
'Expiration': 'string',
'ETag':...
1832 просмотров
schedule
29.07.2022
Команда копирования S3 выдает ошибку + как убрать секретные ключи из команды копирования
Почему моя команда копирования S3 в красное смещение дает эту ошибку? Это команда копирования:
COPY dbtablename from 's3://rcname/foldername/file.csv CREDENTIALS 'aws_access_key_id=xxxxxxx;aws_secret_access_key=yyyyyyy/zzzz' CSV IGNOREHEADER 1;...
983 просмотров
schedule
24.03.2023
Простое сканирование DynamoDB - 0 результатов
Я использую DynamoDB через Python (Boto3), пытаюсь выполнить простое сканирование таблицы, но получаю 0 результатов. Когда я пытаюсь использовать тот же фильтр сканирования на консоли AWS, он возвращает правильное количество результатов.
мой код...
210 просмотров
schedule
14.06.2023
boto3 изменение состояния экземпляра AWS ec2
Согласно документам Boto3 и эту диаграмму
У экземпляра EC2 есть 6 состояний:
'pending'|'running'|'shutting-down'|'terminated'|'stopping'|'stopped'
Мне было интересно, как можно программно установить состояние в одно из этих состояний....
8481 просмотров
schedule
31.03.2023
Получение имен вложенных папок в корзине S3 из boto3
Используя boto3, я могу получить доступ к своей корзине AWS S3:
s3 = boto3.resource('s3')
bucket = s3.Bucket('my-bucket-name')
Теперь корзина содержит папку first-level , которая сама содержит несколько подпапок, названных с меткой времени,...
205616 просмотров
schedule
09.05.2022
AWS CloudSearch выдает исключение EndpointConnectionError
Я пытаюсь настроить CloudSearch. Сначала я попробовал это с их демонстрационным набором данных («IMDB»), и все сработало просто идеально.
Затем я создал новый домен, чтобы экспортировать в него наши данные. Но все попытки подключиться к новому...
824 просмотров
schedule
12.11.2022
Создайте кластер EMR и завершите работу после запуска скрипта Python из S3 с использованием boto3.
Можно ли использовать boto3 для создания кластера emr и чтения скрипта python в s3, а затем завершить работу. Я знаю, что это можно сделать, создав кластер, а затем вручную скопировав скрипт с s3 на мастер во время начальной загрузки, но мне...
1582 просмотров
schedule
13.02.2023
как использовать boto3 authorize_security_group_ingress для добавления правила между двумя группами безопасности в нестандартном VPC
Я пытаюсь использовать boto3 для обновления правил группы безопасности, чтобы добавить правило в группу безопасности a (sg_a), чтобы разрешить группе безопасности b (sg_b) доступ к порту 8443.
Я пытаюсь использовать клиент EC2 для достижения этой...
3302 просмотров
schedule
21.07.2022
Ошибка импорта boto3 в python
Я установил boto3 с помощью pip2.7 install boto3 . Теперь, когда я делаю python2.7 script.py , у которого есть import boto3 , я получаю ImportError: No module named boto3 . Когда я снова делаю pip2.7 install boto3 , я получаю Requirement...
1290 просмотров
schedule
02.07.2023
Python 3.5 Type Hinting Factory Type
Если я создаю соединение с aws-ec2 с помощью boto3, оно имеет тип возврата boto3.resources.factory.ec2.ServiceResource
import boto3
cnxn = boto3.Session().resource('ec2')
type(cnxn)
>> boto3.resources.factory.ec2.ServiceResource
Я...
582 просмотров
schedule
12.02.2023
botocore.exceptions.EndpointConnectionError из контейнера Mac Docker
Недавно я начал получать EndpointConnectionError (после длительного ожидания) при попытке связаться с DynamoDB из контейнера Docker, работающего на Mac. Тот же код и настройка ранее работали нормально.
Вот пример кода:
>>> from boto3...
797 просмотров
schedule
09.09.2022
AWS Lambda python Сброс разорванного соединения
У меня есть AWS Python Lambda, который управляет тегами ресурсов (много вызовов API AWS с boto3) для моей инфраструктуры. Функция, выполненная на моем ноутбуке, хорошо работает и под Lambda. Но когда я выполняю его под Lambda, все мои журналы...
6327 просмотров
schedule
06.11.2022
Как получить публичный ip с помощью boto3
Мне нужно извлечь все ПУБЛИЧНЫЕ IP-адреса RUNNING из AWS, и я использую следующий код:
def gather_public_ip():
regions = ['us-west-2', 'eu-central-1', 'ap-southeast-1']
combined_list = [] ##This needs to be returned
for region in...
8982 просмотров
schedule
18.07.2022
Dynamodb: как увеличить значение на карте
Я пытаюсь использовать Dynamodb для поддержки карты имен с их значениями
eg. {"scores": {"player-a": 10}}
Я также хочу использовать оператор приращения для выполнения атомарных приращений. Однако я смог найти очень мало документации о том,...
4546 просмотров
schedule
17.10.2022
