{coding}Sight

Introduction

Amazon Web Service, AWS, is een toonaangevende cloud-infrastructuur provider voor het opslaan van uw servers, applicaties, databases, netwerken, domeincontrollers en actieve mappen in een wijdverspreide cloud-architectuur. AWS biedt een eenvoudige Storage Service (S3) voor het opslaan van uw objecten of gegevens met (119 ‘ s) van data duurzaamheid. AWS S3 voldoet aan PCI-DSS, HIPAA/HITECH, FedRAMP, EU-richtlijn gegevensbescherming en FISMA die helpt voldoen aan wettelijke vereisten.

wanneer u inlogt op de AWS portal, navigeert u naar de S3 bucket, kiest u de gewenste bucket, en download of upload de bestanden. Het handmatig doen op de portal is nogal een tijdrovende taak. In plaats daarvan kunt u de AWS Command Line Interface (CLI) die het beste werkt voor bulk bestand operaties met eenvoudig te gebruiken scripts gebruiken. U kunt de uitvoering van deze scripts plannen voor het downloaden/uploaden van een object zonder toezicht.

configureer AWS CLI

Download de AWS CLI en installeer AWS opdrachtregelinterface V2 op Windows -, macOS-of Linux-besturingssystemen.

u kunt de installatiewizard volgen voor een snelle installatie.

Maak een IAM-gebruiker

om toegang te krijgen tot de AWS S3-emmer met behulp van de opdrachtregelinterface, moeten we een IAM-gebruiker instellen. Ga In de AWS-portal naar Identity and Access Management (IAM) en klik op Gebruiker toevoegen.

voer op de pagina Gebruiker toevoegen de gebruikersnaam en het toegangstype in als programmatische toegang.

vervolgens bieden we machtigingen aan de IAM-gebruiker met behulp van bestaand beleid. Voor dit artikel, we hebben gekozen uit de AWS managed policies.

Bekijk uw iam-Gebruikersconfiguratie en klik op Gebruiker maken.

zodra de AWS iam gebruiker is gemaakt, het geeft de Access Key ID en Secret access key om verbinding te maken met behulp van de AWS CLI.

Noot: U moet deze referenties kopiëren en opslaan. AWS staat u niet toe om ze op te halen in een later stadium.

configureer AWS profiel op uw Computer

om met AWS CLI te werken op Amazon web service resources, start u de PowerShell en voert u het volgende commando uit.

>aws configure

het vereist de volgende gebruikersinvoer:

• iam user Access Key ID
• AWS Secret Access key
• Default AWS region-name
• Default output format

maak S3 Bucket met behulp van AWS CLI

om de bestanden of objecten op te slaan, hebben we een S3 bucket nodig. We kunnen het maken met behulp van zowel de AWS portal en AWS CLI.

het volgende CLI commando maakt een emmer met de naam in de regio us-east-1. De query retourneert de bucket naam in de uitvoer, zoals hieronder getoond.

>aws s3api create-bucket --bucket mys3bucket-testupload1 --region us-east-1

u kunt de nieuw aangemaakte S3-emmer verifiëren met behulp van de AWS-console. Zoals hieronder getoond, wordt het geüpload in het oosten van de VS (N. Virginia).

Om een lijst van bestaande S3 emmer met AWS CLI, voert u de opdracht – aws s3 ls

Met het uploaden van Objecten in de S3 Emmer Met AWS CLI

Wij kunnen het uploaden van een enkel bestand of meerdere bestanden samen in de AWS S3 emmer met behulp van de AWS CLI commando. Stel dat we een enkel bestand moeten uploaden. Het bestand wordt lokaal opgeslagen in de C:\S3Files met de naam script1.txt.

gebruik het volgende CLI-script om het ene bestand te uploaden.

>aws s3 cp C:\S3Files\Script1.txt s3://mys3bucket-testupload1/

het uploadt het bestand en retourneert de paden van het bron-doelbestand in de uitvoer:

Opmerking: De tijd om te uploaden op de S3 bucket is afhankelijk van de bestandsgrootte en de netwerkbandbreedte. Voor de demo doel, ik gebruikte een klein bestand van een paar KBs.

u kunt de S3-emmer vernieuwen en het bestand dat erin is opgeslagen bekijken.

op dezelfde manier kunnen we hetzelfde CLI script gebruiken met een kleine wijziging. Het uploadt alle bestanden van de bron naar de bestemming S3 emmer. Hier gebruiken we de parameter-recursive voor het uploaden van meerdere bestanden samen:

>aws s3 cp c:\s3files s3://mys3bucket-testupload1/ --recursive

zoals hieronder getoond, het uploadt alle bestanden die zijn opgeslagen in de lokale map c:\S3Files naar de S3 emmer. Je krijgt de voortgang van elke upload in de console.

we kunnen zien alle geüploade bestanden met behulp van recursieve parameters in de S3 emmer in de volgende figuur:

als u niet naar de AWS-portal wilt gaan om de geüploade lijst te verifiëren, voert u het CLI-script uit, retourneert u alle bestanden en upload timestamps.

>aws s3 ls s3://mys3bucket-testupload1

stel dat we alleen bestanden met een specifieke extensie in de aparte map van AWS S3 willen uploaden. U kunt het object filteren met behulp van de CLI script ook. Voor dit doel gebruikt het script include en exclude trefwoorden.

bijvoorbeeld, de query hieronder controleert bestanden in de bronmap (c:\s3bucket), filtert bestanden met .SQL extensie, en uploadt ze in SQL / map van de S3 emmer. Hier, we gespecificeerd de extensie met behulp van de include trefwoord:

>aws s3 cp C:\S3Files s3://mys3bucket-testupload1/ --recursive --exclude * --include *.sql

In het script uitvoer, kunt u controleren of de bestanden met de .SQL extensies zijn alleen geüpload.

evenzo, de onderstaande script uploadt bestanden met de .csv uitbreiding in de S3 emmer.

>aws s3 cp C:\S3Files s3://mys3bucket-testupload1/ --recursive --exclude * --include *.csv

Upload nieuwe of gewijzigde bestanden van de bronmap naar S3 Bucket

stel dat u een S3 bucket gebruikt om back-ups van uw database-transactielogboek te verplaatsen.

voor dit doel gebruiken we het synchronisatie sleutelwoord. Het kopieert recursief nieuwe, gewijzigde bestanden van de bronmap naar de bestemming S3 emmer.

>aws s3 sync C:\S3Files s3://mys3bucket-testupload1/ --recursive --exclude * --include *.sql

zoals hieronder getoond, heeft het een bestand geüpload dat afwezig was in de S3-emmer. Evenzo, als u een bestaand bestand in de bronmap wijzigt, zal het CLI-script het kiezen en uploaden naar de S3-emmer.

samenvatting

het AWS CLI script kan uw werk gemakkelijker maken voor het opslaan van bestanden in de S3 bucket. U kunt het gebruiken om bestanden te uploaden of te synchroniseren tussen lokale mappen en de S3 bucket. Het is een snelle manier om te implementeren en te werken met objecten in de AWS cloud.

Tags: AWS, AWS cli, AWS s3, cloud platform Laatst gewijzigd: 16 September 2021