{coding}Sight

Úvod

Amazon Web Service, aka AWS, je předním poskytovatelem cloudové infrastruktury pro ukládání serverů, aplikací, databází, sítí, řadičů domén a aktivních adresářů v rozšířené cloudové architektuře. AWS poskytuje jednoduchou službu úložiště (S3)pro ukládání vašich objektů nebo dat s (119) trvanlivostí dat. AWS S3 je kompatibilní s PCI-DSS, HIPAA / HITECH, FedRAMP, směrnicí EU o ochraně údajů a FISMA, která pomáhá uspokojit regulační požadavky.

když se přihlásíte na portál AWS, přejděte do kbelíku S3, vyberte požadovaný kbelík a stáhněte nebo nahrajte soubory. Dělat to ručně na portálu je poměrně časově náročný úkol. Místo toho můžete použít rozhraní příkazového řádku AWS (CLI), které nejlépe funguje pro hromadné operace se soubory se snadno použitelnými skripty. Můžete naplánovat provádění těchto skriptů pro bezobslužný objekt stahování/nahrávání.

konfigurace AWS CLI

Stáhněte si AWS CLI a nainstalujte rozhraní AWS příkazového řádku V2 v operačních systémech Windows, macOS nebo Linux.

můžete sledovat průvodce instalací pro rychlé nastavení.

vytvořte uživatele IAM

pro přístup k kbelíku AWS S3 pomocí rozhraní příkazového řádku musíme nastavit uživatele IAM. Na portálu AWS přejděte na správu identit a přístupu (IAM) a klikněte na Přidat uživatele.

na stránce Přidat uživatele zadejte uživatelské jméno a typ přístupu jako programový přístup.

dále poskytujeme oprávnění uživateli IAM pomocí stávajících zásad. Pro tento článek jsme vybrali zásady spravované AWS.

Zkontrolujte konfiguraci uživatele IAM a klikněte na Vytvořit uživatele.

jakmile je uživatel AWS iam vytvořen, poskytuje přístupový klíč ID a tajný přístupový klíč pro připojení pomocí AWS CLI.

Poznámka: Tyto přihlašovací údaje byste měli zkopírovat a uložit. AWS vám neumožňuje načíst je v pozdější fázi.

nakonfigurujte profil AWS v počítači

Chcete-li pracovat s AWS CLI na prostředcích Amazon web service, spusťte PowerShell a spusťte následující příkaz.

>aws configure

vyžaduje následující uživatelské vstupy:

• ID uživatelského přístupového klíče IAM
• tajný přístupový klíč AWS
• Výchozí název regionu AWS
• výchozí výstupní formát

Vytvořte kbelík S3 pomocí AWS CLI

k ukládání souborů nebo objektů potřebujeme kbelík S3. Můžeme jej vytvořit pomocí portálu AWS i AWS CLI.

následující příkaz CLI vytvoří kbelík pojmenovaný v oblasti USA-východ-1. Dotaz vrátí název kbelíku na výstupu, jak je uvedeno níže.

>aws s3api create-bucket --bucket mys3bucket-testupload1 --region us-east-1

nově vytvořený kbelík s3 můžete ověřit pomocí konzoly AWS. Jak je uvedeno níže, je nahrán na východě USA (N. Virginie).

Chcete-li uvést existující kbelík S3 pomocí AWS CLI, spusťte příkaz-aws s3 ls

nahrávání objektů v kbelíku S3 pomocí AWS CLI

můžeme nahrát jeden soubor nebo více souborů dohromady v kbelíku AWS S3 pomocí příkazu AWS CLI. Předpokládejme, že máme jeden soubor nahrát. Soubor je uložen lokálně v C:\S3Files s názvem script1.txt.

Chcete-li nahrát jeden soubor, použijte následující skript CLI.

>aws s3 cp C:\S3Files\Script1.txt s3://mys3bucket-testupload1/

nahraje soubor a vrátí cesty zdrojového a cílového souboru ve výstupu:

Poznámka: čas nahrávání na kbelíku S3 závisí na velikosti souboru a šířce pásma sítě. Pro demo účely, použil jsem malý soubor několika KBs.

můžete obnovit kbelík s3 a zobrazit soubor v něm uložený.

podobně můžeme použít stejný skript CLI s mírnou úpravou. Nahraje všechny soubory ze zdroje do cílového kbelíku S3. Zde používáme parametr-rekurzivní pro nahrávání více souborů dohromady:

>aws s3 cp c:\s3files s3://mys3bucket-testupload1/ --recursive

jak je uvedeno níže, nahraje všechny soubory uložené v místním adresáři c:\S3Files do kbelíku S3. Získáte průběh každého nahrávání v konzole.

na následujícím obrázku vidíme všechny nahrané soubory pomocí rekurzivních parametrů v kbelíku S3:

pokud nechcete jít na portál AWS a ověřit nahraný seznam, spusťte skript CLI, vraťte všechny soubory a nahrajte časová razítka.

>aws s3 ls s3://mys3bucket-testupload1

Předpokládejme, že chceme nahrát pouze soubory se specifickou příponou do samostatné složky AWS S3. Filtrování objektů můžete provést také pomocí skriptu CLI. Za tímto účelem skript používá klíčová slova zahrnout a vyloučit.

například níže uvedený dotaz kontroluje soubory ve zdrojovém adresáři (c:\s3bucket), filtruje soubory s.rozšíření sql a nahraje je do SQL / složky kbelíku S3. Zde jsme určili rozšíření pomocí klíčového slova include:

>aws s3 cp C:\S3Files s3://mys3bucket-testupload1/ --recursive --exclude * --include *.sql

ve výstupu skriptu, můžete ověřit, že soubory s .byly nahrány pouze rozšíření sql.

podobně, níže uvedený skript nahrává soubory s .rozšíření csv do kbelíku S3.

>aws s3 cp C:\S3Files s3://mys3bucket-testupload1/ --recursive --exclude * --include *.csv

Nahrajte nové nebo upravené soubory ze zdrojové složky do kbelíku S3

Předpokládejme, že k přesunutí záloh protokolu transakcí v databázi používáte kbelík S3.

pro tento účel používáme Klíčové slovo sync. Rekurzivně kopíruje nové, upravené soubory ze zdrojového adresáře do cílového kbelíku s3.

>aws s3 sync C:\S3Files s3://mys3bucket-testupload1/ --recursive --exclude * --include *.sql

jak je uvedeno níže, nahrál soubor, který v kbelíku s3 chyběl. Podobně, pokud upravíte jakýkoli existující soubor ve zdrojové složce, skript CLI jej vybere a nahraje do kbelíku S3.

shrnutí

skript AWS CLI vám může usnadnit práci při ukládání souborů do kbelíku S3. Můžete jej použít k nahrávání nebo synchronizaci souborů mezi místními složkami a kbelíkem S3. Je to rychlý způsob nasazení a práce s objekty v cloudu AWS.

tagy: AWS, aws cli, aws S3, cloud platform Poslední změna: 16. Září 2021