{coding}Sight

Bevezetés

az Amazon Web Service, más néven AWS, vezető felhőinfrastruktúra-szolgáltató a szerverek, alkalmazások, adatbázisok, hálózatok, tartományvezérlők és aktív könyvtárak széles körű felhő architektúrában történő tárolására. Az AWS egy egyszerű tárolási szolgáltatást (S3) nyújt az objektumok vagy adatok tárolásához (119-es) adattartalommal. Az AWS S3 megfelel a PCI-DSS, a HIPAA/HITECH, A FedRAMP, az EU adatvédelmi irányelv és a FISMA előírásoknak, amelyek segítenek megfelelni a szabályozási követelményeknek.

amikor bejelentkezik az AWS portálra, keresse meg az S3 vödröt, válassza ki a kívánt vödröt, majd töltse le vagy töltse fel a fájlokat. A portálon manuálisan történő elvégzése meglehetősen időigényes feladat. Ehelyett használhatja az AWS parancssori felületet (CLI), amely a legjobban működik a tömeges fájlműveletekhez, könnyen használható szkriptekkel. A parancsfájlok végrehajtását ütemezheti egy felügyelet nélküli objektum letöltéséhez / feltöltéséhez.

az AWS CLI konfigurálása

töltse le az AWS CLI-t, és telepítse az AWS parancssori Interface V2-t Windows, macOS vagy Linux operációs rendszerekre.

a gyors telepítéshez kövesse a telepítővarázslót.

hozzon létre egy iam felhasználót

az AWS S3 vödör eléréséhez a parancssori felület segítségével be kell állítanunk egy IAM felhasználót. Az AWS portálon keresse meg az Identity and Access Management (iam) elemet, majd kattintson a Felhasználó hozzáadása elemre.

a Felhasználó hozzáadása lapon adja meg a felhasználónevet és a hozzáférés típusát programozott hozzáférésként.

ezután engedélyeket adunk az IAM felhasználónak a meglévő házirendek használatával. Ehhez a cikkhez az AWS által kezelt irányelvek közül választottunk.

tekintse át az IAM felhasználói konfigurációját, majd kattintson a felhasználó létrehozása gombra.

az AWS iam felhasználó létrehozása után megadja a hozzáférési kulcs azonosítóját és a titkos hozzáférési kulcsot az AWS CLI használatával történő csatlakozáshoz.

Megjegyzés: Másolja és mentse el ezeket a hitelesítő adatokat. AWS nem teszi lehetővé, hogy letölteni őket egy későbbi szakaszban.

állítsa be az AWS profilt a számítógépén

az AWS CLI használatához az Amazon web service erőforrásain indítsa el a PowerShell-t, és futtassa a következő parancsot.

>aws configure

a következő felhasználói bemeneteket igényli:

• iam felhasználói hozzáférési kulcs azonosítója
• AWS titkos hozzáférési kulcs
• alapértelmezett AWS régiónév
• alapértelmezett kimeneti formátum

hozzon létre S3 vödröt az AWS CLI

használatával a fájlok vagy objektumok tárolásához szükségünk van egy S3 vödörre. Létrehozhatjuk mind az AWS portál, mind az AWS CLI használatával.

a következő CLI parancs létrehoz egy vödröt az USA-Kelet-1 régióban. A lekérdezés visszaadja a vödör nevét a kimeneten, az alábbiak szerint.

>aws s3api create-bucket --bucket mys3bucket-testupload1 --region us-east-1

az újonnan létrehozott s3 vödröt az AWS konzol segítségével ellenőrizheti. Amint az alább látható, az Egyesült Államok keleti részén (N. Virginia) kerül feltöltésre.

a meglévő S3 vödör felsorolásához az AWS CLI használatával futtassa a parancsot-aws s3 ls

objektumok feltöltése az S3 vödörbe az AWS CLI

használatával egyetlen vagy több fájlt tölthetünk fel együtt az AWS S3 vödörbe az AWS CLI paranccsal. Tegyük fel, hogy egyetlen fájlt kell feltöltenünk. A fájl helyileg tárolódik a C:\S3Files a script1 névvel.txt.

az egyetlen fájl feltöltéséhez használja a következő CLI parancsfájlt.

>aws s3 cp C:\S3Files\Script1.txt s3://mys3bucket-testupload1/

feltölti a fájlt, és visszaadja a forrás-cél fájl elérési útját a kimeneten:

Megjegyzés: Az S3 vödörre történő feltöltés ideje a fájl méretétől és a hálózati sávszélességtől függ. A demo célra, használtam egy kis fájlt néhány KBs.

frissítheti az s3 vödröt, és megtekintheti a benne tárolt fájlt.

hasonlóképpen, ugyanazt a CLI szkriptet is használhatjuk enyhe módosítással. Feltölti az összes fájlt a forrásból a cél S3 vödörbe. Itt a paramétert használjuk-rekurzív több fájl együttes feltöltéséhez:

>aws s3 cp c:\s3files s3://mys3bucket-testupload1/ --recursive

amint az alább látható, feltölti a helyi könyvtárban tárolt összes fájlt c:\S3Files az S3 vödörbe. Megkapja az egyes feltöltések előrehaladását a konzolban.

az összes feltöltött fájlt rekurzív paraméterekkel láthatjuk az S3 vödörben a következő ábrán:

ha nem szeretné az AWS portálon ellenőrizni a feltöltött listát, futtassa a CLI parancsfájlt, adja vissza az összes fájlt, és töltse fel az időbélyegeket.

>aws s3 ls s3://mys3bucket-testupload1

tegyük fel, hogy csak egy adott kiterjesztésű fájlokat akarunk feltölteni az AWS S3 külön mappájába. Az objektumszűrést a CLI szkript segítségével is elvégezheti. Ebből a célból a szkript kulcsszavakat tartalmaz és kizár.

az alábbi lekérdezés például a forráskönyvtár fájljait ellenőrzi (c:\s3bucket), szűri a fájlokat .SQL kiterjesztés, és feltölti őket az S3 vödör SQL/ mappájába. Itt adtuk meg a kiterjesztést az include kulcsszóval:

>aws s3 cp C:\S3Files s3://mys3bucket-testupload1/ --recursive --exclude * --include *.sql

a parancsfájl kimenetében ellenőrizheti, hogy a fájlok a .csak sql kiterjesztéseket töltöttek fel.

Hasonlóképpen, az alábbi szkript fájlokat tölt fel a .csv kiterjesztés az S3 vödörbe.

>aws s3 cp C:\S3Files s3://mys3bucket-testupload1/ --recursive --exclude * --include *.csv

töltsön fel új vagy módosított fájlokat a Forrásmappából az S3 vödörbe

tegyük fel, hogy S3 vödröt használ az adatbázis tranzakciós napló biztonsági mentéseinek áthelyezéséhez.

erre a célra a sync kulcsszót használjuk. Rekurzívan másolja az új, módosított fájlokat a forráskönyvtárból a cél S3 vödörbe.

>aws s3 sync C:\S3Files s3://mys3bucket-testupload1/ --recursive --exclude * --include *.sql

az alábbiak szerint feltöltött egy fájlt, amely hiányzott az s3 vödörből. Hasonlóképpen, ha a forrásmappában bármilyen létező fájlt módosít, a CLI parancsfájl kiválasztja és feltölti az S3 vödörbe.

Összegzés

az AWS CLI szkript megkönnyítheti a fájlok tárolását az S3 vödörben. Használhatja fájlok feltöltésére vagy szinkronizálására a helyi mappák és az S3 vödör között. Ez egy gyors módja az AWS felhőben lévő objektumok telepítésének és kezelésének.

címkék: AWS, aws cli, aws s3, felhőplatform Utolsó módosítás: szeptember 16, 2021