提升您的企業架構韌性！解密 AWS 上的 DDoS 防禦策略——架構實戰篇
2023-03-14
在上篇「解密 AWS 上的 DDoS 防禦策略——觀念解析篇」講解何謂 DDoS 以及如何透過 AWS region 啟用 Shield standard 服務，使企業享有 DDoS 的基礎防護。除了 Shield 之外，客戶也應該對現有服務的架構進行優化，並減少及分散可能被攻擊的弱點。 AWS 上的資安防禦是層層堆疊起來的，在接下來的段落，我們將會透過以下架構圖講解 AWS 的最佳實踐如何達到 DDoS 緩解策略。 基礎設施層級防禦( BP1, BP3, BP6, BP7 ) Amazon EC2 Auto Scaling group with Amazon ELB 使用者可以透過設定 Amazon CloudWatch 來監控 EC2 的 CPU、RAM、網路 I/O 數值，使 Auto Scaling group 自動進行 EC2 的數量擴展，以處理瞬間大量湧入的 DDoS 攻擊流量。 如果企業是網頁的應用程式，您可以使用 Application Load Balancer(ALB) 根據內容路由流量並指接受標準格式的請求。ALB 能夠阻止許多常見的 DDoS 攻擊，從而保護您的網頁應用程式，當檢測到 DDoS 攻擊時，ALB 底層會自動擴展以處理大量的流量。 透過 AWS 邊緣節點進行擴展( BP1, BP3 ) Amazon Cloudfront 能將企業的網站應用程式上的靜態檔案進行快取，使用者透過對分散在全球的節點進行資源存取的形式，大幅減少了向原站點進行存取和 TCP 連線的需求，進而保護像是 HTTP 泛洪式類型的攻擊。若企業應用並非 Cloudfront 所支援，也可以使用 AWS Global Accelerator 透過全球節點進行路由優化。 Amazon Route 53 是 AWS上可以用極高擴展的 DNS 服務，其透過隨機分片( shuffle sharding，透過 Name server 對應到不同節點達到高可用)和 anycast striping ( DNS 請求會走最佳路由)等技術，即使 DNS 服務成為 DDoS 攻擊的目標，也可以幫助使用者正常存取應用程式。 應用程式層級防禦( BP1, BP2, BP6 ) 透過 AWS WAF，使用者可以在 Cloudfront 或是 ALB 上面配置 Web ACL 來阻擋攻擊，透過制定 Web ACL 內的規則( rule )，流量屬性的判斷，例如:特定字串、HTTP 方法，另外 WAF 也可以透過制定限制速率的規則來阻擋同一來源所造成的大量存取。一旦被 WAF 判定違反規則，用戶會收到 403 Forbidden 回應，直到用戶存取數量降到規則判定標準以下。 減少易受攻擊的弱點 Security Groups and Network Access Control Lists ( NACLs ) ( BP5 ) 在 Instance 層級，透過 Security Groups，您的 EC2 可以只允許接收來自 ALB 的流量，非 ALB 的流量都拒絕存取。在 VPC 層級你可以透過 NACL 設定允許和拒絕規則，這些規則在允許/拒絕特定類型的流量 ( TCP/UDP ) 和 IP 位址/網段時提供更多控制。 保護您的 API Endpoints ( BP4 ) 使用者可以透過 Cloudfront 結合 Amazon API Gateway，來保護 API Gateway 的 Endpoint 不會被直接存取。並透過為 REST API 中的每種方法( method )設定標准或突發速率限制，保護您的後端免受過多流量而受到影響。 您的雲端架構健全了嗎？讓 CKmates 助您一臂之力 許多企業會透過滲透測試或是弱點掃描這類型的方法進行年度資安演練，並認為這樣就足夠了，然而，由於不斷變化的商業環境和技術，企業的 IT 架構也需要不斷地調整和優化，以確保架構能保持彈性來防禦外在攻擊。 CKmates 為 AWS Well-Architected 計畫合作夥伴，能夠協助客戶的 AWS 架構符合最佳實踐。CKmates 的架構師專業團隊可以評估企業的 IT 架構，檢查基礎設施、安全、網路和可擴展性等方面發現潛在的問題，並提供改進建議以提高架構的可靠性和韌性。 CKmates解決方案： 雲端架構優化
.jpg)
提升您的企業架構韌性！解密 AWS 上的 DDoS 防禦策略 —— 觀念解析篇
2023-03-01
近幾年來企業遭受 DDoS 攻擊的事件頻傳，尤其是企業新的服務、遊戲上線時特別容易被「開幕送花籃(意指被 DDoS 攻擊)」，若企業無法及時防禦或是緩解攻擊，可能會造成服務中斷導致客戶流失及對於企業產生負面形象，這時候就是對於企業 IT 對於整體系統架構韌性的考驗，本篇文章將會講解什麼是 DDoS 以及如何透過 AWS 服務來提升架構的強韌度。 DDoS 攻擊模式知多少，各層級手法解析給你聽 DDoS ( Distributed Denial of Service 又稱「泛洪式攻擊( SYN flood ) 」，是攻擊者透過不同的來源進行針對式的攻擊，這些攻擊的來源可能會是電腦、路由器、IoT 裝置，或是其他分散式來源進行攻擊。 一般而言，可以透過受攻擊的開放式系統互連 ( OSI ) 模型層來隔離 DDoS 攻擊。這些攻擊在基礎設施層 ( Layers 3 和 4 ) 與應用程式層 ( Layer 6 和 7 )最常見。 基礎設施層攻擊 ( Layers 3 和 4 ) UDP 反射攻擊和 SYN 泛洪式攻擊都是最常見的基礎設施層 DDoS 攻擊。攻擊者透過這兩種方法中來產生大量流量，這些假流量可能會將網路流量塞爆或占用伺服器、防火牆、入侵防禦系統 ( IPS ) 或 Load Balancer 等系統上的資源，導致資源耗盡，無法正常提供服務。 應用程式層攻擊 ( Layer 6 和 7 ) 應用程式層常見的攻擊手法包括 HTTP 泛洪攻擊、暫存破壞攻擊( Cache-busting )和 WordPress XML-RPC 泛洪攻擊。類似於 SYN 泛洪式攻擊，攻擊者試圖使應用程式的特定功能過載，使應用程式無法正常提供服務。攻擊者可以透過只產生少量網路流量或是請求量來達成攻擊目的，所以讓攻擊難以檢測和緩解。 層層堆疊，AWS架構的DDoS的防禦策略 DDoS 之所以難防禦是因為系統很難區分哪些是惡意的假流量和真實的流量，但要有效地緩解，企業必須建構出一個比入站流量更快進行自動擴展的網路及架構，這時候客戶應透過雲端彈性擴容的優勢能夠更輕鬆達到 DDoS 緩解策略。 AWS 預設在所有的 region 啟用 Shield standard 服務，也就是說，當企業將服務的架構建置於 AWS 上，就立即享有 DDoS 的基礎防護。您也可以進一步訂閱 Shield Advanced 服務， AWS 會提供7*24的 SRT 團隊與您一同處理使用者正在面臨的 DDoS 攻擊，並提供視覺化儀表板讓使用者能快速了解狀況。 資安議題延伸閱讀： 淺談雲端託管服務對企業的影響 AWS 資安防護簡易2功能！應用「零信任轉型」助企業全面保護資訊環境 CKmates 資安客戶案例： 17 直播與銓鍇國際合作，善用 AWS 資源拓展全方位娛樂事業 銓鍇國際協助 MR. LIVING 居家先生將 AWS 成本控管與保護資料更完善
.jpg)
AWS 資安防護簡易2功能！應用「零信任轉型」助企業全面保護資訊環境
2023-02-06
近年來資安事件頻頻發生，根據 KPMG 去年所發表的2022年臺灣企業資安曝險大調查發現台灣60家指標性企業的平均曝險僅僅為 C 級，代表具備一般能力的駭客便能輕鬆入侵。許多企業也開始重視自身資訊環境安全，其中網路安全「零信任（Zero Trust Security）轉型」更成為資安防護的重要一環，全球政府以及企業組織都大力提倡，零信任成為勢在必行的資安事件解決方案。 零信任應用背景 傳統的防護著重在網路層面的防範，隨著科技的發展，如今許多企業漸漸將資源轉移到雲端上，而近年來因應全球新冠疫情導致遠端工作的用戶激增，遠端系統的存取人數逐漸增加，光靠網路層面的資安防護往往無法妥善保護到企業的數位資產，零信任架構也因此誕生。 零信任為資安防護的策略，其與傳統架構最大的差異為：不再只依靠網路層面來保護數位資產，零信任將其他資安防護的功能整合，並把存取控制權限進行更細緻的劃分。 零信任與 AWS 在 AWS（Amazon Web Services）上該如何進行零信任的架構？銓鍇國際架構師推薦可以整合「網路層面」與「身分驗證」兩項防護架構措施！ 1. AWS 網路資安防護措施 首先從網路層面來說，AWS 安全群組（Security Groups）能夠有效的保護資源。當零信任原則套用到 AWS 安全群組時，便可以預設拒絕所有不在清單上的連線，有效保護企業資產。 2. AWS 身份驗證資安防護措施 然而光靠網路層面的防護是遠遠不夠的，因此可再加入 AWS 身分驗證，透過設定 IAM 使用者（IAM user）以及 IAM 角色（IAM role）管理各個使用者的權限，使用戶可在洽當的權限內順利執行任務，保護企業資源存取。 資安防護最簡單有效的第一步，就是將 AWS 內的多重驗證功能開啟，強迫 ROOT 與 IAM 帳號都須綁定 MFA 才能登入，光是簡單的一個步驟，便能為您的系統增加更多的安全性！ AWS 資安保護流程 拿經典的三層式架構來說，架構圖上外部唯一能存取 EC2 的方式只能透過 ELB，因此在設定 EC2 安全群組時，可以設定只允許來自 ELB 的連入（SG1）；也能搭配 IAM 的角色將其權限進行更細緻的限縮，來規範此 EC2 所能使用的 AWS 服務有哪些。 最後端的資料庫同樣也可按照最小權限的邏輯，由於只有 EC2 需要存取此資料庫，因此可將資料庫的安全群組設定只允許來自 EC2 的連入（SG2）。如此便可以很清楚地將所有連線只限制在必要的資源上，當系統出現異常時，更能快速的鎖定問題來源，在最短的時間內將資料庫進行隔離或調整。 銓鍇國際把關企業資安防護 銓鍇國際作為混合雲專家，具備多張 AWS Certified Security – Specialty 證照，將企業資安防護問題擺在首位，協助企業建立安全可靠的系統。銓鍇國際成功輔導多元產業解決自身系統上的資安風險問題，並提供雲端專業顧問服務，透過 AWS Well－Architecture 服務全面檢視企業所使用的 AWS 資源，以及一站式資安規劃，協助企業持續主動地 24 小時監控、自動化告警 NOC 團隊和客戶，助企業更全面地保護資訊環境，防止資安事件發生。
AWS re:Invent 2022 發布「5大亮點」回顧
2022-12-29
雲端服務產業的年度盛事 AWS re:Invent 2022日前已順利落幕，並有超過5萬人實體到場，活動的重頭戲為 AWS 執行長亞當·賽利普斯基（Adam Selipsky）的兩小時主題演講，除了回顧2022年的里程碑外，並強勢宣布推出各大產品線的升級更新，包含多項新功能服務與各項領域的應用發展，如 ESG、資料治理、資安議題以及供應鏈跨雲服務等，朝向更全面的產業應用解決方案工具，引領企業加速雲端轉型、優化成本，提升競爭力！銓鍇國際特別為您整理出 AWS re:Invent 2022 ５大活動的亮點回顧，並分享 AWS 明年即將推出的雲端創新服務。 1. ESG 議題 / 產業運用 亞當在發佈會首先回顧2022年的精彩里程碑，包含針對「環境永續」、「災難應變」、「成本優化」等議題，持續協助企業永續經營。 環境永續：亞馬遜是世界上最大的綠能企業買家，亞當更在會議中宣布亞馬遜將於2025年使用100％可再生能源，目前他們更已達成 85% 的目標，並期望將於2030年達到水資源正效益（Water Positive）。 災難應變：烏克蘭當地擁有 40％ 居民用戶的最大宗銀行 privatbank，在發生烏俄戰爭發生後，於45天內把銀行330 個 IT 系統以及 4PB 的客戶服務資料遷移至 AWS 雲端，使他們可以安全地繼續營運，提供服務給民眾。 成本優化：亞當也公布企業上雲節省的平均花費，從公布的資料顯示平均可協助企業節省30% 開銷，如：在全球擁有500間公司的傢具品牌 Carrier，將 ERP 系統上雲後節省 40% 的花費；美國大型生物製藥公司 GILEAD 藉由策劃性的操作雲端裝置，5年內節省超過6億美元；農產品製造商 AGCO，節省78% 開銷並縮短數據檢索的速度。 2. 資料治理 ． AWS Open Search AWS 的無伺服器（Serverless）服務佈局更加完整，數據分析工具全部納入「全受管」服務！亞當宣布 OpenSearch 將會是數據分析工具中最後一個成為「全受管」的服務，協助企業在無需配置、管理以及擴展的基礎設施執行 OpenSearch 服務，包含搜尋、彙整、檢視以及分析大量使用案例的資料，如：日誌分析、企業流量搜尋以及即時監控等。 ．zero-ETL ETL 為企業在整合不同資料來源時的解決方案，可迅速萃取、轉移與載入（Extract, Transfer, and Load, ETL)格式不一資料的整合技術；此次 AWS 宣布未來將推出 zero-ETL 服務，此項新服務整合關聯式資料庫 Amazon Aurora 支援和資料倉儲服務 Amazon Redshift，挑戰不需要執行 ETL 處理流程或 IT 人員撰寫程式，資料進入 Aurora 資料庫後，可直接同步到Redshift資料倉儲歸檔，此技術可縮短資料彙整作業時間，使企業達到即時分析並運用於機器學習。 ． Amazon DataZone Amazon DataZone 為新的數據管理服務，其設有機器學習模式，可以對企業的資料集進行分析，依據企業的習慣分類進行學習訓練，提供最符合企業需求的客製化目錄分類，使資料可輕鬆且快速地進行搜尋以及治理，並透過更精細的控制工具，增加資料來源的可信度以及掌控資料存取權，使企業可在安全的環境下，探索檢視並使用資料，進行商業洞察。 ． Amazon Qicksight Q 商業分析（BI）工具 Amazon Quicksight 推出新功能，提供不需寫程式碼的自然語言搜尋模式 QuickSight Q ，用最簡單的方式提出問題，如：「去年冬天銷售最高的產品是什麼？」 QuickSight Q 可根據最新的數據以及學習模型提供解答，使企業可以更簡單運用AI來預測市場趨勢，加速決策判斷。 3. 安全性 ． Amazon Security Lake 針對雲端安全性， AWS 推出安全數據湖服務 AWS Security Lake，協助企業將本地及雲端的資安數據集中儲存到專門的資料湖，包含 AWS 和第三方資安服務夥伴所產生收集的資料，如：IBM、Datadog、Palo Alto等，借助AWS Security Lake企業更能識別潛在的安全威脅和漏洞，增加雲端使用安全並提升應變速度。 ． Amazon GuardDuty Amazon GuardDuty 為一項威脅檢測服務，此次 AWS 新增在容器運行時的資安威脅探測功能。 4. 運算效能 ． Amazon EC2 運算效能大躍進 今年 AWS 新增了5種的 Amazon EC2 執行個體，每秒傳輸速度較前一代提高60%，反應速度加快30%，每瓦效能也有獲得40％改善。 ． AWS SimSpace Weaver SimSpace Weaver 是一個全新的運算服務，可支援需要大量運算的空間模擬，如模擬自然災害襲擊、大型體育賽事等，最多可將工作負載擴展至10個執行個體，開發人員將不受硬體以及記憶體資源的限制，並在模擬結束後清理環境。 5. 跨雲端服務 ． Amazon Connect Amazon Connect 為全通路雲端聯絡中心，可在幾分鐘內輕鬆啟動規模性的聯絡中心，與傳統聯絡中心相比，節省高達80% 的費用，以最低的成本提供優質的客服服務。 AWS 今年更宣佈不斷投入資源至高階解決方案，並增加新機器學習( ML )支援功能，如添加了聊天對話分析、代理績效評估表等。 ． AWS Supply Chain AWS 宣布將推出以 AI 進行供應鏈管理的雲端服務「AWS Supply Chain」，可自動彙整多個供應鏈系統的所有數據至數據湖，並以視覺畫呈現數據分析結果，如：以地圖顯示每個地點的庫存樣式與數量，企業可隨時查看庫存變化，以提高供應鏈資訊透明度，降低企業營運的風險與成本。此服務借助 Amazon 電商物流多年經驗發展而來，且服務功能不限於電商，更適用於任一行業。 ． AWS Clean Rooms AWS Clean Rooms 可以讓企業以及其合作夥伴更輕鬆、簡單、安全地共用在 AWS 上的數據，其中也包含高階加密運算工具，在彼此資料合作中，也能保持數據加密，保護企業機密資料。 AWS 也將推出全新的身份解析功能（Identity Resolution），來識別跨數據集的常見使用者 ID ，幫助企業治理不同渠道的消費者互動的總覽。 ． Amazon Omics AWS 推出針對基因研究的 Amazon Omics 解決方案，因生物學以及基因學的資料量龐大、難以管理， Amazon Omics 提供生技產業資料的儲存，可處理與基因組相關的數據資料，並提供大規模的分析，整合 Healthlake 與 AWS Sagemaker 等數據處理平台，產出視覺化報表。 此次的 AWS re:Invent 發表會關注在「資料治理」、「資料安全」以及「跨雲端供應鏈服務」等焦點議題，比起往年在技術上的突破性發布，今年偏向產品服務的延續與升級，提出更全面的解決分案，以資料治理為例，從數據取出、運算分析到呈現應用， AWS 深入企業的實際應用場域，更有效解決企業通點。銓鍇國際也將善用各類雲服務及數據力加以整合，並搭配 AWS 最新產品以及服務技術，透過客製化與專業顧問，協助企業診視營運與未來成長資訊服務需求，以更具效率以及優化成本的雲端服務，協助企業打造成長競爭力！欲詳細了解以上 AWS 新服務運用，或是業務相關合作，歡迎與我們聯繫。
功能再進化！ EventBridge Scheduler 助您大幅提升管理排程效率
2022-12-01
近期 AWS 推出新功能 EventBridge Scheduler，不僅增加了過去 EventBridge 做不到的功能，還能幫助 IT 管理人員提升管理的效率。本期電子報，CKmates 將為您解密 EventBridge Scheduler 如何為企業帶來最大化的排程管理效益。 EventBridge Scheduler 四大功能，解決用戶管理痛點 Amazon EventBridge Scheduler 是無伺服器服務，可讓您透過單一集中管理介面來建立、執行和管理排程任務。高度可擴展的 EventBridge Scheduler 可讓您排定數百萬個任務，而這些任務可以調用任何 AWS 服務作為目標，您可以使用 cron 表達式和頻率運算式建立重複性或是一次性任務，以下為其主要功能： 模板化的目標 EventBridge Scheduler 支援使用 Amazon SQS、Amazon SNS、Lambda 和 EventBridge 以及執行常見 API 操作的模板化目標。您可以使用 AWS Console、EventBridge Scheduler SDK 或 AWS CLI 快速設定您的排程計劃。 通用目標 EventBridge Scheduler 提供了一個通用目標參數 ( Universal Target Parameter , UTP )，您以使用它來建立客製化的觸發機制，按照您所制定的計劃針對 270 多個 AWS 服務和 6,000 多個 API 進行作業。 靈活的時間範圍 EventBridge Scheduler 對於觸發的時間非常彈性，它可以幫助您制定分散式的排程並提高觸發程式的可靠性，這非常適用於不需要精準的時間來觸發的排程，例如：依照不同客戶訂閱產品的時間，在到期日之前寄送通知提醒客戶要續訂產品。 失敗重試 EventBridge Scheduler 會向目標傳送至少一次的動作，這代表一定會傳遞成功一次並得到目標的回應。如果發生錯誤會傳遞失敗，EventBridge Scheduler 允許您為失敗的任務設定重試，透過結合 SQS 寫入 DLQ ( Dead Loss Queue ) 來重試失敗的任務，以提高作業的可靠性並確保傳遞的目標是有效的。 攣生兄弟比一比，EventBridge v.s. EventBridge Scheduler 所以，EventBridge 和 EventBridge Scheduler 差在哪？ EventBridge rules 是透過事件驅動或是以特定的頻率觸發您所設定的動作，這對很多應用程式來說是非常有用的功能，但缺點是您無法進行準確的排程控制，例如：無法設定特定的開始時間、停止時間以及只觸發一次之後就結束的單一事件。 EventBridge Scheduler 大幅改進了以上的缺點，您可以透過 EventBridge Scheduler 進行一次性的排程控制以及集中化的管理，這在許多的應用情境上都可以使用。以下為 EventBridge 和 EventBridge Scheduler 的差異比較表： 從上面的比較表我們可以得知，EventBridge Scheduler 不管是在效能或是功能性上面其實都比 EventBridge 都還要有優勢。 所以，我何時應該使用 EventBridge Scheduler ? 看完以上的介紹和比較之後您可能會想說，那我什麼時候應該使用 EventBridge Scheduler 呢？下面提供了幾項 EventBridge Scheduler 的使用情境供您參考： 國際企業的排程統一管理介面 國際企業可能會想要有一個統一的排程管控平台，在一個 dashboard 看到所有的排程。因為 EventBridge Scheduler 能夠支援全球所有時區的時間設定，所以可以依照不同分公司所在地的時區來制定該區域的排程設定。 團隊之間的排程也可以搭配 IAM 以及 Schedule group 功能，使排程之間不會輕易被其他人所更動，讓管理權限劃分的更加清楚。 訂閱服務到期通知 SaaS 服務的公司通常販售產品都使採用年約訂閱制，為了在訂閱到期前提醒客戶，您可以使用 EventBridge Scheduler 寄送通知信給客戶，提醒他們記得續訂產品。另外，針對未續訂的客戶也可以使用 EventBridge Scheduler 將他們的產品存取權限移除，這樣可以節省管理團隊對於產品合約管理的負擔。 自動化IT管理流程 對於大型企業來說，IT 人員可能每天都需要管理上千台 EC2 Instances，要如何自動化管理是個頭痛的問題。透過 EventBridge Scheduler，您可以統一排程控制這些機器包含啟動、終止或是重新啟動，以確保在非尖峰時段或是營業時間減少成本產生。 另外，企業也可以透過 EventBridge Scheduler 來執行渾沌管理演練，不定期將某些服務故意刪除，訓練 IT 管理人員能夠確實將災難還原的步驟執行，確保未來正式發生時，能夠在最短的時間內回復到正常營運的狀況。
.jpg)
湖倉一體 現代化數據運用
2022-09-28
The world's most valuable resource is no longer oil, but data. (2017, The Economist) 在現代化的社會中，資料對於一間企業的重要性是無可代替的。不論是產品數據研究到公司經營狀況等都離不開最關鍵的資料。現今多數企業都能理解資料的重要性，並且都已有某種程度的蒐集及分析資料的過程，而當今最成功並成長最快速的企業恰恰是那些最能有效蒐集並最大化運用所蒐集到的資料的企業。最成功的案例如 Walmart 以及 Amazon，這兩間公司都是透過關鍵數據不斷地改良自身的倉儲及運送流程，最終在強敵中脫穎而出。又如 Google 的廣告市場，其背後正是因為有龐大的數據支撐才得以成長。 在大數據盛行的2022年，對於這些體系龐大的公司來說，傳統的資料庫甚至資料中心已經無法負荷龐大的資料量，更無法對其進行靈活的運用。因此，資料湖及資料倉儲便是因應此情況而誕生的產品，更在其後誕生集前兩者優點於一身的湖倉一體概念。 Data Lake 資料湖 資料湖是可以將各種形式的原始資料做存放的地方，存放在此的資料並沒有形式上的限制，因此彈性非常高。在進行儲存時，不必考慮太多、也不需要額外花費精力進行資料轉換。缺點則是當要將儲存在內的資料作使用時，則必須額外花費精力對資料進行轉換，以變成希望的格式，因此在查詢資料時速度較慢。 AWS 提供的服務中，S3 正是最具代表性的資料湖，其架構允許使用者以物件的形式存放任何資料，並且具備無限擴展性、高可用性和可靠性，讓使用者完全不必擔心地端資料儲存容易碰到的儲存空間上限的瓶頸。AWS 也提供了 AWS Lake Formation 服務來協助客戶快速建立資料湖。 Data Warehouse 資料倉儲 資料倉儲為資料庫的延伸架構保留了資料庫在儲存時，需先轉換成設定好的格式 （如 SQL）才能儲存的特性。因此彈性較資料湖差，但在查詢時速度則較資料湖快。 AWS Redshift 為 AWS 資料倉儲的代表性服務，透過 cluster 架構，可同時運用許多 node 協助運算並大幅提高資料查詢的速度。新推出的 Serverless 功能更是讓使用者省去許多複雜的設定，提供使用者快速建立並啟用資料倉儲的選項。 Data Lakehouse 湖倉一體 湖倉一體的概念是讓資料在資料湖、資料倉儲、以及特殊的分析服務中，能夠有效地進行流通與連結。此概念便是將蒐集的資料不做任何轉換放在資料湖中，當有需要使用這些資料時，進行資料結構轉換後，轉移到資料倉儲或分析服務中進行運算。湖倉一體的概念將資料存放以及資料運用兩個步驟分解於最適合的架構內進行，以此達到優化的效果，既保留了資料湖的彈性存放、同時具備資料倉儲的快速查詢功能，對於企業來說，此概念能夠協助企業最高效率的運用蒐集到的資料。 此外，AWS S3 配合其他服務便可達到倉湖一體的效果，透過將各種資料存放在 S3 資料湖內，並在需要時將資料轉換到對應服務中，如 Redshift，以進行運算、達到加速運算的效果。S3 提供合理的儲存費用且無須擔心儲存上限。而 Redshift 則提供強大的加速運算能力以及隨需隨用的特點，讓使用者能在需要運算時才開啟 Redshift cluster，以達到省錢的效果。當企業需要從資料湖中對資料進行轉移時，便可使用 AWS Glue 對資料進行分析前的準備，該服務提供一系列資料整合的功能，協助使用者輕鬆的在湖倉一體架構中進行資料的流動。 銓鍇國際 CKmates 深耕雲端產業十多年，具備 AWS MSP、Migration Competency 等認證，能根據自身地端遷移上雲的實際產業經驗，協助客戶在搬遷上雲後，持續優化雲端環境。銓鍇國際同時具備 AWS Certified Database – Specialty 、 AWS Certified Data Analytics – Specialty 等資料庫相關證照，協助企業分析現有資料結構，並評估如何在雲端上選擇最適合的服務，讓珍貴的企業資料能在湖倉一體的概念中更方便整合以及流動。透過現代化的數據轉型，您的雲端數位長－銓鍇國際助攻企業將關鍵資料轉換為實際的利潤報酬。 立即諮詢銓鍇國際 CKmates
AWS VPN 雲地混合雲服務
2022-08-30
Site-to-Site VPN & Client VPN 都是 AWS 用來做混合雲架構的服務，透過不同的驗證方式來保證傳輸的安全。 主要差別： Site-to-Site VPN 讓地端環境的特定網段可以安全連接到雲端 VPC 部署，不需要下載任何軟體連接，只需要設定防火牆相關的安全通道，設定 IPSEC 打通通道連線。Client VPN 讓使用者可以透過不同身分驗證方式以及下載 VPN 軟體來安全連線到地跟雲的網路環境。同時，在使用 AWS VPN 服務時能夠透過 CloudWatch 來收 log 監控 VPN 的連線狀態，結合了監控功能以了解 VPN 的連線紀錄並設定通知提醒。 ClientVPN 以 OpenVPN 為基礎的 VPN 服務，可以安全的連接地端跟雲端環境，並且為基於客戶端的托管 VPN 服務。 可以使用的認證方式： 1. Mutual authentication (certificate-based) 2. Active Directory authentication (user-based) 3. Single sign-on / SAML-based federated authentication (user-based) 本篇以 Mutual authentication 作 demo： 使用 ACM 管理證書的認證方式 Mutual authentication (交互身分驗證) 透過交互身分驗證，Client VPN 使用憑證在用戶端和伺服器之間執行身分驗證，將伺服器憑證上傳至 AWS Certificate Manager (ACM)，並在建立 Client VPN 端點時加以指定。 當用戶端憑證的 CA 和伺服器憑證的 CA 不同時，您才需要將用戶端憑證上傳到 ACM。如需 ACM 的詳細資訊，請參閱《AWS Certificate Manager ACM 使用者指南》。 前置環境： 1. VPC 四個私有子網 (高可用性架構，一個子網放 EC2，兩個子網分配 VPN Endpoint 的eni) 2. 建立 EC2 Linux (sg 要開 ICMP) 3. 建立 CloudWatch Log Group 、新增 log stream 4. 下載 VPN 軟體、RSA 認證，建立 Server 端跟客戶端的證書及鑰匙 上傳到 ACM 5. AWS Client VPN 的 Endpoint 設定： Client IPv4 CIDR 可參考填入公布的專用網路範圍 Client CIDR range 到 ClientVPN Endpoint 終端節點的每個連接都配有來自 Client CIDR Range 的唯一 IP 地址。該範圍為介於/12 以及/22 之間的 IPv4 區塊，建立後無法修改。 建立完成 ClientVPN 中的設定 將 eni 加入兩個子網： 連線數量取決於子網的數量，相同的可用區內，不能與多個子網路建立關聯，如果要增加連線數量，您可以建立高可用的架構選擇 multi-AZ 來做部署。 參考文件：Client VPN scaling considerations （認證規則） （確認 RT 狀態 >> active） ６. 下載配置檔 用 notepad 打開會看到文末有加入客戶端的 key 跟認證 ７. 下載 AWS VPN Client.msi 並設定。參考文件：AWS Client VPN download 8. 進行連線： ping EC2 Private IP >> 10.0.0.150 netstat -rt 查看路由，新增一條您設定的 CIDR range 的路由連線。 Connection Check netstat -rt 查看路由 Site-to-Site VPN 參考文件：Simulating Site-to-Site VPN Customer Gateways Using strongSwan Site-to-site VPN 可定義 CIDR 範圍，讓範圍內 IP 可互通，因此要注意網段不能衝突。使用的情形下，資料在兩地可以不用建立證書以及客戶端 VPN 軟體等應用程序來使用，需要的是建立兩邊的端點: Customer Gateway (CGW) 以及 Transit Gateway (TGW) 或 Virtual Private Gateway (VPG)。客戶端的對外的網路 IP 地址作為 CGW 的端點。雲端的部分可以選擇要透過 VPG 還是 TGW 做雲端的端點。 TGW 好處是在方便管理，可以用同一個 TGW 連接多個 VPC。VPG 的話，只能一個 VPC 對應一個 VPG 的方式連接。TGW 開啟 ECMP (等價多路徑) 路由功能可以擴展 VPN 吞吐能力。每個 attachment 創建兩個隧道，VPN 吞吐量隨著 VPN attachment 數量的增加。吞吐量的增加取決於客戶網關 VPN 吞吐能力以及對動態路由和 ECMP 特性的支援。 參考文件：Scaling VPN throughput using AWS Transit Gateway 使用混合雲透過 VPN 連線上 AWS 建立過程包括以下步驟： 創建一個 Customer Gateway。IP 使用防火牆對外 IP (若還有 NAT 請填 NAT IP) 創建一個 Transit Gateway Transit gateway attachments 建立與雲端 VPC 關聯的 attachment 創建 Site-to-site VPN connection ，並下載防火牆的配置檔，通用為 Generic (配置檔的內容需去防火牆做 IPSEC 設定以打通通道) 通道打通的話，可看到兩條隧道會顯示 UP 表示已連接 設定路由表: AWS Routetable 新增路由 TGW 以連線到目的地的地端網路 (Local Lan) 嘗試地端機台 ping 、雲端私有 IP 以確認是否成功配置 Site-to-Site VPN 連接雲地環境 使用指令查看通道連線路由-> sudo tcpdump -eni any icamp 因此，若發現雲地之間有相互回應，代表與雲端主機連線成功，可透過地端網路環境與雲端直接溝通，並且嘗試未來使用雲端機台時，是否能夠正確執行預期的效能，以及體驗雲端運算的方便性，評估後就能正式將工作負載遷移上雲端， 讓雲端替您管理底層的基礎設施。 深耕雲端產業十多年的銓鍇國際 CKmates，擁有豐富的混合雲服務經驗，協助不同產業建置雲地環境和系統整合，是企業值得信賴的雲端數位長。 即刻聯繫銓鍇國際 CKmates，替您的企業開啟混合雲應用旅程！
利用 AWS Transfer Family 省去自管 FTP 伺服器煩惱
2022-08-02
FTP 是各大企業或者組織間常用來交換檔案的方式，以往企業需要自行架設 FTP 伺服器並進行管理，然而這些基礎設施的部署、維護以及如何安全的存放與傳輸檔案或資料是企業需要費心的。除了前述之外，企業還要計劃面對伺服器或者是硬碟損壞時，是否有相對應的處理措施或者是備援計劃，才能盡量地降低資料的損失量與服務中斷的時間。 AWS 的 FTP 全託管服務 － AWS Transfer Family 透過使用 AWS 的全託管服務 － AWS Transfer Family，AWS 會幫企業處理許多過往自架 FTP 伺服器時的煩惱，讓企業能專注於其專業領域上，不用再為 FTP 的相關瑣事費心。 支援多種協議 AWS Transfer Family 支援 SFTP、FTPS 以及 FTP 三種協議，使得不論企業或企業的客戶在原本的工作負載中是使用哪種協議，都可以輕鬆的將服務移至 AWS 上，不會因為遷移至 AWS 後有協議支援的限制，導致企業需更換協議，進而需要更改程式以及相關處理程序。 儲存空間 AWS Transfer Family 支援兩種 AWS 服務作為儲存空間，企業可以選擇 Amazon S3 或者是 Amazon EFS，而這兩種儲存空間有不同的特性。以下分別作概略介紹： Amazon S3 的特性與在 AWS Transfer Family 中常見使用情境 Amazon S3 是一種物件儲存服務，可以提供 99.999999999% ( 11 個 9 ) 的資料耐久性，並且擁有幾乎無上限的儲存空間，常見的實用情境如下： 作為資料湖供第三方上傳檔案 依客戶的資料訂閱類型分發 組織的內部傳輸 Amazon EFS 的特性與在 AWS Transfer Family 中常見使用情境 Amazon EFS 是 AWS 上無伺服器的檔案系統（file system），可以提供高耐用性和高可用性，常見的實用情境如下： 資料分布（Data Distribution） 內容管理 Web 服務應用程式 因此在選擇 AWS Transfer Family 的儲存空間時，可以依企業的用途需求做選擇，而若有不同的使用需求需要兩種類型的儲存空間時，可以透過建立不同的 AWS Transfer Family 伺服器並選擇不同的儲存空間當基底來達成，不需像過往一樣需要額外採購不同的設備，耗費時間及人力來建置與維護。 身分認證 AWS Transfer Family 提供了三種身分認證方式供企業選擇，分別是服務管理認證（AWS Transfer Family 服務本身提供認證管理）、AWS Directory Service for Microsoft Active Directory 以及自訂的身分驗證提供者（例如： Okta 、 OneLogin 或其他包含授權和身份驗證邏輯的自定義數據存儲），如此企業可以自行新增或是使用既有的身分提供商進行驗證。 AWS Transfer Family 與其他 AWS 服務的結合 企業在使用 AWS Transfer Family 時，可能因為業務上的需求而需要將 AWS Transfer Family 結合其他 AWS 服務來使用，譬如企業的 FTP 使用者遍及全球，亦或會訪問的用戶 IP 不固定等情況，這時透過與 AWS 其他服務的結合，便能協助企業滿足需求。 AWS Web Application Firewall FTP server 在安全性上一般來說企業會設立白名單來允許特定的 IP 才能進行身分驗證和使用，而有時候可能在設立白名單上過於困難，需要速率限制（防暴力攻擊）、地域限制或者是第三方黑名單等功能，好讓只有被您的規則允許或者是未被規則禁止的使用者才能進行驗證授權，這時企業可以在使用身分驗證為自訂的身分驗證提供者並透過 AWS Amazon API Gateway 連接驗證提供者的情況下，結合 AWS Web Application Firewall 來保護您面對外網的端點。 Amazon Route 53 當企業為國際性的，或者是會與世界各地的客戶透過 FTP 交換檔案時，常會因為地理距離導致不同的終端使用者有不同的延遲，而距離 FTP 伺服器較遠的使用者則會承受較高的延遲問題，這時若需要一個能對於各地用戶都提供類似效能的解決方式時，企業可以透過 AWS Transfer Family 結合 Amazon Route 53 服務以對世界各地的終端用戶提供低延遲的使用者體驗。 AWS Global Accelerator 當企業為國際企業，或者是使用企業 FTP 的終端使用者會處於世界各地時，若其需要的解決方案為具成本效益且簡單管理的方案，可以透過 AWS Transfer Family 結合 AWS Global Accelerator 服務以對世界各地的終端用戶提供較高的流量效能以及較低的延遲。 總結 過往企業要使用 FTP 伺服器作為企業內部或者是 B2B 檔案交換時，需要花費不少心力維護管理相關的基礎設施，而透過使用 AWS 全託管的檔案交換服務，企業能輕鬆的將原本以檔案傳輸為基礎的工作流程遷移至 AWS，無須管理伺服器、修改程式或者是終端使用者資料，並且能透過整合現有的身分供應商進行身分驗證。而若企業有低延遲、高流量效能或者是其他方面的需求，也可以透過與其他 AWS 服務的整合來滿足企業所需。 銓鍇國際 CKmates 深耕雲端市場多年，擁有多張 AWS 認證，為 AWS Advanced Consulting Partner。身為您的雲端數位長，能為您提供適切的雲端解決方案，讓您的企業省去自管 FTP 伺服器的煩惱，在透過 FTP 進行企業內部資料交換時，無須擔憂資安問題、安心地交換企業資訊，以應付高流量性能並降低延遲。 立即向 CKmates 諮詢 AWS Transfer Family。
You can learn more details here