Tăng tốc khởi nghiệp với FPT Smart Cloud

Mới đây , FPT Cloud – nền tảng điện toán đám mây ưu việt của FPT Smart Cloud chính thức ra mắt thêm 4 dịch vụ Platform as a Service, đồng hành cùng doanh nghiệp tăng tốc đổi mới sáng tạo. Trong bối cảnh doanh nghiệp đang đối mặt với sự cạnh tranh cao và nhu cầu không ngừng thay đổi của khách hàng trong thời đại số hóa. Mỗi doanh nghiệp cần chuyển mình với nền tảng công nghệ mạnh mẽ, linh hoạt và triển khai thần tốc đáp ứng với bài toán kinh doanh. Tuy nhiên, lựa chọn đúng nền tảng công nghệ phù hợp và đáp ứng nhu cầu phát triển toàn diện, hiệu quả và bền vững đang là bài toán khó của mỗi doanh nghiệp khi triển khai số hóa toàn diện. Theo đó, nhiều doanh nghiệp đang tìm đến giải pháp tầng dịch vụ nền tảng Platform as a Service (PaaS) như lời giải cho bài toán lớn trên. Bên cạnh dịch vụ hạ tầng (IaaS), tầng dịch vụ Nền tảng PaaS đang tăng trưởng nhanh chóng bởi tính ưu việt trong xây dựng ứng dụng và phát triển ứng dụng linh hoạt trên một môi trường. Với việc sử dụng PaaS các nhà phát triển ứng dụng không phải lo về việc cung cấp cơ sở hạ tầng, bản quyền cho hệ điều hành, hay các công cụ hỗ trợ phát triển, nhờ đó doanh nghiệp có thể tập trung vào phát triển phần cốt lõi của ứng dụng để tăng tốc hoàn thiện và ra mắt ứng dụng nhanh chóng với chất lượng cao. Nắm bắt nhu cầu đó, FPT Cloud chính thức ra mắt thêm 4 dịch vụ mới bao gồm FPT Kubernetes with GPU, FPT Incident Management, FPT Kafka, và FPT DevOps Service nâng tổng số dịch vụ Nền tảng của FPT Cloud lên đến +25 dịch vụ. Trong đó, FPT Kubernetes with GPU là dịch vụ cung cấp nền tảng điều phối Container (Container Orchestrator) dựa trên Kubernetes tích hợp với card xử lý đồ họa Nvidia. Tiên phong trên thị thường với tính năng GPU sharing (Multi-Instance GPU/ Multi-Process Service) giúp tối ưu hóa tài nguyên và chi phí sử dụng GPU nhưng vẫn đảm bảo hiệu năng cao. FPT Kubernetes with GPU đáp ứng nhu cầu xử lý đồ họa và tính toán cao cấp của các doanh nghiệp trong các lĩnh vực AI, Data, streaming.Dịch vụ quản lý sự cố thông minh – FPT Incident Management được thiết kế để giúp lập trình viên nhanh chóng ứng phó với các sự cố không lường trước. Với khả năng tích hợp với các công cụ Jira, GitHub, Slack và Google Workspace. FPT Incident Management đơn giản hóa quy trình ứng phó sự cố của doanh nghiệp, giảm thời gian và công sức cần thiết để quản lý sự cố trong quá trình phát triển ứng dụng. Dịch vụ FPT Kafka – hệ thống phân phối dữ liệu thời gian thực với khả năng linh hoạt xử lý và theo dõi những thay đổi cập nhật dữ liệu liên tục mỗi giây. Dịch vụ FPT Kafka sẽ giúp lập trình viên có thể tự động hóa hoàn toàn việc quản lý, duy trì và mở rộng các cụm Apache Kafka mà không tốn công sức triển khai, dễ dàng quản lý giúp tối ưu chi phí tài nguyên, nguồn lực.Dịch vụ FPT DevOps Service được xây dựng để khởi tạo và quản lý ArgoCD thông qua giao diện FPT Cloud Portal. ArgoCD là một công cụ mã nguồn mở dùng để triển khai các ứng dụng trên Kubernetes. Dịch vụ cho phép các nhóm phát triển quản lý và triển khai các ứng dụng mà không cần phải tìm hiểu nhiều về Kubernetes. Ông Lê Thanh Hải, Giám đốc Trung tâm Phát triển Dịch vụ Nền tảng – FPT Smart Cloud chia sẻ “Chúng tôi chú trọng phát triển hệ sinh thái Platform as a Service toàn diện đáp ứng nhu cầu phát triển ứng dụng ngày càng tăng của doanh nghiệp. Với việc ra mắt 4 sản phẩm mới, hệ sinh thái Nền tảng như một dịch vụ (PaaS) của FPT Cloud hiện đã có hơn +25 dịch vụ giúp doanh nghiệp bứt phá phát triển ứng dụng trong tương lai”. Bộ sản phẩm nền tảng Platform as a Service được xây dựng trên nền tảng Điện toán đám mây thế hệ mới FPT Cloud, với kiến trúc tiêu chuẩn quốc tế, ưu tiên thiết kế hệ thống, bảo mật thông tin, tính ổn định và khả năng mở rộng. FPT Cloud sở hữu những ưu điểm khác biệt như: tích hợp Al, mô hình bảo mật nhiều lớp, giao diện quản lý đồng nhất… với hơn +80 dịch vụ Điện toán đám mây mạnh mẽ từ dịch vụ Hạ tầng (IaaS) tới Nền tảng (PaaS), Ứng dụng (SaaS) tuân theo các tiêu chí bảo mật hàng đầu như PCIDSS, ISO 27017:27013. Với việc tiên phong trong việc xây dựng và “trình làng” hệ sinh thái Platform as a Service, FPT Cloud sẽ giúp doanh nghiệp đơn giản hóa quá trình phát triển ứng dụng, đồng nhất công nghệ, hiện đại hóa cơ sở hạ tầng, tăng tốc hành trình chuyển đổi số. Tìm hiểu thêm và trải nghiệm trọn bộ hệ sinh thái FPT Cloud Platform as a Service tại website: https://fptcloud.com/ hoặc hotline 1900 638 399

FPT Cloud ra mắt FPT Spot Instances - Tiết kiệm đến 90% chi phí so với giá On-Demand, bám sát nhu cầu sử dụng thiết yếu của cá nhân, doanh nghiệp. Không thể phủ nhận ngày nay điện toán đám mây đã trở thành xu hướng, nhu cầu sử dụng của khách hàng đối với dịch vụ đám mây ngày một tăng lên đáng kể. Do đó, việc sử dụng nguồn lực tính toán đám mây và việc tối ưu hóa ngân sách đám mây trở nên vô cùng cấp thiết. Một câu hỏi quan trọng được đặt ra: "Làm cách nào để tận dụng nguồn lực đám mây một cách hiệu quả nhất, mà vẫn đảm bảo về mặt chi phí?". FPT Spot Instances là một phần quan trọng của câu trả lời cho câu hỏi trên. Nắm bắt xu thế cũng như nhu cầu của doanh nghiệp, FPT Cloud ra mắt dịch vụ FPT Spot Instances - cho phép khách hàng sử dụng các máy chủ ảo còn trống tại FPT Cloud trong thời gian ngắn với mức giá tiết kiệm lên đến 90%. Với khả năng tiết kiệm chi phí đáng kể và linh hoạt trong việc mở rộng tài nguyên, FPT Spot Instances trở thành một “trợ thủ đắc lực” cho nhiều doanh nghiệp. Những lợi ích khi sử dụng dịch vụ FPT Spot Instances có thể kể đến: Tối ưu hóa chi phí đến 90% FPT Spot Instances giảm đến 90% chi phí so với giá On-Demand. Mặc dù có mức giá thấp hơn nhưng FPT Spot Instances vẫn cung cấp hiệu suất cao tương tự như On-Demand Instances, đáp ứng và bám sát nhu cầu thiết yếu của doanh nghiệp. Linh hoạt và tự động hoá: Giải pháp FPT Spot Instances cho phép doanh nghiệp linh hoạt mở rộng hoặc thu nhỏ nguồn lực tính toán theo nhu cầu, đảm bảo rằng doanh nghiệp chỉ trả tiền theo nhu cầu thực tế. Bên cạnh đó, FPT Spot Instances tích hợp dễ dàng với các dịch vụ khác trong hệ sinh thái FPT Cloud như Cloud Server, Load Balancer, K8s node, Database, các dịch vụ đi kèm miễn phí như Cloud Guard, Security group, Internet Gateway,... Hỗ trợ tự động mở rộng Spot Instances tích hợp tốt với Auto Scaling, cho phép doanh nghiệp tự động điều chỉnh số lượng Spot Instances dựa trên tải công việc. Phù hợp với nhiều dự án có tính linh hoạt FPT Spot Instances có nhiều ứng dụng linh hoạt và hữu ích trong lĩnh vực công nghệ và phát triển ứng dụng, bao gồm: Xử lý dữ liệu: FPT Spot Instances có thể sử dụng để xử lý và phân tích dữ liệu lớn như lọc dữ liệu, tính toán thống kê, và xây dựng mô hình dự đoán. Machine Learning và Deep Learning: Việc huấn luyện mô hình học máy và học sâu đôi khi đòi hỏi nhiều tài nguyên tính toán và thời gian dài. Sử dụng FPT Spot Instances cho việc này giúp tiết kiệm chi phí mà không cần lo lắng về việc thời gian huấn luyện bị gián đoạn. Chạy cơ sở dữ liệu và ứng dụng web: FPT Spot Instances có thể được sử dụng để chạy cơ sở dữ liệu, máy chủ ứng dụng web, và hệ thống quản lý nội dung (CMS) với chi phí thấp. Điều này đặc biệt hữu ích cho các ứng dụng có thời gian chạy linh hoạt và có thể chịu gián đoạn tạm thời. Thử nghiệm và phát triển ứng dụng: FPT Spot Instances cung cấp môi trường linh hoạt để thử nghiệm và phát triển ứng dụng mới mà không cần đầu tư vào các tài nguyên dự phòng đắt tiền. FPT Spot Instances là một công cụ mạnh mẽ giúp bạn tận dụng tài nguyên và tối ưu hóa ngân sách đám mây. Bằng cách kết hợp sự linh hoạt, giá thấp, và tích hợp thông minh tự động, FPT Spot Instances là lựa chọn đáng cân nhắc cho các doanh nghiệp muốn thúc đẩy sự phát triển kỹ thuật và đồng thời giảm chi phí vận hành. Đăng ký ngay tại: https://fptcloud.com/lien-he/ Tìm hiểu thêm về dịch vụ tại: https://fptcloud.com/product/spot-instances/  

Nhờ sử dụng giải pháp hạ tầng điện toán đám mây (Cloud) như FPT Cloud, CRM tương tác Callio có thể tăng hoặc giảm tài nguyên một cách dễ dàng, thậm chí theo từng thời điểm trong ngày, tuỳ theo nhu cầu sử dụng thực tế của khách hàng. Startup biến điều đơn giản thành xuất sắc Xuất phát từ kinh nghiệm làm việc tại nhiều công ty thương mại điện tử, CEO Giang Thiên Phú hiểu rõ khó khăn của các đơn vị kinh doanh trong việc đồng bộ dữ liệu thông tin và lịch sử giao tiếp khách hàng. Từ đó, giải pháp CRM tương tác Callio đã ra đời.  Callio hỗ trợ doanh nghiệp quản lý số lượng tương tác  của nhân viên kinh doanh, giúp doanh nghiệp tăng trưởng, tối ưu doanh thu, nâng cao quy trình bán hàng và chăm sóc khách hàng. Các thông tin này được lưu trữ thông minh và báo cáo theo thời gian thực, giúp tối ưu chất lượng đội ngũ nhân viên kinh doanh. Nhờ “chạm” đúng nhu cầu của các đơn vị kinh doanh, lượng khách hàng của Callio tăng trưởng nhanh chóng, kéo theo nhu cầu lớn về hạ tầng thông tin. Nắm bắt xu hướng phát triển của ngành, Callio lựa chọn giải pháp Cloud (điện toán đám mây) ngay khi phát sinh nhu cầu hạ tầng tăng cao. “Thông thường, cần một khoản chi phí lớn để đầu tư hạ tầng công nghệ thông tin. Nhưng với Cloud, cơ bản không mất chi phí đầu tư ban đầu. Cloud cũng luôn có sẵn rất nhiều tài nguyên, cho phép chúng tôi mở rộng hạ tầng ngay lập tức khi nhu cầu phát sinh đột biến.” CEO Giang Thiên Phú cho biết Theo anh, ưu điểm vượt trội của điện toán đám mây là tính linh hoạt. Bởi các đơn vị có thể dễ dàng bổ sung hoặc cắt giảm tài nguyên nhanh chóng. Nhờ vậy, Cloud rất phù hợp đáp ứng nhu cầu thay đổi, mở rộng liên tục của các startup.   Tăng tốc trên nền tảng của FPT Cloud Với định hướng sử dụng Cloud cho sản phẩm của mình, CEO Giang Thiên Phú đã đưa Callio tham gia chương trình “Tăng tốc khởi nghiệp” và xuất sắc nhận được hỗ trợ 100% về nền tảng FPT Cloud. Cụ thể, FPT Smart Cloud mang tới 3 gói hỗ trợ, bao gồm: Gói hỗ trợ “Bứt phá” với các công nghệ tiên tiến từ FPT Cloud, FPT.AI và hệ sinh thái FPT; Gói hỗ trợ “Tăng năng suất” khai thác các ứng dụng, dịch vụ từ đối tác Microsoft, Google và các đối tác khác của FPT trên toàn cầu; Gói hỗ trợ “Chuyên gia” đồng hành và tư vấn riêng chuyên sâu… Là đối tác hàng đầu tại Việt Nam của các “ông lớn” ngành công nghệ thông tin trên thế giới, FPT Cloud cung cấp nền tảng điện toán đám mây thế hệ mới, được xây dựng theo quy chuẩn Cloud quốc tế. Hệ sinh thái hơn 80 giải pháp sẽ đáp ứng đa dạng nhu cầu của doanh nghiệp Việt từ cơ bản đến đặc thù. Trong đó, FPT Cloud Server, FPT Storage và FPT Database cung cấp dịch vụ máy chủ ảo tiên tiến cùng hạ tầng lưu trữ dữ liệu không giới hạn, cho phép các đơn vị truy xuất dữ liệu liên tục, mọi lúc mọi nơi. Điều này rất phù hợp với tốc độ mở rộng nhanh chóng của Callio, anh Phú cho biết. Bên cạnh đó, Callio còn được hỗ trợ phát triển trên nền tảng FPT Security, đảm bảo an toàn và bảo mật dữ liệu tối đa trên môi trường số. Đồng hành cùng FPT Smart Cloud từ tháng 2/2023, Callio đã hoàn thiện mở rộng hạ tầng mang tới giải pháp quản lý chăm sóc khách hàng hiệu quả vận hành trên nền tảng đám mây không giới hạn của FPT Cloud. Thay vì mất chi phí đầu tư hạ tầng riêng, các đơn vị và doanh nghiệp có thể sử dụng chung phần mềm này trên nền tảng trực tuyến. Điều này giúp giảm áp lực kinh doanh, tiết kiệm thời gian, chi phí cho các khâu hoạt động mà vẫn đảm bảo tính tương tác với khách hàng. Nhờ vậy, Callio đã có hơn 2.000 khách hàng truy cập mỗi tháng cùng với hơn 1 triệu cuộc gọi mỗi ngày. Đặc biệt, các khách hàng của Callio cũng ghi nhận mức tăng trưởng kỷ lục, với lượng khách và doanh số gấp đôi sau mỗi 6 tháng. “Chú trọng đầu tư vào các ý tưởng mang tính đột phá, táo bạo là điều luôn được FPT Smart Cloud ưu tiên. Chúng tôi mong muốn trở thành “bệ phóng” cho các kỳ lân Việt nhờ những lợi thế và đột phá bằng công nghệ, cùng những kinh nghiệm quý giá khi tiên phong khởi nghiệp trong lòng doanh nghiệp” – Ông Nguyễn Ngọc Minh, Phó Tổng giám đốc FPT Smart Cloud chia sẻ. Bằng việc đồng hành cùng các startup Việt tạo ra đột phá kinh doanh, FPT Smart Cloud đang tiến thêm một bước trên hành trình biến mọi doanh nghiệp trở thành doanh nghiệp công nghệ, bằng đột phá sáng tạo, đồng thời kết nối và đưa startup Việt ra thế giới. Tìm hiểu thêm về chương trình Tăng tốc Khởi nghiệp tại đây: https://fptcloud.com/startup-program/

Kafka là một nền tảng distributed event streaming cho phép người dùng thu nhận và xử lý các event, message real time. Nó hoàn toàn có thể là xương sống cho ngành bán lẻ nơi mà khách hàng luôn cần thông tin và phản hồi ngay lập tức kể cả trong việc xem hàng, mua hàng hay thanh toán. Nó cũng có thể là phần hậu phương đủ lớn cho việc phân tích, xử lý data với các nền tảng IOT, big data. Vậy thì, để làm được những điều phi thường đó, kafka đã làm như thế nào? Từ đâu mà Kafka được tạo nên? Kafka được vận hành trên ý tưởng về async programing và message driven programing. Ý tưởng về async programing sinh ra nhằm giải quyết bài toán khi có nhiều services trong 1 hệ thống cùng contact lẫn nhau, services A và B cùng gọi tới service C thì cái nào sẽ được giải quyết trước? Cũng như con người, khi 2 người cùng đưa ra yêu cầu tới một nhân viên chăm sóc KH, họ giải quyết cho KH A mất thời gian quá lâu sau đó tới giờ nghỉ trưa thì KH B có thể tới ngày hôm sau mới được chăm sóc, hoặc mất luôn KH B. Để giải quyết bài toán đó có 2 cách. Cách số 1: tăng thêm nhân viên chăm sóc KH. Điều này sẽ dẫn tới phối hợp 1 – 1 và làm cho công ty không scale được khi có thêm KH. Cách số 2 cũng là cách mà async programing based trên: cho phép xử lý song song cả 2 request bởi cùng 1 người. Điều này sẽ tránh được việc blocking request. Cụ thể, async programming là cách tách biệt giữa request và response giữa các services: Service A request tới service B Service C request tới service B Service B nhận 2 request, phản hồi lại với A và C là đã nhận request Service B xử lý request A và C tùy cái nào tới trước sau đó response lại Service A và C trong lúc chờ đợi sẽ tiếp tục gửi request tới service B và cuốn chiếu tracking response trở về. Ý tưởng về asynchronous programming không phải toàn năng, nó sẽ gặp vấn đè nếu server chung (ví dụ như service B) quá tải và ngừng hoạt động. Lúc đó service C hay A sẽ phải retry gửi lại request và càng lúc càng bị đầy request lên. Vấn đề thứ 2, async giải quyết được 1 service nhận nhiều request, nhưng không tính tới tình huống 1 request gửi đi nhiều service khác nhau và track response. Đó là lúc có message driven programing ra đời. Message-driven programing là lập trình điều hướng các message. Khi có nhiều request từ nhiều services có nhu cầu gửi tới nhiều servies khác, sẽ phải có 1 cái gì đó điều phối ở giữa để đảm bảo tất cả các request đều tới đích và nhận được response phù hợp. Client và server sẽ không giao tiếp trực tiếp với nhau nữa, 2 service cũng không thông trực tiếp với nhau mà sẽ qua 1 bên điều phối thứ 3 gọi là message broker. Message broker bản thân như một môi giới trong bất kỳ ngành nghề gì, kết nối người mua - người bán một mặt hàng nào đó với nhau. Cùng 1 lúc 1 môi giới BĐS có thể đưa 10 KH khác nhau match với 10 căn nhà khác nhau thành công. Message broker cũng như vậy, tiếp nhận message từ client, từ services, từ KH, từ mọi nguồn và phân phối nó tới chỗ nó cần tới trong 1 system. Trên thị trường có rất nhiều message broker như RabbitMQ, ActiveMQ thậm chí là Redis, nhưng, Kafka Apache có những unique selling point nếu so sánh với phần đông thị trường. Không chỉ phân phối được message (như mọi loại message queue), Kafka có các lợi thế sau  nếu so sánh với các loại sản phẩm khác: Đảm bảo việc gửi nhận không bị gián đoạn Có cơ chế xử lý lỗi Performance cao High availability Scalability          Dựa trên các ý tưởng trên, Kafka được phát triển ra và khẳng định sức mạnh của mình ở khoản performance mạnh mẽ trong việc điều phối data. Tiếp theo sẽ là cách mà kafka vận hành. Các thuật ngữ trong Kafka Để hiểu cách Kafka vận hành, có 2 loại khái niệm cần phải nắm được. Loại khái niệm đâu tiên chia theo chiều đi của message: message được gửi từ đâu tới đâu. Chiều thứ 2 là kafka có những component nào để vận hành. Khái niệm theo cách thức vận hành: Topic: Là các luồng data chạy trên kafka (bản chất là 1 chuỗi các message chạy liên tục). Các topic được chia thành các partition và các message được lưu thành các offset trên partition (xem mục partition và offset). Một topic sẽ có các đặc điểm sau: Xếp hàng: Khi có event/message mới ghi vào topic, message/event đó sẽ được nối vào cuối log của topic. Bất biến: Message/event được ghi vào sẽ không thể bị chỉnh sửa. Tuần tự: Consumer (tham khảo ở dưới) sẽ đọc log bằng cách đi tìm các offset và đọc các entries ghi theo lượt tuần tự Nhân bản: mỗi topic của kafka luôn là multi-producer và multi-subscriber: tức là cùng 1 lúc 1 topic có thể có nhiều nguồn gửi data vào và nhiều nguồn hứng data trong pipeline Không giống như các hệ thống stream message khác, dữ liệu trên kafka sẽ không bị xóa đi sau khi đã truyền tới đích. Thay vào đó, kafka cho phép setup thời hạn expired data khi data đạt tới độ lớn hoặc một khoảng thời gian nhất định Offset: Message khi chảy vào 1 topic sẽ được lưu vào thành offset của 1 partition. 2 message khi chảy vào có thể ghi thày cùng 1 offset và cùng 1 offset có thể ghi ở nhiều partition khác nhau. Thứ tự của 1 offset chỉ được đảm bảo trong cùng 1 partition Ví dụ: trong cùng partition 1, message có offset = 5 chắc chắn đến sau message có offset = 4. Producer: Là nơi tạo ra data/message/event cho các topics của Kafka (write). Các “producer” sẽ kiểm soát dữ liệu nào sẽ đi vào “partition” nào trong 1 topic. Rule phân bổ là theo round-robin để cân bằng tải hoặc theo rule set stream theo event key Consumer: Là nơi hứng các data/message/event sinh ra topics của Kafka (read). Thông thường, một consumer sẽ phải đọc 1 bản ghi sinh ra 1 cách tuần tự, tuy nhiên, kafka cho phép kiểm soát thứ tự bản ghi theo từng người dùng, dẫn tới việc mỗi consumer hoàn toàn có thể nhảy cóc thứ tự đọc nhằm đảm bảo tính real time của dữ liệu VD: 1 consumer có thể tái sử dụng 1 bản ghi cũ để làm bản ghi mới hoặc có thể nhảy cóc qua các bản ghi đang sinh ra để đọc bản ghi gần nhất và ngay lập tức sử dụng bản ghi đó Một Kafka consumer có thể vào đọc và sử dụng tài nguyên mà không ảnh hưởng tới cluster của các consumer khác.       Kết luận lại: multi-producers sẽ tạo (writre) ra nhiều message/event/data đẩy vào trong topic. Data đó sẽ được lưu thành các offset. Multi-consumer/subscriber vào check offsets để đọc (read), sau đó sẽ xử lý tiếp request. Tiếp đến, kafka có các khái niệm bổ dọc theo tầng hệ thống: Partition: Các partition là các phần nằm bên trong 1 topic cho phép khi có nhiều offset cùng vào topic tại một thời điểm, các offset sẽ được chia cho nhiều partition để phân phối tới consumer. Một partition sẽ độc lập với các partition khác. Số lượng partition cho mỗi topic thì tuỳ theo nhu cầu của ứng dụng do người dùng quy định. Trong mỗi partition sẽ lưu nhiều offset, số lượng offset của mỗi partition có thể là khác nhau, tùy vào rule phân phối đã set vd theo round-robin hoặc event key rule. Broker: Message được lưu tại offset của partition, partition lưu ở trong topic. Các topic sẽ được lưu trên kafka broker Bản thân 1 broker của kafka là 1 server nằm trong cụm cluster của kafka để lưu trữ dữ liệu Thông thường theo mô hình truyền thống, 1 kafka server sẽ tương ứng với 1 cụm cluster dựng trên máy chủ vật lý. Khi server này chết thì toàn bộ dữ liệu sẽ mất cùng với nó luôn. Đây gọi là single-point failure. Cụm cluster Kafka sẽ phân tán các partition của cùng 1 topic ra nhiều broker nhất có thể để đảm bảo khi có 1 con broker chết, sẽ có con khác backup và giải quyết vấn đề không bị gián đoạn hệ thống Tuy nhiên, việc chia broker và partition vẫn chưa giải quyết được hết single point failure do nếu data store trên 2 broker và cả 2 con cùng ngừng hoạt động thì bản chất vẫn là single point. Do đó, Kafka có khái niệm thứ 3: replication. Replication: Là bản sao của topic ở trên 1 broker sang 1 broker khác VD: Có 3 topic và 3 brokers Topic A lưu ở broker 1 và 2 Topic B lưu ở broker 2 và 3 Nếu broker 1 và 2 ngừng hoạt động thì Topic A cũng sẽ ngừng hoạt động Do đó, kafka sẽ có replica topic A sang broker 3 để hệ thống vẫn stream bình thường. Tương tác với topic B rồi C Trên 1 broker sẽ có lưu 1 phần topic này và replica của topic kia để đảm bảo khi có 1 broker hoặc 1 cụm broker ngừng hoạt động thì vẫn sẽ có bản lưu ở 1 chỗ nào đó khác. Kafka vận hành ra sao Bên trên là một số các khái niệm cơ bản khi tìm hiểu về kafka. Tiếp theo, bài viết sẽ giới thiệu cụ thể cách kafka vận hành: Input data from producers Đầu vào của hệ thống nằm ở producer tạo ra (write) message gửi vào các topic trong cụm kafka cluster. Lập trình viên sẽ setup để producer write vào topic nào và dừng lại ở đó. Khi có message vào, producer tự động biết nên write vào broker nào và partition nào. Nếu ghi fail thì sẽ có cơ chế retry thành công Việc “tự động” write được vào partition nào là do cơ chế round-robin của kafka: Có 3 brokers: message đầu tiên sẽ vào broker 1, message thứ 2 vào broker 2, message thứ 3 vào broker 3, message 4 sẽ vào broker 1,… Khi write vào partition, có cơ chế acks (acknowledgment) để báo producer biết message đã gửi thành công. Ack có 3 states: Acks = 0: producer gửi message và không chờ phản hồi (có thể dẫn tới mất data) Acks = 1: producer chờ tới khi nhận được phản hồi nhưng không lưu lại message sau khi write thành công. State này dẫn tới nếu broker đó chết, message sẽ mất theo Acks = 2: producer chờ nhận phản hồi và chắc chắn phản hồi đã được lưu lại trên broker chính và toàn bộ các bản replica (sẽ có ảnh hưởng tới performance do phải chờ response write data thành công) Processing data Kafka implement message bằng cách chỉ định 1 replication bất kỳ làm leader. Cơ chế này là leader partition concept. Tại một thời điểm, mỗi partition có duy nhất 1 replication leader, các replication còn lại là ISR – In sync replica sẽ đồng bộ lại data đã ghi ở leader. Nếu replication leader ngừng hoạt động, hệ thống tự động chỉ định 1 ISR bất kỳ đứng lên làm leader. Việc chỉ định này được thông qua thuật toán của Kafka Zookeeper. Với khái niệm replication như trên, 1 partition sẽ được nhân bản (replicate) lưu trên nhiều broker khác nhau. Vậy thì, khi producer write được data vào topic, data này bản thân được lưu ở đâu, lưu vào bản replica nào, theo rule gì? Kafka Zookeeper là core dùng để quản lý metadata của kafka. Metadata này bao gồm: Toàn bộ các action phát sinh trong hệ thống: CRUD topics, crud brokers, crud partitions, status,…. Brokers nào nằm ở cụm kafka cluster nào Configuration, permissions của các topics Việc kiểm soát các metadata này cho phép zookeeper tính toán để chỉ định các replication leader và ISR cũng như điều phối để các broker hoạt động một cách bình thường. Khi các broker được điều hướng để hoạt động, các messages khi producers write xuống các topics sẽ được đảm bảo được tính tin cậy và bền vững. Các message được write thành các offset xếp theo thứ tự trên partition trong một topic lưu trên 1 broker và được replica sang các ISR khác. Tiếp theo, consumer sẽ vào để “sử dụng” các offset này. Consume messages Các consumer đọc message từ topic theo topic name. Tuy nhiên, như đã mô tả phía trên, 1 broker sẽ có các replica để store topic, vậy nên consumer sẽ đọc theo leader replication. Tiếp đến, nếu quá trình read gặp lỗi,  kafka có cơ chế tự phục hồi để đảm bảo dữ liệu tới nơi toàn vẹn. Việc đọc của consumer sẽ diễn ra tuần tự trong 1 partition, offset nào tới trước sẽ được đọc trước. Một consumer có thể đọc nhiều message trong nhiều partition khác nhau trong 1 topics. Do thứ tự message trong partition không thay đổi thứ tự nên khi read từ nhiều partition sẽ có những tình huống consumer đọc offset = 3 ở partition 1 - trước khi đọc được offset = 1 ở partition 3. Tuy nhiên, kafka cho phép xử lý multi – multi, tức là multiple message được read bởi multiple consumer. Nếu như chỉ có 1 consumer đọc toàn bộ message của toàn bộ các partition thì sẽ xảy ra tình trạng quá tải. Vậy nên, kafka giải bài toán đó thông qua consumer group. 1 consumer group sẽ nhận toàn bộ data của các partition và chia cho các consumer bên trong quản lý. Mỗi consumer trong 1 group sẽ đọc toàn bộ data của một hoặc nhiều partition để đảm bảo messasge ordering. Một consumer có thể read message từ nhiều partition nhưng 1 partition sẽ không thể gửi message cho nhiều consumer trong 1 group. Cơ chế consumer group sinh ra nhằm đảm bảo không có consumer nào bị quá tải khi nhận message từ brokers. Tổng kết lại message được sinh ra từ 1 producer, gửi topic. Topic được vận hành bởi các broker, trên các broker sẽ có replication leader của topic này và các ISR của topic khác. Việc phân phối chỉ định leader do Kafka Zookeeper phân phối. Message từ producer sẽ được ghi thành các offset trên partition trong topic. Consumer group nhận toàn bộ message từ partition và phân phối cho các consumer bên trong để sử dụng. Toàn bộ cơ chế trên chính là việc implement queue và topic trong message broker. Có 2 dạng phân phối message khi nói về message broker là queues (point-tpoint messaging) và topic (broadcast messaging) Queue: là 1 dạng phân phối message quan hệ 1 – 1 (point to point messaging) giữa client và server (hoặc giữa các services). Mỗi message chỉ có 1 đầu vào và 1 điểm tới. Bản thân queueing trong kafka chính là việc message từ 1 topic A (bất kể có bao nhiêu partition) sẽ chỉ được gửi tới 1 consumer group B (bất kể có bao nhiêu consumer) Broastcast messaging: một message được gửi tới nhiều địa chỉ, chỉ khi subscribe địa chỉ thì mới nhận được message đó. Trong kafka, khái niệm này chính là dạng 1 topic gửi message tới nhiều consumer groups. Consumer nào subscribe topic mới read được message đó. Bên trên là toàn bộ các khái niệm cũng như basic cách kafka apache vận hành. Bằng cách cung cấp service Kafka, FPT Smart Cloud đồng thời cung cấp toàn bộ những ưu điểm của kafka apache như sự ổn định, tính bền vững và khả năng scaling cũng như performance mạnh mẽ của nền tảng này. Đăng ký sử dụng thử miễn phí ngay: https://fptcloud.com/lien-he/   Nguyễn Quý Hiếu

Trong việc phát triển phần mềm kỹ thuật nói riêng và khi bàn về công nghệ nói chung, cụm từ Kafka thường hay xuất hiện như là một giải pháp truyền dữ liệu real time (thời gian thực). Hiểu một cách đơn giản là khi 1 khách hàng đang mua hàng trên 1 app di động, để họ xem được mặt hàng, gửi đơn hàng tới các bên xử lý một cách nhanh nhất thì luồng dữ liệu đi dưới hệ thống phải được thông suốt càng nhanh càng tốt mà không phải chờ đợi. Nếu chỉ có một khách hàng giao tiếp với một hệ thống thì sẽ không có chuyện gì để bàn. Nhưng khi có cả triệu khách hàng giao tiếp cùng lúc với một hệ thống, số lượng data truyền xuống từ một khách hàng là vô cùng lớn, chưa kể trong 1 hệ thống thường được cấu thành bởi vô vàn các services, các component khác nhau. Bài toán lúc này không nằm ở việc app đầy đủ thông tin hay được trang điểm đẹp đẽ, mà trở thành làm thế nào để cả triệu khách hàng cùng nhận được thông tin một cách nhanh chóng? Vào ngày 11 tháng 1 năm 2011, Kafka Apache ra đời để giải quyết bài toán trên. Vậy Kafka là gì, FPT Smart cloud cung cấp giải pháp gì liên quan tới Kafka Apache? Kafka là gì? Kafka là một nền tảng phân phối sự kiện dữ liệu (message and event) cho phép: Publish và subscribe các luồng sự kiện, message (event stream) Lưu trữ, xử lý và phân phối dữ liệu thời gian thực Để hiểu được việc phân phối dữ liệu, sự kiện (distributed event streaming) thì trước hết cần hiểu 1 sự kiện (event) là 1 bản ghi 1 action trong hệ thống. Ví dụ khi 1 khách hàng vào app thì sẽ sinh ra 1 event như sau: eventKey: “FPT_Cloud_Kafka” eventValue: “Open Application” EventTimestramp: “Aug.25.2023.13:06” Event được định nghĩa bởi: user – action – time. Việc phân phối dữ liệu, sự kiện sẽ bắt đầu từ khi bắt được các event như ví dụ trên từ nhiều nguồn khác nhau như database, app mobiles, cloud services, backend services, software application,… Một nền tảng streaming dữ liệu sẽ bắt được các event theo thứ tự và xử lý các dữ liệu này trước khi đưa vào lưu trữ tập trung một cách real time để có thể sử dụng về sau (có thể là ngay lập tức). Các event này sẽ được đưa vào các stream pipeline - các luồng đi của dữ liệu được dựng lên. Dòng chảy này sẽ có các đặc tính sau: Toàn vẹn dữ liệu: dữ liệu từ lúc tiếp nhận cho tới khi đến đích phải nguyên vẹn Thời gian thực: dữ liệu truyền đi ngay khi event được sinh ra Đúng địa chỉ: dữ liệu sẽ phải được truyền tới đúng đích đã setup. Để làm được điều này Kafka sẽ được dựng trên một cụm cluster trải dài trên nhiều trung tâm dữ liệu (datacenter) và cung cấp các chức năng của nó theo cách phân tán (distributed), khả năng mở rộng và đàn hồi cao (scalable and elastic) cũng như khả năng chịu lỗi tốt và vô cùng bảo mật. Kafka có thể được dựng trên máy chủ vật lý, trên máy trạm ảo, trên các container của K8S hoặc tối ưu nhất là trên các nền tảng cloud. Bản thân việc dựng được một cụm cluster Kafka không phải chuyện đơn giản do người dùng sẽ phải có kiến thức nhất định về hạ tầng và cài đặt vận hành nền tảng. Hiểu được điều này, FPT Smart Cloud cung ứng dịch vụ Kafka as a service cho phép dựng sẵn một cụm cluster kafka mà người dùng không cần có những hiểu biết nêu trên. Ngoài ra, sản phẩm còn có nhiều Ưu và nhược điểm khi sử dụng Ưu/nhược điểm của việc sử dụng Kafka là gì? Lợi ích khi sử dụng Kafka Sử dụng Apache Kafka mang lại nhiều lợi ích cho việc xây dựng và triển khai các hệ thống xử lý dữ liệu thời gian thực và streaming. Dưới đây là một số lợi ích chính khi sử dụng Kafka: Xử lý Dữ liệu Thời gian thực: Kafka được thiết kế để xử lý dữ liệu thời gian thực và streaming, cho phép bạn đáp ứng nhanh chóng đối với sự kiện mới xảy ra. Điều này rất hữu ích cho việc giám sát, phân tích, và ứng phó tức thì với các tình huống thay đổi. Tính Nhất quán và Độ Tin cậy Cao: Kafka giữ cho bạn tính nhất quán dữ liệu thông qua quá trình sao lưu và sao chép thông điệp giữa các broker. Điều này đảm bảo dữ liệu không bị mất mát và luôn sẵn sàng cho các ứng dụng tiêu thụ. Mở Rộng Dễ Dàng: Kafka có khả năng mở rộng dễ dàng bằng cách thêm các broker vào cluster. Điều này cho phép bạn tăng khả năng xử lý dữ liệu mà không cần thay đổi cấu trúc toàn bộ hệ thống. Dữ liệu Đa Dạng: Kafka không chỉ hỗ trợ dữ liệu thông thường mà còn có khả năng xử lý dữ liệu đa dạng như logs, trạng thái ứng dụng, sự kiện liên quan đến giao dịch tài chính, và nhiều loại dữ liệu khác. Khả năng Chia Lượng Lớn: Nhờ việc sử dụng phân vùng (partitioning), Kafka có khả năng xử lý lượng dữ liệu lớn một cách hiệu quả. Điều này làm cho nó phù hợp cho các tình huống cần xử lý hàng tỷ sự kiện mỗi ngày. Tích hợp linh hoạt: Kafka có khả năng tích hợp với nhiều công nghệ và ứng dụng khác. Bạn có thể sử dụng các ngôn ngữ lập trình khác nhau để viết các ứng dụng producer và consumer, và Kafka cũng hỗ trợ các giao thức truyền tải khác nhau. Lưu trữ Dữ liệu Lâu Dài: Ngoài việc xử lý dữ liệu thời gian thực, Kafka cũng có khả năng lưu trữ dữ liệu lâu dài. Điều này cho phép bạn lưu trữ và truy xuất lại dữ liệu sự kiện trong tương lai để phân tích và kiểm tra. Hệ Thống Log: Kafka hoạt động như một hệ thống log, cho phép bạn lưu trữ và tìm kiếm thông tin sự kiện theo thời gian. Điều này rất hữu ích cho việc gỡ lỗi, phân tích dữ liệu và theo dõi hoạt động hệ thống. Nhược điểm của Kafka Phức Tạp trong Cài Đặt Ban Đầu: Cài đặt và cấu hình ban đầu của Kafka có thể phức tạp đối với những người mới bắt đầu sử dụng. Yêu Cầu Hiểu Biết Sâu về Hệ Thống: Để triển khai và quản lý Kafka hiệu quả, cần có kiến thức về hệ thống và mạng. Yêu Cầu Tài Nguyên: Kafka yêu cầu một số lượng tài nguyên tương đối lớn để hoạt động tốt, bao gồm bộ nhớ và khả năng xử lý. Khó Để Hiểu và Sử Dụng Cho Người Mới: Với những người mới sử dụng, Kafka có thể đầy thách thức và yêu cầu thời gian để hiểu rõ về cách làm việc của nó. Không Phải Là Giải Pháp Tất Cả Các Trường Hợp Sử Dụng: Mặc dù Kafka rất mạnh mẽ, nhưng nó không phải là giải pháp phù hợp cho tất cả các tình huống. Có những trường hợp sử dụng khác có thể phù hợp hơn. Khả Năng Quản Lý Dữ Liệu Lâu Dài Hạn: Mặc dù Kafka có thể lưu trữ dữ liệu lâu dài, nhưng việc quản lý và tìm kiếm dữ liệu trong các phiên bản sau này có thể đòi hỏi công việc phức tạp và tài nguyên. Usecases Kafka là một nền tảng streaming dữ liệu thời gian thực. Vì thế, nó đượng ứng dụng một cách rộng rãi trong nhiều ngành nghề và tổ chức. Kafka as a messaging system Trong ngành tài chính, các khoản payment và transactions khi phát sinh sẽ yêu cầu tốc độ xử lý càng nhanh càng tốt. VD: KH có nhu cầu rút tiền, process này diễn ra chỉ trong khoảng 5 – 10s sau khi nhập hết thông tin order VD: trong chứng khoán, giá của các mã chứng khoán thay đổi trong thời gian thực và nó ảnh hưởng trực tiếp tới giá trị giao dịch của cả ngàn KH một lúc Kafka lúc này sẽ được cài đặt và tinh chỉnh để trở thành 1 hệ thống truyền các message qua lại giữa nhiều hệ thống khác nhau VD: dữ liệu giá từ sở giao dịch tới công ty chứng khoán, dữ liệu mã chứng khoán từ trung tâm lưu ký tới công ty chứng khoán và ngân hàng Nếu không có kafka, các message sẽ có độ trễ, dẫn tới việc giao dịch có thể bị mất do lúc đó giá trị giao dịch không còn chính xác. Kafka as activity tracker Trong khối ngành logistic, một bài toán đặt ra là phương tiện chuyên chở đang đi tới đâu, bao lâu nữa tới nơi. Việc di chuyển diễn ra liên tục dẫn tới nhu cầu kiểm soát đước hoạt động này trở nên khó khăn VD: Đặt 1 course taxi, người dùng sẽ muốn biết xe đang tới đâu để có thể căn thời gian chuẩn bị, di chuyển tới điểm đón. Việc căn thời gian, đường đi này cần track được đường có đang tắc ở đâu không, có vướng mắc gì trên đường đi hay không Kafka as data processing Với trending nhà thông minh, việc ứng dụng IOT (internet on things) trở nên phổ biến hơn bao giờ hết. Để vận hành được thì các vật dụng cảm biến (sensor) trong nhà sẽ cần phải thu thập ược dữ liệu, sau đó phân tích xử lý dữ liệu đó trước khi truyền tới hệ thống để có action tiếp theo. VD: Khi người dùng nói: “Bật đèn”, micro hứng trong nhà sẽ phải bắt được câu “bật đèn”, xử lý dữ liệu để dịch ra ngôn ngữ hệ thống: eventKey: “guest” eventValue: “turn on the light” EventTimestramp: “Aug.25.2023.13:06” Sau khi xử lý xong, hệ thống sẽ truyền dữ liệu này tới bộ xử lý IOT. Bộ xử lý IOT sẽ truyền action tương ứng tới hệ thống điện trong nhà để bật đèn. Kafka sẽ cho phép quá trình thu thập và xử lý data xảy ra một cách nhanh nhất trước khi truyền dữ liệu đi. Nếu không có ứng dụng này, người dùng bình thường có thể mất tới vài lần nói thật to may ra mới bật được đèn một cách tự động Trong tương lai, việc phân tích và xử lý data có thể tiến tới tầm cao mới. Ví dụ như camera nhìn thấy sắc mặt của chủ nhà để bật nhạc tùy tâm trạng. Để xử lý được khối dữ liệu khổng lồ này thì sẽ cần một nền tảng đủ mạnh như kafka. Tiến tới xa hơn thì kafka hoàn toàn có thể làm xương sống cho việc xử lý big data của các công ty với khả năng xử lý dữ liệu của mình Ngoài 3 usecase chính về streaming message real time, tracking activity và xử lý data, Kafka còn nhiều ứng dụng khác như connect và storage dữ liệu, stream processing vv. Từ khi ra đời tới nay, Kafka đã giúp thay đổi bộ mặt của nhiều ngành nghề cũng như ảnh hưởng lớn tới việc số hóa dữ liệu, quy trình và sản phẩm. Nhưng để thực sự hiểu và dựng được lên một cụm cluster kafka thì một người dùng sẽ phải quan tâm tới nhiều khía cạnh khác như tài nguyên, vận hành, cài đặt cũng như theo dõi sửa lỗi, nâng cấp. Nắm được nhu cầu đó, FPT Smart Cloud cung cấp giải pháp Kafka as a service, đáp ứng được toàn bộ yêu cầu về mặt bảo mật, scaling, high availability, cài đặt, vận hành cũng như có nhiều tính năng bổ trợ để phân quyền, quản lý kafka dễ dàng. Giải pháp FPT Cloud Kafka as a Service sẽ giúp các Developer có thể tự động hóa hoàn toàn việc quản lý, duy trì và mở rộng các cụm Apache Kafka mà không tốn công sức triển khai, dễ dàng quản lý giúp tối ưu chi phí tài nguyên, nguồn lực. Đăng ký sử dụng thử miễn phí ngay: https://fptcloud.com/lien-he/ Nguyễn Quý Hiếu