Big Data là thuật ngữ dùng để chỉ một tập hợp dữ liệu rất lớn và rất phức tạp đến nỗi những công cụ, ứng dụng xử lí dữ liệu truyền thống không thể nào đảm đương được. Tuy nhiên, Big Data lại chứa trong mình rất nhiều thông tin quý giá mà nếu trích xuất thành công, nó sẽ giúp rất nhiều cho việc kinh doanh, nghiên cứu khoa học, dự đoán các dịch bệnh sắp phát sinh và thậm chí là cả việc xác định điều kiện giao thông theo thời gian thực. Hãy cùng chúng tôi tìm hiểu thêm những thông tin liên quan đến Big data qua bài viết dưới đây bạn nhé!
Big Data là gì?
Big Data là thuật ngữ dùng để chỉ một tập hợp dữ liệu rất lớn và phức tạp đến nỗi những công cụ, ứng dụng xử lý dữ liệu truyền thống không thể thu thập, quản lý và xử lý dữ liệu trong một khoảng thời gian hợp lý.
Những tập hợp dữ liệu lớn này có thể bao gồm các dữ liệu có cấu trúc (structured data), dữ liệu không cấu trúc (unstructured data) và dữ liệu nửa cấu trúc (semistructured data), mỗi tập hợp có chút khác biệt.
Trên thực tế, việc bao nhiêu dữ liệu đủ để gọi là “big” vẫn còn nhiều tranh luận, nhưng nó có thể là các bội số của petabyte – và với các dự án lớn nhất trong phạm vi exabyte (bội số của byte).
Thông thường, Big Data có 3 điểm đặc trưng:
- Khối lượng dữ liệu cực lớn;
- Nhiều loại dữ liệu đa dạng;
- Vận tốc mà dữ liệu cần phải được xử lý và phân tích.
Dữ liệu tạo thành các kho dữ liệu lớn có thể đến từ các nguồn bao gồm các trang web, phương tiện truyền thông xã hội, ứng dụng dành cho máy tính để bàn, ứng dụng trên thiết bị di động, các thí nghiệm khoa học, thiết bị cảm biến ngày càng tăng và các thiết bị khác trong mạng lưới thiết bị kết nối Internet (IoT- internet of things).
Khái niệm Big Data đi kèm với các thành phần có liên quan cho phép các tổ chức đưa dữ liệu vào sử dụng thực tế và giải quyết một số vấn đề trong kinh doanh, bao gồm cơ sở hạ tầng IT cần để hỗ trợ Big Data, các phân tích áp dụng với dữ liệu, công nghệ cần thiết cho các dự án Big Data, các bộ kỹ năng liên quan và các trường hợp thực tế có ý nghĩa đối với Big Data.
Cơ sở hạ tầng IT hỗ trợ Big Data
Đối với khái niệm Big Data trong công việc, các tổ chức cần phải có cơ sở hạ tầng để thu thập và chứa dữ liệu, cung cấp quyền truy cập và đảm bảo thông tin trong khi lưu trữ và vận chuyển.
Ở cấp độ cao, bao gồm hệ thống lưu trữ và các máy chủ được thiết kế cho Big Data, phần mềm quản lý và tích hợp dữ liệu, phần mềm kinh doanh thông minh (business intelligence) và phân tích dữ liệu, các ứng dụng Big Data.
Phần lớn cơ sở hạ tầng này sẽ có mặt tại chỗ vì các công ty muốn tiếp tục tận dụng các khoản đầu tư trung tâm dữ liệu của mình. Tuy nhiên, ngày càng có nhiều tổ chức dựa vào các dịch vụ điện toán đám mây để xử lý nhiều yêu cầu dữ liệu lớn của họ.
Thu thập dữ liệu yêu cầu phải có nguồn. Rất nhiều trong số những ứng dụng sau, như các ứng dụng web, các kênh truyền thông xã hội, ứng dụng di động và lưu trữ email đã được cài sẵn. Nhưng khi IoT trở nên phổ biến hơn, các công ty có thể sẽ cần triển khai cảm biến trên tất cả các thiết bị, phương tiện và sản phẩm để thu thập dữ liệu, cũng như các ứng dụng mới tạo ra dữ liệu người dùng. (Phân tích dữ liệu theo định hướng IoT có các kỹ thuật và công cụ chuyên biệt của nó.)
Để lưu trữ tất cả dữ liệu đến, các tổ chức cần phải có đủ dung lượng lưu trữ tại chỗ. Các tùy chọn lưu trữ bao gồm kho dữ liệu truyền thống, data lake (kho lưu trữ khối lượng dữ liệu thô rất lớn ở định dạng gốc cho đến khi người dùng doanh nghiệp cần dữ liệu) và lưu trữ trên đám mây.
Các công cụ cơ sở hạ tầng bảo mật bao gồm việc mã hóa dữ liệu, xác thực người dùng và các điều khiển truy cập khác, hệ thống giám sát, tường lửa, quản lý di động của doanh nghiệp và các sản phẩm khác để bảo vệ hệ thống và dữ liệu.
Big Data và Analytics
Điều thực sự mang lại giá trị từ tất cả các tổ chức dữ liệu lớn đang thu thập là phân tích dữ liệu (Analytics). Nếu không phân tích, nó chỉ là một bó dữ liệu với việc sử dụng hạn chế trong kinh doanh.
Bằng cách áp dụng phân tích vào dữ liệu lớn, các công ty có thể nhận thấy những lợi ích như tăng doanh thu, dịch vụ khách hàng được cải thiện, hiệu quả cao hơn và tăng khả năng cạnh tranh.
Phân tích dữ liệu liên quan đến việc kiểm tra bộ dữ liệu để thu thập thông tin chi tiết hoặc rút ra kết luận về những gì bao gồm trong đó, chẳng hạn các xu hướng và dự đoán về hoạt động trong tương lai.
Bằng cách phân tích dữ liệu, các tổ chức có thể đưa ra những quyết định kinh doanh tốt hơn như thời gian và địa điểm nên chạy chiến dịch tiếp thị hoặc giới thiệu sản phẩm hoặc dịch vụ mới.
Việc phân tích có thể tham khảo các ứng dụng kinh doanh thông minh hay tiên tiến hơn, phân tích dự đoán như ứng dụng được các tổ chức khoa học sử dụng. Loại phân tích dữ liệu cao cấp nhất là data mining, nơi các nhà phân tích đánh giá bộ dữ liệu lớn để xác định mối quan hệ, mô hình và xu hướng.
Phân tích dữ liệu có thể bao gồm phân tích dữ liệu thăm dò (để xác định các mẫu và mối quan hệ trong dữ liệu) và phân tích dữ liệu xác nhận (áp dụng các kỹ thuật thống kê để tìm ra giả thiết về bộ dữ liệu đó có đúng hay không).
Một mảng khác là phân tích dữ liệu định lượng (hoặc phân tích dữ liệu số có các biến có thể so sánh theo thống kê) so với phân tích dữ liệu định tính (tập trung vào các dữ liệu không phải dữ liệu cá nhân như video, hình ảnh và văn bản).
Công nghệ dữ liệu lớn cụ thể (Big-data-specific technologies)
Ngoài cơ sở hạ tầng IT đề cập trên được sử dụng cho dữ liệu nói chung, có một số công nghệ cụ thể dành cho Big Data mà cơ sở hạ tầng IT của bạn nên hỗ trợ.
Hệ sinh thái Hadoop
Hadoop là một trong những công nghệ liên quan chặt chẽ với Big Data. Dự án Apache Hadoop phát triển phần mềm mã nguồn mở cho máy tính có khả năng mở rộng và phân phối.
Thư viện phần mềm Hadoop là một framework cho phép xử lý phân phối các bộ dữ liệu lớn trên nhóm máy tính sử dụng mô hình lập trình đơn giản. Nó được thiết kế để mở rộng từ một máy chủ duy nhất sang hàng ngàn máy khác, mỗi máy cung cấp tính toán và lưu trữ cục bộ.
Dự án bao gồm:
- Hadoop Common, các tiện ích phổ biến hỗ trợ các phần Hadoop khác;
- Hadoop Distributed File System, cung cấp khả năng truy cập dữ liệu ứng dụng cao;
- Hadoop YARN, một framework cho kế hoạch làm việc và quản lý tài nguyên;
- Hadoop MapReduce, một hệ thống dựa trên YARN để xử lý song song bộ dữ liệu lớn.
Apache Spark
Một phần của hệ sinh thái Hadoop, Apache Spark là framework tính toán cụm nguồn mở được sử dụng làm công cụ xử lý Big Data trong Hadoop. Spark đã trở thành một trong những framework xử lý Big Data quan trọng và có thể được triển khai theo nhiều cách khác nhau. Nó cung cấp các ràng buộc bản địa đối với Java, Scala, Python (đặc biệt là Anaconda Python distro) và ngôn ngữ lập trình R (R đặc biệt phù hợp với Big Data) và hỗ trợ SQL, streaming data, machine learning và xử lý đồ thị.
Data lakes
Data lakes là các kho lưu trữ chứa khối lượng dữ liệu thô rất lớn ở định dạng gốc cho đến khi người dùng doanh nghiệp cần dữ liệu. Các yếu tố giúp tăng trưởng data lake là những sáng kiến chuyển đổi kỹ thuật số và sự phát triển của IoT. Các data lake được thiết kế giúp người dùng dễ dàng truy cập vào một lượng lớn dữ liệu khi có nhu cầu.
Cơ sở dữ liệu NoSQL
Cơ sở dữ liệu SQL thông thường được thiết kế cho các giao dịch đáng tin cậy và các truy vấn ngẫu nhiên, nhưng chúng cũng có những hạn chế như giản đồ cứng nhắc làm cho không phù hợp với một số loại ứng dụng. Cơ sở dữ liệu NoSQL nêu ra những hạn chế, lưu trữ và quản lý dữ liệu theo các cách cho phép tốc độ hoạt động cao và sự linh hoạt. Nhiều cơ sở dữ liệu đã được phát triển bởi các công ty, tìm cách tốt hơn để lưu trữ nội dung hoặc xử lý dữ liệu cho các trang web lớn. Không giống như các cơ sở dữ liệu SQL, nhiều cơ sở dữ liệu NoSQL có thể được mở rộng theo chiều ngang trên hàng trăm hoặc hàng ngàn máy chủ.
Cơ sở dữ liệu trong bộ nhớ
Cơ sở dữ liệu trong bộ nhớ (IMDB – In-memory databases) là một hệ thống quản lý cơ sở dữ liệu chủ yếu dựa vào bộ nhớ chính để lưu trữ dữ liệu, thay vì đĩa. Cơ sở dữ liệu trong bộ nhớ nhanh hơn các cơ sở dữ liệu được tối ưu hóa trong đĩa, một điểm quan trọng để sử dụng phân tích Big Data, tạo ra các kho dữ liệu và các siêu dữ liệu.
Các kỹ năng Big Data
Big Data và các nỗ lực phân tích Big Data yêu cầu kỹ năng cụ thể, cho dù là từ bên trong tổ chức hay thông qua các chuyên gia bên ngoài.
Nhiều kỹ năng có liên quan đến các thành phần công nghệ dữ liệu quan trọng như Hadoop, Spark, NoSQL, cơ sở dữ liệu trong bộ nhớ và phần mềm phân tích.
Các lĩnh vực khác cụ thể là về các nguyên tắc như khoa học dữ liệu, khai thác dữ liệu, phân tích thống kê và định lượng, data visualization, lập trình mục đích chung (general-purpose programming) và cấu trúc dữ liệu và giải thuật (data Structure and algorithms). Ngoài ra, cũng cần có những người có kỹ năng quản lý tổng thể để quản lý tiến độ của các dự án Big Data.
Với độ phổ biến của các dự án phân tích dữ liệu và sự thiếu hụt nhân lực về các kỹ năng trên, việc tìm kiếm các chuyên gia có kinh nghiệm là một trong những thách thức lớn nhất đối với các tổ chức.
Các trường hợp sử dụng Big Data
Big Data và analytics có thể được áp dụng trong nhiều vấn đề kinh doanh và nhiều trường hợp sử dụng khác nhau. Dưới đây là một vài ví dụ:
- Phân tích khách hàng. Các công ty có thể kiểm tra dữ liệu khách hàng để nâng cao trải nghiệm người dùng, cải thiện tỉ lệ chuyển đổi và giữ khách hàng tốt hơn.
- Phân tích hoạt động. Nâng cao hiệu quả hoạt động và sử dụng tài sản tốt hơn là mục tiêu của nhiều công ty. Phân tích Big Data có thể giúp doanh nghiệp vận hành hiệu quả hơn và cải thiện hiệu suất.
- Phòng chống gian lận. Phân tích dữ liệu có thể giúp các tổ chức xác định các hoạt động khả nghi và các mẫu có thể chỉ ra hành vi gian lận và giúp giảm thiểu rủi ro.
- Tối ưu hóa giá cả. Các công ty có thể sử dụng phân tích Big Data để tối ưu hóa giá đặt cho sản phẩm và dịch vụ, giúp tăng doanh thu.
Những “siêu năng lực” mà công nghệ Big data đem đến cho doanh nghiệp
Hiểu và nhắm đúng mục tiêu khách hàng
Đây được coi là lợi ích đầu tiên và thấy rõ nhất của Big data trong Marketing. Việc hiểu được Big data là gì sẽ đem lại lợi ích rất lớn cho doanh nghiệp trong việc nhắm đúng khách hàng. Hơn thế nữa, Big data được sử dụng để hiểu rõ hơn về khách hàng cũng như hành vi và sở thích của họ.
Các công ty muốn mở rộng bộ dữ liệu truyền thống của họ với dữ liệu truyền thông xã hội, nhật ký trình duyệt cũng như phân tích văn bản và dữ liệu cảm biến để có bức tranh hoàn chỉnh hơn về khách hàng của họ. Sử dụng dữ liệu lớn, các công ty viễn thông có thể dự đoán tốt hơn việc “khuấy động” khách hàng và nắm được xu hướng tiêu dùng sử dụng của họ. Ví dụ điển hình, Wal-Mart có thể dự đoán sản phẩm nào sẽ bán và các công ty bảo hiểm xe hơi hiểu khách hàng của họ thực sự lái tốt đến mức nào. Ngay cả các chiến dịch bầu cử của chính phủ có thể được tối ưu hóa bằng cách sử dụng phân tích nhờ vào Big data.
Ứng dụng của Big Data trong việc định lượng và tối ưu hóa hiệu suất cá nhân
Big data không chỉ dành cho các công ty và chính phủ mà còn dành riêng cho tất cả chúng ta. Giờ đây, chúng ta có thể hưởng lợi từ dữ liệu được tạo từ thiết bị có thể đeo như đồng hồ thông minh hoặc vòng đeo tay thông minh. Trong trường hợp của Jawbone, công ty hiện thu thập dữ liệu giấc ngủ mỗi đêm, việc phân tích khối lượng dữ liệu đó sẽ mang lại những hiểu biết hoàn toàn mới về sức khỏe và có thể cung cấp cho từng người dùng cá nhân. Những dữ liệu từ người dùng có thể cho doanh nghiệp cái nhìn rõ nét nhất về xu hướng cũng như hành vi của khách hàng để tạo ra được một hướng đi cụ thể, chiến lược đúng đắn. Đây là điều hoàn toàn hợp lý và có lợi đối với mọi doanh nghiệp từ dữ liệu của cá nhân và trong trường hợp của Jawbone thì các doanh nghiệp liên quan đến sức khỏe là những người được hưởng lợi hơn cả.
Phòng chống an ninh giúp doanh nghiệp giảm thiểu rủi ro
Big data được áp dụng rất nhiều trong việc cải thiện bảo mật và cho phép thực thi pháp luật. Cơ quan An ninh Quốc gia (NSA) ở Hoa Kỳ sử dụng các phân tích dữ liệu lớn để chặn các mảnh đất khủng bố (và có thể do thám). Những người khác sử dụng các kỹ thuật dữ liệu lớn để phát hiện và ngăn chặn các cuộc tấn công trên mạng, các công ty thẻ tín dụng sử dụng dữ liệu lớn sử dụng nó để phát hiện các giao dịch gian lận.
Muốn là được như vậy thì Big Data là gì là một điều mà các doanh nghiệp cần nắm rõ ràng. Trong môi trường cạnh tranh khốc liệt hiện nay thì không chỉ những tổ chức chính phủ mà các doanh nghiệp vận dụng rất nhiều đến yếu tổ bảo mật quyền lợi của thương hiệu, giảm thiểu tối đa rủi ro từ yếu tố môi trường bên ngoài tác động. Phân tích dữ liệu có thể giúp các tổ chức doanh nghiệp xác định các hoạt động khả nghi, và các mẫu có thể chỉ ra hành vi gian lận và giúp giảm thiểu rủi ro.
Tối ưu hóa giá cả
Tất nhiên việc sử dụng Big Data vào mục đích kinh doanh như định giá là vô cùng quan trọng. Đối với một doanh nghiệp thì Big Data cũng tham gia vào hoạt động định giá sản phẩm, dịch vụ của doanh nghiệp đó. Không phải muốn đặt giá bao nhiêu thì đặt, mà các doanh nghiệp cần phải nghiên cứu cũng như giá của các đối thủ cùng ngành và xu hướng của khách hàng. Từ đó giảm thiểu tối đa thời gian đi phân tích mà vẫn có được kết quả như mong muốn từ dữ liệu lớn mà doanh nghiệp có được. Đây được coi là một lợi ích giúp doanh nghiệp định giá đúng, gia tăng được lợi nhuận cho doanh nghiệp sau này.
Nắm bắt được các giao dịch tài chính
Danh mục những lợi ích đến từ Big data cuối cùng của tôi đến từ giao dịch tài chính. Giao dịch tần số cao (HFT) là một khu vực mà dữ liệu lớn tìm thấy rất nhiều ngày hôm nay. Ở đây, các thuật toán dữ liệu lớn được sử dụng để đưa ra quyết định giao dịch. Ngày nay, phần lớn giao dịch cổ phiếu hiện đang diễn ra thông qua các thuật toán dữ liệu ngày càng tính đến các tín hiệu từ mạng truyền thông xã hội và các trang web tin tức để thực hiện, mua và bán quyết định trong vài giây. Các thanh toán và giao dịch điện tử ngày nay rất phổ biến và tại Việt Nam không phải ngoại lệ, rất nhiều thương hiệu đã tập trung vào các giao dịch để phân tích dữ liệu người dùng. Đặc biệt là các công ty hoạt động về ngành thương mại điện tử, Big data sẽ giúp ích khá lớn cho các thương hiệu ở lĩnh vực này.
Thách thức đến từ Big Data
Mặc dù hiểu rõ big data là gì nhưng cũng phải nhìn thẳng vào sự thật nó cũng có những thách thức riêng của nó. Đầu tiên, dữ liệu lớn là… rất lớn. Mặc dù các công nghệ mới đã được phát triển để lưu trữ dữ liệu, khối lượng dữ liệu được tăng gấp đôi về kích thước khoảng hai năm một lần . Các tổ chức vẫn đấu tranh để bắt kịp với dữ liệu của họ và tìm cách để lưu trữ hiệu quả nó. Nhưng trên thực tế nó không đủ để lưu trữ dữ liệu. Các nhà khoa học dữ liệu dành 50 đến 80 phần trăm thời gian quản lý và chuẩn bị dữ liệu trước khi nó thực sự có thể được sử dụng.
Công nghệ dữ liệu lớn đang thay đổi với tốc độ nhanh đến chóng mặt. Một vài năm trước, Apache Hadoop là công nghệ phổ biến được sử dụng để xử lý dữ liệu lớn. Sau đó, Apache Spark được giới thiệu vào năm 2014 và nó tạo ra được cú hích lớn trên thị trường vào thời điểm đó. Hiện nay dữ liệu lớn đang cực kỳ phổ biến và việc bắt kịp với công nghệ dữ liệu lớn và một thách thức chung với cả các công ty hoạt động cung cấp với các công ty sử dụng Big data đang là thách thức hiện hữu.
Chỉ trích đối với Big Data
Trên cộng đồng hiện nay đang tồn tại 2 luồng ý kiến chỉ trích Big Data, đó là chỉ trích về cách sử dụng Big Data và chỉ trích về việc lấy thông tin từ Big Data.
Chỉ trích về cách sử dụng Big Data
Nhà khởi nghiệp cũng là người viết sách Chris Anderson cho rằng việc sử dụng Big Data luôn cần phải giữ được ngữ cảnh hóa trong các bối cảnh về chính trị, xã hội và kinh tế. Chẳng hạn, ngay cả khi các doanh nghiệp đã đầu tử hàng tỉ đô la vào Big Data và lấy được thông tin về nhiều thứ nhưng chỉ có ít hơn 40% nhân viên thật sự có thể hiểu và tận dụng được những thông tin này. Chính vì thế nên hiệu của Big Data đã bị giảm hiệu quả đi rất nhiều so với lúc ban đầu, dẫn đến việc lãng phí tài nguyên.
Ngoài ra, còn có những chỉ trích cho rằng Big Data chỉ có thể miêu tả được thế giới trong quá khứ hoặc tốt lắm thì chỉ miêu tả được trong hiện thực mà thôi. Lý do đưa ra là Big Data dựa trên các dữ liệu đã sinh ra được từ trước. Về việc nói về tương lai thì ngoài việc sử dụng Big Data còn phải kết hợp thêm các mô hình, mô phỏng hay nghiên cứu về sự chuyển dộng của thế giới mới đưa ra được dự đoán chính xác được.
Ngoài ra, hiện nay con người còn có một nỗi lo khác, chính là vấn đề riêng tư của những người sử dụng. Thông tin có khả năng định dạng người sử dụng có thể thu thập khi mà thu thập Big Data và điều này hoàn toàn không được sự cho phép của họ. Điều này tại một số quốc gia là vi phạm luật. Rất nhiều những chuyên gia từ các lĩnh vực khác nhau đang cố gắng thúc đẩy việc bảo vệ quyền riêng tư khi sử dụng Big Data.
Chỉ trích về việc lấy thông tin từ Big Data
Danah Boyd – một nhà nghiên cứu đã bày tỏ sự quan ngại của mình rằng việc sử dụng Big Data trong việc chọn mẫu thống kê có thể gây ra sự chủ quan, điều đó dù ít hay nhiều cũng có thể sẽ ảnh hướng đến kết quả cuối cùng. Việc khai thác dữ liệu sẽ lấy từ một số nguồn Bid Data, trong khi những nguồn khác không phải là từ Big Data thì cũng sẽ đặt ra những thách thức trong việc phân tích dữ liệu.
Ví dụ một vài ứng dụng của Big Data
- Ứng dụng về dữ liệu được tạo ra cho Big Data có rất nhiều, trong đó có:
- Dữ liệu từ các trang mạng xã hội, các ứng dụng như Instagram, Facebook
- Mua sắm, đặt vé trực tuyến
- Chi tiết về nhân viên của một công ty đa quốc gia nào đó
Phân tích Big Data cũng được coi như là một phiên bản nâng cấp hơn của việc phân tích dữ liệu. Việc phân tích Big Data sẽ có một số ứng dụng như:
- Các thông tin về dự báo thời tiết
- Tiếp thị chứng khoán
- Thực hiện những nhiệm vụ không gian, trong đó mỗi một thông tin cũng đều là rất quan trọng.
- Ứng dụng trong lĩnh vực y tế, nơi mà một tình trạng sức khỏe bệnh nhân cụ thể có thể sẽ được theo dõi.
Công nghệ Big Data hàng đầu sẽ được chia thành 4 lĩnh vực: phân loại như sau: lưu trữ dữ liệu, khai thác dữ liệu, phân tích dữ liệu, trực quan hóa dữ liệu.
Trên đây là những thông tin liên quan đến Big data do dean2020.edu.vn đã tổng hợp và chia sẻ đến các bạn. Hy vọng rằng với những chia sẻ trên đây sẽ giúp bạn có thêm nhiều thông tin hơn về big data bạn nhé!
