Nghiên cứu về công nghệ thực tại ảo và ứng dụng.

Báo Cáo Chuyên Đề Công Nghệ Tri ThứcSinh viên: Nguyễn Võ Ngọc Huy [CH1101091] Trang: 1ĐẠI HỌC QUỐC GIA TP HỒ CHÍ MINHTRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN  Học Viên: Nguyễn Võ Ngọc Huy Mã số: CH1101091Chuyên ngành: KHOA HỌC MÁY TÍNHMã số: 60.48.01.01Tìm hiểu thực tế ảo và những ứng dụng vào cuộc sốngTP Hồ Chí Minh – Năm 2015Báo Cáo Chuyên Đề Công Nghệ Tri ThứcMục lụcSinh viên: Nguyễn Võ Ngọc Huy [CH1101091] Trang: 2Báo Cáo Chuyên Đề Công Nghệ Tri ThứcLời mở đầuV iệc nghiên cứu khoa học máy tính ứng dụng vào cuộc sống có nhiều lĩnh vực phát triển, trong đó khả năng áp dụng các công nghệ và kỹ thuật xử lý mô phỏng thế giới thực của con người, tương tác với thế giới đó qua máy tính là chủ đề quan trọng trong ngành công nghệ thông tin để biến chiếc máy tính trở nên thông minh và mạnh hơn về chức năng giao tiếp.Chuyên đề này xin được trình bày về những tìm hiểu một vấn đề mới mà thế giới đang quan tâm và phát triển đó là thực tế ảo [Virtual Reality – VR]. Thực tế ảo mô phỏng giác quan người sử dụng theo cách mà máy tính mô phỏng và trãi nghiệm như thế giới thực. Nó bao gồm tất cả những gì đã được thực hiện để nâng cao cảm giác hoặc hành động dựa trên một thế giới ảo hoặc môi trường ảo cung cấp mô phỏng của sự tương tác giữa con người và môi trường thực tế này. Mô phỏng này đạt được bằng phương tiện của giao diện thực tế ảo kết nối với máy tính và kích thích một trong các giác quan của con người như thị giác, thính giác.Báo cáo này trình bày lịch sữ phát triển của thực tế ảo, các khái niệm của nó, các phần cứng phần mềm được sử dụng, và một số kỹ thuật tương tác ảo cũng như thực trạng và xu hướng của thực tế ảo ngày nay và là vấn đề trọng tâm cốt lõi vấn đề, và tất cả cũng được tìm hiểu và tổng hợp trong báo cáo chuyên đề này.Chân thành cám ơn!Nguyễn Võ Ngọc HuySinh viên: Nguyễn Võ Ngọc Huy [CH1101091] Trang: 3Báo Cáo Chuyên Đề Công Nghệ Tri ThứcChương 1 – Tổng quanI. Giới thiệu về thực tế ảo [Virtual Reality - VR] "Thực tế ảo" [VR] là đề cập đến việc mô phỏng máy tính tạo ra các hình ảnh của một thế giới mà dường như tất cả các giác quan của ta sẽ có và cảm nhận được tương tự như cách chúng ta nhận thức thế giới thực hoặc thực tế vật lý như ngoài đời. Để cho bộ não biết rằng thế giới tổng hợp là xác thực, các mô phỏng máy tính theo dõi các chuyển động của người tham gia và điều chỉnh màn hình hiển thị cảm ứng hoặc màn hình một cách cung cấp cho chúng ta cảm giác được đắm mình có mặt trong các mô phỏng. Như vậy, thực tế ảo là một phương tiện để cho con người có thể tham gia hoạt động vào một số môi trường mô phỏng mà khác biệt với vật lý thực tại [1].Thực tế ảo là một phương tiện mà con người có thể chia sẻ ý tưởng và những trải nghiệm. Đó là một phần của thế giới mà người tham gia tương tác được mà gọi là thế giới ảo [virtual world]. Tuy nhiên, thuật ngữ "thế giới ảo" không chỉ đề cập cụ thể đến thế giới thực tế ảo. Nó còn được sử dụng để tham khảo các nội dung của phương tiện truyền thông khác như tiểu thuyết, phim ảnh và các công ước truyền thông khác.Một định nghĩa chính thức hơn cho thực tế ảo từ Sherman và Craig: "Một phương tiện bao gồm mô phỏng máy tính tương tác mà cảm nhận vị trí và hành động của người tham gia, cung cấp thông tin phản hồi tổng hợp cho một hoặc nhiều giác quan, cho cảm giác được có mặt và cảm nhận trong các mô phỏng."Một hệ thống thực tế ảo [Virtual Reality - VR] điển hình sẽ thay thế kích thích thị giác và các kích thích âm thanh cũng được cung cấp. Một số cảm giác ít phổ biến hơn đó là bao gồm cảm giác qua làn da hay gọi là xúc giác cảm ứng, khứu giác về mùi, và vị giác về hương vị.Có rất nhiều thiết bị phần cứng đặc biệt có liên quan trong việc mang lại hình ảnh cảm giác cho người sử dụng rất khác nhau. Một thiết bị VR hiện giờ hiện thực quen thuộc là màn hình hiển thị gắn trên đầu [Head-mount display -HMD]. Một HMD là một thiết bị mà người dùng đeo trên đầu, có một màn hình đặt ở phía trước của mỗi Sinh viên: Nguyễn Võ Ngọc Huy [CH1101091] Trang: 4Báo Cáo Chuyên Đề Công Nghệ Tri Thứcmắt. Công nghệ thường sử dụng để hiển thị các phần ảo hình ảnh VR là có thể thêm việc chiếu hình ảnh lên một màn hình lớn hoặc nhiều màn hình, xem hình 1.1:Hình 1.1. Một người trong thực tế ảo đội thiết bị trên đầu găng tay tương tác với thế giới ảoNgoài ra, một khía cạnh không kém không quan trọng của một hệ thống thực tế ảo là cảm biến vị trí của người tham gia. Nếu không có thông tin về hướng người dùng như đang tìm kiếm, đạt được, chỉ tay thì không thể cho ra thực tế ảo hiển thị một cách thích hợp để kích thích các giác quan. Và giám sát chuyển động cơ thể của người sử dụng được theo dõi, mô phỏng và tái hiện một cách hợp lý và chính xác.Có một số thuật ngữ công nghệ liên quan cũng thường được sử dụng trong công nghệ thực tế ảo như là "không gian ảo" [cyperspace]. Không gian ảo là quan điểm cho rằng người ta có thể nằm ở vị trí vật lý khác nhau, thông qua việc sử dụng một số công nghệ trung gian tương tác như với nhau mà có thể liên lạc, tiếp xúc ảo với nhau như thật, xem hình 1.2Sinh viên: Nguyễn Võ Ngọc Huy [CH1101091] Trang: 5Báo Cáo Chuyên Đề Công Nghệ Tri ThứcHình 1.2. Ứng dụng game trong tương tác với thực tế ảoHai khái niệm khác liên quan đến thực tế ảo là hiện diện xa [TelePresence] và tăng cường thực tế [Augmented reality - AR]. TelePresence là tương tự như VR có nghĩa là đặt vị trí ảo hóa một người nào đó vào một vị trí khác mà thực tế họ không có hiện diện vật lý. Tăng cường thực tế [AR] là cung cấp cho người dùng một cái nhìn thay đổi của thế giới thực. Tuy nhiên, cái nhìn mà họ có được là vị trí địa lý hiện tại, sử dụng công nghệ với nhiều đặc điểm chung với thực tế ảo, các thông tin bổ sung [ảo] sẽ được thêm vào cảm giác của họ. Thông thường đó là cảm giác trực quan được tăng cường thêm, cung cấp cho người dùng có các khả năng như nhìn qua xuyên bức tường hoặc vào cơ thể bệnh nhân [7].AR còn được định nghĩa như là thực tế bằng cách trực tiếp hay gián tiếp qua cách nhìn vật lý hay thế giới thực bằng các thành phần tăng cường cho máy tính sinh ra hổ trợ bao gồm các cảm biến như âm thanh, phim ảnh, đồ họa hay là thiết bị định vị GPS. Các công nghệ kỹ thuật này mở rộng các giác quan thực tế hiện tại nhằm làm cho các thông tin của thế giới thực xung quanh trở nên tương tác được và tính toán theo kỹ thuật số hóa được. Các thông tin nhân tạo về môi trường và đối tượng của nó có thể phản ảnh thế giới thực [9].Sinh viên: Nguyễn Võ Ngọc Huy [CH1101091] Trang: 6Báo Cáo Chuyên Đề Công Nghệ Tri ThứcVà ngày nay, đồ họa máy tính đã trở nên là lĩnh việc quan trọng của nhiều lĩnh vực, nhiều thiết bị phần cứng xử lý đồ họa mạnh cũng đã ra đời ngày càng tốt hơn và nhanh hơn và giá thành thấp xuống liên tục và nhanh chóng. Việc này cho phép trải nghiệm thế giới ảo ngày càng hoàn hảo hơn. Và thế giới ba chiều dường như không đủ, thay vào đó người ta cố gắng hoàn thiện thế giới ảo bốn chiều, năm chiều, 1. Lịch sử phát triển thực tế ảo Thực tế ảo lả chủ đề nóng trong vài năm qua, nhưng nguồn gốc của nó đạt lại từ bốn thập kỷ qua. Vào cuối những năm 1950, McCarthy và Elvis mới có ý tưởng đổi cách mọi người tương tác với máy tính và làm cho có thể VR. Vào thời điểm đó, máy tính chỉ được sử dụng bởi những người thông thạo các ngôn ngữ lập trình rất khó và tiếp cận còn nhiều hạn chế.Năm 1956, Morton Heilig là giám đốc đồ họa phim chuyên biên tập điện ảnh đưa ra khái niệm các như các cảnh ảo, âm thanh mô phỏng hiệu ứng, tiếng rung của động cơ và một số mùi khác với thiết bị Sensorama, nhưng nó không mang tiếng vang lớn về thành công về mặt thương mại do thiết các thành phần chính cho một hệ thống thực tế ảo. Năm 1960, Heilig mô phỏng thêm về hiệu ứng đồ họa 3D, âm thanh stereo và một số mô phỏng khác. Sau đây là bảng vẽ về cách hiển thị và hoạt động head-mount qua hình 1.1.1.Sinh viên: Nguyễn Võ Ngọc Huy [CH1101091] Trang: 7Báo Cáo Chuyên Đề Công Nghệ Tri ThứcHình 1.1.1. Mẫu thiết kế về hiển thị cho head-mount của HeiligNăm 1961, Comeau và Bryan đã nghiên cứu hệ thống head-mount có khả năng liên kết các camera và có thể so trùng độ phân giải mắt. Thêm nữa, đã cải tiến nhiều về phần đồ họa tương tác với máy tính, hình 1.1.2.Sinh viên: Nguyễn Võ Ngọc Huy [CH1101091] Trang: 8Báo Cáo Chuyên Đề Công Nghệ Tri ThứcHình 1.1.2. Thiết bị head-mount [HMD] cải tiến đồ họa và chức năngNăm 1963, Ivan Sutherland là sinh viên tốt nghiệp Harvard phát minh ra sketchpad [thiết bị bảng vẽ tương tác] [tham khảo hình 1.1.3], đó là một hệ thống cho phép tương tác các hình ảnh ảo được máy tính tạo ra hiển thị trên màn hình CRT và được xem như tiền đề của các chương trình CAD sau này. Năm 1965, ông mô tả ứng dụng nhập vai tổng hợp thế giới được tổng hợp lại trên máy tính. Nó bao gồm biểu diễn phản hồi của hiệu ứng nhìn, nghe và xúc giác tương ứng với những hình động của con người. Đến năm 1968, Surtherland lúc này là giáo sư của đại học Utah được Sinh viên: Nguyễn Võ Ngọc Huy [CH1101091] Trang: 9Báo Cáo Chuyên Đề Công Nghệ Tri Thứcghi nhận và công khai các công trình về thành phần ảo của hiệu ứng nhìn của ông. Các hệ thống của ông bao gồm HMD [Head-mount device], head-mount về cơ khí các khả năng co của các cáp và đưa ra các mô phỏng trong không gian 3 chiều. Sau đó, Ivan Sutherland thành lập tập đoàn E&S chuyên phát triển phần cứng vẽ về đồ họa thời gian thực chuyên mô phỏng các chuyến bay cho công đồng trên khắp thế giới [2]Hình 1.1.3. Ivan Sutherland phát minh thiết bị mô phỏng Sketchpad Tiếp theo với nhưng nghiên cứu của Sutherland, nhiều nghiên cứu và phát triển khác ra đời liên tiếp tại các phòng thí nghiệm của các trường đại học, tổ chức chính phủ, quân đội và tiếp theo là các thương mại. Cụ thể là tại đại học Winconsin, Myron Krueger đã thí nghiệm các khía cạnh khác nhau của các hệ thống thực tế ảo mà ông ta gọi là thực tế nhân tạo [Artificial Reality]. Khi mà hệ thống head-mount của Sutherland chỉ phù hợp cho một người nhìn ra thế giới, thì ông Krueger cung cấp thêm cái nhìn thứ hai của thế giới ảo mà người tham gia có thể thấy chính họ với thế giới. Hệ thống ông khác với Sutherland ở chỗ nữa là sử dụng thêm camera để diễn tả sự di chuyển của người dùng và người dùng không phải bị cản trở bởi các thiết bị cảm biến gắn trên cơ thể họ, tham khảo hình 1.1.4 và 1.1.5.Sinh viên: Nguyễn Võ Ngọc Huy [CH1101091] Trang: 10Báo Cáo Chuyên Đề Công Nghệ Tri ThứcHình 1.1.4. Hệ thống thực tế ảo videoplace của Myron KruegerHình 1.1.5. Trong hệ thống thực tế nhân tạo của Krueger, 1 camera sử dụng để mô phỏng bao phủ cơ thể trong thế giới ảoVà trong những năm 1977, Tom DeFanti và Dan Sandin của đại học Illinoi ở Chicago thành lập phòng thí nghiệm EVL chuyên về biểu diễn đồ thị, các thiết bị nhập xuất và khám phá các kỹ thuật tương tác, trong đó có chiếc găng tay cảm nhận sự uống cong các hoạt động ngón tay. Sau đó năm 1992, hệ thống CAVE ra đời hệ thống mô tả sự đi bộ với các khối lập thể, các đầu theo dõi và các đồ họa máy tính phức tạp, xem hình 1.1.6.Sinh viên: Nguyễn Võ Ngọc Huy [CH1101091] Trang: 11Báo Cáo Chuyên Đề Công Nghệ Tri ThứcHình 1.1.6. Găng tay nhận dạng cử động [Gesture recognition VPL DataGlove]Nếu ta xem xét thực tế ảo đơn giản là mô phỏng của một môi trường cho phép một người ở một số địa điểm và sự kiện khác nhau với nơi họ đang có và những gì đang thực sự xảy ra xung quanh. Thì việc mô phỏng chuyến bay là một ví dụ đầu tiên của phương tiện này. Mô phỏng việc lái máy bay dựa trên màn hình máy tính tương tác có từ đầu những năm 1970 và phát triển mạnh sau này. Mô phỏng chuyến bay trước đó đã sử dụng công cụ điều khiển máy móc hiển thị và liên kết với chuyến bay của phi công điều khiển xem không lưu, điều khiển máy bay, đối phó tình huống Nhiều người trước khi bay thật, phải thực tập bay trong các chuyến bay giả lập trên máy tính để có cơ hội để làm quen với các điều khiển bay và hiển thị thông tin.Sau đó, bằng cách kiểm soát chuyển động của một máy quay phim trên các mô hình và một số địa hình khác nhau, dần dần cảm giác hòa nhập thực tế ảo được tạo ra và được làm quen. Và một mô phỏng tốt là phải khác nhau và xây dựng cho từng loại máy bay và các địa hình khác với các địa điểm mới. Mô phỏng này có thể làm tốt khi có sự ra đời của đồ họa máy tính tiên tiến và các công nghệ màn hình hiển thị, xem hình 1.1.7Sinh viên: Nguyễn Võ Ngọc Huy [CH1101091] Trang: 12Báo Cáo Chuyên Đề Công Nghệ Tri ThứcHình 1.1.7. Hệ thống huấn luyện bay trong những ứng dụng hỗ trợ tập huấn cấu hình môi trường ảo [Virtual Environment Configurable Training Aids - VECTA]2. Xu hướng thực tế ảo Ngày nay, các hệ thống thực tế ảo tận dụng các lợi thế mạnh về sử dụng mạng để chia sẽ không gian ảo. Khi đó mỗi thành viên sẽ được biểu diễn như là một thực thể ảo, và có thể biểu diễn một người trong môi trường công tác mà gọi là một sự hóa thân [avatar]. Một avatar ngoài biểu diễn một người còn có thể biểu diễn trửu tượng, như khả năng cộng tác thêm qua các giao tiếp như cú vẫy tay từ một avatar này có thể lan truyền thông tin qua các avatar khác. Ví dụ như thiết bị cầm tay tương tác ảo qua hệ thống mạng, xem hình 1.2.1Sinh viên: Nguyễn Võ Ngọc Huy [CH1101091] Trang: 13Báo Cáo Chuyên Đề Công Nghệ Tri ThứcHình 1.2.1. Hệ thống cầm tay có thể cung cấp tương tác và các cảnh ngoài đời vào thực tế ảoCác hệ thống thực tế ảo sao này cho phép các người tham gia có thể đồng bộ thời gian thực hoặc tham gia không đồng bộ bằng cách lưu lại trạng thái của các hoạt động và người dùng sẽ tương tác môi trường ảo sau này. Một phát minh tiếp là cho phép người tham gia có thể phổ biến lại kinh nghiệm sau 1 thời gian tham gia và học hỏi được cụ thể là để lại các ghi chú, hình ảnh hoặc phim cho những người khác vào không gian tại một thời điểm nào đó.Xu hướng ngày nay của hệ thống thực tế ảo tập trung vào một số cách mạng như sau, trước hết là quy mô ngày càng lớn và các cải tiến, như đồ họa 3D cho người dùng đơn mà giai đoạn đầu là các game 3D. Sau đó vào những năm 1990 là các hệ thống đa người dùng tương tác một lúc như ActiveWorlds, SecondLife, Giai đoạn tiếp theo những năm 2010-2015, đang phát triển các hệ thống mở hơn mà nó cha được trên nhiều môi trường platform và trên các phương tiện khác như local, network, cloud, Các bước cải tiến tiếp theo là sự thay đổi sự tích hợp cho các phương tiện nhập và xuất, như các VR google [kính ảo google, bảng đồ tương tác 3D], hoặc các thiết bị tương tác game của Microsoft qua motion cơ thể ngày càng phổ biến hơn.II. Thành phần hệ thống thực tế ảo 1. Phần cứng Phần cứng mà sử dụng trong thực tế ảo có thể bao gồm như các thiết bị hiển thị, các thiết bị nhập mà người dùng tương tác và theo dõi hành động. Thêm vào đó nữa là máy tính hổ trợ lập mô hình và vẽ lại của thế giới thực.a] Phần đồ họa và máy tính:Phần cốt lõi chính của việc tính toán là chịu trách nhiệm tính toán các hành vi của thế giới thực và vẽ lại trạng thái của thế giới thực vào ảo hóa tương tác thị giác, thính giác, xúc giác. Và bởi vì đặc điểm của thực tế ảo là trải nghiệm tương tác thời gian thực sao cho hiệu quả, nên hệ thống máy tính đòi hỏi những yêu cầu đặc biệt. Các hệ thống tính toán có thể được thực hiện trên một máy tính lớn duy nhất đáp ứng Sinh viên: Nguyễn Võ Ngọc Huy [CH1101091] Trang: 14Báo Cáo Chuyên Đề Công Nghệ Tri Thứctất cả các yêu cầu, hoặc nó có thể được thực hiện trên nhiều máy tính. Trong trường hợp trên nhiều máy tính, các máy phải được kết nối với nhau thông qua một độ trễ thấp và mạng lưới kết nối tốc độ cao. Độ trễ là thời gian trễ giữa thời gian một sự kiện xảy ra và thời gian kết quả của nó xuất hiện và là một yếu tố quan trọng trong bất kỳ hệ thống VR. Bất kỳ độ trễ trong các hệ thống tổng thể làm giảm hiệu quả của hệ thống. Việc sử dụng nhiều thành phần CPU cho phép hệ thống để đạt được tính toán hơn cả cho đồ họa và mô phỏng thế giới.Hình 2.1.1. Cốt lõi hệ thống VR và các thành phần tích hợp của nóNhư hình 2.1.1 trên, các thành phần chính mà một hệ thống VR cần có bao gồm phải mạnh để đủ sức tính toán mô phỏng vật lý thế giới ảo và dựng hình ảnh từ các thông qua các graphic computation sau đó hiển thị trên các thiết bị xuất. Ngoài ra nó còn phải thực hiện chức năng mô phỏng và tương tác thông qua bộ simulation computation giao tiếp với các xúc giác như cảm ứng Việc tính toán đặc biệt cũng tùy vào các loại ứng dụng khác nhau đòi hỏi, việc biểu diễn thế giới thực nói chung là cần ánh xạ các hình ảnh của thế giới thực và chuyển giao một cách chi tiết cao và rõ ràng [texture maps]. Tuy nhiên, một số trường hợp các đối tượng tĩnh thì không cần phải tính toán nhiều mà chỉ là vẽ lại các đối tượng đó trong bộ đối tượng đồ họa chuẩn. Với sự phát triển nhanh chóng của việc biểu diễn đồ họa cho các ứng dụng, thì phần graphic engine cần phải có khả năng đồng bộ cập nhật hiển thị giữa nhiều lần hiển thị cho việc vẽ lại vào 2 mắt người xem cảm nhận [stereoscopic visison] đối với thiết bị head-mount, nhiều màn hình hiển thị Sinh viên: Nguyễn Võ Ngọc Huy [CH1101091] Trang: 15Báo Cáo Chuyên Đề Công Nghệ Tri Thứcđúng và kịp thời cho thiết bị nối ghép nhiều màn hình tránh việc trùng lắp hiển thị mắt trái và mắt phải. Nhiều công cụ và máy chiếu đồ họa cao cấp có quy định để render và hiển thị hình ảnh lập thể thông qua một cơ chế duy nhất.Ngoài ra, các hệ thống máy tính hiện đại có khả năng mô phỏng âm thanh, khi đó các tín hiệu âm thanh được gởi ra ngoài bộ xử lý âm thanh và tái tạo hoặc thêm hiệu ứng theo yêu cầu. Như khả năng để làm cho âm thanh xuất hiện từ một địa điểm cụ thể liên quan đến đầu của người sử dụng [spatialization] thường đòi hỏi phần cứng âm thanh-rendering bổ sung. Việc xử lý động thời đa nhiệm cùng một thời điểm cũng rất cần cho hệ thông VR, việc dùng hệ điều hành đa nhiệm là cần tuy nhiên cần phải xử lý thêm cách thức nhiều máy tính cùng làm việc đồng thời trên một tác vụ tính toán hay mô phỏng đó. Ngày nay, các hệ thống VR lớn thường làm việc trên các hệ thống các máy lớn với đa CPU xử lý và nhiều phần cứng vẽ đồ họa tốc độ cao đắt tiền, đặc biệt là các hệ thống đồ họa tăng tốc 3D ngày càng mạnh và phát triển không ngừng cũng giúp các hệ thống VR ngày càng mạnh và thực hơn.b] Tương tác thị giác [Visual displays]Phần hiển thị hình ảnh của một màn hình hiển thị thực tế ảo thường có ảnh hưởng lớn nhất về thiết kế tổng thể hệ thống thực tế ảo. Ảnh hưởng này là do hệ thống thị giác là phương tiện chiếm ưu thế của truyền thông cho hầu hết mọi người. Nó cũng có xu hướng thống trị trong các hệ thống. Đối với vô số các loại thiết bị thực tế ảo như console, workstation, hay thiết bị head-mount, cầm tay đều có đều có các công nghệ hiện đại và các xu hướng đầu tư nghiên cứu sâu khác nhau. • Các trạm màn hình lớn [Large-screen stationary] như CAVE thường sử dụng cách hiển thị theo khu vực [field-of-view - FOV] cho một hoặc nhiều người xem, có khả năng cuốn và tập trung từng phần càng chi tiết càng tốt cho việc biểu diễn thế giới thực. FOV giảm số lượng các phần cứng xuống và cải thiện khả năng quan sát các các điểm mà họ đứng gần bằng cách giảm ảnh hưởng xấu bởi độ trễ, chính vì vậy tầm nhìn người dùng vẫn đảm bảo dù họ đứng gần màn hình lớn. Tuy nhiên khuyến điểm cho các màn hình tương tác lớn Sinh viên: Nguyễn Võ Ngọc Huy [CH1101091] Trang: 16Báo Cáo Chuyên Đề Công Nghệ Tri Thứcnày là để gia tăng độ phân giải cần phải có nhiều máy chiếu [projector] được sử dụng và cần chi phí lớn.• Các thiết bị hiển thị gắn trên đầu [Head-based displays] thường là các thiết bị phổ biến của VR dùng hiểu thị phim, tivi. Các dòng Head-mount cũ thường được dùng gắn vào từ mũ bảo hộ và thường lớn và cồng kềnh, các thiết bị khác được như gắng vào cánh tay mô phỏng chuyển động cơ thể, thiết bị định hướng ống dòm [Binocular Omni-Orientation Monitor - BOOM] mà nó là tiền thân của các thiết bị head-mount ngày nay nhỏ hơn như mắt kính đeo và tương tác vào hai mắt, xem hình 2.1.2 ví dụ về mắt kính google. Điểm lợi thể của HMD là người dùng có thể từ đầu và mắt có thể cảm nhận trực tiếp vào thế giới, và bởi vì nó dùng màn hình nhỏ nên tiết kiệm chi phí rất nhiều so với loại hiển thị màn hình lớn, thêm điểm nữa là thiết bị này rất linh động và thuận tiên cho người sử dụng khắp nơi. Tuy nhiên, có các điểm hạn chế như sau như độ trễ của thiết bị còn là vấn đề quan tâm do công nghệ về vi xử lý còn hạn chế và có thể gây nhức đầu cho người sử dụng với thời gian tương tác lâu, điểm hạn chế khác là người dùng chỉ sử dụng một mình, có cái nhìn hạn hẹp và thường cô lập tương tác với người xung quanh. Ngày nay với công nghệ mạng được đưa vào ngày càng giải quyết vấn đề nhưng thời gian pin sử dụng và tốc độ kết nối vẫn còn là hạn chế với thiết bị này.Hình 2.1.2. Mắt kính tương tác của google• Các thiết bị hiển thị trên màn hình desktop [Desktop VR displays] giống như việc hiển thị màn hình lớn [large-screen display] nhưng nó hiển thị nhỏ lại Sinh viên: Nguyễn Võ Ngọc Huy [CH1101091] Trang: 17Báo Cáo Chuyên Đề Công Nghệ Tri Thứcvào các màn hình máy tính bàn với các đồ họa với các thành phần cơ bản là màn hình hiển thị, các thiết bị nhập và phẩn mềm VR. Ví dụ về VR cho loại máy tính bàn là chương trình nuôi cá được mô phỏng với camera, xem hình 2.1.3.Hình 2.1.3 Màn hình máy tính với camera quan sát mô phỏng phần mềm VR nuôi cá ảoĐiểm thuận lợi của hiển thị VR qua desktop là có thể sử dụng sẵn máy tính bàn có mà không cần bỏ thêm chi phí gì khác nên một hệ thống cũng không mắc và có thể dùng ngay máy bàn của mình, việc trang bị và cài đặt hệ thống cũng đơn giản nhanh chóng mà hầu như desktop hay laptop nào cũng có thể làm được. Tuy nhiên, điểm bất lợi là tập nhìn hạn hẹp và góc nhìn giống như nhìn qua một khung cửa sổ nhỏ phía trước, không phải màn hình hiện tại là được mà cần nâng cấp lên màn hình lập thể 3 chiều và trang bị các thiết bị nhập và phần mềm nữa.Ngoài ra có một số thiết bị VR cầm tay [hand-based VR display] cũng đang được sử dụng như thiết bị ống dòm hay thiết bị scan x-ray cầm tay. Với đặc điểm là đưa thực tế vào cụ thể với thực tế vật lý hoặc thêm các đối tượng ảo hỗ trợ. Mặc dù không được sử dụng rộng rãi nhưng VR trên các thiết bị cầm tay cũng có một số điểm thuận lợi nó là giao tiếp tự nhiên và thoải mái cho mắt so với một số thiết bị HMD, và Sinh viên: Nguyễn Võ Ngọc Huy [CH1101091] Trang: 18Báo Cáo Chuyên Đề Công Nghệ Tri Thứccó thể giao tiếp xuất ra với các màn hình lớn hơn. Điểm hạn chế là cũng là tầm nhìn và tương tác hạn hẹp.c] Tương tác thính giác [Aural displays]Trái lại với việc tương tác qua hiển thị, thì tương tác qua thính giác của người nghe cũng được phát triển, cụ thể là khái niệm stereo cũng ra đời từ đó với những cảm nhận thính giác. Nhiều hệ thống thực tế ảo cố gắng tối ưu hệ thống đơn kênh [monophonic sound channel] thành các hệ thống kết hợp với môi trường xung quanh và một số sự kiện rời rạc khác. Vấn đề của stereo hai kênh với hai loa không còn phù hợp và phản ánh các vị trí khác nhau của thế giới thực, do là thực tế ảo tương tác nên phải biết độ ưu tiên liên quan đến âm thanh người nghe. Do đó âm thanh xuất hiện từ các nguồn khác nhau phải được xử lý để tạo hiệu ứng. Quá trình xử lý này gọi là tạo không gian [spatialization] để mô phỏng lại các chức năng âm thanh này ra hai loa hay nhiều loa khác nhau như là các kênh âm thanh tương tác đến người nghe.Sự kết hợp giữa các kênh stereo và các kên đơn cũng được sử dụng kết hợp với nhau để tạo để tạo hiệu quả cao. Ví dụ hiệu ứng trên đường phố gồm có nhiều nguồn như con người và các đối tượng khác, thì hiệu ứng thường tập trung vào người và các đối tượng cơ bản, tuy nhiên các đối tượng âm thanh nhỏ khác cũng cần được trộn vào để tạo các hiệu ứng cao. Hệ thống thực tế ảo có hai thiết bị để biểu diễn là loa [loundspeaker] và tai nghe [headphone]. Loa là thiết bị thường được dùng biểu diễn âm thành cho các mô hình station như CAVE, màn hình lớn và desktop. Tai nghe được sử dụng với hệ thống head-mount, mắt kính hoặc các thiết bị head-based. Ngày nay, việc trang bị hệ thống âm thanh cho VR ít chi phí hơn hiển thị nhưng cũng không rẻ, các hệ thống âm thanh loa 7.1 ngày nay có thể biểu diễn rất thực bao gồm các thiết bị phức tạp như subwoofer, loa trung tâm, loa trước sau, trái phải,… Ưu điểm của hệ thống loa là có nhiều người cùng cảm nhận được một lúc trong khi tai nghe chỉ một người nghe tại một thời điểm.Một ví dụ tương tác ảo với thính giác như hệ thống Hear&There [8], Hear&There sử dụng lớp phủ âm thanh cho phép người dùng nghe và cảm nhận có Sinh viên: Nguyễn Võ Ngọc Huy [CH1101091] Trang: 19Báo Cáo Chuyên Đề Công Nghệ Tri Thứcliên quan đến một địa điểm cụ thể trong không gian vật lý. Tác giả tạo ra một âm thanh và nhúng nó vào một vị trí. Sau đó một cá nhân có thể nghe rằng âm thanh trong khi họ đang đi qua vị trí được chỉ định và nhấn mạnh về tương tác xã hội bằng các nội dung tăng cường của không gian, xem hình 2.1.4.Hình 2.1.4. Bằng thiết bị định vị như GPS, máy tính, tai nghe, la bàn kỹ thuật số cho phép mô phỏng âm thanh ở những vị trí khác nhau tương ứng với bản đồ số vị trí đã được thiết lậpd] Tương tác xúc giác [Haptic displays]Khi đề cập đến xúc giác là mô tả đến việc tương tác hệ thống bằng tiếp xúc như chạm [touch] [được phân loại là tactile] thường ám chỉ da như cảm nhận độ nóng của nước, và còn một tương tác khác nữa là đến cơ bắp và xương [được phân loại là proprioceptic] như cảm nhận sức nặng khi nâng một vật thể nào đó. Tuy mỗi kỹ thuật thiết kế có khác nhau nhưng đều tập trung vào hai loại trên.Cũng giống như loại tương tác thị giác và thính giác, thì tương tác xúc giác cũng chia làm hai loại dựa vào đặc tính như đứng một chỗ [world-ground hay còn gọi là stationary] và một loại là dựa trên tự thân [self-grounded hay còn gọi là body-based]. Tương tác đứng một chỗ mà mô tả những gì gắn với trên trần nhà, hay desktop hay Sinh viên: Nguyễn Võ Ngọc Huy [CH1101091] Trang: 20Báo Cáo Chuyên Đề Công Nghệ Tri Thứcgắn cố định với vật thể trong thế giới thực. Như người dùng dùng cánh tay nâng nhiều gói hàng hay di chuyển nó với sự cảm nhận về độ nặng, độ trơn với vật thể đó như hình 2.1.5.Hình 2.1.5. Cánh tay tương tác với thế giới ảo được gắn trên trần nha cho phép điều khiển gấp và tương tác các vật thể Loại tương tác dựa trên tự thân của người sử dụng. Ví dụ như găng tay mang vào người dùng có thể tương tác hệ thống và cảm nhận được và tương tác vào hệ thống thế giới ảo. Thiết bị thời kỳ đầu còn ban sơ như thiết bị Rutgers Dextrous Master II, xe hình 2.1.6.Hình 2.1.6. Rutgers Dextrous Master II là thiết bị dùng theo kiểu self-ground dùng bàn tay mô phỏng việc điều khiển và cầm nắm vật thể.e] Một số thiết bị khác:Sinh viên: Nguyễn Võ Ngọc Huy [CH1101091] Trang: 21Báo Cáo Chuyên Đề Công Nghệ Tri ThứcMột số thiết bị tương tác xúc giác mới như tiếp xúc da và chạm vào thiết bị mà ngày nay rất phổ biến như màn hình chạm đơn điểm cảm ứng điện từ hay chạm đa điểm cảm ứng điện dung và phổ biến các thiết bị game, xem hình 2.1.7Hình 2.1.7. Một số loại tương tác chạm đa điểmNgoài các tương tác trên, các nhà nghiên cứu đang phát triển các tương tác khác như ngửi mùi [Olfactory displays], và vị giác [Gustation displays] nhưng vẫn còn rất hạn chế và chưa phát triển. 2. Phần mềm Có nhiều loại phần mềm khác nhau được tích hợp vào hệ thống thực tế ảo VR, các phần mềm ở ở dạng mức độ thấp đến cao như mô tả sự kiện, vẽ lại ảnh để hiển thị, tương tác các thiết bị nhập xuất, tạo và chỉnh sửa việc mô tả các đối tượng, và đóng gói các tác vụ vào một hệ thống hoàn chỉnh. Sau đây là một số phần mềm tiêu biểu được biết đến [1][3].a] Các quy luật của tự nhiên [Laws of nature]Nhiều hệ thống VR lúc đầu mô phỏng hành vi của thế giới tự nhiên và tương tác với các đối tượng trong thế giới đó. Trong phần mềm này, người dùng chỉ có thể tương tác với thế giới qua cách nhìn của họ đến các vật thể trong thế giới đó, tương tác xung quanh nó mà không tính toán được các thuộc tính thêm nữa của vật thể, xem hình 2.2.1Sinh viên: Nguyễn Võ Ngọc Huy [CH1101091] Trang: 22Báo Cáo Chuyên Đề Công Nghệ Tri ThứcHình 2.2.1. Ứng dụng thực tế ảo mô tả cảnh tự nhiên và cho phép tương tác người sử dụngMột số lựa chọn khác cho các ứng dụng mô phỏng thế giới là giới hạn các hành vi tùy trường hợp với các điều kiện cụ thể, ví dụ như hệ thống sẽ ngăn không cho hành vi người dùng di chuyển xuyên qua bức tường hay mô phỏng các các đi trên các bề mặt khác nhau. Một vài ứng dụng khác như mô tả trọng lực, và các quy luật mà các vật thể tuân thủ với việc mô phỏng trọng lực đó hoặc mô tả đời sống của một loại sinh vật nào đó như con ong về các làm tổ, các bay qua những loài hoa và các hút mật của nó.b] Các thư viện hình vẽThư viện hình vẽ sẽ chuyển đổi các dạng của máy tính từ cơ sở dữ liệu của máy tính vào những kinh nghiệm của người sử dụng. Thư viện hình vẽ bao gồm các giải thuật vẽ lại hình ảnh tương ứng từ thế giới thực vào việc cảm nhận đến các giác quan của người sử dụng. Các thư viện hình ảnh trực quan được sinh ra từ các thư viện đồ họa máy tính vẽ lại bao gồm các lớp cơ bản nhất của phần mềm, ngoài ra còn nhiều thư viện khác phát triển cho các giác quan khác như nghe, cảm ứng touch.Các thư viện như vậy thường bao gồm các thành phần cơ bản nhỏ nhất của các đối tượng của cảnh gì đó, từ đó nếu bổ sung thêm sẽ làm giàu cho một tượng hiển thị chẳng hạn. Ví dụ trong thư viện đồ họa, khả năng vẽ các hình dạng cơ bản bằng cách đặc tả các đỉnh và màu sắc của các hình cơ bản, ngoài ra còn một số kỹ thuật như làm Sinh viên: Nguyễn Võ Ngọc Huy [CH1101091] Trang: 23Báo Cáo Chuyên Đề Công Nghệ Tri Thứcsáng và tạo bóng đối tượng, vẽ chồng các đối tượng với nhau sao cho phản ảnh như thế giới thực. Ngoài ra, các đối tượng cơ bản đó sẽ gọp lại thành đối tượng lớn hơn, và có khả năng kế thừa và phân cấp các cảnh khác nhau và phát hiện tránh không để các xung đột giữa các đối tượng đó.c] Thư viện thực tế ảoMột hệ thống thực tế ảo hoàn toàn không bao gồm việc dựng hình kết quả đầu ra với các tương tác cảm giác, mà phải làm cho đầu ra phù hợp tùy thuộc vào vị trí và các hoạt động hiện tại của người dùng. Nhiệm vụ quan trọng nhất của thư viện VR này là để có được các thông tin cần thiết về người tham gia. Điều này được thực hiện bằng giao tiếp với theo dõi và phần cứng đầu vào khác. Thông tin từ các cảm biến khác nhau được tích hợp và cung cấp các thông số cần thiết cho các hệ thống dựng hình. Ví dụ, đồ họa và có âm thanh 3D, quá trình dựng hình đòi hỏi kiến thức và vị trí đứng của người dùng để cung cấp cho các hợp hình ảnh và khung âm thanh khác nhau.Yêu cầu quan trọng khác của thư viện là để hoạt động trong "thời gian thực". Nó phải thực hiện tất cả các đầu vào, mô phỏng và các chức năng dựng hình với một tốc độ mà làm cho thế giới dường như "thực" bởi ngay lập tức phản ứng với hành động với người tham gia. Sử dụng nhiều sự tương tác và tùy biến trên hệ thống VR có thể giúp đỡ để đạt được thời gian thực đáp ứng như vậy. Vì vậy, thư viện VR thường bao gồm khả năng thực hiện nhiều nhiệm vụ cùng một lúc.d] Bộ phần mềm hổ trợ lập trình [Software Developer Kit - SDK] [3]Phần mềm hổ trợ mô phỏng thực tế ảo cơ bản là các phần mềm hổ trợ đồ họa 3D, có nhiều bộ hổ trợ cho việc hiện thực các hàm API cho các sản phẩm các nhau:- AuSIM GoldMiner, RollingNugget, reCREate cho mô phỏng âm thanh 3D [www.ausim3d.com]- Brainstorm eStudio và M3 cho việc biểu diễn và xuất bản đồ họa 3D và thế giới thực [www.brainstorm.es]Sinh viên: Nguyễn Võ Ngọc Huy [CH1101091] Trang: 24Báo Cáo Chuyên Đề Công Nghệ Tri Thức- EON Realities, EON Immersive là các phần mềm phát triển ứng dụng VR [www.eonreality.com]- Chương trình mở Iowa State bao gồm các tiện ích phát triển ứng dụng VR [www.vrjuggler.org]- Tiện ích phát triển source mở cho môi trường phát triển DIVERSE [//thor.sv.vt.edu/diverse]Ví dụ về một phần mềm đồ họa về ánh sáng của chòm sao, hình 2.2.2Hình 2.2.2. Chương trình mô phỏng đồ họa 3DMột tool tiện ích SDK InterSense cung cấp các giao tiếp chuẩn cho ứng dụng hệ thống định vị. Với các hàm API mà ứng dụng InterSense cung cấp cho người lập trình các giao tiếp hàm, các giao diện cho việc lập trình phát triển với chất lượng như nhau và đảm bảo chính xác. Các thư viện này cũng thường xuyên được cập nhật và cho rời đời các phiên bản mới để bảo trì và tính tương thích. Core của các thư viện API có thể hổ trợ dạng Dynamic Link Library [.dll] cho môi trường Windows và Shared Object Library [.so] cho môi trườn Linux, Solaris. Ngoài ra, còn hổ trợ nhiều về các cấu hình, cách truy xuất dữ liệu cho việc phát triển. e] Các phần mềm phụ thuộc khácSinh viên: Nguyễn Võ Ngọc Huy [CH1101091] Trang: 25