Realitas virtual menggunakan Arduino dan pemrosesan

Ini adalah proyek yang sangat menarik di mana kita akan belajar bagaimana menerapkan realitas virtual menggunakan Arduino dan Pemrosesan. Bagi sebagian besar dari kita, film Iron man karya Jon Favreau selalu menjadi inspirasi untuk membangun hal-hal baru yang akan membuat hidup kita menjadi lebih mudah dan menyenangkan. Saya pribadi mengagumi Teknologi yang diperlihatkan dalam film dan selalu ingin membangun sesuatu yang serupa dengan itu. Jadi, dalam proyek ini saya mencoba meniru hal-hal Virtual reality yang terjadi di film, seperti kita cukup melambaikan tangan kita di depan komputer dan memindahkan pointer ke lokasi yang diinginkan dan melakukan beberapa tugas.

Di sini saya akan menunjukkan kepada Anda bagaimana Anda cukup melambaikan tangan Anda di depan webcam dan menggambar sesuatu di komputer Anda. Saya juga akan menunjukkan kepada Anda bagaimana Anda dapat menyalakan lampu dengan menggerakkan tangan Anda secara virtual dan membuat klik dengan jari-jari Anda di udara.

Konsep:

Untuk mewujudkannya, kita harus memanfaatkan kekuatan Arduino dan Pemrosesan yang digabungkan. Sebagian besar akan akrab dengan Arduino, tetapi Pemrosesan mungkin baru untuk Anda. Pemrosesan adalah aplikasi seperti Arduino dan juga open source dan gratis untuk diunduh. Menggunakan Pemrosesan, Anda dapat membuat aplikasi sistem sederhana, aplikasi Android, dan banyak lagi. Ia juga memiliki kemampuan untuk melakukan Pemrosesan Gambar dan pengenalan Suara. Ini seperti Arduino dan jauh lebih mudah dipelajari, tetapi jangan khawatir jika Anda benar-benar baru dalam pemrosesan karena saya telah menulis tutorial ini cukup sederhana sehingga siapa pun yang berminat dapat membuatnya berfungsi dalam waktu singkat.

Dalam tutorial ini kami menggunakan Pemrosesan untuk membuat aplikasi Sistem sederhana yang memberi kami UI dan melacak posisi tangan kami menggunakan pemrosesan Gambar. Sekarang, kita harus melakukan klik kiri dan klik kanan menggunakan jari kita. Untuk mewujudkannya saya telah menggunakan dua sensor hall (satu di jari telunjuk saya dan yang lainnya di jari tengah) yang akan dibaca oleh Arduino Nano. Arduino juga mengirimkan status klik ke Komputer secara nirkabel melalui Bluetooth.

Ini mungkin terdengar rumit tapi, Percayalah; itu tidak sesulit kedengarannya. Jadi mari kita lihat bahan-bahan yang dibutuhkan agar proyek ini dapat berjalan.

Bahan yang Dibutuhkan:

Arduino Nano
Sensor hall (A3144) - 2Nos
Sepotong kecil magnet
Modul Bluetooth (HC-05 / HC-06)
Baterai 9V
Menghubungkan Kabel papan Dot.
Sepasang sarung tangan
Arduino IDE (Perangkat Lunak)
Memproses IDE (Software)
Komputer dengan Webcam dan Bluetooth (Anda juga dapat menggunakan Bluetooth atau Webcam eksternal untuk komputer Anda)

Skema dan Perangkat Keras:

Bagian perangkat keras dari proyek ini sangat sederhana dan mudah dibuat. Skema lengkapnya ditunjukkan di bawah ini.

Arduino, resistor dan pin tongkat berg disolder ke papan titik seperti yang ditunjukkan di bawah ini.

Sensor hall dan modul Bluetooth disolder ke kabel konektor seperti yang ditunjukkan di bawah ini.

Setelah kedua bagian ini siap, maka dapat dipasang ke sarung tangan agar mudah digunakan. Saya telah menggunakan sarung tangan plastik sekali pakai yang dapat dibeli dari toko medis mana pun di dekat Anda. Anda harus memastikan bahwa magnet berada di jari ibu jari Anda dan sensor hall 1 dan sensor hall 2 harus ada di depan jari telunjuk dan jari tengah Anda. Saya telah menggunakan pita bebek untuk mengamankan komponen pada tempatnya. Setelah komponen dirakit, akan terlihat seperti ini.

Sekarang mari kita buka Arduino IDE dan mulai pemrograman.

Program untuk Arduino:

Tujuan dari kode Arduino ini adalah untuk membaca status sensor hall dan menyiarkannya menggunakan modul Bluetooth. Itu juga harus menerima data dari Bluetooth dan mengaktifkan LED onboard berdasarkan nilai yang masuk. Program lengkap diberikan di akhir tutorial ini; Saya juga telah menjelaskan beberapa baris di bawah ini.

if (Phs1! = HallState_1 - Phs2! = HallState_2) // Periksa apakah tombol baru ditekan {if (HallState_1 == LOW && HallState_2 == LOW) Aisha.write (1); jika (HallState_1 == TINGGI && HallState_2 == RENDAH) Aisha.write (2); jika (HallState_1 == RENDAH && HallState_2 == TINGGI) Aisha.write (3); jika (HallState_1 == TINGGI && HallState_2 == TINGGI) Aisha.write (4); }

Seperti yang ditunjukkan pada baris di atas berdasarkan status sensor hall, Bluetooth akan menulis nilai tertentu. Misalnya jika sensor hall 1 tinggi dan sensor hall 2 rendah, maka lembah “2” akan disiarkan melalui modul Bluetooth. Pastikan Anda menulis nilai ke modul BT dan tidak mencetaknya. Karena akan mudah membaca hanya di sisi Pengolahan hanya jika ada tertulis. Juga nilai hanya akan dikirim jika tidak sama dengan nilai sebelumnya.

jika (BluetoothData == 'y') digitalWrite (ledpin, HIGH); if (BluetoothData == 'n') digitalWrite (ledpin, LOW);

Garis-garis ini digunakan untuk menyalakan LED onboard yang terhubung ke Pin 13, berdasarkan nilai yang diterima oleh modul BT. Misalnya jika modul menerima 'y' maka LED dinyalakan dan jika menerima 'n' maka dimatikan.

Program untuk diproses:

Tujuan dari program Processing adalah membuat aplikasi sistem yang dapat bertindak sebagai UI (User interface) dan juga melakukan pengolahan citra untuk melacak objek tertentu. Dalam hal ini kami melacak objek biru yang kami tempelkan di sarung tangan kami di atas. Program ini pada dasarnya memiliki empat layar.

Layar Kalibrasi
Layar utama
Layar Cat
Layar beralih LED

Kita dapat menavigasi dari satu layar ke layar lainnya hanya dengan melambaikan tangan dan menyeret layar di udara. Kami juga dapat melakukan klik pada tempat yang diinginkan untuk mengaktifkan LED atau bahkan menggambar sesuatu di layar.

Anda dapat menyalin dan menempel program Pemrosesan lengkap (diberikan di bagian akhir) dan memodifikasinya berdasarkan kreativitas Anda atau mengunduh file EXE dari sini, dan ikuti langkah-langkah berikut untuk meluncurkan aplikasi.

Instal JAVA di komputer Anda jika Anda belum menginstalnya sebelumnya
Instal You Cam perfect di komputer Anda
Nyalakan Arduino Anda dan pasangkan Komputer Anda dengan Modul Bluetooth
Luncurkan file aplikasi

Jika semuanya berjalan dengan baik, Anda seharusnya dapat melihat LED pada modul Bluetooth Anda menjadi stabil dan lampu webcam Anda menyala. Jika Anda memiliki masalah, hubungi saya melalui bagian komentar dan saya akan membantu Anda.

Tonton video di bagian akhir untuk mengetahui cara mengkalibrasi aplikasi Anda dan menggunakannya.

Jika Anda ingin mengubah kode dan membangun lebih banyak fitur ke dalamnya maka Anda dapat menggunakan wawasan program berikut

IDE pemrosesan dapat diunduh dari sini. Jika Anda ingin mempelajari lebih lanjut tentang pemrosesan dan membuat proyek yang lebih menarik, Anda dapat mengunjungi tutorialnya di sini.

Processing memiliki kemampuan untuk membaca data Serial, dalam program ini data serial berasal dari port Bluetooth COM. Anda harus memilih port COM mana yang terhubung dengan Bluetooth Anda dengan menggunakan baris di bawah ini

port = New Serial (ini, Serial.list (), 9600);

Di sini saya telah memilih saya 1 ^st port COM yang COM5 dalam kasus saya (lihat gambar di bawah) dan saya telah disebutkan bahwa dengan berjalan modul Bluetooth pada 9600 baudrate.

Seperti yang dikatakan sebelumnya, pemrosesan juga memiliki kemampuan untuk melakukan pemrosesan gambar, dalam tutorial ini gambar dikirim ke dalam sketsa menggunakan webcam. Di setiap gambar kami melacak objek tertentu. Untuk mengetahui lebih banyak tentang ini, Anda dapat mengunjungi tutorial ini.

Saya telah mencoba yang terbaik untuk menjelaskan program (diberikan di akhir) melalui baris komentar. Anda dapat mengunduh file di sini.

Jika Anda ingin tahu lebih banyak tentang sketsa, Anda dapat menghubungi saya melalui bagian komentar dan saya akan membantu Anda.

Kerja:

Setelah Perangkat Keras dan Perangkat Lunak siap, kenakan sarung tangan dan bersiaplah untuk beberapa tindakan. Sekarang, cukup nyalakan Arduino dan kemudian luncurkan Aplikasi. Lampu led pada modul Bluetooth harus stabil. Sekarang itu berarti aplikasi Sistem Anda telah membuat tautan Bluetooth dengan Arduino Anda.

Anda akan mendapatkan layar berikut di mana Anda harus memilih objek yang akan dilacak. Penelusuran ini dapat dilakukan dengan mudah dengan mengklik objek. Dalam hal ini objeknya adalah cakram Biru. Sekarang Anda dapat memindahkan objek dan memperhatikan bahwa penunjuk mengikuti objek Anda. Gunakan objek warna yang unik dan ruangan yang terang untuk hasil terbaik.

Sekarang sentuh jari ibu jari Anda dengan jari telunjuk dan Anda akan melihat pesan "Tombol 1 Ditekan" dan saat Anda menekan ibu jari dengan jari tengah Anda akan melihat "Tombol 2 Ditekan" ini menunjukkan bahwa semuanya bekerja dengan baik dan kalibrasi selesai. Sekarang klik tombol Selesai.

Setelah tombol Selesai ditekan, Anda akan diarahkan ke layar utama di mana Anda dapat melukis di udara atau mengaktifkan LED pada Papan Arduino seperti yang ditunjukkan pada Video di bawah ini.