Intel realsens camera D455 with Yolo V11 object detection and depth image measurement, use robotcar
automation hôm nay mình sẽ làm cái video giới thiệu về con Intel dep camera d455 à video này mình sẽ hướng dẫn cho các bạn đọc cái video từ cái interent camera Đồng thời và chúng ta sử dụng Python để đo được độ sâu bức ảnh tại một bất kỳ điểm ảnh nào trên khung hình cho đến camera thì camera này là một loà camera nó đặc biệt nó có hai camera bên trái và bên phải ha left camera and right camera thì như chúng ta học về stereo camera cái con mắt của chúng ta có hai mắt á nên chúng ta có thể ước lượng được chiều cao của vật thể từ một khoảng cách bất kỳ Ví dụ như tại vì hai con mắt con người bất kỳ con vật nào cũng phải đều có hai con mắt mục đích của nó là nếu một người chỉ có một mắt thôi á thì khả năng để định hình được chiều cao vật thể rất là khó thì thì cái camera stereo camera ra đời dựa trên nguyên lý con mắt của các động vật như cũng như con người thì camera này sẽ đo dựa vào ảnh bên trái ảnh bên phải và góc góc nhìn của nó sẽ và chiều cao của cái camera cái này mình nói sau về cái stereo camera stereo image cái này mình phải là học chuyên về xử lý ảnh nhưng mà bây giờ chúng ta sẽ ứng dụng Cái camera này trong điều khiển các robot hoặc là xác định đồ sâu Tại sao camera này có rrb image tức là các hình ảnh thông thường cái ph ảnh màu bình thường thì chúng ta sẽ sử dụng cái nó để mà chúng ta detect object dùng ai machine learning để mình detect object của nó còn cái stereo image chúng ta sử dụng nó để m phát hình độ sâu từ cái điểm ảnh bất kỳ từ một vật thể bất kỳ cho đến cái camera chúng ta con xe điều khiển thông minh của mình thì cái con camera này Bây giờ mình chiếu con ảnh thật camera cho các bạn xem nhé cái này của hạng Intel đây con Intel rent camera thực của nó đây ha con này giá nó cũng hơi bị đắt nha đến mấy trăm đô con này như hơn 3 2300 gì Intel ren d455 đấy mình có hai camera v c camera này Lát nữa mình sẽ sử dụng sau cái ứng dụng của nó ha bây giờ mình muốn Muốn Khởi động camera này thì ta phải làm gì đầu tiên ta cài cái phần mềm Intel rent viewer vào lên màng tại phần mềm Intel rent Intel rent rens cam Software viewer cái canh cái phần mềm interent viewer này á Nó như một cái server để mà thu thập cái hình ảnh dữ liệu hình ảnh từ camera vào trong máy tính và các phần mềm Ví dụ như Python hay là C c+ hay bất kỳ các phần mềm lập trình khác nó sẽ kết nối với cái giữ cái cái server đó đó Ví dụ như nó tương tự như cái này này nó tương tự như cái phần mềm chuyên về phần mềm đâu này camera camera rồi mình mở Intel rent lên rồi ha Đây là Intel rent Đây là phần mềm ha vậ phần mềm này nó sẽ có nhiệm vụ là thu thập cái data từ cái hình về hình ảnh từ cái Intel x camera đưa về trong một cái phần mềm máy tính này các cái phần mềm khác các cái phần mềm Intel à của phần mềm của Ví dụ như Python á nó sẽ kết nối với cái Server này Tại vì nó Có dip à stereo camera stereo data cho nó phải cần phải chạy này còn nếu mà sử dụng hình ảnh thông thường như camera thông thường thì ta không cần Nếu mà chạy p thon do vậy đầu tiên mình phải khởi động cái firmware của nó n này khởi động nhấn Start đó thấy không Mày toàn toàn bộ dữ liệu hình ảnh của Camera sẽ được update Vào trong chỗ cái server này đó Intel rent d455 đây vậ bây giờ mình sẽ mở phần mềm Python lên để đọc cái hình ảnh camera đó nếu mà ta sử dụng Cái camera này như một camera thông thường thì thì ta cũng mở đơn giản ta cũng chỉ cần Switch camera mình thử mở cái thằng cam sao you cam you cam Nếu mà mở mở hình ảnh theo YouCam theo camera thông thường thì th như thế nào YouCam này có nhiệm vụ là kết nối kết nối với các camera bên ngoài đ thử coi nha V đợi chồ xíu đi cho đang làm dữ chừng mà V rồi bây giờ let ng Ok mình trở lại nha đây nó cũng vcam của nó như một cái cái webcam server đó thu thập dữ liệu từ các webcam xong rồi mới đọc dữ liệu về ha các cái phần mềm sẽ lấy dữ liệu từ đây Intel resent camera sẽ đọc dữ liệu về rồi bây giờ mình mở cái mở cái Python lên ha p Python mình đang mình sử dụng phần mềm pams rồi đây mình mình disable cái hai cái Server này đi mình mở cái Intel rent Project tắt mấy cái thằng này đ rồi mở cái Intel resent stereo nó nằm ở trong stereo tr image rồi trong này có Intel rent camera này Yolo V10 dep distance ở đây ta đang sử dụng yol V 109 nữa thử chạy cái phần mềm pyon này lên đã mình share chương trình CH bây gi mình chạy thử đ à Cái nằm zol vi 11 ha Mình J 10 nó chạy không được để coi cái thằng zol V 10 Intel mqtt mình đổi đổi thằng này đi Sang version 11 Pon version 11 rồi chọn chọn Run Rồi bạn thấy máy tính nó chạy tốc độ cao khi mà đọc camera ren rồi Để xem nó chạy đ đâu rồi Rồi Ok Như Vậy à đ đó thấy không Intel r camera nó sẽ đọc một bên là khu hình rdb đó khu hình thông thường hình màu bình thường nhưng một bên thì nó lại đọc cái độ sâu bức ảnh chiều sâu bức ảnh thì dựa vào các chiều sâu bức ảnh họ phân tích là ví dụ như rrb từ 0 đến à màu thì tương ứng với ba màu rrb thì ở đây ta sẽ định hình là với mỗi cái giá trị độ sâu khác nhau tương ứng với một cái màu khác nhau họ họ xây dựng lên một cái gọi là hình màu hình màu này nó tương ứng với khoảng cách distance nó giống như mapping data từ cái khoảng cách ta xây dừng lên được độ sâu bức ảnh bằng màu dựa trên hình màu cái màu nó giống như đo nhiệt độ mà dựa trên màu màu nhiệt độ khác nhau thì nó tương ứng với mỗi màu khác nhau thì cái này cũng tương tự như vậy này cũng không khó đâu lấy cái ma trận về độ sâu xong rồi mapping với với cái với Cái với cái cái cái độ rộng của màu màu thì tương ứng với từ 0 đến 255 thì ta cứ di chuyển với M đồ sâu khác nhau tương ứng với mỗi màu khác nhau thì nó ra vậy Intel camera Nó là một camera thông minh ngoài việc là đo xem được hình ảnh trong hình mà còn tìm được độ sâu của hình đó ví dụ ở đây ta à Viết một đoạn code là muốn đo khoảng cách từ cái điểm trắng trắng này này thấy không đó t điểm mình bên này thì nó màu xanh bên này mình vẽ màu trắng Tại vì cái nền Nó màu xanh n nên mình phải vẽ Nó màu trắng để cho dễ nhận biết thì ta sẽ xem được cái khoảng cách từ cái điểm trắng trắng này đến camera điểm trắng trắng từ là người đó thì ở đây bạn thấy trong cái hình nó đọc là 485 tức là 48,5 Cm là khoảng cách từ khoảng cách từ hình ảnh cho đến từ điểm ảnh này cho đến cái camera có độ có chiều chiều dài khoảng cách của nó là 48 50 cm đó 50 cm thô 50 nửa m á là khoảng 2 g rư à Vậy thì ứng dụng của Intel camera này là trong việc Ví dụ như chúng ta thẽ sử dụng làm object detection đó quan sát con người ở đây ví dụ Nó quan sát cái này nó là cái gì đây x32 Không biết nó có biết không Tại vì nó không có biết được vì sao vì trong cái cơ sở dữ liệu của nó là database dataset của nó không có Training cho cái con này là con gì cả vì trường hợp muốn cho cái máy tính nó hiểu được cái cục này là cục gì thì mình phải train cho máy tính biết được training dataset cho máy hiểu được con này là con x32 này mình không có làm nhưng mà nó mình biết được nhưng mà mình không Nó không cần thiết phải làm cái gì cần làm bây dờ đây cây bút đ coi nó có hiểu được không pen Vy r cái này là cái bút màu vì trong cái Training dataset của nó nó chỉ có pen thôi không có cái bút Này bây giờ mình không có cái gì xung quanh cái back I think back a Sorry Bởi vì trong cái trong cái mình disable cái này lại đi trong cái chương trình của mình mình viết nó chỉ detect người thôi trong chương trình này mình detect Chỉ có con người thôi Bây giờ mình lại result detect device bằng 0 class bằng 0 đây này class bằng 0 là detect có một cái thôi Bây giờ mình dis cái đoạn class này đi Divide bằng 0 thôi rồi vô cái đoạn này đi rồi như vậy nó sẽ detect toàn bộ tất cả những vật thể trong ảnh nãy mình quên ok rồi bây giờ mình quay lại ha để xem nó detch được không ha Tại do cái chương trình hồi nãy mình viết là chỉ detect con người thôi mình giới hàn cái vật thể của nó để coi nó detch được cái gì rồi bây giờ back back biết đây là backpack đây thử coi là cái gì đây Cái này cái pen nhưng mà nó đọc đọc là cái gì Tại vì nó chưa được Training cái cục này ha Nó Tưng là cell phone nó nhìn giống giống nhưng mà mình muốn nó đọc chính xác cái gì đó thì mình phải có dữ liệu để đem vào để dày cho nó Training cho nó ví dụ như đọc cái con này nó chắc phone luôn đó nó TNG cell phone đó Tại vì nó thấy cái hình giống giống hình vuông đó Tại vì mình không Cin cho nó đây là mình đang ví dụ thôi ví dụ đây nó là cái camera nó có biết không Đó nó cũng tưởng là cell phone nó th hình tròn tròn vuông vuông nó cell phone đó Cái này là data Training cũng không ổn lắm n tại vì cái camera mà nó cò tưởng cái cell phone thì nó cũng không hay lắm Mình đang sử dụng Yolo với 11 Intel camera này nó đấy nó đọc được cái dữ liệu từ hình ảnh đến đấy và đo được khoảng cách bây giờ ví dụ mình muốn đo một cái khoảng cách bất kỳ từ cái ví dụ tại điểm ảnh này này cho đến bất kỳ thì mình chỉ cần viết câu lành ở trong này thôi Viết ở trong này này ở đây chúng ta đo được là khoảng cách resize đây ví dụ ta đo dep image là cái bức ảnh có đồ đồ sau bức ảnh á bức ảnh về đồ sau á thì bây giờ mình muốn đo một khoảng cách tại một cái điểm ảnh bất kỳ độ sau bức ảnh tại 300 300 nhưng mà bây giờ mình muốn đo độ số bức ảnh từ 100 thì ta chỉ cần lấy 300 trừ cho 200 đó wid của nó cũng phải chiều rộng nó tại vị trí -200 thì mình sẽ đo được điểm ảnh của bức ảnh ta chú ý rằng điểm ảnh nó là được chính chiều cao và chiều rộng vậy chiều cao thầy tính không là tại điểm này này này Đây là chiều cao của bức ảnh và chiều rồng của bức ảnh cũng tính điểm 0 từ này như vậy tính từ đây ví dụ như bức ảnh này có chiều cao là 400 đây là y = 400 khoảng 400 Pixel đi nhưng mà chiều rồng của nó sẽ khoảng bằng 800 Pixel nó thể tính từ 0 ở đây chiều dài lên đế 800 Pixel và x ở đây y ở đây này y ở đây là bằng 4 và x ở đây là bằng 800 x = 4 y = 4 y = 400 và x = 800 Cái này là một nửa này như vậy ta Muốn xác định được điểm ảnh ta chỉ cần hiểu được cái hình ảnh có độ rộng và độ cao của nó và tính điểm 0 tại điểm góc đầu tiên của nó bây giờ mình muốn đo một cái điểm ảnh chỗ này mình vẽ một cái vòng tròn ở ngay chỗ này để xem à bây giờ ta thử chạ chương trình lại để xem 200 300 Mình còn phải vẽ cái cái cái khung thấy đ cv2 ch chỗ cái cv2 chm đây này Đây 300 300 Circle này Bây giờ mình sẽ vẽ vẽ bức ảnh vẽ chỗ này vẽ thêm một cái nữa đi đấy cv2 C tại tọa độ là 100 100 hồi nãy mình trừ đi 200 là thành 100 và radius cho 6 đi to to tí và ví dụ mình vẽ ở đây mình màu đỏ là red rrb red 255 0 và 0 rồi r chạy chứng trình lại thì lúc này cái độ sâu bức ảnh nó sẽ đo tại tọa độ 100 100 vậ độ sâu bức ảnh thấy không là 20.8 tức là 2 à 2 m 2,9 à 2009 2000 2,9 tức là tại điểm ảnh này cho đến đến camera là 2,7 2,9 là chính xác tại phía sau mình là một cái bức tường rồi Cái hình ảnh là đây Lát n mình chắn lại thấy không Đây cái điểm ảnh là hình ảnh bức Tường thấy không Đây là cái bức tường và khoảng cách từ bức tường đến đó là 2,93 2 m à Sorry 20 m 2,1 2,09 rồi 2,09 Đây chính là giá trị của điều sâu ảnh vậy với dữ liệu này á Ứng dụng trong việc là sử dụng cho các cái C điều khiển tự động á như con c của mình đó ứng dụng trong việc làm cho các con c tự động như thế này này đó là camera nó giám sát phía trước xác định được vật thể trong bức hình và đo được khoảng cách từ vật thể đ đến bức hình để thực hiện việc điều khiển con xe này theo yêu cầu của mình như vậy là cái video này đã hướng dẫn cho các bạn chạy cái Intel rent camera và thực hiện việc nó trong những cái ứng dụng về robot và Intel rent này nó là một con camera khá thông minh để xem cái giá trên m thị trường bao nhiêu Alice aless hình như là nó trang web khá nổi cực kỳ nổi tiếng về vấn đề bán hàng online mình hay mua hàng thế này quá à Intel Intel rent D 455 455 con này mắc lắm này d455 này coi mấy trăm ha con này ủ chà con này cần 7800 ta con này 455 đến 708 đô l con này khoảng chừng 600 đô Mỹ Khoảng chừng mười mấy triệu đồng một con đắt thệ con này mình đang sử dụng đây này con này là do trường cung cấp cho mình ha Tại vì mình không có bỏ tiền ra để mua con Intel resent này mình chỉ có mượn từ nhà trường con này giá trị đến 4 700 l mấy đô cho nên là nó rất là đắt không dám à vọc nó vọc nó quá nó hư là đền chết luôn đây camera taong có đèn hồ ngoài chiếu kìa bên trong mình dùng Camera này mình chiếu được mình thấy được cái nó có cái đèn Đó đèn Đó chính là đèn laser đó laser để chiếu tính khoảng cách tìm độ khoảng cách của vật thể hồng ngoại laser gì cấu tạo của nó mình không có tìm hiểu lắm nhưng mà mình biết được là nó sẽ đo được khoảng cách dựa vào song khi phát một Sóng tần số hoặc có thể là la có thể là tia hồng ngoại hoặc có thể là sóng âm thanh như đây không phải là âm thanh rồi chắc chắn là laser hoặc laser rồi khi phóng một tia ra thì nó sẽ gặp những vật cản nó phản xà tia về thì cái bộ đếm của mình sẽ đọc được cái cường độ cái dòng cường độ của cái ánh sáng nhận về đó ánh sáng đó nó chuyển đổi từ ánh sáng chuyển thành dòng điện từ cái dòng điện nó tính được cái điện áp bao nhiêu MV ví như vậy đi thì nó sẽ tính được chuyển đổi Analog thành Digital và sau đó nó đo được gọi là khoảng cách ví dụ như mình phát với một điện áp 5V 5V DC đi nó chuyển đổi ra ánh sáng một cường độ ánh sáng nào đó cường độ ánh sáng đó nó sẽ phát ra và phát nó nhận tín hiệu feedback về thông qua vật cản đó vật cản đó nó sẽ ánh sáng đó nó sẽ chuyển đổi từ ánh sáng Thành điện áp hoặc dòng điện sau đó với mạch ADC Analog thành Digital để nó convert thành Digital để đó tính toán cái giá trị cường độ ánh sáng nhận về để đo được khoảng cách Nói chung nó hơi lý thuyết một chút nhưng mà để biến đó thành thực tiện thì nó cũng rất là khó Tại vì qua nhiều cái bộ lọc rồi Bộ tính toán nó dễ bị gây nhiễu n nó cho nên là cũng không phải là dễ đâu đó là mình hiểu được nguyên lý của nó thôi để mình hiểu được cái cái nguyên lý thực tế của nó còn sản xuất ra được làm được cái sản phẩm Nó là một quá trình khó không phải là Nhưng mà mình dùng mình hiểu được nó để mình dùng nó khi mình hiểu nó rồi mình dùng nó một cách hiệu quả như vậy cái video giới thiệu Intel cũng đã hết này trong này có phần detect object sử dụng Yolo V11 ha Nó rất là hay l là mình share cái chương trình này lên cho bạn và share luôn cả ch trình phần mềm inter viewer Ok xin chào các bạn video của mình đ Đây là cũng đã
2024-12-31 17:39
