mixed reality ואוקולוס קווסט

איך משדרים mixed reality עם האוקולוס קווסט

בקצרה מה זה –שידור של mixed reality, הכוונה לשידור של התוכן בו אתם משחקים יחד איתכם 
אתם משדרים את המציאות המדומה וגם את הגוף שלכם.

מציאות + מציאות מדומה = מציאות משולבת

זה פוסט הסבר לא קצר אבל נראה לי שהגיע הזמן שיהיה אחד בעברית.

אז אחרי שבשבועות האחרונים השתעשעתי עם אוקולוס קווסט ו – LIV Mixed Reality.

הגעתי לנק' שאני ממש מרוצה ממנה, גם מבחינת איכות וגם מבחינת ביצועים.

חשבתי לכתוב הסבר כמה שיותר פשוט מלווה בתמונות וכמה טיפים שימושיים שאספתי מהדיסקורד.

למי שיש ריפט אס או כל הדסט אחר, ההוראות דיי זהות.

אז אחרי ששת הנקודות הבאות תוכלו לשדר בקלות!

אז מה צריך כדי לשדר עם האוקולוס קווסט

  • מחשב חזק!! (בעתיד תצא גם גרסה מותאמת לקווסט) אבל בואו נגיד שכרגע זה דיי מביא לקצה גבול היכולת את ה2080S.
  • מצלמת קינקט 2 (עלות 300-350 ₪ למכשיר יד 2)
  • מתאם חשמל+USB למחשב (75 ₪ דרך אליאקספרס)
  • התקנת התוכנות הבאות:
    • Kinect for Windows Runtime 2.0
    • OBS
    • LIV
 
  • הערות:
    ללא צורך במסך ירוק ותוך לא יותר מ10-15 דק' וכבר הכל היה מוכן להקלטה דרך OBS.

    מצלמת קינקט 360 עובדת גם טוב, אבל הקליברציה איתה יותר מורכבת ולוקח יותר זמן להגיע לאותן תוצאות (שלא לדבר על הליך ההתקנה שבאמת לא פשוט), איכות התמונה היא גם משמעותית יותר נמוכה וברזולוציה של 640*480 להבדיל מהFHD של הדגם החדש אז ממליץ להישאר עם המצלמה הזו למי שמחפש רק Full Body Tracking שכתבתי עליו בפוסט הבא:

תאכלס איך אני משדר בקווסט - MIXED REALITY

אחרי ההתקנה מפעילים מחדש את המחשב, חובשים את הקסדה, מבטלים את הguardian  לתזוזה חופשית ומתחברים דרך VD או לינק.

(אם מתחברים דרך VD לשים את האיכות על MEDIUM או Auto Bitrate)

1. הגדרת LIV:

ההגדרה מאוד פשוטה, פותחים את התוכנה ומתקינים את הדרייבר

(1.1) ל – STEAMVR
ולאחר מכן מעלים את ה- Compositor (Launch Compositor) – 1.2.

2. לשונית מצלמה (CAMERA):

 לוחצים על צלמית ה"+" (2.1) בחלון שנפתח בוחרים בXBOX KINECT שישר מתחבר למצלמה. בשלב הזה המצלמה צריכה להידלק ואתם אמורים לראות תמונה של החדר (אם אין תמונה כנראה שהדרייבר לא הותקן כמו שצריך)

כדי לסמלץ מסך ירוק יוצאים לחלוטין מהשטח שאותו המצלמה תופסת ולוחצים על הכפתור Capture Background (3.1).

המסך כולו ישחיר וברגע שתחזרו לשטח משחק יראו רק אתכם (שימו לב, כפי שניתן לראות בסרטון, חצי מהראש שלי לא קיים, זה בגלל שאין ניגודיות של צבע על הראש ורובו נתפס כשחור עבור המצלמה ופשוט נעלם מהתמונה.

LIV
לשונית המצלמה

3. סימלוץ מסך ירוק 

כדי לסמלץ מסך ירוק יוצאים לחלוטין מהשטח שאותו המצלמה תופסת ולוחצים על הכפתור (Capture Background (3.1.
המסך כולו ישחיר וברגע שתחזרו לשטח משחק יראו רק אתכם (שימו לב, כפי שניתן לראות בסרטון, חצי מהראש שלי לא קיים, זה בגלל שאין ניגודיות של צבע על הראש ורובו נתפס כשחור עבור המצלמה ופשוט נעלם מהתמונה.

 

4. לשונית קליברציה

לוחצים על (Begin Calibration (4.1 ועוברים לVR ועוקבים אחר ההוראות.

טיפים כלליים:

  • נסו לפלס כמה שיותר את המצלמה, זה כבר יחסוך לכם לפלס אותה וירטואלית
  • שימו לב שהמצלמה לא עוקבת אחר השלטים, היא עוקבת אחר הגוף והידיים, ה3 נק' הנדרשות לקליברציה הן עבור המצלמה כדי להבין את הנפח והעומק של החלל שבו אתם נמצאים.
  • לייטנסי (4.2), בגלל שאני משתמש בVD שמתי לייטנסי דיי גבוה של 90ms מי שמשתמש בלינק\הדסט אחר יכול להנמיך את הערך הזה אבל עבורי זאת התנועה ששמתי לב שעובדת טוב כדי שהשלטים יעקבו אחרי "בזמן".

טיפים לקליברציה מדוייקת:

  • הנק' הראשונה שבה עושים קליברציה, לנשוק עם השלט ממש בעדשה, כאשר כפתור הtrigger באמצע הX. זה יכוון את ציר הZ בצורה הכי מדוייקת שיש.
  • סביר להניח (אלה אם אתם מאוד מוכשרים) שצריך יהיה לשחק טיפה עם הכוונון אחרי הקליברציה. מה שמומלץ לעשות זה קודם כל להגיע לאמצע השטח משחק ולפרוש ידיים ל2 הכיוונים ולראות בכמה השלטים לא מכוונים, אם הם פנימה מידי\החוצה מידי מהידיים אז לשנות FOV.
  • להתקרב הכי קרוב שניתן למצלמה ולשחק עם צירים הX,Y,Z כדי שהגודל של השלט והמיקום שלו יהיה כמה שיותר תואם למציאות. לחזור על 2 הסעיפים האחרונים כמה פעמים ומגיעים לכוונון אופטימלי.
  • יש הגדרות נוספות כמו YAW וROLL שכדאי להשתמש אם המצלמה לא מפולסת במציאות או לא מכוונת בזווית הנכונה אליכם, אישית לא השתמשתי בהן ועשו יותר נזק מתועלת.

לאחר שמסיימים עם הקליברציה שומרים הכל ועוברים ללשונית Output.

סימלוץ מסך ירוק
לשונית קליברציה (CALIBRATION):

5. לשונית Output:

הגדירו את הרזולוציה שבה תרצו להקליט (5.1) ואת הקצב פריימים (5.2), המלצה שלי (ויש לי 2080S) היא לשים על 30FPS. כל הסיפור הזה מאוד! כבד על הכרטיס מסך ובתכלס אתם מריצים את המשחק פעמיים. עוד חשוב לשים לב שהרזולוציה שלכם בsteamvr היא על custom ומוגדרת על 100% במקום על Auto. כן תהיה ירידה קלה באיכות אבל זה משפר פלאים את הביצועים בלא פחות מ30-40%, ובמשחקים כבדים זה ההבדל בין לשחק חלק ללשחק עם תקיעות רציניות (במיוחד אם משתמשים בVD).

 

6. לשונית Capture:

זהו! אתם מוכנים כבר להעלות משחק, תבחרו את הכותר הנתמך (6.1), ולחצו על Sync & Launch (6.2). המשחק יעלה ואתם תראו הכל בחלון מראה של LIV.

לשונית output
לשונית Capture:

הקלטה\סטרימינג של mixed reality באוקולוס דרך (OBS (open broadcast software

  • פותחים OBS.
  • תחת File🡪Settings🡪Video
    בוחרים באותה רזולוציה שהגדרתם בOutput לעיל (במקרה שלי 1280*720)
  • תחת Hotkeys
    מגדירים קיצור מקשים להקלטה, אני בחרתי בצירופים:
    Ctrl+Shift+R להקלטה
    Ctrl+Shift+S לסטרימינג בטוויץ'
  • תחת Output🡪Encoder
    מוודאים שמסומן HARDWARE
  • תחת Stream
    מתחברים לחשבון טוויץ' שלכם.
 

יש עוד מלא הגדרות שאפשר לשחק איתן אבל מה שציינתי לעיל זה הבסיס.

לוחצים על אישור וחוזרים לחלון הראשי של OBS.

  • תחת Scenes לוחצים על "+" ואישור.
  • תחת Sources לוחצים על "+" וGame Capture.
    • בחלון שנפתח:
      • Mode: Capture Specific Window
      • Window: [Capture.exe] LIV App Output
 

לוחצים על אישור וזהו! אתם מוכנים להיות סטרימרים 😊 לחצו על הכפתור הקלטה\שידור או במקלדת את הקיצור מקשים שהגדרנו לפני וחזרו חזרה לVR. לסיום הקלטה\שידור, אותו הדבר.