Oznaczmy krawędź podstawy przez $a$, a wysokość ostrosłupa $H=5$.
Krok 1. Jak mierzyć kąt między ścianami bocznymi. Rozważmy sąsiednie ściany $SAB$ i $SBC$ o wspólnej krawędzi $SB$. Z wierzchołków $A$ i $C$ prowadzimy odcinki prostopadłe do $SB$; oba padają w ten sam punkt $K$ (z symetrii), a kąt $\angle AKC$ jest szukanym kątem dwuściennym:
$$\angle AKC=120^\circ,\qquad |AK|=|CK|=d.$$
Krok 2. Twierdzenie cosinusów w trójkącie $AKC$. Odcinek $AC$ to przekątna kwadratu, czyli $|AC|=a\sqrt{2}$:
$$|AC|^{2}=d^{2}+d^{2}-2d^{2}\cos 120^\circ=2d^{2}+d^{2}=3d^{2}.$$
$$2a^{2}=3d^{2}\ \Longrightarrow\ d^{2}=\frac{2a^{2}}{3}.$$
Krok 3. Obliczenie $d$ ze współrzędnych. Przyjmijmy środek podstawy w początku układu:
$$A=\left(-\tfrac a2,-\tfrac a2,0\right),\quad B=\left(\tfrac a2,-\tfrac a2,0\right),\quad S=(0,0,5).$$
Odległość punktu $A$ od prostej $SB$ wyznaczamy z iloczynu wektorowego:
$$\vec{SA}\times\vec{SB}=\left[0,\ -5a,\ \tfrac{a^{2}}{2}\right],\qquad \left|\vec{SA}\times\vec{SB}\right|=a\sqrt{25+\tfrac{a^{2}}{4}}.$$
$$\left|\vec{SB}\right|=\sqrt{\tfrac{a^{2}}{2}+25},\qquad d=\frac{a\sqrt{25+\tfrac{a^{2}}{4}}}{\sqrt{\tfrac{a^{2}}{2}+25}}.$$
Krok 4. Równanie na $a$. Porównujemy oba wyrażenia na $d^{2}$:
$$\frac{a^{2}\left(25+\tfrac{a^{2}}{4}\right)}{\tfrac{a^{2}}{2}+25}=\frac{2a^{2}}{3}.$$
Dzielimy przez $a^{2}>0$ i mnożymy na krzyż:
$$3\left(25+\frac{a^{2}}{4}\right)=2\left(\frac{a^{2}}{2}+25\right)\ \Longrightarrow\ 75+\frac{3a^{2}}{4}=a^{2}+50.$$
$$25=\frac{a^{2}}{4}\ \Longrightarrow\ a^{2}=100\ \Longrightarrow\ a=10.$$
Krok 5. Objętość.
$$V=\frac13\,a^{2}H=\frac13\cdot100\cdot5=\frac{500}{3}.$$
Kontrola: dla $a=10$ mamy $d^{2}=\frac{100\cdot50}{75}=\frac{200}{3}$ oraz $\frac{2a^{2}}{3}=\frac{200}{3}$ — zgadza się ✓
Odpowiedź: $V=\frac{500}{3}$