| US20020125018A1 | 2002-09-12 | |||
| DE102008013457A1 | 2008-09-25 | |||
| JP2002120775A | 2002-04-23 | |||
| EP1593552A1 | 2005-11-09 | |||
| RU44022U1 | 2005-02-10 |
| Формула изобретения п.1. Способ определения позиции и ориентации прицепа транспортного средства, включающий в себя установку на транспортном средстве камеры, направленной на прицеп, и обработку изображения прицепа с определением его пространственного положения и ориентации отличающийся тем, что : - на прицеп, в поле видимости камеры, дополнительно устанавливают маркер и измеряют высоту расположения камеры над маркером, - измеряют взаимное пространственное положение закреплённых на транспортном средстве устройства глобального координатного позиционирования, устройства измерения пространственной ориентации и цифровой камеры, - в момент формирования кадра измеряют координаты глобального позиционирования и данные пространственной ориентации, - находят на исходном изображении пиксели, соответствующие маркеру, и строят упрощённый макет кадра сохраняя в макете кадра данные только об этих пикселях, - на основе данных о высоте камеры относительно маркера, взаимном пространственном расположении устройства глобального координатного позиционирования, устройства измерения пространственной ориентации и камеры вычисляют пространственное положение и ориентацию камеры, по которым проводят коррекцию перспективных искажений макета кадра, - по расположению пикселей маркера на макете кадра, на основе данных о положении и ориентации камеры вычисляют позицию и азимутальную ориентацию маркера, по которым вычисляют позицию и азимутальную ориентацию прицепа транспортного средства. п.2. Способ по п.1., отличающийся тем, что координаты глобального позиционирования в момент формирования кадра, измеряют с использованием дифференциального режима позиционирования. п.З. Способ по п.1., отличающийся тем, что в качестве данных пространственной ориентации используют данные гироскопов и акселерометров. ЗАМЕНЯЮЩИЙ ЛИСТ (ПРАВИЛО 26) п.4. Способ по п.1., отличающийся тем, что кадр формируют с помощью цифровой камеры с цветной матрицей видимого спектра. п.5. Способ по п.1., отличающийся тем, что кадр формируют с помощью цифровой камеры с черно-белой матрицей видимого спектра. п.6. Способ по п.1., отличающийся тем, что кадр формируют с помощью цифровой камеры с матрицей инфракрасного спектра. п.7. Способ по п.1., отличающийся тем, что на транспортное средство или на прицеп дополнительно устанавливают устройство подсветки, направляют его излучение на маркер, а кадр формируют с помощью цифровой камеры с матрицей чувствительной к спектру излучения устройства подсветки. п.8. Способ по п.1., отличающийся тем, что на транспортное средство дополнительно устанавливают вторую камеру, направляют её на прицеп, измеряют её пространственное расположение и ориентацию относительно устройства глобального координатного позиционирования, в момент формирования кадра первой камерой - формируют кадр второй камерой, обрабатывают кадр второй камеры аналогично обработке кадра первой камеры, после чего, по расположению пикселей маркера на макетах кадров первой и второй камеры, на основе данных о положениях и ориентациях камер вычисляют позицию и трехмерную ориентацию маркера, по которым вычисляют позицию и трехмерную ориентацию прицепа транспортного средства. п.9. Способ по п.1., отличающийся тем, что упрощенный макет кадра строят путем изъятия из дальнейшей обработки пикселей изображения, цвет которых отличается от цвета маркера. п.10. Способ по п.1., отличающийся тем, что пиксели, соответствующие изображению маркера находят по признаку соответствия расположения и формы групп пикселей изображения известным форме и размерам маркера. ЗАМЕНЯЮЩИЙ ЛИСТ (ПРАВИЛО 26) п.11. Способ определения позиции и ориентации прицепа транспортного средства, включающий в себя установку на транспортном средстве цифровой камеры, направленной на прицеп, и обработку изображения прицепа с определением его пространственного положения и ориентации отличающийся тем, что : - на прицеп, в поле видимости камеры дополнительно устанавливают маркер, и измеряют высоту расположения камеры над маркером, - измеряют взаимное пространственное положение закреплённых на транспортном средстве устройства глобального координатного позиционирования, устройства измерения пространственной ориентации и цифровой камеры, - в момент формирования кадра измеряют координаты глобального позиционирования и данные пространственной ориентации, - на основе данных о высоте камеры относительно маркера, взаимном пространственном расположении устройства глобального координатного позиционирования, устройства измерения пространственной ориентации и камеры вычисляют пространственное положение и ориентацию камеры, по которым проводят коррекцию перспективных искажений исходного изображения кадра, - находят на исходном изображении пиксели, соответствующие маркеру, и строят упрощённый макет кадра сохраняя в макете кадра данные только об этих пикселях, - по расположению пикселей маркера на макете, на основе данных о положении и ориентации камеры вычисляют позицию и азимутальную ориентацию маркера, по которым вычисляют позицию и азимутальную ориентацию прицепа транспортного средства. п.12. Способ по п.11., отличающийся тем, что координаты глобального позиционирования в момент формирования кадра, измеряют с использованием дифференциального режима позиционирования. п.13. Способ по п.11., отличающийся тем, что в качестве данных пространственной ориентации используют данные гироскопов и акселерометров. ЗАМЕНЯЮЩИЙ ЛИСТ (ПРАВИЛО 26) п.14. Способ по п.11., отличающийся тем, что кадр формируют с помощью цифровой камеры с цветной матрицей видимого спектра. п.15. Способ по п.11., отличающийся тем, что кадр формируют с помощью цифровой камеры с черно-белой матрицей видимого спектра. п.16. Способ по п.11.,., отличающийся тем, что кадр формируют с помощью цифровой камеры с матрицей инфракрасного спектра. п.17. Способ по п.11., отличающийся тем, что на транспортное средство или на прицеп дополнительно устанавливают устройство подсветки, направляют его излучение на маркер, а кадр формируют с помощью цифровой камеры с матрицей чувствительной к спектру излучения устройства подсветки. п.18. Способ по п.11., отличающийся тем, что на транспортное средство дополнительно устанавливают вторую камеру, направляют её на прицеп, измеряют её пространственное расположение и ориентацию относительно устройства глобального координатного позиционирования, в момент формирования кадра первой камерой - формируют кадр второй камерой, обрабатывают кадр второй камеры аналогично обработке кадра первой камеры, после чего, по расположению пикселей маркера на макетах кадров первой и второй камеры, на основе данных о положениях и ориентациях камер вычисляют позицию и трехмерную ориентацию маркера, по которым вычисляют позицию и трехмерную ориентацию прицепа транспортного средства. п.19. Способ по п.11., отличающийся тем, что упрощенный макет кадра строят путем изъятия из дальнейшей обработки пикселей изображения, цвет которых отличается от цвета маркера. п.20. Способ по п.11., отличающийся тем, что пиксели, соответствующие изображению маркера находят по признаку соответствия расположения и формы групп пикселей изображения известным форме и размерам маркера. ЗАМЕНЯЮЩИЙ ЛИСТ (ПРАВИЛО 26) п.21. Устройство вычисления позиции и ориентации прицепа транспортного средства, включающее в себя : измерительно-вычислительное устройство и закреплённые на транспортном средстве камеру для формирования кадра изображения, устройство глобального координатного позиционирования и устройство измерения пространственной ориентации, отличающееся тем, что : - на прицепе в поле видимости камеры, расположен маркер, - измерительно-вычислительное устройство, связанно каналом передачи данных с камерой, устройством глобального координатного позиционирования и устройством измерения пространственной ориентации, и выполнено с возможностью обработки кадров камеры и данных, поступающих с устройств позиционирования и ориентации, и с возможностью вычисления позиции и азимутальной ориентации прицепа. п.22. Устройство по п.21., отличающееся тем, что устройство глобального координатного позиционирования выполнено с возможностью приема и обработки дифференциальных поправок. п.23. Устройство по п.21., отличающееся тем, что устройство измерения пространственной ориентации включает в себя акселерометры и гироскопы. п.24. Устройство по п.21., отличающееся тем, что устройство глобального координатного позиционирования и устройство измерения пространственной ориентации, выполнены совмещёнными в виде системы из трёх независимых и пространственно разнесённых GNSS-приёмников. п.25. Устройство по п.21., отличающееся тем, что устройство глобального координатного позиционирования и устройство измерения пространственной ориентации, выполнены совмещёнными в виде GNSS-приемника с тремя пространственно разнесёнными антеннами, соединёнными с приёмником через антенный коммутатор. ЗАМЕНЯЮЩИЙ ЛИСТ (ПРАВИЛО 26) п.26. Устройство по п.21., отличающееся тем, что цифровая камера имеет цветную матрицу видимого спектра. п.27. Устройство по п.21., отличающееся тем, что цифровая камера имеет черно-белую матрицу видимого спектра. п.28. Устройство по п.21., отличающееся тем, что цифровая камера имеет матрицу инфракрасного изображения. п.29. Устройство по п.21., отличающееся тем, что на транспортном средстве или на прицепе дополнительно установлено устройство подсветки, направленное на маркер. п.ЗО. Устройство по п.21., отличающееся тем, что на транспортное средство дополнительно установлена вторая камера, направленная на прицеп, и связанная каналом передачи данных с измерительно-вычислительным устройством, которое выполнено с возможностью обработки кадров от обеих камер. п.31. Устройство по п.21., отличающееся тем, что маркером является материальный объект известного размера, формы и цвета. п.32. Устройство по п.21., отличающееся тем, что маркером является два или более материальных объекта с известными размерами, геометрической формой, цветом и взаимным расположением. п.ЗЗ. Устройство по п.21., отличающееся тем, что на маркер нанесено светоотражающее или световозвращающее покрытие. п.34. Устройство по п.21., отличающееся тем, что маркер содержит как минимум один источник излучения известного спектра. ЗАМЕНЯЮЩИЙ ЛИСТ (ПРАВИЛО 26) |
Область техники.
Настоящее изобретение относится к системам определения позиции и ориентации прицепов транспортных средств.
Предшествующий уровень техники.
В качестве аналогов известны способы определения позиции и ориентации прицепов по патентам US6,434,462 и US6, 865,465, в которых устройства глобального позиционирования (GPS) установлены как на транспортном средстве, так и на прицепе, и для определения позиции и ориентации прицепа используется данные обоих устройств глобального позиционирования.
Недостатком указанных способов является необходимость использования двух устройств глобального позиционирования.
Так же в качестве аналогов известны способы определения позиции и ориентации прицепов по патентам US7,054,731 и US7,383,114, в которых устройство глобального позиционирования установлено только на прицепе.
Недостатком указанных способов является низкая точность определения ориентации прицепа.
Прототипом предлагаемого решения является способ определения положения и ориентации прицепа по патенту US6,581,695, в котором на транспортное средство устанавливают камеру, направляют её на прицеп, и определяют его пространственное положение и ориентацию.
Недостатком указанного способа является высокая вычислительная трудоёмкость и низкая точность определения положения и ориентации прицепа.
Целью предлагаемого изобретения является устранение недостатков известных технических решений.
Сущность изобретения.
В предлагаемом способе, цифровая камера, устройство глобального координатного позиционирования, и устройство измерения пространственной ориентации закреплены на транспортном средстве жёстко, без возможности взаимного перемещения и поворота, и их взаимное положение и ориентация остаются неизменными. Взаимное расположение камеры, устройств позиционирования и измерения пространственной ориентации измеряется заранее.
В момент формирования (съёмки) кадра изображения по данным, получаемым с устройства глобального координатного позиционирования и устройства измерения пространственной ориентации, измеряют координаты устройства глобального позиционирования и данные пространственной ориентации, по которым вычисляют координаты позиционирования и ориентацию камеры.
Позицию и азимутальную ориентацию прицепа вычисляют по позиции и азимутальной ориентации маркера, жестко закреплённого на прицепе и расположенного в поле видимости камеры.
Высоту расположения камеры над маркером измеряют заранее.
Для сокращения объёма вычислений, обработке подвергают не всё изображение, а построенный на основе исходного изображения макет кадра.
Макет кадра строят путём нахождения на исходном изображении пикселей, соответствующих маркеру, и сохранения в макете кадра информации только о данных пикселях.
На основе вычисленных координат позиционирования и ориентации камеры проводят коррекцию перспективных искажений макета кадра.
Коррекция искажений перспективы может проводиться как для исходного изображения до построения макета, так и после его построения.
По расположению пикселей маркера на макете кадра и на основе данных о положении и ориентации камеры вычисляют позицию и азимутальную ориентацию маркера, по которым вычисляют позицию и азимутальную ориентацию прицепа транспортного средства.
Краткое описание фигур чертежей
На Pиc.1 показано взаимное расположение видеокамеры, устройства глобального позиционирования, устройства измерения пространственной ориентации и маркера на прицепе (вид сбоку).
На Pиc.2 показано взаимное расположение видеокамеры, устройства глобального позиционирования, устройства измерения пространственной ориентации и маркера на прицепе (вид сверху).
На Рис.З показан процесс формирования упрощенного макета из кадра цифрового изображения. На Рис. 4 показано расположение маркера и его координат на макете кадра.
Осуществление изобретения
На Pиc.1 и 2 показан возможный вариант реализации изобретения.
На транспортное средство (1) устанавливают устройство глобального позиционирования (3) (например приёмник GNSS-навиrации), устройство измерения пространственной ориентации (3) (например инерциальная система включающая набор гироскопов и акселерометров), и цифровую камеру (4).
В качестве данных пространственной ориентации могут использоваться данные гироскопов и акселерометров.
Измеряют взаимное пространственное положение закреплённых на транспортном средстве цифровой камеры, устройства глобального координатного позиционирования, и устройства измерения пространственной ориентации.
Дополнительно, на транспортном средстве устанавливают измерительно- вычислительное устройство (на рисунке не показано), связанное каналом передачи данных с камерой, устройством глобального координатного позиционирования и устройством измерения пространственной ориентации.
На прицепе в поле видимости камеры, устанавливают и жестко закрепляют маркер (5) известного цвета, размера и формы, измеряют высоту расположения камеры над маркером, а камеру - направляют на прицеп (2).
Кадр изображения могут формировать с помощью цифровой камеры с матрицей цветного видимого спектра, черно-белого видимого спектра, или инфракрасного спектра.
В момент формирования кадра измеряют координаты глобального позиционирования и данные пространственной ориентации.
Находят на исходном изображении пиксели, соответствующие маркеру, и строят упрощённый макет кадра сохраняя в макете кадра данные только об этих пикселях.
На основе данных о высоте камеры относительно маркера, взаимном пространственном расположении устройства глобального координатного позиционирования, устройства измерения пространственной ориентации и камеры вычисляют пространственное положение и ориентацию камеры, по которым проводят коррекцию перспективных искажений макета кадра. На рис.З показан упрощенный макет, построенный на основе кадра цифрового изображения с коррекцией перспективных искажений.
В макете сохраняют данные только о пикселях (6), соответствующих маркеру (5), для этого используют известные данные о цвете или спектре излучения маркера, и в макете оставляют только пиксели, цвет которых соответствует цвету маркера, а пиксели изображения, цвет которых отличается от цвета маркера из дальнейшей обработки - изымают.
Пиксели, соответствующие изображению маркера могут находить по признаку соответствия расположения и формы групп пикселей изображения известным форме и размерам маркера.
После этого в макете оставляют только ту группу пикселей, размер и форма которых максимально близка к размеру и форме маркера.
Для этого может быть использован корреляционный метод, при котором для каждой оставшейся группы пикселей макета и образа маркера осуществляется поиск максимального соответствия.
На рис. 4 изображен пример макета имеющего маркер, представленного группой пикселей (6).
Пик максимального соответствия между оставшимися пикселями макета и образом маркера будет иметь координаты маркера (Хсm, Yсm, АLРНАсm) относительно положения камеры, где :
Хсm - латеральная координата относительно расположения и ориентации камеры,
Yсm - продольная координата,
АLРНАсm - угол расположения маркера, относительно оси визирования камеры Y.
Посредством измерительно-вычислительного устройства обрабатывают кадры камеры и данные, поступающие с устройств позиционирования и ориентации, и вычисляют позицию и азимутальную ориентацию прицепа.
По данным о взаимном положении цифровой камерой, GNSS-приемника и инерциальной системой, - вычисляют глобальную позицию (LONc, LATc, Hc) и пространственную ориентацию (ALPHAc, BETAc, GAMMAc) цифровой камеры, где:
LONc - координата долготы камеры,
LATc - координата широты камеры,
Hc - координата высоты камеры,
ALPHAc - угол азимута камеры, BETAc - угол склонения камеры,
GAMMAc - угол бокового наклона камеры.
По данным о позиции и ориентация камеры- вычисляют позицию и азимутальную ориентацию маркера на прицепе.
Для северной широты и восточной долготы справедливо следующее преобразование:
LONm = LONc + ataп[(Xcm*cos(ALPHAc) - Ycm*siп(ALPHAc)) / (R+Нт)]
LATm = LATc + ataп[(Xcm*siп(ALPHAc) + Ycm*cos(ALPHAc)) / (R+Нт)]
Hm = Hc - H
ALPHAm = - ALPHAc - АLРНАст где:
LONm - долгота маркера,
LA Tm - широта маркера,
Hm - высота маркера,
ALPHAm - азимут маркера,
R — радиус земли.
В силу жёсткого закрепления маркера на прицепе его азимутальная ориентация совпадает с ориентацией прицепа, а его позиция - соответствует измеряемой позиции прицепа.
По расположению пикселей маркера на макете кадра, на основе данных о положении и ориентации камеры вычисляют позицию и азимутальную ориентацию маркера, по которым вычисляют позицию и азимутальную ориентацию прицепа транспортного средства.
В качестве маркера могут использовать материальный объект или группу объектов с известным цветом, формой, размером и взаимным расположением на прицепе.
Для более надежной идентификации маркера на кадре цифрового изображения, на маркер могут наносить световозвращающее или светоотражающее покрытие, а сам маркер могут дополнительно снабжать источником излучения известно спектра.
Для работа в условиях недостаточной освещенности на транспортное средство или на прицеп дополнительно могут устанавливать устройство подсветки, направлять его излучение на маркер, а кадр формировать с помощью цифровой камеры с матрицей чувствительной к спектру излучения устройства подсветки. Для более точного измерения положения и ориентации маркера - на транспортное средство могут дополнительно устанавливать вторую камеру, направлять её на прицеп, измерять её пространственное расположение и ориентацию относительно устройства глобального координатного позиционирования, связать каналом передачи данных с измерительно- вычислительным устройством, выполненным с возможностью обработки кадров от нескольких камер, в момент формирования кадра первой камерой - формировать кадр второй камерой, обрабатывать кадр второй камеры аналогично обработке кадра первой камеры, после чего, по расположению пикселей маркера на макетах кадров первой и второй камеры, на основе данных о положениях и ориентациях камер - вычислять позицию и трехмерную ориентацию маркера, по которым вычислять позицию и трехмерную ориентацию прицепа транспортного средства.
Для определения пространственных углов ориентации маркера могут использовать известные методы обработки стереоизображений, например по патенту US 5,179,441.
Дополнительно, вместо инерциальной системы пространственной ориентации могут использовать три независимых и пространственно разнесённых GNSS-приёмника, или один GNSS-приемник с тремя пространственно разнесёнными антеннами, соединёнными с приёмником через антенный коммутатор.
Дополнительно, для более точного определения координат глобального позиционирования, координаты глобального позиционирования в момент формирования кадра, могут измерять с использованием дифференциального режима позиционирования, а устройство глобального координатного позиционирования может быть выполнено с возможностью приема и обработки дифференциальных поправок (WAAS, EGNOS, ОmпiStагVВS, HP или RTK).
Устройство реализующее описываемый способ вычисления позиции и ориентации прицепа транспортного средства, может включать в себя измерительно-вычислительное устройство, закреплённые на транспортном средстве камеру для формирования кадра изображения, устройство глобального координатного позиционирования и устройство измерения пространственной ориентации, маркер расположенный на прицепе в поле видимости камеры, измерительно-вычислительное устройство, связанное каналом передачи данных с камерой, устройством глобального координатного позиционирования и устройством измерения пространственной ориентации, и выполненное с возможностью обработки кадров камеры и данных, поступающих с устройств позиционирования и ориентации, и с возможностью вычисления позиции и азимутальной ориентации прицепа.
Данное устройство может быть выполнено с возможностью приема и обработки дифференциальных поправок (WAAS, EGNOS, OmniStar VBS, HP или RTK), включать в себя акселерометры и гироскопы, цифровую камеру с матрицей цветного видимого, черно-белого видимого, или инфракрасного спектров, дополнительное устройство подсветки, установленное на транспортном средстве или на прицепе и направленное на маркер, и вторую дополнительную камеру установленную на транспортном средстве, направленную на прицеп, и связанную каналом передачи данных с измерительно-вычислительным устройством, выполненном с возможностью обработки кадров от двух камер.
Маркер устройства может быть выполнен в виде материального объекта известного размера, формы и цвета, двух или более материальных объектов с известными размерами, геометрической формой, цветом и взаимным расположением, на маркере может быть нанесено светоотражающее или световозвращающее покрытие, так же маркер может содержать один или более источников излучения известного спектра.
Дополнительно, устройство глобального координатного позиционирования и устройство измерения пространственной ориентации, могут быть выполнены совмещёнными в виде системы из трёх независимых и пространственно разнесённых GNSS-приёмников, или в виде одного GNSS-приемника с тремя пространственно разнесёнными антеннами, соединёнными с приёмником через антенный коммутатор.