Разработка структуры хранилища данных. Типы значений, выделяемых по характеру передаваемой информации

На рынке существует множество Business Intelligence решений, которые, как правило, решают одну задачу - построить корпоративную отчетность, или, иными словами, reporting. Грубо говоря, они выступают заменителями Microsoft Excel. Кстати, Excel тоже можно отнести к инструментам BI, поэтому те, кто работал с данными в Excel, строил графики и т.п., отчасти - BI разработчики. А если вам еще необходимо было собирать требования на построение отчета, подключаться к базам данных и использовать Pivot в Excel, то вы точно можете считать себя BI разработчиком.

К сожалению, Excel имеет ограниченный функционал и не подходит крупным организациям (Enterprise), поэтому существует отдельный класс BI приложений от именитых вендоров, таких как Oracle, SAP, IBM и другие. Для того чтобы лучше разбираться в основных игроках BI-рынка, можно ознакомиться с ежегодными результатами крупнейших аналитических агентств, таких как Gartner или Forrester . Каждый год они публикуют список лидеров и указывают их сильные и слабые стороны. Если вам когда либо придется выбирать для своей компании BI инструмент, то необходимо начинать именно с этого.

Давайте определимся: что же такое BI инструмент? Это решение, которое создано специально для людей, не знающих и не понимающих, как работают базы данных (им в принципе это и не нужно). Эти люди сосредоточены на бизнес-процессах, и они привыкли работать с удобными для них наименованиями, такими как «Доход», «Номер договора», «Ставка» и т.п. Им совершенно всё равно, откуда берутся данные, как они хранятся или как рассчитывается тот или другой показатель. Им нужно решение, с помощью которого они смогут получить быстрый ответ на свой бизнес-вопрос, например «Сколько телефонов было продано в прошлом месяце?» или «Какой самый популярный продукт в линейке продуктов?». BI приложение имеет удобный интерфейс, в котором бизнес-пользователь может легко «накидать» (используя drag and drop) необходимые поля, и построить отчет. Затем он легко сохраняет свой отчет и отправляет коллегам.

Прежде чем изучать любой BI продукт, необходимо понять из чего он состоит:

• Коннектор к данным - это может быть ODBC, JDBC или любой другой драйвер, который позволяет подключаться к базам данных или к обычным «плоским» файлам;
• Семантический слой - сердце любого BI инструмента, здесь происходит вся магия. Если по-простому, то семантический слой - прослойка между технически сложными вещами, такими как «база данных», «таблица», «соединение» и бизнес-объектами, с которыми будет работать пользователь.
• Бизнес-объекты - непосредственно сами показатели и атрибуты, для построения отчетности.

Таким образом, когда бизнес пользователь хочет получить ответ на свой бизнес-вопрос, он просто накидывает объекты, нажимает кнопочку «обновить отчет» и получает необходимые данные для работы. Когда человек накидывает объекты, создается SQL, MDX которые отправляется в базу данные, (конечно если у нас в качестве источника данных - база данных или куб), дальше база данных отправляет результат в кеш BI приложения, чтобы пользователь мог работать, выстраивая графики и отчеты.

Значение языкового выражения - это сложное структурное образование, состоящее из компонентов. Б.Ю.Городецкий предложил для описания таких компонентов семантической структуры языкового выражения понятие семантического слоя. В значении каждого выражения выделяется несколько слоев, каждый из которых несет информацию особого рода. Таких слоев выделяется 4, хотя они получают разное наименование у разных исследователей.

1. Денотативный слой значения или просто денотат языкового выражения, — это передаваемая им информация о внеязыковой действительности, о том реальном или воображаемом мире, о котором идет речь. Чтобы каждый раз не делать оговорку о реальности / ирреальности мира, с которым соотносится языковое выражение, используется нейтральный в этом отношении термин мир дискурса. Денотативное значение выступает в языке в двух основных модификациях — актуальной и виртуальной. Актуальный денотат языкового выражения — это тот предмет или ситуация из мира дискурса, которые имеет в виду говорящий, употребляя это выражение в речи. Виртуальным денотатом языкового выражения является множество объектов мира дискурса, которые могут именоваться данным выражением. Вместо термина «актуальный денотат» предпочтительно использовать термин референт, а вместо термина «виртуальный денотат» - термин денотат. В том же значении широко используется термин экстенсиоиал (= «объем понятия»), пришедший в лингвистику из логики.

Пример: Мама спит.

Денотат имени мама - множество всех объектов мира дискурса, которые являются чьими-либо мамами.

Денотат глагола спать - множество всех ситуаций, которые могут быть поименованы этим глаголом.

Денотат предложения - подмножество всех ситуаций сна, имеющих место в момент речи, субъектами которых выступают чьи-либо мамы.

О референте можно говорить только в том случае, когда это предложение рассматривается как употребленное в речи (только глагол референта не имеет).

2. Сигнификат языкового выражения, - это информация о том способе, каким объект или ситуация мира дискурса отражаются в сознании говорящего. В отличие от денотата, представляющего собой некоторый класс предметов или ситуаций, сигнификат - это не сам класс, а те свойства, на основании которых эти предметы/ситуации объединены в данный класс и противопоставлены членам других классов. В направлениях современной семантики, которые применяют при анализе выражений естественного языка, методы формальной логики (например, в формальной семантике), в том же смысле используется термин интенсионал.

Сигнификат имени мама включает в себя признаки «человеческое существо», «женского пола», «родитель некоторого человекаа».

Сигнификат глагола спать включает такие свойства: «физическое состояние живого существа», «форма отдыха».

Различие между денотатом и сигнификатом проявляется в том, что 1 и тот же референт может быть обозначен языковыми выражениями с различными сигнификатами. Та же самая женщина в другой ситуации может быть названа по-другому.

3. Прагаматическое значение языкового выражения - это содержащаяся в нем информация об условиях его употребления - многообразных аспектах коммуникативной ситуации,в которых оно используется. В число этих аспектов входит: отношение говорящего к денотату языкового выражения, отношения между говорящим и адресатом, обстановка общения, цель, которую говорящий хочет достичь и др.параметры.

Если бы прагматический слой значения слова мама был пуст, не заполнен, то мамой можно было бы назвать чьего-либо родителя женского пола в любой ситуации. Однако есть ситуации, в которых надо употребить другое слово с тем же денотатом и сигнификатом — слово мать . Таким образом,в прагматическом значении слова мама содержится определенная информация об отношении говорящего либо к референту данного имени, либо к лицу X которому референт имени доводится матерью.

4. Синтаксический слой значения, или синтаксическое значение языкового выражения содержит информацию об отношениях между данным выражением и другими языковыми выражениями в составе речевого отрезка. Это разного рода требования, предъявляемые языковым знаком к своему окружению. Данный тип значения хорошо изучен применительно к слову и почти не исследован на уровне предложения. Так, знак может предъявлять требования к наличию/отсутствию в своем окружении других знаков, принадлежащих к определенной лексико-грамм.категории и имеющих определённую грамматическую форму. Эти требования называются морфо-синтаксической сочетаемостью слова. Например, безличный глагол спать выступает в предложении в сопровождении именной группы.

В синтаксическое значение слова мама входит информация о том, что это: 1)имя существительное, 2)одушевлённое., 3)женского рода, 4)единственного числа., 5)в именительном падеже.

В последнее время появляются исследования, позволяющие говорить о синтаксическом значении и на уровне предложения-высказывания. Например, если первой репликой диалога будет вопрос Мама спит?, то при нормальных условиях следующая реплика должна представлять собой предложение с вполне определенным денотативным, сигнификативным и прагматическим значением: это должен быть положительный или отрицательный ответ на вопрос о том, спит ли мама, а не какое-либо другое высказывание.

С противопоставлением типов значений, выделяемых по характеру передаваемой информации, определенным образом соотносится противопоставление лексического и грамматического значения.

Семантика - слово, пришедшее в наш язык из греческого, где его смыслом было «значимый». В филологии оно впервые было применено во Франции М. Бреалем, занимавшимся не только развитием языка, но и историей. О том, что такое семантика, могут рассказать многие языковеды. Под термином принято понимать такую науку, которая посвящена смыслу слова, множеству букв и предложений.

А если попонятнее?

Наиболее общее значение термина (именно его обычно подразумевают) можно уточнить как «лексическая семантика». Она занимается осмысленной нагрузкой отдельно взятых слов. А вот языковеды, исследующие алфавиты, сохранившиеся с древности, знают, какова смысловая нагрузка отдельных букв. Некоторые специалисты занимаются текстами, фразами, законченными предложениями. Такая область - еще одно из полей применения семантического научного подхода.

Разбирая, что такое семантика, нужно обязательно упомянуть о родстве с другими дисциплинами. В частности, тесны связи с:

• логикой;
• языковой философией;
• коммуникационными теориями;
• антропологией (языка, символов);
• семиологией.

Рассматривая науку подробнее, необходимо сразу сформулировать объект, который она исследует: семантическое поле. Это такой комплекс терминов, для которых свойственен некий общий фактор.

Объект исследования

Если спросить филолога, что такое семантика, специалист расскажет: термином принято обозначать науку, занимающуюся не только осмысленной нагрузкой слов, но и философскими языковыми аспектами. Кроме того, распространяется дисциплина и на используемые программистами языки, на формальную логику, семиотику. Посредством разработанных в семантике инструментов можно провести результативный анализ текста. Благодаря этой науке можно вычленить соотношения фраз, слов, символов, взаимосвязь со значениями.

Впрочем, описанное значение - лишь общее представление, что такое семантика. На самом деле в настоящее время понятие намного шире. Оно применяется для некоторых специализированных философских течений и даже в рамках одного из подходов, призывающих людей изменить свое отношение в мире, уйти прочь от «культуры потребления». Проблема эта в последние годы стала действительно актуальной, и одно из ее решений получило наименование «общая семантика». Стоит признать, у нее есть немало поклонников.

Понимание сути

Так сложилось, что семантика языка - наука, для которой очень актуальна проблема понимания. Проще говоря, обыватель запросто может сказать, чем занимается математика или физика, но не всякий быстро сориентируется в сфере исследования семантики. Что удивительно, не столько лингвисты, сколько психологи поставили перед собой задачу формулирования понимания сути семантики. В то же время интерпретация символов, знаков - вопрос, свойственный строго лингвистике и никакой иной науке. Значение отыскивают с учетом обстановки, в которой объекты применялись: специфики сообщества, контекста, обстоятельств.

Лингвистическая семантика особенное внимание уделяется мимике, телодвижениям, звукам, как способам передачи информации. Все это формирует значимый контекст. Для письменного языка роль таких структурных факторов играют абзацы и знаки препинания. Общий термин, обозначающий эту область информации - семантический контекст. Аналитическая деятельность в области семантики тесно связана с рядом сопутствующих дисциплин, занимающихся лексикой, этимологией символов и слов, правилами написания и произношения. Наука связана и с прагматикой.

Особенности науки

Семантика языка занимается строго определенными вопросами, ей характерна конкретная область знаний. Свойства этой дисциплины зачастую позволяют характеризовать ее как синтетическую. Рассматриваемая сфера тесно сплетается с языковой философией, имеет связь с филологией, семиотикой. В то же время наблюдается резкий контраст с синтаксическими правилами, комбинаторикой, не обращающей внимание на смысловую нагрузку используемых символов и знаков.

Особенность семантики в наличии значимых связей с репрезентативными смысловыми теориями, в том числе рассматривающими взаимосвязи, соответствия и истинность смысла. Это уже не просто языковая наука, но философская дисциплина, которая фокусируется на реальности и отражении ее через возможности языка.

Лингвистика

Эта наука - одна из дополнительных областей, включенных в общее дерево семантики как дисциплины исследования. Объект внимания этой сферы семантики - лексика. Лингвистика занимается смысловой нагрузкой, характерной словарным уровням, предложениям и фразам. В равной степени лингвистика анализирует и более крупные объекты - тексты, расширенные повествования.

Изучая лингвистику и семантику, необходимо четко представлять тесные взаимосвязи субъектов. Для лингвистики становятся важными перекрестные ссылки и примененные обозначения. Особенность этого направления - исследования взаимоотношений, свойственных единицам лингвистики. Как и семантика предложения, лингвистика особенное внимание уделяет словосочетаниям, правда, в несколько ином ключе. Здесь исследователи фокусируются на омонимах, анонимах, синонимах, паронимах, метрономах. Задача, стоящая перед ними, - осмыслить довольно крупные элементы текста, скомпоновав их из небольших, и расширить смысловую нагрузку, насколько это представляется возможным.

Монтагская грамматика

Автором этой структуры семантики стал Ричард Монтегю. Впервые свои теории он озвучил в 1960-м. Идея заключалась в такой систематизации определений, которая применяла бы терминологию лямбда-исчисления. Продемонстрированные им материалы наглядно доказали, что присущий тексту смысл можно разложить на части, элементы, используя правила сочетания. Внимание обратили и на факт относительной немногочисленности таких правил.

В то время впервые прозвучал термин «смысловой атом». Его понимание, равно как и работа с примитивами, легли в базу семантики вопросов в семидесятые годы. Так начала развиваться мыслительная гипотеза. И сегодня многие признают, что грамматика Монтегю была исключительно стройным, логичным изобретением. К сожалению, ее отличием от семантики речи была выраженная изменчивость, определяемая контекстом. Язык, как считал Монтегю, был не просто системой ярлыков, закрепленных за предметами и явлениями, но инструментальным набором. Он обращал внимание, что значимость каждого из таких инструментов не в привязке к конкретным объектам, а в специфике функционирования.

А на примерах?

Семантика в прочтении Монтегю хорошо иллюстрируется следующим образом. Филологам знакомо понятие «семантическая неопределенность». Это ситуация, когда в отсутствии ряда частей контекста невозможно определить точный смысл объекта (слова, фразы). Более того, нет таких слов, идентификация которых была бы стопроцентно возможной и верной в отсутствии окружения.

Формальная семантика

Эта идея была сформулирована, как усовершенствование постулатов Монтегю. Она принадлежит к теоретическим высоко-формализованным подходам и работает с естественными языками. Таким методом может быть проанализирована и русская семантика. Особенность - в присвоении различным единицам значений: истинности, функциональной зависимости, индивидуальности. Для каждой единицы затем выявляется истинность, соотношение в аспектах логики относительно иных предложений. Все это позволяет получить достаточный объем сведений для анализа текста в целом.

Истинно-условная семантика

Автором этой теории выступил Дональд Дэвидсон. Теория принадлежит к числу формализованных. Основная идея - в определении связей между предложениями. Подход предполагает работу с естественными языками. Семантика слова, предложения, текста обязывает выискивать и описывать такие условия, при которых некоторый объект исследования становится истинным.

Например, только в ситуации, когда снег белого цвета, истинным будет выражение «снег белый». То есть фактически задача филолога - определить, в каких условиях значение фразы становится истиной. В семантике слова заранее задан набор значений, выбранных на базе конкретного объекта, и задается набор правил, позволяющих их объединять. Практическое применение такого метода - формирование абстрактных моделей, в то же время суть подхода - в определении соответствия между выражениями и реальными вещами и событиями, а не абстрактными результатами моделирования.

Искусственная семантика

Под этим термином принято понимать такие фразы, слова, на базе которых формируется полезное содержимое. Задача лингвиста - составить семантическое ядро, которое будет привлекать внимание читателя. Наиболее актуален этот термин в настоящее время в применении к современным технологиям, в частности, интернету. Чтобы повысить посещаемость виртуальной странички, важно таким образом сформировать ее текстовое наполнение, чтобы присутствовали ключи, способные заинтересовать пользователя. Искусственная семантика в настоящее время широко применяется в рекламных целях.

Информатика предлагает трактовать семантику как раздел, занимающийся осмысленностью конструкций, свойственных языку. Это, в некоторой степени, противоположно синтаксису, чья сфера ответственности - форма выражения конструкций. Семантика - набор правил, позволяющих трактовать синтаксис. В то же время значения заданы непрямо, лишь ограничены возможности понимания объявленных слов, символов. Принято говорить о семантике как отношениях, свойствах, дающих формальное представление об объекте. Применяется логический подход, на основании которого строятся модели и теории, базирующиеся на интерпретации полученной информации.

Семантика как метод продвижения проекта

Применяя базовые правила семантики, специалист может разработать такое ядро, которое затем будет базой для формирования СЕО-программы. Семантическое ядро - список запросов, которые аудитория может ввести в виртуальной системе поиска, чтобы ознакомиться с услугами, товарами, в которых нуждается. Чтобы сформировать такое ядро корректно, нужно представлять, в чем клиент нуждается, какие перед ним стоят цели.

Определение потребностей целевой аудитории чаще всего предполагает интервьюирование либо бриф-опрос. Правильно подойдя к этой задаче, можно сформулировать с высокой степенью точности, в чем нуждается пользователь.

Семантическое ядро: особенности

Чтобы правильно сформировать этот базовый для продвижения проекта объект, необходимо сперва разобраться с природой пользовательских запросов. Таковые подразделяются на четыре крупные категории:

• информация;
• транзакции;
• навигация;
• общие запросы.

Информационные поисковые запросы

Таковые люди спрашивают у поисковой системы, если перед ними стоит какой-то нуждающийся в решении вопрос. Система выдает список сайтов, в большей или меньшей степени соответствующих заданному, после чего клиент начинает поочередно переходить по страничкам из верхнего перечня выдачи, изучая результаты на предмет релевантности. Останавливается человек, когда удается обнаружить необходимые данные.

Чаще всего информационные запросы начинаются с вопросительного слова, хотя нередко прибегают к относительно неочевидному для машинного языка выражению мысли - запрашивают помощь или советы, отзывы или правила (инструкции). Если владелец ресурса знает, какие именно запросы чаще всего приводят к нему пользователя (или могли бы приводить), необходимо формировать семантическое ядро под каждую страницу с учетом этой информации. Если проект некоммерческий, то именно информационные запросы приносят почти весь объем трафика. Чтобы монетизировать сайт, можно прибегнуть к контекстной рекламе или другим сходным возможностям.

Навигация и транзакции

Навигационные - это такие запросы, которые дают четкую характеристику виртуальной странички. Именно благодаря им в будущем будут осуществляться переходы.

Транзакции, по мнению многих специалистов СЕО, являются наиболее любопытной категорией из всех возможных запросов. Через них можно получить представление, для каких целей клиент ищет сайт. Одни нуждаются в материале для ознакомления, другие скачивают файлы, третьи совершают покупки. Зная особенности транзакционных запросов, можно построить собственный бизнес в интернете. Между прочим, некоторое время назад именно через них развивались почти все, предлагающие услуги, сайты, а также виртуальные магазины.

Особенность вопроса

Не все так легко и просто. Запросы, которые может выявить СЕО-специалист, составляя семантическое ядро, применяются всеми конкурентами. С одной стороны, их использование не может быть гарантом успеха программы продвижения - слишком много соперников. В то же время их отсутствие делает программу развития сайта практически невозможной. Применяя конкурентные запросы, можно успешно привлечь аудиторию на продвигаемую страницу. Если предполагается раскрутка на основе именно таких запросов, нужно проконтролировать, что пользователь, оказавшись на страничке, может совершить соответствующую транзакцию.

Не все уверены, стоит ли применять такой тип запросов, если продвигается страница не коммерческого, а информационного характера. Специалисты заверяют, что это абсолютно корректное решение. При этом нужно предусмотреть возможность совершения пользователем действий на страничке. Самый простой вариант - контекстная реклама, соответствующая содержимому, партнерская программа.

Общие запросы

Это такие формулировки, из которых сложно понять, что именно ищет пользователь. Например, это могут быть «двигатель авто» или «кисточка для румян». По какой причине пользователь ищет информацию, только из самого запроса совершенно не ясно. Кто-то заинтересован, как предмет устроен и из чего сделан, другой ищет возможность купить, а третий исследует ассортимент предложения на рынке. Возможно, пользователь хочет найти инструкцию по самостоятельному изготовлению предмета или осуществлению работы, но другой человек заинтересован в том, чтобы заказать услугу - например, поклейку обоев в комнате. Учитывать общие запросы при формировании контекстного ядра нужно, но не стоит делать на них особенный акцент, если проект не посвящен, например, всем возможным типам кисточек для румян или обоям и всему, что с ним связано, от производственных вопросов до правил окрашивания.

Частотность: конкуренция на каждом шагу!

Характеристика частотности - одна из ключевых при выборе подходящего наполнения семантического ядра. В общем случае все запросы делятся на три крупные группы, при этом к низкой частоте относятся попадающие в месяц в поисковую систему менее двух сотен раз, к высокой частоте причисляют запрашиваемые более тысячи раз вопросы, а средний уровень - все, что между указанными границами.

Указанные значения - общие, для каждой конкретной области они будут уникальными, цифры существенно варьируются. Чтобы правильно сформировать семантическое ядро, нужно не просто знать показатели поисковой системы по запросам, которые предполагается включить, но и представлять иерархическую структуру развиваемого сайта, прорабатывать внутреннюю оптимизацию. Одним из самых полезных современных инструментов для формирования семантического ядра специалисты признают «Яндекс.Вордстат». Он помогает выявить частоту запросов, на основании чего можно составить расширенный перечень и избавиться от лишних, пустых запросов. Для создания структуры рекомендуется сделать не менее трех циклов работы с перечнем запросов при применении возможностей «Яндекс.Вордстат».

4. Семантический слой в хранилище данных.

“Семантический слой - механизм, позволяющий аналитикам оперировать данными бизнес-терминами.” - Тоноян С. А.

Важнейшим элементом ХД является семантический слой - механизм, позволяющий аналитику оперировать данными посредством бизнес-терминов предметной области. Семантический слой дает пользователю возможность сосредоточиться на анализе и не задумываться о механизмах получения данных.

5. Основные требования к хранилищу данных.

Требования:

высокая скорость получения данных из хранилища;

автоматическая поддержка внутренней непротиворечивости данных;

возможность получения и сравнения срезов данных;

наличие удобных средств для просмотра данных в хранилище;

обеспечение целостности и достоверности хранящихся данных.

6. Свойства хранилища данных.

Проблемно-предметная ориентация. Данные объединяются в категории и хранятся в соответствии с областями, которые они описывают, а не с приложениями, которые они используют.

Интегрированность . Данные объединены так, чтобы они удовлетворяли всем требованиям предприятия в целом, а не единственной функции бизнеса.

Некорректируемость . Данные в хранилище данных не создаются: то есть поступают из внешних источников, не корректируются и не удаляются.

Зависимость от времени . Данные в хранилище точны и корректны только в том случае, когда они привязаны к некоторому промежутку или моменту времени.

Хранилище данных - предметно-ориентированный, интегрируемый, неизменяемый и поддерживающий хронологию набор данных, предназначенный для обеспечения регламентированных и управленческих решений. Основные свойства:

ориентированность

Хранилище данных разрабатывается с учетом специфики области, а не аналитической платформы, где его будут использовать. Другими словами: данные объединяются в категории и хранятся в соответствии с областями, которые они описывают, а не с приложениями, которые они используют. Структура должна отражать представление информации, с которой работает аналитик. Предметная ориентация позволяет хранить в ХД только те данные, которые необходимы для средств анализа, что существенно сокращает затраты на носители информации и повышает безопасность доступа к данным.

2) интеграция

требуется обеспечить возможность загрузки информации из различных источников, поддерживающих различные форматы данных.

единые правила именования объектов

единые единицы измерения для однотипных объектов

единое физическое представление

единое представление атрибутов и т.д.

3) принцип неизменчивости - в хранилище возможно только добавление и чтение данных.

4) поддержка хронологии - точное и единое представление о временной привязке всех данных.

В кн.: Образы, традиции и культура межнационального мира и согласия. Иркутск: Издательство ИГУ, 2014. С. 51-63.

На основе авторской методологической схемы «образ мира - образ жизни» и моделей образа мира и образа жизни описываются профессиональные, региональные и этнокультурные особенности образа мира и образа жизни, предлагаются схемы дальнейшего описания.

На основе материалов консультирования и специально организованных исследований описано перераспределение и изменение основных функций семьи (воспитательная, психотерапевтическая, эротическая, хозяйственно-бытовая, защитная и др.) при работе мужа вахтовым или сезонным методом.

Ставится проблема необходимости эргономического описания и проектирования про- фессионально специфичного образа жизни для тех специалистов, деятельность которых невозможна без организации особого образа жизни. Приведены примеры, перечислены факторы и параметры описания профессионально специфичного образа жизни. In article the problem of necessity of the ergonomic description and designing of professionally specific way of life for those specialists which activity is impossible without the organization of a special way of life is put. Examples are resulted, factors and parameters of the description of professionally specific way of life are listed.