СОДЕРЖАНИЕ

1. СТАТЬИ 1.1. Утечка памяти - определение и классификация 2. ССЫЛКИ НА СТАТЬИ 2.1. Статьи на русском языке 2.2. Англоязычные статьи 3. ФОРУМ SQL.RU 3.1. Самые популярные темы недели 3.2. Вопросы остались без ответа 4. АНОНСЫ 4.1. Журнал "SQL Server для профессионалов"

СТАТЬИ

Утечка памяти - определение и классификация

По материалам статьи Slava Oks: Look at Memory Leaks - Classify and Identify
Перевод Александра Гладченко

В своей предыдущей статье автор говорил о типах вытеснения памяти. Сейчас он хотел бы обратиться к близкой теме - "Утечка Памяти". Прежде, чем продолжить изложение материала, автор хочет предупредить Вас, что он рассчитывает на то, что читатель знаком с механизмами и принципами управления памятью в Windows.
Утечка памяти, это очень часто наблюдаемая проблема, вызванная ошибками в программировании. Автор считает, что очень важно знать об этих проблемах и подходах к их устранению. После ознакомления с работой процессов, подобные ошибки уже не должны казаться неразрешимыми.
Когда происходит утечка, первым делом разработчик должен классифицировать её. Сколько раз можно было слышать о том, что работа приложения была прервана или оно перестало откликаться из-за утечки памяти? Фраза "утечка памяти" может означать утечку из разных ресурсов памяти. Вспомните предыдущие статьи автора, где он говорил о VAS, физической памяти, файле подкачки и т.д. Приложение может обрушить любой из этих ресурсов. Это означает, что утечка памяти - это неполная фраза, которая не имеет большого смысла. Необходимо добавить больше определённости при рассмотрении утечки.
Классификация утечки чрезвычайно важна. В представленной ниже таблице показаны типы утечки памяти и инструменты, которые можно использовать для их классификации. Имейте в виду, что можно перечислить большее число инструментов и больше количество типов утечки. Автор показал только самые распространённые типы, с которыми он чаще всего имел дело.

После классификации утечки, её нужно идентифицировать. Идентификация утечки достигается отслеживанием подверженного утечке стека. Как только этот стек будет определён, можно считать, что утечка идентифицирована. Имейте в виду, что во многих случаях не достаточно идентифицировать строку или её номер в файле. Представленная ниже таблица предлагает Вам инструменты, которые можно использовать для идентификации утечки:

На практике классификация утечки не является столь жесткой и делается очень быстро. Сотрудники, занимающиеся тестирование и поддержкой должны уметь это делать, или можно автоматизировать сам процесс классификации. Идентифицировать утечку значительно сложнее и это занятие более трудоёмко. Этот процесс может сопровождаться перезапуском сервисов, использованием нескольких инструментов и т.д. Знание того, как эти инструменты работает, и грамотное обращение с ними является обязательной составляющей успешности идентификации и требует накопления большого опыта в разрешении подобных проблем. Имея такой опыт, намного проще будет разбираться с утечками памяти. Единственная проблема состоит в том, что всегда будут существовать вероятность появления такой утечки, которую не смогут отследить ваши инструменты. Если так случится, тогда Вам ничего не остаётся, как засесть за написание своего собственного LeakDiag.
Автору встречались несколько доступных, коммерческих инструментов, предоставляющих возможность классификации и идентификации утечки. Автор давно ими не пользовался, но из прошлого опыта их применения он не может сказать, что они работают лучше, чем описанные в этой статье. Перед покупкой подобных инструментов, стоит удостоверится, что они работают понятным Вам образом и если, к примеру, такой инструмент может идентифицировать утечку только при завершении процесса, он вряд - ли представляет интерес для использования. Кроме того, Если Вы проводите исследования на высокопроизводительном сервере и используете собственного менеджера памяти, большинство коммерческих инструментов Вам не подойдут.

[В начало]

ССЫЛКИ НА СТАТЬИ

Статьи на русском языке

Введение в методологию Microsoft Solutions Framework
Андрей Колесов
CASE: В последние годы мы видим, что ведущие поставщики средств разработки ПО (в первую очередь IBM Rational и Borland) от выпуска отдельных инструментов переходят к созданию комплексных платформ управления жизненным циклом приложений (application lifecycle management, ALM). Microsoft пока не форсирует процесс формирования полного спектра ALM-решений для автоматизации различных этапов производства ПО, хотя движется именно в этом направлении (об этом свидетельствуют последние новости с конференции TechEd'2004, см. врезку), и основной акцент делает на средствах проектирования и разработки - Visio, Visual Studio и т. д....
Электронные архивы для промышленности
Сергей Миронов
Серьезная проблема многих промышленных предприятий - огромное количество бумажных документов, не позволяющее оперативно получать доступ к информации даже при наличии эффективной системы хранения. Перевод конструкторской, технической и технологической документации в электронный вид и создание электронного архива стали необходимыми условиями информационной поддержки работы предприятия...
Стандарты на процессы программной инженерии: сегодня и завтра
Даг Тиль, Стен Маги
CASE: В условиях глобальной экономики специалистам по программному обеспечению необходимо договориться о едином наборе стандартов на процессы программной инженерии...
Управление конфигурацией и изменениями: RUP или ITIL?
Дмитрий Лапыгин, Александр Новичков
CASE: Рано или поздно любой долгосрочный проект, связанный с разработкой программного обеспечения, разрастается до необъятных размеров, становится трудноуправляемым и сложнопрогнозируемым. Пожалуй, основная проблема состоит в том, что руководители начинают терять контроль над процессом и представление о качестве выпускаемого продукта. Подчиненные же, опираются в своей работе лишь на вдохновение и душевные порывы...
Сложные события и мониторинг бизнеса
Леонид Черняк
CASE: Система управления выполняет несколько основных функций: она получает сведения об управляемом объекте и окружающей среде, оценивает ситуацию со скоростью, сопоставимой с динамикой объекта и процессов в окружающей среде, вырабатывает необходимое управляющее воздействие и передает его на объект управления. Утверждать, что корпоративные информационные системы в полном объеме умеют выполнять все эти функции, было бы серьезным преувеличением. Но это не навечно -возможны изменения...
Использование TrueDBgrid при создании приложений для управления базами данных на Visual Basic 6.0 (Часть1)
Грибков Макс
VB: Visual Basic (здесь и далее, если не указано иначе, имеется в виду Visual Basic 6.0) является весьма удобным и относительно простым средством для разработки приложений для управления базами данных. Причем размер БД особой роли не играет, и VB одинаково эффективно справится с любым. Мой, почти восьмилетний опыт работы с VB показывает, что практическая любая область человеческой деятельности может быть оптимизирована при помощи базы данных. На сегодняшний день приложения для управления БД являются лидирующими в прикладном программировании, и они крайне необходимы во всех предприятиях и организациях...
Не откладывайте изучение SQL Server 2005
Брайан Моран
MSSQLServer: Новый набор инструментальных средств SQL Server 2005 радикально отличается от предыдущих версий. В публикациях, посвященных базам данных, много говорится о том влиянии, которое окажет на эту сферу деятельности ввод среды исполнения Common Language Runtime (CLR). Однако нужно иметь в виду, что инструментарий SQL Server 2005 нисколько не похож на тот, которым вы пользуетесь сегодня. Новые инструментальные средства хороши, однако требуется время, чтобы к ним привыкнуть. Например, разработчик будет чувствовать себя гораздо комфортнее, работая с Management Studio, чем с DBA, благодаря сходству с Visual Studio по общему впечатлению и ощущениям. Таким образом, овладение новым средством все же не следует откладывать до самого момента запуска технологии SQL Server 2005 в работу...-RIGHT: 5.4poI

[В начало]

Англоязычные статьи

Be aware: a new section in my blog
Slava Oks's WebLog
Periodically, I bump into unusual behavior, features, of compiler, operating system, strange design and coding decisions made by someone else that makes me wonder. After giving it some thought, I often come to the conclusion that behavior or observed specifics are justifiable. However if I knew it upfront, It would have helped me to avoid unnecessary mistakes and complexity
SQLH2: The Free Health, History and Performance Monitoring Tool
Kathi Kellenberger
With multiple concurrent projects and many everyday tasks, how can the DBA effectively monitor all of the servers in his or her care without spending money on expensive tools or lots of time developing a custom solution? Luckily, Microsoft released SQLH2 last year, an easy to use tool that will do some of the work for free
The Trustworthy Computing Security Development Lifecycle
Steve Lipner, Michael Howard
This paper discusses the Trustworthy Computing Security Development Lifecycle (or SDL), a process that Microsoft has adopted for the development of software that needs to withstand malicious attack. The process encompasses the addition of a series of security-focused activities and deliverables to each of the phases of Microsoft's software development process. These activities and deliverables include the development of threat models during software design, the use of static analysis code-scanning tools during implementation, and the conduct of code reviews and security testing during a focused "security push". Before software subject to the SDL can be released, it must undergo a Final Security Review by a team independent from its development group. When compared to software that has not been subject to the SDL, software that has undergone the SDL has experienced a significantly reduced rate of external discovery of security vulnerabilities. This paper describes the SDL and discusses experience with its implementation across Microsoft software. (19 printed pages)
Unification of System.Data.SqlClient and System.Data.SqlServer - Pablo Castro
DataWorks WebLog
Many of us would like to have a space to write about the stuff we do, publish open issues for debate, and in general have a handy, informal point of contact with our developer community. Most of us don’t have the time to actually sign up for a blog and actually keep it interesting (folks such as Angel and Sushil actually do it…don’t know how they find the time :). So we came up with this “Data Access Team Blog” which lets us have a blog without signing up any one of us to maintain it full time
Weigthed Aggregation in Analysis Services
Mosha Pasumansky
In the scenarios of corporate reporting it is typical to have organizational structure where child organization reports up to its parent only percentage of its value, because they are only partially owned by the parent. In Analysis Services 2000 this would be best implemented by defining the following cell calculation
Using Ranking and Windowing Functions in SQL Server 2005
Stephen Forte
SQL Server 2005 is chock full of new features. You may have heard that you can write stored procedures in a CLR language like C# or VB .NET, but TSQL is here to stay. One new great feature adds the functionality of a Ranking expression that can be added to your result set that is based on a ranking algorithm being applied to a column that you specify. This will come in handy in .NET applications for paging and sorting in a grid as well as many other scenarios. We are going to take a look at the Ranking functions new to SQL Server 2005 using the new AdventureWorks database on the February 2005 Community Tech Preview
T-SQL Tiebreakers
Itzik Ben-Gan
A tiebreaker is a rule used to determine precedence between candidates when there's a tie. For example, when soccer teams have the same number of points in the league, the one with the higher goal difference takes precedence. A tiebreaker in T-SQL is a rule that determines which row your query will return if multiple rows have the same values for a given set of attributes. For example, suppose you were asked to return the most recent order for each employee from the Orders table. Returning the most recent order date for each employee requires a simple GROUP BY query with MAX(orderdate), but you also need to return other attributes besides the employee ID and the order date
The Logical Puzzle
Itzik Ben-Gan
Two dots are marked arbitrarily on the surface of a cube. Define logically the shortest path on the cube's surface connecting the two dots
DataGrid with built-in filter functionality
Robert Rohde
Reusable component which extends the DataGrid and adds functionality for real time filtering
Hierarchical TreeView control with data binding enabled
Mike Chaliy
Control extend standard TreeView control to make it fully data bindable
James Hamilton on SQL CLR: "...you can write in any language now."
adam machanic
Tom Rizzo pointed out the other day that he and James Hamilton were featured on The .NET Show, discussing SQL Server 2005
Microsoft SQL Server Performance Top Tip: Multi Processor (SMP) sudden death syndrome
Mat Stephen's WebLog
You’ve been really proud of your nice new multi processor box, its got eight processors and some serious grunt. Everyone has been really pleased with the system’s lightening responsiveness and the big boss thinks you’re a super computer guru – looks like a pay rise is on its way
Microsoft SQL Server Performance Top Tip: Degrees of Parallelism and a Degree of Uncertainty
Mat Stephen's WebLog
Max degree of parallelism is an advanced configuration option in SQL Server about which many question have been asked and much written. In this blog entry I hope to offer some insight and certainty as to what this option does and how it should be used
SQL Server Performance Top Tip: SQL Server User Mode Scheduler (UMS) – understanding it can explain some odd performance
Mat Stephen's WebLog
When performing batch jobs where you wish to run processes in parallel it is important to understand how the scheduler works
Web Access to Data
Microsoft
Microsoft SQL Server 2000 delivers features for accessing data stored in SQL Server databases and OLAP cubes through the Web. These features ensure that data is available through intuitive user interfaces and is fully searchable, even by novice users
Using CLR Integration in SQL Server 2005
Balaji Rathakrishnan, Christian Kleinerman, Brad Richards, Ramachandran Venkatesh, Vineet Rao
This paper describes how database application developers and architects can take advantage of the CLR integration features in SQL Server 2005. It compares CLR-based programming with existing programming models supported in SQL Server, such as Transact-SQL and extended stored procedures, and highlights the relative strengths and weaknesses of each. It also provides a set of high-level guidelines to pick the appropriate programming alternative, and a set of examples and code samples. (41 printed pages)
How to Asynchronously Execute a DTS package from ASP or ASP.NET
Davide Mauri
The Data Trasformation Services are a powerful tool, and sometime its features are so useful that you’d like to invoke a DTS package not only from SQL Server but from an external program
SQL Server 2005 Part 1 - Tools
Marcin Policht
In our series dedicated to new features implemented in SQL Server 2005 Beta 2, we have focused so far mostly on areas of design and functionality improvements, covering availability, scalability, and, more recently, security (including authentication, authorization, encryption, and digital signatures). In this article, we will shift our attention to interface related modifications, starting by discussing a set of tools providing SQL server management capabilities
Encryption demo script - Hopefully it helps
Tom Rizzo
I've heard from a bunch of folks who wanted to learn more about encryption in SQL 2005 and wanted a starter script to get started. Well, here it is. This script will show you how encryption works and I'll improve it over time
The Multi Phase Data Pump
Dinesh Asanka
When transferring data using DTS, the multiphase data pump is a very flexible task that you can use, but it is not just one process; there are various processes attached to this DTS task. If your developers are allowed to code at each of the different phases that are available, they can add much flexibility to the DTS process. Among the functionalities that the above process provides are those listed below
Using Source Control Management to Develop Smarter
support@ionforge.com
Veteran and novice developers alike need source control management (SCM). Also known as asset management, and source code management, SCM helps you (and your team) manage development projects, and the components and code that make up the project
Building an End User Defined Data Model - Part 1
Peter Scheffler
A few years ago, I was presented with an interesting challenge from a prospective customer - design a database application without knowing the eventual database structure
Stored Procedure NetSend
Claire Hsu
This stored procedure can be used by database administrators to inform users before breaking the user's conenction to the database prior to doing a restore or upgrade. Previously, users were notified by individual email or a phone call. Now, using this single command, every user working on the database can receive important messages from the database administrator in one second
SQL Server Kicks Oracle's Butt
Buck Woody
Oracle enthusiasts love to bash SQL Server, and Buck Woody thinks it's high time that the debate is taken to a professional form. If it's to be an argument, he wants to involve the discipline of logic to see which is better: SQL Server or Oracle. Care to see who wins?
Oracle versus SQL Server in the Enterprise
David Hull
Can Oracle kick SQL Server's behind? Oracle expert David Hull throws down the gauntlet to Microsoft devotees
JavaLobby's comments on the Microsoft Technology Summit 2005
Sajee's WebLog
Rick Ross from the JavaLobby has some very interesting comments about .NET 2.0, SQL 2005 and VS 2005. They seemed to be pretty impressed with these new technologies. Here are some excerpts (remember that these comments are from one of the leading proponents of Java):
Determine the Accuracy of a Time Series Forecast
DMTeam
This tip demonstrates how to receive additional information about a time series prediction
Battle for Rule in Business Application Market
Brian Moran
An interesting battle is taking shape between Microsoft and Oracle, two titans of the database world, and the prize is business-application software (i.e., ERM, ERP, CRM). In a surprisingly short amount of time, the competitive landscape at the upper end of this space has changed dramatically. Hey wait! You might be thinking "I thought this was a SQL Server column, what do I care about business ERM stuff?" Well, don't forget all business-application software needs a database to store its data in. Pricing for databases and prices for high-end business-application software can be inexorably entwined when a vendor controls both the business layer software and the database. Vendors who sell both have a lot more margin to play with and can be a lot more creative about how they price a total package for customers. Plus, Microsoft and Oracle are fierce competitors in the database space; competition in other areas inevitably has an effect on their database competitions. So this battle will have a bigger effect on Microsoft and Oracle's database strategies than you might think
A Thousand Monkeys...
The SQL Doctor is In (Real In)
As I said yesterday, writing is hard work. So forget that, let's write stupid code. It has often been said that a thousand monkeys with a thousand typewriters given enough time would stumble upon the greatest works in literature. Perhaps. But have you ever thought about just how unlikely that is? I did, and wrote some SQL to figure the chances
Celko on SQL CLR: "database design is a totally different skill from application development"
adam machanic
More fun CLR conversation, this time from SQL advocate Joe Celko
Microsoft Acquires DB Best
Microsoft
Microsoft has acquired DB Best, one of the leading providers of database migration tools. The DB Best family of database migration tools will become a part of SQL Server Migration Assistant—a set of tools to help customers automate the migration of their applications from other databases to SQL Server. DB Best technology will be one of the cornerstones of the SQL Server migration strategy, and a phenomenal asset for customers who want to gain the benefits of moving to SQL Server
SQL Server SP4 (February 15, 2005)
Microsoft
Please note: Portions of this transcript have been edited for clarity
Is the CLR a good thing?
The SQL Doctor is In
I sent this message to www.sswug.org today in response to the question, "Is the CLR a Good Thing?" (well, I changed some of the tenses of a few verbs because they made less sense here than they did there, but meaning is not changed)
Newgroup Drought
The SQL Doctor is In
I have been in a newsgroup drought for the past few days. Seems like everytime I go to the newsgroup, someone else has done a serviceable job of answering the questions. Of course I have other things to do in life, but I like to answer at least two or three a day or I get lax in going to the newsgroups
Sleepycat CEO talks Microsoft open source tactics
Mark Brunelli
Mike Olson, the outspoken CEO of Berkeley DB provider Sleepycat Software Inc., believes that the successful open source players of tomorrow will incorporate at least some aspects of proprietary computing into their business model. In this conversation, Olson discusses why he thinks ever-evolving attitudes toward open source will make these hybrid offerings lucrative. He then runs through an interesting "thought experimentation" to show what would happen if Microsoft ever decided to embrace open source
What's the best way to Truncate Transaction Logs in YUKON?
Larry Chesnut
SQL Server’s Books Online (BOL) has a topic: 'Truncating the transaction log'
The Value of A DBA
Steve Jones
Why should you hire a DBA? What value do they bring to your organization? I heard this recently from a director who was re-evaluating his staffing, probably to look at reductions. I discussed it with a friend who's a manager (and former DBA) and his response was “Why not?”. Two sides of the coin, but something that got me thinking. Most people that manage databases know that they bring value to their company and they work hard for their money. While most DBAs are paid well, at least in my experience, most managers, directors, and upper management aren't always aware of the value that a database administrator brings to the organization
Teach Old Data New Tricks with the Fully Loaded Advances in ADO.NET 2.0
Julia Lerman
This article is based on a prerelease version of the .NET Framework 2.0. All information herein is subject to change.
SQL Server performance-tuning worst practices
Jeremy Kadlec
Sometimes the best practices do not hit home, but the worst practices do. As such, in this article, the first part in a two part series, we will address a number of the worst practices for SQL Server performance that have been found in the field. These primarily relate to the system performance over the lifecycle of the application. We also will make recommendations for correcting these practices and improving overall system performance
Microsoft Clarifies SQL Server Ship Date
Lisa Vaas
The ship date for Microsoft's massive database overhaul hasn't slipped again, per se; rather, Microsoft has redefined what "summer" means, according to Tom Rizzo, director of SQL Server product management
Microsoft ERP: Balancing Benefits and Lock-In
VNU Business Online Limited
"The new innovations are all about integrating ERP products with the Microsoft products many companies already have, like Exchange, Outlook, SQL and SQL Reporting Services," said Jon Hughes, head of the Microsoft Business Solutions partner group in the UK. "This will really help them get a return on the investment they've made in infrastructure."
Handy Script Helps Analyze Database Structures
Lawrence Rogers
To analyze current database structures, you need to identify what columns are in what tables. The script in Listing 1 can help with this tedious task. This script creates a function that identifies all the tables a column comes from. The script also creates a stored procedure that dynamically creates a select list of table names with the results identifying which table contains what column. I'm usually interested in tables that share a common column (e.g., LastName, City, Phone), so the stored procedure is tailored to this requirement
Planned Microsoft Realtime Reporting Server Could Rock Analytics World
Barbara Darrow
'Maestro' Office server to bring timely reporting of enterprise data to business users. Microsoft is poised to fire a shot to be heard 'round the business intelligence world later this year
Everybody's favorite topic - NULL
Andrew Conrad's WebLog
In V1 of .net, value types could not be null. Since, this was contradictory to relational databases use of null, the DataSet needed to have a concept of nullable value types – hence DBNull was invented
Nix the DataSet??????
Andrew Conrad's WebLog
Some interesting comments from my entry on new DataSet features…
Stop, Drop, and Roll
Andrew Conrad's WebLog
A couple of weeks ago, I made a post that I thought some sort of client side data structure, which was designed to store projections of a domain model instances (both in memory and persisted in a data store), was a necessary part of any O/R framework. My conjecture was that this was required due to the current limitations of the mainstream programming languages with respect to dynamic typing in addition to the fact that most client side caches provide a common set of services which can be applied to both tuples and object graphs
Getting to Know the SQL Server Manager Tools
Bill Ramos (SQL Tools) WebLog
This is the first of seven articles that I'll be presenting as part of the upcoming SQL Server Web cast week on December 6th from 1 to 2pm PST. Check out http://msevents.microsoft.com/cui/eventdetail.aspx?eventid=1032263410&culture=en-us for details. This web cast will give attendees an overview of the new Management Tools for the SQL Server 2005 release. I'll be demonstrating the features using the upcoming November CTP release of the tools and I'll point out some of the differences between this current release and Beta 2
Configuration – The Experience
Bill Ramos (SQL Tools) WebLog
Configuration is all about getting SQL Server services installed and running in your environment. The setup program is the first point of contact for configuring SQL Server, but before going to deep, I highly recommend looking over the books on-line topic: “Before You Install SQL Server 2005”. In this topic, you will find links having to do with: security considerations; where your database files should be located; what type of Windows accounts you should use for the various services; and working with failover clustering
Why some SQL Server components do not work or are not supported when SQL Server is in lightweight pooling mode
Ken Henderson's WebLog
Lightweight pooling mode, also known as fiber mode, uses Windows fibers to service User Mode Scheduler (UMS) workers rather than threads. Windows fibers are lighter weight execution mechanisms than threads, with one thread typically hosting multiple fibers. Because the base execution facility in Windows is still the thread, you are still running code via a thread when in fiber mode, it’s just that context switches between threads occur far less, and expensive switches to kernel-mode occur less frequently, because fibers are user-mode constructs that the kernel knows nothing of. Context switches can occur between multiple fibers hosted by a given thread rather than between threads, and some operations that would normally require a switch into kernel-mode can instead be carried out entirely in user-mode. Using fibers effectively teaches threads to juggle
Data Design Time Changes Beta1 to Beta2
The Visual Basic Team
These are some of the feature changes we’ve made within the Data Design Time features. When I started writing this document I thought about making it a bulleted list, but then I realized this isn’t a Whidbey Feature list, it’s a delta from Beta1 to Beta 2. Those interested in the delta probably really want to know what went into the decision. If you’re looking for a Whidbey Feature list, this isn’t it. When we get closer to Whidbey RTM I’m sure we’ll get something like that pulled together
Grab Yourself a .NET Nugget
Tim Sneath
One of my last passing shots as I left the UK for Redmond was to put forward an idea for producing short nuggets of 5-10 minutes of on-demand technical content. It's my assertion as a developer that most of us love clear, concise, spin-free technical information on practical aspects of .NET development, but the webcast model of hour long presentations requires a distraction-free environment and plenty of patience which I know I don't have myself
Guidance on Patterns & Practices: Security
Keith Pleas
Create secure applications on the Microsoft platform with patterns & practices guides described in this article. (14 printed pages)
Stupid Security Tricks
Wayne Rash
I'd just finished tying my shoes, and then looked up at the conveyor belt as the flood of personal items emerged from the X-ray machine. The security screeners at Washington-Dulles International Airport were trying their best to be helpful, but were clearly harried. One of them started to hand me an IBM ThinkPad as it came toward me, but it wasn't mine. I'd just placed my nearly identical laptop in my briefcase
"Encryption not supported on SQL Server"
Ashvini Sharma
As you may know, the SSIS runtime forces use of encryption when loading or saving packages from/to SQL Server. As part of that, certificates have to be present and validated by the transport layer. If certificates are not properly setup, users get errors during deployment to SQL Server that say something like this
Tidbits on optimizing SSIS data flow performance
Ashvini Sharma
Hi there, I'm Ash. I a member of the DTS SSIS team here at Microsoft
Getting rid of unnecessary transforms
Ashvini Sharma
Quite a few customer packages I've seen recently end up using certain transforms that might be avoided to give more performance
Looping through recordsets
Ashvini Sharma
This is already becoming a FAQ: how can you use a For Each Loop in an SSIS package to loop through a set of rows
Data Flow: Web services + XML scenarios?
Ashvini Sharma
Last week Kamal and I prepared a demo of calling a web service through the data flow task. We used a trivial script component that called out to a web service for every row it got. Let us assume whoever writes this seriously will probably end up doing some caching to minimize the roundtrips to the server
Quick tip - Row Count transform
Ashvini Sharma
Some customers have expressed concerns about the flow being too slow. In significant number of these cases it's the destination that isn't able to push data fast enough. If you suspect this, a couple of things to try/note
SCD optimization
Ashvini Sharma
I ran across a scenario today where the doing the SCD on a few dozen thousand rows was taking an unreasonable amount of time (something's telling me I shouldn't be going into specifics with perf numbers)
Configuring the Pivot component
Ashvini Sharma
Sometimes coincidences happen that make you sit back and say Hmm. Couple of days back Ovidiu, one of our senior developers, came by and asked me to blog about the Pivot transform. Then earlier today someone doing a high end POC down south need the same information. Hmm.
Tidbits on parallel execution properties
Ashvini Sharma
Runying, our data flow performance guru, just dropped a note with some information she thought would be generally interesting. I'm hoping she can start her own blog so you can directly appreciate her dedication and diligence, but in the meantime I continue to get the limelight
Getting Integration Services ready for the big time
Donald Farmer
This week, Erik Veerman from Intellinet ( www.intellinet.com ) is visiting the Redmond campus and he's having a number of meetings with the SQL Server Integration Services team. Erik's a star for us. He has been one of the prime consultants on our most exciting beta project - a data warehouse at Barnes and Noble. This warehouse is already in production on beta 2 of SQL Server Integration Services! That's quite an achievement
Dude, where's my perf? (Tips for SQL Server Integration Services)
Donald Farmer
I'm always talking about the great performance in SQL Server Integration Services. And I'm not kidding: in basic tests we are 6 to 7 times faster than DTS 2000. At the high end customers are seeing exceptional performance in quite complex scenarios
Things to try with SQL Server Integration Services: text mining
Donald Farmer
I often talk about SQL Server Integration Services as a toolkit for advanced solutions. By this I mean that we don't provide pre-built applications for scenarios like data cleansing, but we do provide the tools for you to build your own. This gives you much greater flexibility and control, and the ability to integrate advanced features directly into your own business rules and data processing logic. Too many specialized data processing applications take an attitude of my way or the highway - limiting you to the logic and processes that they define as important
Some more detail on text mining with SSIS
Donald Farmer
John Kane had a query about my last post, regarding text mining with SQL Server Integration Services. He asked: While a list of key terms are helpful for text mining, what are the Term Frequency (TF) and Inverse Document Frequency (IDF) for these key terms in your example? As TF/IDF is a key factor for determining the relevancy of any document for text classifications
How fast is SSIS compared to DTS?
Donald Farmer
Long time no blog. No excuses, except that my workload has been particularly heavy recently. Anyway, enough of my problems. Let's get stuck in straight away with one of the questions I am asked most frequently, whether by DTS customers thinking of trying SSIS, or by Microsoft field staff spreading the news of SSIS, or by my VP in our performance shiproom meetings checking in on our progress. And the question is … How fast is SSIS compared to DTS?
Counting Rows in SQL Server Integration Services
Donald Farmer
I am often asked if there is a way to capture row counts in SSIS. For example, a user may want to know how many rows passed along certain outputs of a conditional split in order to compare the ratio of say high- and low-value line items in a day's sales
SSIS plays Vegas
Donald Farmer
Last week Kamal Hathi and I were in Las Vegas for the TDWI (Data Warehousing Institute) conference. This is really the first general trade show at which SQL Server Integration Services has been on show. Microsoft had a booth at which I did a 30 minute demo every hour. The demo was simple enough but did show a lot of our features. Given the audience, I specifically concentrated on data quality features, which also demo very well
More on Slowly Changing Dimensions in SSIS
Donald Farmer
Ash has a great post below on the Slowly Changing Dimension component
Oracle and SQL Server Integration Services
Donald Farmer
I have had some interesting conversations with SQL Server customers, partners and our field about SSIS and Oracle in the last couple of weeks. Some were of a tone which prudence and good taste suggest is better left unreported, but the others, if less juicy, were certainly worth discussing here. Typically they revolve around some combination of three key technical issues and three key scenarios: migration, integration surrounding Oracle and loading to Oracle
Staging Areas and Transfer Areas for your Data Warehouse
Donald Farmer
Staging Areas are a common requirement in a Data Warehouse architecture, but they raise some interesting issues for both the warehouse administrator and the data integration designer, whether working with SQL Server Integration Services or other integration and ETL tools
Expressions: Part III
Kirk Haselden
Jamie's blog got me thinking about expressions and wanted to give some background and a little more information about how they work
Next CTP : Variable mappings in the ForEachLoop...
Kirk Haselden
There were some problems with the way early incarnations of the ForEach Loop passed around the current enumerated value from its configured ForEachEnumerator. For example, there are some ForEachEnumerators that return more than one value per each iteration and there was only one system variable for holding the current enumerated value
Contingent execution based on stored procedure results I
Kirk Haselden
Well, I've been a little pre-occupied lately. Between rebuilding machines, my kids getting sick, getting sick from my kids, and my day job, I haven't been blogging for a while. So I've got a few stored up. Look out, here they come
Normalizing flat files
Kirk Haselden
A common question asked on newsgroups is how to normalize a flat file with DTS
Fleeting issue with debugging in the designer in the February CTP
Kirk Haselden
If you attempt to debug a package and the package will not run in the designer. Also, if you attempt to execute the package by selecting Debug | Start Without Debugging and it correctly executes, you may be seeing an issue with setup that we've seen on some machines
Table driven foreach loops
Kirk Haselden
In an earlier blog I mentioned that we'd have a fix for the ForEachADOEnumerator. Before the fix there were some pretty involved steps required to build an ADO.Net recordset and enumerate over it in the foreachloop
Errors, warnings and information events - The non-feature feature
Kirk Haselden
Have you noticed how errors, warnings and informations events don't get much discussion or ink in the press. We talk a lot about the high profile new features in Integration Services vs. DTS, the new dataflow task and other features, but we rarely mention errors. This non-feature is one of the more important changes in SSIS, but yet we hear and see very little discussion about them. Errors are something that few really appreciate until they need them, and then if they're not right, we rightly get complaints. But if they're good errors, that describe the problem well so that it can be easily diagnosed and fixed, it just feels good. The problem gets fixed and we move along to the next task at hand
Q&A: Building a Top-Notch BI Platform on SQL Server
Stephen Swoyer
Panorama Software says it won’t become just another notch in Microsoft’s mergers-and-acquisitions bedpost

[В начало]

ФОРУМ SQL.RU

Самые популярные темы недели

Новые упражнения на http://sql.ipps.ru
Больше книг хороших и разных!
Мое сообщение при ОШИБКЕ ограничения
Рост продаж в процентах в каждом месяце по сравнению с предыдущим
FoxPro -> Sql Server 2000
Блокировка хранимки
Дедлок между операторами с хинтом UPDLOCK
Импорт данных из MS Excel
Login failed for user 'sa'. Reason: Not associated with a trusted SQL Server connection.;
MSAccess и MSSQL через интернет - миф или реальность?
Подскажите правильный SQL запрос
Ошибка при выполнении скрипта:
Update большой таблицы
Получение диапазона ключей для вставленных значений
Задачка с собеседования на сообразительность !
SqlDumpExceptionHandler: Process % generated fatal exception c0000005
Запуск профайлера на загруженном сервере
Помогите избавится от дедлоков/посоветуйте по оптимизации
Администраторы баз данных, защищайте свои сервера!
Couldnot execute procedure on remote server

[В начало]

Вопросы остались без ответа

IBProvider COMPANY License
MS SQL7 -> MSDE (XP Win) ? Цель - DEMO.
про MsSQL 2000, PostgreSQL, Insert и Update
ClusterReplica for MSSQL: кто-нибудь с ней работал?
MSSQL+Кластер на Windows 2003 Enterprise Edition
How run SQL debuger under VS
Перенос отчетов Reporting Services на другой сервер
Связанный сервер
результат FOR XML --> в поле ntext ?
Не завершается бэкап

[В начало]

АНОНСЫ

Журнал "SQL Server для профессионалов", мартовский выпуск

Журнал, посвященный вопросам разработки и администрирования Microsoft SQL Server. Подписка без дискеты - индекс: 79946. Подписка с дискетой - индекс: 79947. На дискете размещаются исходные тексты ко всем статьям номера. Исходники также можно скачать с сайта журнала, если обратиться по адресу, приведенному ниже. Периодичность выпуска - один раз в месяц. Минимальный срок подписки - 1 месяц. Информацию о ранее вышедших номерах можно найти по адресу http://newsletter.narod.ru
Анонс журнала представляет собой полный текст передовицы и краткое изложение размещенных в номере статей.

Editorial: SQL Server нацелен на нишу рабочих групп, и цена его растет

Пол Турротт (Paul Thurrott)

Не так давно компания Microsoft объявила, что несколько раз отложенный SQL Server 2005 (собственно говоря, его можно называть группой продуктов) выйдет в середине года. С выходом новой версии мы увидим новое позиционирование сервера и более высокую цену. Начнем с того, что Microsoft добавляет редакцию SQL Server по имени Workgroup Edition. Но этот продукт не будет ожидать выхода SQL Server 2005. Нет, Microsoft планирует выпустить SQL Server 2000 Workgroup Edition этой весной, до выхода SQL Server 2005.
Как сказал старший вице­президент Microsoft Пол Флесснер, "индустрия изменилась с тех пор, как мы выпустили SQL Server 2000. <…> С выходом линейки SQL Server 2005 мы расширяем широту охвата нашими продуктами, призванными решать задачи обработки данных, и предоставляем больше возможностей нашим заказчикам. Сейчас мы лучше подготовлены, чтобы предложить решения, которые соответствуют технологическим и бюджетным возможностям наших заказчиков. Наша задача - сделать высококлассные средства управления и анализа данных доступными широкому кругу заказчиков при упрощении работы с системами обработки данных и снижении совокупной стоимости владения".
Линейка продуктов SQL Server 2005 будет включать четыре редакции: Express Edition, Workgroup Edition, Standard Edition и Enterprise Edition. Последняя будет распространяться бесплатно и будет направлена на использование разработчиками. Новая редакция Workgroup Edition представляет собой только процессор обработки данных и не содержит средства подготовки отчетов (reporting services), аналитические средства (business intelligence) и другие возможности, доступные в более старших редакциях, она ориентирована на малый и средний бизнес. Стандартная редакция описывается как "полноценная платформа обработки данных и аналитической обработки" и ориентирована на компании среднего размера. Enterprise Edition предлагает основу для создания критических бизнес­приложений любого размера.
Говоря о цене на линейку SQL Server 2005, можно сказать, что тут наблюдаются противоречия. Цена стандартной редакции и Enterprise Edition вырастает. Так, Enterprise Edition будет стоить $24 999 на процессор по сравнению с $19 999 для SQL Server 2000 . Между тем стандартная редакция (хоть и ограничена 4 процессорами) может быть установлена на 64­разрядное железо. Эта редакция будет дороже на 20%, а цена на процессор вырастает до $5999.
Новая редакция для рабочих групп будет стоить $3899 на процессор, хотя она поддерживает только два процессора и 3 Гб памяти (для стандартной редакции ограничений на память нет). Microsoft также отмечает, что SQL Server 2005 предлагает фантастический набор новой функциональности по сравнению с текущей версией, что должно служить дополнительным обоснованием для повышения цен. Следует также отметить, что SQL Server обычно стоит дешевле своих конкурентов от Oracle или IBM.
Для поддержки линейки продуктов SQL Server 2005 гигант в области поставок персональных компьютеров компания Dell говорит, что они будут продавать SQL Server 2000 и 2005 в редакции для рабочих групп вместе с серверами линейки PowerEdge, ориентированными на малый и средний бизнес. Dell также объявил о новых результатах по сценарию TPC­C с использованием SQL Server 2000 Workgroup Edition на своих серверах. Новый рекорд $1,40/tpmC на 10 центов дешевле по сравнению с предыдущим, где использовался SQL Server 2000 Standard Edition.
И наконец, в качестве дополнительной новости представители Microsoft объявили, что компания рассматривает возможность предоставления кодов SQL Server 2005 заказчикам. Естественно, это не будет проект открытого кода, все­таки мы говорим о Microsoft, но, скорее, он будет выпущен на условиях достаточно жесткой программы Shared Source. Однако интересно наблюдать, как Microsoft пытается сделать свои продукты более открытыми под угрозой со стороны таких продуктов как MySQL и PostgreSQL.

[В начало]

DB Design & Warehousing: Взгляд изнутри на средства управления оперативной памятью SQL Server 2000

Кен Хендерсон (Ken Henderson)

В этой статье мы исследуем внутренние механизмы управления оперативной памятью в SQL Server с позиций разработчика. Используя терминологию API и применяемых утилит оперативной системы, мы обсудим способы, посредством которых сервер управляет оперативной памятью. Такой подход к изучению программного продукта поможет нам проникнуть в головы создававших его разработчиков, чтобы понять, каким им виделось его применение. Взгляд изнутри на работу продукта является ключом к мастерскому владению им.
Свое исследование мы начнем с того, что вспомним некоторые фундаментальные основы управления оперативной памятью в Windows. Подобно всем 32-битным приложениям Windows, SQL Server использует средства Windows для распределения, освобождения и общего управления ресурсами оперативной памяти. Он вызывает входящие в Win32 функции API управления оперативной памятью, которые предоставляет операционная система для взаимодействия с ресурсами памяти точно так же, как и любое приложение Windows.
Поскольку почти во всех случаях распределения оперативной памяти внутри SQL Server используется виртуальная память, а не кучи, основная часть кода распределения памяти сводится к вызову функций API Win32 VirtualAlloc или VirtualFree. Сервер вызывает VirtualAlloc для резервирования и фиксации виртуальной памяти, а VirtualFree для ее освобождения.

Виртуальная и физическая память

Для всех процессоров семейства x86 Windows предоставляет каждому процессу "песочницу" виртуальной памяти объемом 4 Гб. Эта память не является памятью в традиционном смысле. Это просто диапазон адресов, которые не связаны непосредственно с физическими местами хранения. Когда процесс выполняет распределение оперативной памяти, задействуются эти адреса, причем им ставится в соответствие физическое хранилище. Однако это хранилище, как правило, не является физической оперативной памятью. Обычно это пространство дисковода. Точнее, это пространство в системном страничном файле (файлах). Именно так множество приложений могут одновременно работать в системе с объемом оперативной памяти в 128 Мб, причем каждое приложение обладает виртуальным адресным пространством в 4 Гб; это не настоящая память, однако приложение воспринимает ее как реальную. Windows прозрачно для приложения управляет копированием данных в страничные файлы и считыванием из них, так что приложение в состоянии распределять больше памяти, чем физически существует в машине. При этом приложения имеют равный доступ к физической оперативной памяти компьютера (RAM).
Все 4­гигабайтное адресное пространство разделено на две секции: для пользовательского режима и для режима ядра. По умолчанию каждая секция имеет размер 2 Гб, их размеры можно изменить с помощью ключевых переключателей BOOT.INI в семействе операционных систем Windows NT. (Windows NT, Windows 2000, Windows XP и Windows Server 2003 являются членами семей­ства Windows NT, а Windows 9x и Windows ME не являются.)
Хотя каждый процесс получает свое собственное виртуальное пространство адресов, код операционной системы и код драйвера устройств совместно используют единое частное адресное простран­ство. Каждая страница виртуальной памяти ассоциирована с конкретным режимом процессора. Чтобы получить доступ к определенной странице, процессор должен находиться в требуемом режиме. Это означает, что пользовательские приложения не могут получить доступ к виртуальной памяти ядра напрямую. Система должна переключиться в режим ядра, чтобы можно было получить доступ к страницам памяти ядра.

(Полный текст статьи опубликован в журнале)

[В начало]

DB Design & Warehousing: Краткое руководство по типам данных Text, Ntext и Image

Джозеф Гама (Joseph Gama)

Типы данных Text, Ntext и Image используются уже давно, но их нюансы легко могут ускользнуть из поля зрения. Эта статья представляет собой краткий обзор способов применения и внедрения этих специальных типов данных. Автор с благодарностью посвящает ее докторам Аарону Гордону, Эрлу Хацу, Джерри Шульцу и Шахару Боне из колледжа Метрополитен Стейт Колледж в Денвере, а также Адаму и Карен Шварц.
Базы данных увеличиваются в размере и усложняются отчасти из­за того, что программные и аппаратные средства позволяют хранить умопомрачительное количество сведений, включая документы и мультимедийную информацию. Данные в форматах JPG, PNG, MP3, DOC/RTF, HTML, Unicode и XML можно хранить в базах SQL Server в виде типов данных image, text и ntext.
Вообще говоря, тип данных text можно использовать для хранения длиннейших строк символов ASCII, тип ntext - для символьных строк Unicode, а image - для бинарных данных. Вас беспокоят размеры? Text позволяет хранить до 2^31 ­ 1 (2,147,483,647) символов, не являющихся Unicode, в виде строк переменной длины. Тип данных ntext рассчитан на хранение до 2^30 ­ 1 (1,073,741,823) символов, а image - до 2^31 ­ 1 (2,147,483,647) байтов. Действительный размер хранения в байтах для ntext в два раза больше вводимого количества символов. В SQL­92 ntext является синонимом национального текста.
Так как же они работают? Для ссылки на данные используются указатели. Специальные функции позволяют выполнять с ними сложение, вычитание или удаление данных. В табл. 1 перечислены их сильные и слабые стороны.

Табл. 1. Достоинства и ограничения типов данных text, ntext и image

Можно	Нельзя
Передавать как входные и получать как выходные параметры хранимых процедур	Использовать в конструкциях DECLARE, SET и FETCH, что не позволяет применять их в качестве переменных таким же образом, как другие типы данных
Передавать как параметры в пользовательские функции (UDF)	Получать из пользовательских функций (это же относится и к типу данных timestamp)
Преобразовывать в другие типы данных (до 8000 байтов)	Извлечь из курсора оператором FETCH, если только не выполняется их преобразование
Использовать в обороте UNION ALL	Работать с sql_variant
	Участвовать в операциях сравнения и сортировки и использовать в обороте GROUP BY. Единственным исключением является применение операций IS NULL или LIKE. (Простым способом обойти это ограничение является применение преобразований CONVERT или использование пользовательских функций, которые возвращают другие типы данных.)
	Использовать в обороте UNION, потому что этот тип UNION эквивалентен обороту DISTINCT и вызовет ошибку, ведь типы данных text, ntext, и image нельзя сортировать

(Полный текст статьи опубликован в журнале)

[В начало]

Programming: Журналирование изменений структуры БД и данных. Часть 2

Наталья Кривонос

Журналирование изменений вместе с изменяемыми значениями

В этом разделе мы поговорим о том, какую структуру журнала лучше выбрать - одну таблицу или несколько, какова будет их структура и какие технические вопросы возникают при реализации задачи.

Структура журнала

Ниже вы познакомитесь с тремя способами журналирования изменений, к каждому из которых приведен пример кода. Не существует единого или "самого лучшего" способа для всех задач. Но существует оптимальный для каждой конкретной задачи, даже если "оптимальный" здесь означает "наименее худший". Чтобы оценить, подходит ли вам тот или иной способ, надо выбрать наиболее значимые для вас критерии оценки:

• скорость рабочей системы - насколько замедлятся операции с данными при наличии триггеров журнала;

• объем журнала - в зависимости от выбранного способа одни и те же изменения могут храниться с разными затратами дискового пространства;

• удобство работы с журналом - нужны ли сложные преобразования для просмотра/обработки данных в нем;

• скорость работы с самим журналом - поиск в нем, очистка;

• блокировки - запись в дополнительные таблицы в любом случае означает дополнительные блокировки в системе; их надо хорошо продумать, чтобы минимизировать проблемы при многопользовательском доступе;

• универсальность - насколько удобно будет применять уже разработанную систему, если понадобится журналировать новые таблицы, много ли придется переписывать/дополнять;

• удобство сопровождения кода - количество триггеров, их сложность/объем, способ их формирования, исправление ошибок в них, все перечисленное в применении к вашей системе (возможно, насчитывающей сотни таблиц, которые подлежат журналированию).

(Полный текст статьи опубликован в журнале)

[В начало]

Other: Средства редактирования Transact­SQL­кода в инструментарии SQL Server 2005 Beta 2. Часть 1

Ron Talmage (Перевод Александра Гладченко)

Статья представляет собой краткий обзор инструментов разработки на T­SQL, доступных в Microsoft SQL Server 2005 Management Studio.
Management Studio в Microsoft SQL Server 2005 Beta 2 является основным инструментом создания и редактирования Transact­SQL­запросов. Ниже описаны средства редактирования кода на Transact­SQL в Management Studio с акцентом на наиболее интересные и новые возможности разработки на Transact­SQL. Вы узнаете, чем Management Studio отличается от SQL Server 2000 Query Analyzer и что в нем стало лучше. Подразумевается, что вы уже знакомы с тем, как запускать и использовать SQL Server 2005 Management Studio, как подключиться к экземпляру SQL Server 2005 и как управлять разными окнами Management Studio.
SQL Server 2005 Management Studio Beta 2 сейчас находится в стадии активной разработки. В нем должны еще появиться новые возможности, а некоторые свойства изменятся ко времени выхода окончательного релиза SQL Server 2005. В статье описывается Management Studio той версии, которая поставлялась с SQL Server 2005 Beta 2, а все ссылки на Query Analyzer относятся к версии, поставлявшейся с SQL Server 2000.

Основные возможности редактирования запросов в Management Studio

В Management Studio интегрированы возможности редактирования запросов ко всем разновидностям баз данных SQL Server. Когда вы создадите новый запрос, щелкнув на панели кнопку New Query или с помощью пункта меню File/New Query, вы увидите, что можно создавать и редактировать запросы для SQL Server, Analysis Services и SQL Mobile. Когда вы работаете с SQL Server, создавая запрос, Management Studio вызовет редактор Transact­SQL­кода. Когда вы выполняете запрос к Analysis Server, Management Studio вызовет редактор MDX, DMX или XMLA, а когда вы работаете с запросами для SQL Mobile, будет вызван специализированный редактор кода, который использует соответствующее подмножество языка Transact­SQL. Основное внимание в этой статье будет уделено применению Management Studio для редактирования запросов на Transact­SQL.
Перед тем, как сосредоточиться на создании Transact­SQL запросов, полезно обратить внимание на некоторые общие возможности Management Studio, которые отличаются от имевшихся в Query Analyzer. Одной из таких возможностей Management Studio является то, что вы теперь сможете редактировать скрипты без установленного подключения к базе данных или с установленным подключением, т. е. редактирование запроса не требует обязательного подключения к серверу. Когда вы начинаете работать с запросом, у вас будет запрошена необходимость организации подключения, но если вы от него откажетесь, вы все равно сможете редактировать запрос. Вы можете даже отключиться от сервера или изменить параметры подключения во время сеанса редактирования без необходимости сохранения и повторного открытия файла с запросом. Это позволяет разрабатывать код автономно или последовательно выполнять его на нескольких серверах.
Когда вы работаете с запросами в подключенном режиме, Management Studio использует для подключения к SQL Server, Analysis Server или SQL Mobile соответствующие компоненты SQL Native Client. Несмотря на то, что инструментальная оболочка Management Studio во многом напоминает Microsoft Visual Studio, она является самостоятельным инструментом, который был разработан при помощи управляемого кода Visual Studio. Management Studio поддерживает создание и редактирование запросов к SQL Server, Analysis Services и SQL Mobile; Visual Studio может применяться для разработки кода SQL CLR.
В Management Studio вы также можете редактировать простые текстовые файлы. Например, если вы вызовете для открытия текстового файла диалоговое окно Open из меню File, Management Studio не будет запрашивать необходимость подключения и откроет текстовый редактор. Также вы можете вызвать XML­редактор косвенным образом, который будет описан ниже, в разделе "Анализ исполнения запросов".

(Полный текст статьи опубликован в журнале)

[В начало]